Глава Anthropic призвал замедлить развитие ИИ, чтобы он «не захватил весь интернет»: с ним согласились в OpenAI, Microsoft и SpaceXAI

12 сентября генеральный директор Anthropic Дарио Амодеи опубликовал эссе, в котором призвал замедлить развитие ИИ.

Он предложил ввести независимых оценщиков моделей, договориться о стандартах безопасности и наложить ограничения на Китай. Эссе широко разошлось в соцсетях, его поддержали в OpenAI и других крупных ИИ-корпорациях, но раскритиковали независимые исследователи и правительство США. Расскажу подробнее.

Дарио Амодеи заявил, что нужно замедлить рост возможностей ИИ-моделей, но при этом не останавливать обучение. Причины две: рекурсивное самоулучшение, когда ИИ сам создает следующее поколение ИИ, а также инцидент с Hugging Face, когда рой агентов OpenAI атаковал площадку и пытался взломать систему, оценивавшую его работу.

Амодеи предложил работать над сдерживанием ИИ в трех направлениях:

Независимый мониторинг. Ведущие ИИ-компании должны выдать доступ к своим системам независимым внешним оценщикам, чтобы те могли следить за соблюдением мер безопасности и сообщать об инцидентах. Anthropic обязалась внедрить такую практику в одностороннем порядке.

Разработка правил внутри индустрии. Амодеи считает, что законодательство не поспевает за развитием ИИ, поэтому он призвал ИИ-компании добровольно разработать общие стандарты безопасности. Например, если модель достигает определенного уровня возможностей, компания должна подтвердить ее безопасность через стандартизированный тест.

Ограничения на международном уровне. Замедление, по мнению Амодеи, должно происходить скоординированно, но так, чтобы США не уступили первенство в ИИ-гонке Китаю. Для этого он предлагает не продавать ИИ-чипы американских компаний в Китай, не допускать кражи весов моделей и пресекать несанкционированную дистилляцию  ​со стороны компаний из «авторитарных» стран.

Амодеи опубликовал эссе спустя несколько дней после того, как исследователь Anthropic уволился из-за опасений по поводу развития ИИ, а их же руководитель направления безопасности заявил, что ИИ может уничтожить человечество в ближайшие 10 лет с вероятностью в 10%.

Главы ИИ-корпораций поддержали Амодеи. Гендиректор OpenAI Сэм Альтман сказал, что в последнее время замедление ИИ — «одна из главных тем обсуждений в OpenAI», а также заявил, что допустит независимых оценщиков к внутренним системам компании. Он согласен, что нужно вырабатывать общие стандарты в ИИ-индустрии, но считает, что ждать антимонопольных законов не нужно, а помощь государства требуется только «в международной координации». 13 сентября, на следующий день после публикации эссе, Альтман заявил, что OpenAI не будет выходить на IPO в 2026 году из-за опасений по поводу безопасности ИИ.

Илон Маск, глава SpaceXAI, которая разрабатывает чат-бота Grok, тоже согласился с предложениями Anthropic и кратко написал: «Дарио прав».

Директор Microsoft Сатья Наделла поддержал идеи Амодеи по замедлению, но отметил, что, если ИИ не помогает человечеству и не подконтролен человеку, разрабатывать его вообще не стоит.

Часть ИИ-специалистов предлагает сфокусироваться на стандартах безопасности. Например, бывший гендиректор Google DeepMind Демис Хассабис предложил сформировать независимый орган, который мог бы устанавливать меры безопасности в ИИ-индустрии и следить за их соблюдением.

А глава платформы Hugging Face Клеман Деланг объявил, что запускает программу по безопасности ИИ Open Alignment Initiative, а также попросил Anthropic допустить его в число независимых оценщиков.

Другие ИИ-специалисты считают, что уже слишком поздно. Профессор Калифорнийского университета в Беркли и ведущий специалист в области безопасности ИИ Стюарт Рассел считает, что логика Амодеи перевернута: нельзя просто немного замедлиться и надеяться, что времени хватит. Надо сначала установить стандарты безопасности и двигаться дальше только тогда, когда они будут выполнены.

Специалист по безопасности ИИ Дэвид Крюгер посчитал предложение Амодеи запоздалым и недостаточным, а также потребовал немедленного бессрочного международного моратория на разработку передовых моделей.

Правительство США негативно отреагировало на предложение замедлиться. Дональд Трамп идею притормозить развитие ИИ не поддержал: «Если мы не выиграем ИИ-гонку, то окажемся в очень плохом положении». Он считает, что «ограничения установить можно», но «в индустрии много негативных сил, которые поднимают шум зря и говорят о том, чего не произойдет».

Представитель президента США по ИИ Дэвид Сакс заявил, что OpenAI и Anthropic сами разрабатывают передовые модели, и если они не хотят создавать суперинтеллект, то могут договориться этого не делать. С его точки зрения, требовать введения законодательной регуляции в качестве условия замедления ИИ — шантаж общества и политической системы.