«Вероятность того, что ИИ убьет человечество в следующие 10 лет, — более 10%» — руководитель направления безопасности Anthropic
9 сентября ИИ-исследователь Anthropic Джейкоб Коксон объявил, что уходит из компании из-за опасений по поводу безопасности ИИ.
Ранее Коксон работал в OpenAI, а в Anthropic занимался предобучением моделей. Он написал тред в соцсети X, где рассказал, что увольняется, потому что обе компании ведут себя безответственно, «пытаясь разработать сверхинтеллект и ставя на кон наши жизни».
Не стоит недооценивать мощь этой технологии. Очень скоро это будут сверхчеловеческие системы, способные взломать что угодно. Они смогут за одну ночь перевернуть любую научную область или получить реальную власть. Мы все видели прогресс в каждом из этих направлений. И он не замедляется.
Люди, которые создают ИИ, искренне верят, что он может убить нас всех до конца десятилетия. Это не маркетинговый ход. Скорее наоборот: многие руководители и исследователи подбирают для прессы обтекаемые формулировки. Но в частных разговорах я слышу от тех же людей страх. Никакая другая человеческая деятельность не опасна настолько.
Обычно на это отвечают: «Если они правда так думают, то почему продолжают?» В OpenAI многие просто не осознали, насколько высоки ставки. В Anthropic ставки понимают хорошо, но компания не может выйти из ИИ-гонки. Они считают, что никто, кроме них, не поведет себя ответственно, а значит, они должны победить.
Участвовать в этой гонке — самонадеянная авантюра, которой нельзя заниматься из рабочего Slack частной компании. Чтобы пытаться как можно быстрее прийти к сверхинтеллекту, нужна исключительная уверенность в том, что других путей просто нет.
Я с оптимизмом смотрю на возможность договориться. После тревожных звоночков вроде атаки на Hugging Face соглашения о замедлении темпа разработки ИИ между американскими компаниями стали более реалистичными. Но мне не кажется, что мы движемся к замедлению международной гонки. Для этого понадобятся твердые шаги вроде временного запрета на наращивание возможностей моделей.
Если вы исследователь ИИ, просто представьте, что будет дальше. Хотите ли вы запустить обучение сверхинтеллекта, не понимая, как устроено его мышление? Стоит ли молча работать дальше, потому что «это все равно произойдет»? Или нужно воспользоваться моментом и потребовать других условий?
Коксон также рассказал The Wall Street Journal, что, по его мнению, мир движется ко «одному из самых опасных сценариев, при котором уже к концу следующего года все может выйти из-под контроля».
Тред широко разошелся в соцсети, а Коксона поддержал другой сотрудник Anthropic — Эван Хубингер, руководитель направления Alignment Science . Он написал в X, что он и его коллеги «искренне верят, что ИИ может убить всех людей». Вероятность такого исхода событий в ближайшие 10 лет он оценил в «более чем 10%».
Хубингер добавил, что верит, что Anthropic «старается изо всех сил», но пока у них «нет плана по решению проблемы суперинтеллекта». Риск от существующих моделей он оценивает как низкий, но беспокоится, что суперинтеллект может возникнуть в результате самообучения моделей. «Это происходит быстрее, чем мы думали», — добавил он.
В июле OpenAI и Anthropic признались, что их ИИ-агенты во время обучения сбежали из тестовой среды и взломали сайты частных компаний. 28 июля американские ИИ-исследователи, включая сотрудников Anthropic и OpenAI, выступили за замедление разработки продвинутых моделей. Они призвали правительство США поддержать «международные усилия по созданию инструментов, необходимых для осознанного регулирования темпа разработки ИИ».
Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult
