За каждым ИИ-сотрудником все равно должен стоять человек

ИИ-сотрудник выполняет работу, но не может отвечать за последствия. Поэтому до запуска назначьте человека, ответственного за его действия: он одобряет каждое необратимое действие и проверяет всё, что ИИ-сотрудник сделал. У этого человека должно быть право остановить ИИ-сотрудника и время вчитываться в результаты, иначе он просто возьмет вину на себя.

В мае Борис Чёрный (Boris Cherny), создатель Claude Code в Anthropic, рассказал на выступлении перед аудиторией Sequoia Capital, что запускает «десятки циклов». Это задачи для ИИ по расписанию, у каждой одна узкая цель. Одни циклы правят код, другие прогоняют тесты, а один каждые полчаса разбирает отзывы. «Мне кажется, сейчас за такими циклами будущее», — сказал он.

Мой вывод: цикл сортирует отзывы, а что с ними делать, решает человек. Вашей компании незачем по умолчанию отдавать этот шаг машине.

Наш ИИ-сотрудник по рекламе готовит изменения в Яндекс Директе через API. Он оформляет каждую правку как план, проверяет его в тестовом прогоне (считывает данные кабинета, но ничего не меняет) и формирует файл для загрузки в Директ. Наш контекстолог проверяет файл и одобряет правки перед их передачей в Директ.

Защита встроена в рабочую среду агента, а не прописана в регламенте. Несмотря на то, что у агента есть доступ к API-ключу, которым применяются правки, он им не может воспользоваться, потому что Claude Code считает команду на применение правок слишком рискованной, чтобы выполнять её за агента, и оставляет её контекстологу. После каждого применения агент снова считывает кабинет и проверяет, применились ли изменения.

Мы пришли к этому не сразу. 16–17 июля агент внёс первые правки просто по устному согласию, без всякого плана: исправил ссылки в 12 объявлениях и изменил бюджет. Правило «сначала план, потом применение» появилось именно после того, как мы увидели не слишком правильные правки уже в Директе.

С 18 июля по 2 октября агент подготовил 38 планов: 34 были применены, 3 контекстолог отклонил, а 1 не пропустила сама площадка. Эти три отказа говорят мне больше, чем общий объём. В журнале кабинета 650 изменений за 7 дней, в основном это настройки ставок по отдельным ключевым фразам. А отказы показывают, что ответственный читает каждый план.

Почему этот шаг остаётся за человеком? Любое изменение в рекламном кабинете влияет на деньги. Агент быстро готовит правки, но цену ошибки оплачивает бизнес. Поэтому решение принимает тот, кто отвечает за бюджет.

На прошлой неделе мы стали вести наш новостной канал по той же схеме. Агент пишет черновик поста. Пост выходит только после того, как я утвержу именно тот текст, который будет опубликован. Пока вышло два поста.

Что из этого стоит перенять:

1. Выпишите каждое действие, которое ИИ-сотрудник не сможет отменить: траты, отправка, публикация, удаление. Закрепите за каждым конкретного человека.
2. Пусть это контролирует сам инструмент. Инструкция в документе остаётся просто пожеланием. Настройте инструмент так, чтобы действие не выполнялось, пока этот человек его не одобрит.

В августе мы проверили три задачи, которые кочевали из одного месячного плана в другой со статусом «заблокировано, ждём ответа». Ни одна не была заблокирована. Одна задача 73 дня ждала ссылку, которая уже работала. Другая 38 дней ждала ответа на вопрос, на который в наших собственных заметках уже был ответ.

У каждой задачи был ответственный. Именно из-за пометки «заблокировано» никто туда даже не заглядывал. Теперь любую блокировку старше двух недель мы перепроверяем, прежде чем строить вокруг неё планы.

1. Кто конкретно отвечает за каждое необратимое действие ИИ-сотрудника? Если в ответе звучит «команда» или «поставщик», значит, не отвечает никто.
2. Когда этот человек в последний раз читал результат работы ИИ-сотрудника, а не просто проверял, что тот запустился?
3. Если завтра ИИ-сотрудник перестанет работать, кто заметит первым: ваш ответственный или ваш клиент?

«Иллюзия надзора» (The Oversight Fallacy, Data & Society, июль). Авторы изучали работу одной лаборатории вычислительной биологии, где использовали агентов для написания кода. Самир Пасси и Ранджит Сингх пишут: «Нынешние подходы часто делают пользователя механизмом безопасности в агентных системах, но не дают ему ни полномочий, ни ресурсов для реального контроля над агентами». Их совет всем, кто внедряет агентов: «Поручайте надзор только вместе со временем, подготовкой, полномочиями и профильным опытом, без которых вмешательство теряет смысл». (отчёт)

Мой вывод: вашей компании не нужна отдельная программа контроля. Выберите по одному человеку на каждое действие, которое ИИ-сотрудник не может отменить. Убедитесь, что у него есть право нажать на стоп-кран и час в неделю, чтобы прочитать, что ИИ-сотрудник сделал. Без этого у вас не ответственный, а козёл отпущения.

Почему одного агента мало (Anthropic, 12 октября). На конференции AI Engineer в Нью-Йорке Anthropic показала динамические рабочие процессы: ведущий агент делит длинную задачу между множеством агентов. В блоге компании объясняют причину: на длинной составной задаче один агент Claude «объявляет работу выполненной, сделав лишь часть». В Anthropic это называют агентной ленью. В собственном тесте Anthropic, как его описывает The Decoder, один агент за прогон находил от 14 до 27 из 70 скрытых ошибок, а связка агентов — 66. Правда, такие связки сжигают «много токенов». (The Decoder)

Мой вывод: вам не нужна армия агентов. Относитесь к «готово» от ИИ-сотрудника как к заявлению, которое надо проверить. Даже связка агентов упускала 4 ошибки из 70 в каждом прогоне. Поэтому результат по исходной задаче должен проверять кто-то, кроме того, кто делал работу.