Надежность ИИ-сотрудника целиком зависит от тех знаний, которые вы в него вложили

В разговоре об ИИ-сотрудниках меня часто спрашивают, на какой модели работает ИИ-сотрудник. Однако это не так важно, важнее, что он знает. В любых вопросах, касающихся вашего бизнеса, его потолок — это то, какие знания вы в него вложили. Люди способны самостоятельно заполнять пробелы в информации, но не машины. База знаний, с которой может работать агент, оценивает достоверность каждого факта, указывает дату каждого источника и умеет отвечать «я не знаю».

В большинстве небольших компаний база знаний — это общий диск с кучей файлов или вики. Человек, читая её, восполняет пробелы по памяти: он знает, какая страница устарела и у кого можно уточнить детали.

У ИИ-сотрудника нет возможности спросить. Он действует строго на основе того, что написано в его обвязке, и с одинаковой уверенностью: проверяли ли её на прошлой неделе или написали в 2019 году. Данные, полученные им при обучении, ничуть не лучше: это открытый интернет без указания источников и дат.

С сентября наши собственные агенты, отвечающие за маркетинг, работают на базе знаний, созданной специально для читателя, которому не у кого переспросить: один файл на один факт, и у каждого указаны источники и оценка достоверности.

На начало октября база включает 138 записей с оценкой достоверности по шести направлениям: от поиска и рекламы до наших внутренних правил управления. Восемь из них оценены как миф: мы сначала их внесли, но потом провели проверку, и они оказались ложными.

Чтобы утверждение о поисковой системе получило статус «подтверждено», нужна официальная документация самого поисковика. Чтобы признать утверждение ложным, подходит и публичное заявление представителя поисковика, сделанное под его именем. Блог практикующего специалиста сам по себе ничего не доказывает: если есть источник с противоположным мнением, максимум, на что он может рассчитывать, — это статус «оспаривается».

Около 70% наших ссылок на источники — официальная документация, следующая по величине группа — наши собственные эксперименты. У каждого источника указана дата, когда его действительно открыли. Источник, восстановленный по памяти или взятый из пересказа нейросети, даты прочтения не имеет, поэтому не засчитывается.

Если вы когда-либо платили за SEO-отчёт, вы, вероятно, видели рекомендацию: добавьте «LSI-ключевые слова» — связанные слова, которые якобы помогают странице ранжироваться. Передайте этот совет автору, человеку или ИИ, и эти слова начнут вставляться повсюду. И вы платите за страницы, написанные ради квоты терминов, а не ради ответов на вопросы ваших покупателей.

Наша запись в базе знаний опирается на два публичных заявления Джона Мюллера, Search Advocate в Google, опубликованных в X. В 2019 году: «Такого понятия, как LSI-ключевые слова, не существует, и любой, кто утверждает обратное, заблуждается, извините».

В 2023 году на вопрос, где они работают лучше, в заголовках или в основном тексте, он ответил: «И там, и там они ничего не дают». Мы прочитали оба источника 11 сентября.

Запись не ограничивается словом «ложно». Однако, безусловно, полезно составить список связанных тем, которые ожидает увидеть читатель, чтобы страница была полной. Мы выделили это в отдельную запись со статусом «подтверждено»: руководство Google по созданию полезного контента спрашивает владельцев сайтов: «Предоставляет ли контент существенное, полное или всестороннее описание темы?»

Поэтому агент, который ищет этот термин, видит и миф, и ссылку на практику, которую стоит сохранить. Связанные термины сами по себе ничего не дают для ранжирования; руководство Google ждёт именно раскрытия того, что нужно читателю.

Однако запись о мифе верна только для Google: мы не нашли заявлений в ту или иную сторону от Яндекса, главной поисковой системы в России. Эта оговорка об области действия — такая же часть записи, как и оценка достоверности.

Этот формат применим и к вашей команде: что правда, откуда вы это знаете и когда это последний раз проверяли. Правилу скидок, которое хранится в памяти одного человека, нужны все три.

Когда поиск по базе знаний ничего не находит, он так и сообщает: информация не найдена. В инструкциях каждого агента, который пишет или проверяет наши статьи, прописано, что это значит для утверждения о поисковой системе или рекламной платформе.

Тогда утверждение считается непроверенным. Его нужно либо сверить с источником и передать агенту, который отвечает за эту область, либо исключить. «Информации нет» никогда не означает «ок, скорее всего, в порядке».

Мы неслучайно ищем первоисточник. Недавно в новостях саммаризатор нейросети выдал нам вполне реальную цифру о крупной компании, но привязал её не к тому продукту и не к тому периоду. Выборочная проверка нашла бы это число в сети и «подтвердила» бы его.

С тех пор любое обобщение, сделанное нейросетью, считается неподтверждённой информацией, пока каждая цифра не пройдёт проверку по первоисточнику.

Наш собственный ответ «информации нет» иногда ошибается. Поиск сопоставляет запрос как единую неразрывную фразу, поэтому добавление даже правильного слова может превратить попадание в промах.

Запрос «body text» находит запись об одном из наших внутренних инструментов; но стоит добавить название инструмента, и поиск ничего не находит.

Пока это не исправлено, мы повторяем поиск с более короткой фразой, прежде чем поверить в отсутствие записи. «Информации нет» для нас означает «надо проверить», а не «этого не существует».

Независимо от того, создаёте ли вы ИИ-сотрудника самостоятельно или хотите купить:

1. Что он говорит, когда чего-то не знает? Попросите показать систему в действии или проверьте её сами, задав вопрос, на который у неё нет источника. Сотрудник, который всегда находит ответ, не сможет предупредить вас о том, что он просто гадает.
2. Может ли он показать, откуда взят факт, на основе которого он действует, и когда этот факт последний раз проверяли?
3. Если факт меняется (цена, политика, правила платформы), кто вносит изменения и как об этом узнаёт ИИ-сотрудник? Фраза «модель сама с этим разберётся» — не ответ.

В феврале 2025 года аналитики Gartner спрогнозировали, что «до конца 2026 года организации откажутся от 60% ИИ-проектов, не обеспеченных данными, готовыми для ИИ». Этот прогноз касается именно проектов без данных, готовых для ИИ, а не всех ИИ-проектов, и его срок истекает в этом году. Их диагноз совпадает с главным тезисом этого выпуска: «в традиционном управлении данными способы использования данных плохо документированы».

Мой вердикт для СМБ: аудитория Gartner — это в основном крупные корпорации с отделами аналитики, а у вас нет огромных массивов данных (data lakes), которые нужно приводить в порядок перед внедрением ИИ-агентов. Данные небольшой компании значительно проще подготовить для внедрения ИИ, их необходимо систематизировать с указанием источника и даты, это могут сделать несколько ваших ключевых специалистов.

Где на самом деле сегодня хранятся знания, на которых держится работа вашей команды: в вики, на общем диске или в голове у одного человека? Ответьте мне или напишите в личные сообщения.