У ИИ⁠-⁠контента из Claude появятся водяные знаки — как это работает? Можно ли будет отследить использование ней­росети?

Когда говорят о невидимых водяных знаках, многие представляют себе скрытые символы, вшитые в текст: невидимые пробелы, апострофы и так далее. Их легко удалить в любом редакторе за пару секунд. На самом деле речь идет о маркировке на уровне токенов.

Представители Anthropic не рассказывают в подробностях, как будут работать их водяные знаки. Но подобные механизмы уже есть, например Google SynthID. ML-исследователь и технический директор детектора ИИ-текстов GPTZero Алекс Цуй рассказал, как это устроено.

Модель генерирует ответ по одному токену за раз. Перед каждым следующим токеном она берет несколько предыдущих и добавляет к ним секретный ключ — набор символов, который знает только сама компания, например Anthropic. Из этих данных считается хеш. На выходе получается число фиксированной длины, например 8419273.

Это число работает как стартовая точка для генератора случайных чисел. Он проходит по всему словарю модели и делит все токены на два списка: зеленый и красный. Человеку деление кажется хаотичным, но оно задано стартовым числом.

Слова из зеленого списка получают небольшую прибавку к вероятности. Предположим, модель написала фразу «Девушка сидела на» и выбирает, что должно быть дальше. Слово «стул» попало в зеленый список, слово «кровать» — в красный. Поскольку вероятность выбора из зеленого списка выше, нейросеть выбирает «стул». Но когда по контексту больше подойдет красное слово, модель выберет его, а не зеленое, даже если вероятность у того выше.

Дальше все повторяется: текст стал длиннее на один токен, значит, у хеша новое входное число и новая раскладка на красный и зеленый списки. «Кровать», которая была красной, на следующем шаге может оказаться зеленой.

Детектор, у которого есть ключ, проходится по готовому тексту и для каждой позиции восстанавливает ту же раскладку зеленых и красных слов. Дальше он ищет статистический перекос. Например, в тексте 312 зеленых слов из 500 — 62%. Случайно так получиться практически не может, поэтому детектор выдаст вердикт, что текст с высокой вероятностью прошел через нейросеть.

Важно, что текст должен быть достаточно длинным, чтобы его мог проверить детектор. Например, в предложениях «Розы красные, фиалки голубые» или «2 + 2 = 4» вариаций быть не может — вердикт будет неопределенным.

В соцсетях предполагают, что раз нейросеть для маркировки текста пытается уложиться в конкретный статистический паттерн, это может испортить качество генерации.

В 2024 году Google, которая использует SynthID, провела исследование для оценки качества маркированного ИИ-текста. Его проводили на 20 миллионах ответов нейросети. В одной половине был водяной знак, в другой — нет. Оказалось, что пользователи не видят между ними разницы.

Скорее всего, да. В том же исследовании Google выяснила: если прогнать сгенерированный текст через другую ИИ-модель, маркировку различить уже не получится.

В Anthropic признают: если текст переписать или отредактировать вручную, детектор не распознает его как сгенерированный. По словам Алекса Цуя, маркировку легко обойти, если заметно перефразировать текст. Неважно как — вручную или через бесплатные сервисы.

В коде нет такой свободы, как в языке. Название функции нельзя написать иначе. Если попытаться что-то подкрутить, нейросеть может сгенерировать неверный токен и сломать код.

Исследователи из Сеульского университета обнаружили, что существующие способы маркировки на сгенерированном коде не работают именно из-за нехватки вариаций. Они предложили свой метод SWEET, по которому отмечаются только те места, где у модели есть выбор, — в комментариях и названиях переменных.

При этом ученые Шанхайского и Токийских университетов определили: если просто удалить или переписать комментарии к коду, определить его как сгенерированный детекторы уже не смогут.

Какой именно метод будет использовать Anthropic, неизвестно.

По словам представителей Anthropic, проверять наличие водяных знаков смогут и пользователи, и компании. Когда выпустят детектор и кому конкретно он будет доступен, не раскрыли.

Известно, что детектор будет отвечать на вопрос, есть ли маркировка в тексте или файле. При этом:

1. Обнаруженный детектором водяной знак не означает, что текст или код целиком сгенерирован. Его могли написать вручную, а потом прогнать через Claude — например, попросили нейросеть найти ошибки и откорректировать.
2. Если метки нет, это тоже не доказывает, что текст или код написаны без участия ИИ. Материал могли переписать после генерации или смешать с человеческим текстом, а метаданные в файлах — удалить.

Для сравнения — детектор Google SynthID закрыт для обычных пользователей. Алекс Цуй предполагает, что, если Anthropic откроет свой публично, люди быстро найдут стратегии обхода. Достаточно будет протестировать разные варианты против детектора.