Шесть недель мы отправляли холодные письма с ошибками: как я это нашел и что изменил

В августе мы запустили автоматическую холодную рассылку для агентства. Работала она так: программа собирает компании из справочника, ищет адрес, изучает сайт, ИИ пишет письмо с учётом того, что нашлось, и письмо уходит. За шесть недель, с 10 августа по 18 сентября, отправилось 280 писем, вернулось 20, ответил один человек. Я спрашивал себя, почему другим холодная рассылка приносит клиентов, а нам нет. Ответ нашёлся, когда я сел и прочитал, что именно мы отправляли.

Если открыть список отправленных и пройти по нему глазами, закономерность видна сразу. 129 писем из 280 ушло на общие адреса вида info@ и sale@, где письмо читает секретарь или никто. 73 письма ушло на бесплатные почтовые ящики. Именных контактов в нашей базе нашлось 4 из 6 846, то есть почти всё, что мы отправляли, писалось «никому». Получатели оказались мелкими: у 197 из 280 компаний в справочнике было не больше 10 отзывов, а у 241 стоял рейтинг 5,0, потому что список был отсортирован по рейтингу, и наверх всплывала мелочь. Крупным компаниям мы почти не писали. Из 1 196 писем, отправленных к 2 октября, 1 195 ушло малому бизнесу.

Эту часть мне неприятнее всего вспоминать. Письмо начиналось с наблюдения о сайте адресата, чтобы выглядело, будто мы им занимались. Наблюдения собирала программа, и многие были ложными. Письма сообщали, что на сайте нет HTTPS, хотя он был: программа проверяла не сайт, а строку адреса в справочнике. Письма сообщали, что компании нет в Яндекс.Директе или в топе выдачи. Программа искала это в поиске Яндекса с нашего сервера, получала в ответ капчу и принимала её за пустую выдачу. Письма говорили, что на сайте нет формы заявки и нет аналитики, хотя форма и счётчики подключались скриптами, которые программа не видела. Для получателя это выглядело как грубая ошибка человека, который якобы изучал его сайт, и, мне кажется, именно поэтому нам не отвечали.

Повторные письма оказались ещё хуже. В них нашлись обещания, которых никто не давал: «в сентябре график забронирован», «+200-300 заказов в год». Таких писем успело уйти 46. Этот шаблон возвращали в расписание, не перечитав текст, и такие вещи должен проверять человек.

Параллельно нашлись технические дефекты, которые тоже работали против нас. Письма на домены с кириллицей уходили в сломанном виде, и почтовый сервер их отклонял с ошибкой, поэтому адресат даже не узнавал, что мы писали. Минимум в 204 письмах в тексте остались служебные строки разметки вместо нормальной темы, а у письма была одна и та же обезличенная тема «Вопрос по вашему маркетингу». Пиксель, который должен был показывать открытия писем, смотрел на старый сервер, оставшийся после переезда, и с конца августа мы вообще не видели, открывает ли их кто-то. А 5 октября выяснилось, что заголовок отправителя с русским именем кодировался вместе с адресом, и строгие почтовые серверы отклоняли такие письма: из 15 писем, отправленных за один час, вернулось 5.

Я убрал из писем всё, что нельзя проверить. Теперь письмо задаёт один вопрос, откуда у компании заявки и сколько стоит одна, и ничего не утверждает о чужом сайте, если наблюдение не подтверждено обычной программой, а не языковой моделью. Повторное письмо стало фиксированным коротким шаблоном без выдумок и обещаний. Для 75 крупных компаний с известной выручкой мы запустили отдельный пилот: пять писем с фиксированными текстами, 15 писем в день, и система ловит ответ с любого адреса на домене компании, потому что «передал маркетологу» приходит не с того ящика, на который мы писали. Каждый день формируется список из 10 компаний для звонка, чтобы письмо не оставалось единственным касанием. В день аудита я потребовал поднять лимит рассылки с 40 до 100 писем в день, потому что 40 казалось мало, и первой реакцией стало отправлять больше, а не писать лучше. Лимит поднимали на ещё не исправленных письмах, и это тоже моё решение.

Первое: отправлено и доставлено разные вещи, а ответ на письмо отдельная третья. У нас была статистика отправок и не было статистики доставки и открытий, и мы честно считали отправленные письма результатом.

Второе: ИИ хорошо пишет и плохо проверяет. Я передал ему задачу, где половина работы состояла из проверки фактов, и получил текст, в котором факты были выдуманы, потому что их неоткуда было взять. Проверка чужого сайта должна быть обычным кодом, а модель должна писать текст по тем фактам, которые код подтвердил.

Третье: читать собственные письма я должен был в первую неделю, а не на шестую. Выборочно, по десять штук, глазами. Это занимает полчаса.

Помогут ли эти исправления, я не знаю. К 2 октября мы отправили 1 196 писем и получили 2 ответа, а пилот по крупным компаниям работает только несколько дней, и оценку можно будет делать через две недели. Если ответов станет больше 3-5%, я буду масштабировать, если нет, придётся менять само предложение, а не только письмо. Прошу не считать этот текст историей успеха. Это отчёт о том, как мы шесть недель делали одно и то же с ошибками, которых не замечали, потому что не читали собственные письма.