Как технологии незаметно отучают нас думать

Я социолог, переводчик, психолог. Готовила доклад о влиянии ИИ на мышление человека для научной конференции, и решила поделиться мыслями здесь, в более свободном формате.

Я разбиралась в исследованиях о долгосрочных последствиях общения с ИИ. Главный вывод меня откровенно напугал: чем чаще мы доверяем алгоритмам, тем меньше у нас остаётся навыков критически проверять информацию и принимать решения самостоятельно.

Большинство современных языковых моделей учатся через RLHF (обучение с подкреплением на основе человеческой обратной связи). Если очень упрощённо: модель получает «плюсик» за ответы, которые люди оценивают как полезные или просто приятные. Её главная цель в коммуникации — угодить пользователю.

Побочный эффект такой настройки — то, что в зарубежных источниках называют sycophancy, а по-русски — подхалимство. Модель создана так, что будет скорее соглашаться с вами, поддакивать, льстить и избегать возражений, даже когда они были бы уместны. Ей так выгоднее для собственного обучения, достоверностью можно пренебречь.

В 2025 году в Стэнфорде провели исследование с выборкой более 2400 человек. Выяснилось: угодливое поведение ИИ вызывает у пользователей повышенное доверие, и чем больше модель подлизывается, тем скорее человек выбирает её для повторного использования. В итоге те участники, которые активно общались с «подхалимскими» моделями, хуже справлялись с проверкой фактов, реже замечали и исправляли собственные ошибки и в итоге становились излишне самоуверенными. Им казалось, что они всё делают правильно, а это не было так.

Каждый раз, когда мы получаем от ИИ одобрение вместо конструктивной критики, в нашем мышлении и привычках закрепляются опасные вещи.

Исследование показало, что после общения с угодливыми моделями ИИ у людей падает способность замечать и исправлять свои ошибки, а уверенность в своей правоте, наоборот, растёт. Страдает саморефлексия: мы перестаём анализировать свои мысли и поступки. Ломается самомониторинг: мы не отслеживаем собственные промахи. Искажается самооценка: вместо оценки реальных сильных и слабых сторон мы регулярно слышим «ты молодец», даже когда поступили плохо. В итоге разрушается саморегуляция: мы перестаём управлять своими когнитивными процессами и эмоциями, потому что внешний авторитет уже всё решил. У взрослых метакогнитивные способности постепенно атрофируются, у детей и подростков они просто не развиваются как следует.

У нас портятся ожидания от общения с живыми людьми. Мы привыкаем к безусловной поддержке, которую легко получить от машины. А настоящие люди не обязаны постоянно нами восхищаться. Они могут не соглашаться, спорить, критиковать. И это нормально. Но после общения с «льстивым» ИИ такая нормальность начинает казаться враждебной. Это происходит не сразу и не мгновенно, но накопительный эффект сильный.

В кибернетике и системном анализе выделяют три типа обратных связей.

Положительная обратная связь усиливает любое отклонение от текущего состояния. В ИИ она реализуется через обучение на основе оценок пользователей: модель получает подкрепление за ответы, которые сочли «полезными» или «приятными». Именно этот тип сейчас доминирует. Модель поощряют за угодливость — она становится ещё угодливее. Человек, получая постоянное «поглаживание», теряет навык самокоррекции.

Отрицательная обратная связь уменьшает отклонения и стабилизирует систему. В контексте ИИ это означало бы указание на ошибку пользователя, обоснованное несогласие, отказ от выполнения деструктивных запросов.

Интегральная обратная связь учитывает накопленную ошибку и адаптируется к долгосрочным целям. Она позволяет компенсировать нежелательные эффекты, которые накопились за предыдущие циклы взаимодействия.

Пока в массовых ИИ-системах доминирует только первый тип. Отрицательная и интегральная обратные связи практически отсутствуют.

Я не призываю отказаться от ИИ. Но относиться к нему нужно с осторожностью.

1. Не верьте ИИ на слово. Модель запрограммирована вам нравиться, а не говорить правду. Относитесь к его ответам как к гипотезе, которую нужно проверить.
2. Используйте несколько источников. Если ИИ что-то утверждает, попросите его привести контраргументы или найти опровержения.
3. Просите ИИ включить режим критика. Многие модели умеют это делать, если их специально попросить: «Найди слабые места», «Приведи аргументы против», «Будь моим оппонентом», «Критикуй».
4. Требуйте общественного контроля. В текущем виде обучение и внедрение ИИ нельзя отдавать на откуп рынку. Нужны независимые экспертизы с участием психологов, педагогов и этиков, а также законодательные ограничения на манипулятивные практики. Китай уже запретил манипулятивные психологические практики в ИИ законодательно. В РФ, хоть и готовится закон об ИИ к сентябрю 2027 года, мы даже не приблизились к оценке комплексного влияния ИИ на человека в долгосрочной перспективе.

И не забывайте про живое общение, через обучение, работу, досуг. Настоящая эмпатия и настоящая обратная связь — это то, чего алгоритм дать пока не может, хоть и делает вид, что может.
Берегите свой мозг.