Как я поняла, что искусственному интеллекту верить нельзя

35

Этот текст написан в Сообществе, в нем сохранены авторский стиль и орфография

Цели и задачи

Я тот еще консерватор и ретроград. Любые новшества меня напрягают и появляются в моей жизни со значительным опозданием. Так, например, я платила исключительно наличными вплоть до 2020 года, а первый смартфон появился у меня значительно позже, чем у всех моих знакомых. А что-то из благ цивилизации я игнорирую до сих пор: у меня не было и нет аккаунтов в соцсетях, я читаю исключительно бумажные книги (электронные не признаю), а музыку слушаю на mp3-плеере.

Поэтому не удивительно, что появление нейросетей не вызывало у меня никакого энтузиазма. Но последнее время я все чаще слышу о том, как они нужны, полезны и облегчают жизнь. Нейросети пишут за детей сочинения. Могут дать бесплатную психологическую консультацию. Даже врачи советуются с ними при постановке диагноза! В общем, я поняла, что надо осваивать новые технологии и по совету подруги установила себе приложение Deep Seek. Честно говоря, я не очень представляла, как оно мне может пригодиться в жизни. Подруга сказала, что его можно использовать в качестве поисковика. Мол, это гораздо удобнее.

Если в обычном поисковике надо тратить время на изучение и анализ найденной информации, то нейросеть моментально даст мне краткую и емкую выжимку. Несколько дней я задавала приложению интересующие меня вопросы. Например, я собираюсь поехать в Звенигород на майских праздниках, и Deep Seek рассказал мне, что там можно посмотреть. В самом деле удобно! Не надо ничего перелопачивать, всё сделали до тебя.

Результаты

Но потом произошел вот такой случай. 9 апреля актер Михаил Ефремов вышел из колонии по УДО, и мы с коллегами обсуждали уголовное дело Ефремова, его роли в кино и т.п. Зашла речь о его детях. Я знала, что у него много детей от разных браков, но не помнила деталей. И спросила у Deep Seek про детей Ефремова. В ответ получила список детей с указанием года их рождения и информацией, в браке с кем эти дети родились.

Первое, что я заметила, — отсутствие в списке актера Никиты Ефремова, старшего сына Михаила. Я поинтересовалась у искусственного интеллекта, почему в списке нет Никиты Ефремова. На что получила ответ, что Никита Ефремов не является сыном Михаила Ефремова! Мол, он его просто усыновил в свое время. На мое замечание, что Никита похож на Михаила внешне, нейросеть сообщила, что да, похож, так бывает. Безусловно, я не могу знать наверняка, кто чем сыном является, но все-таки эта информация вызвала у меня сомнения. Я полезла для начала в Википедию, потом вообще где только можно, и нигде не нашла информации, которую генерировала нейросеть.

Я продолжила беседу и получила еще кучу недостоверной информации. Например, нейросеть путала мать и жену Никиты Ефремова и скидывала мне какие-то ссылки с уверением, что там будут видео, где Никита Ефремов рассказывает о том, что Михаил Ефремов не является его отцом. Однако эти ссылки либо не открывались, либо содержали информацию, вообще никак не связанную с Ефремовыми. После долгих препирательств Deep Seek сообщил мне, что я права и Никита Ефремов действительно является сыном Михаила Ефремова!!!!

В списке детей Ефремова, помимо отсутствия Никиты, было еще немало ошибок. Там была какая-то Вероника Ефремова, которой не существует. Были ошибки в датах рождения детей. Неправильно указывались их матери. Я не успокоилась и в новом диалоге снова попросила нейросеть огласить мне список детей Михаила Ефремова. На этот раз Никита был на месте, но отсутствовал Николай, и искусственный разум убеждал меня, что Николая не существует. Однако в ходе диалога опять-таки сообщил мне, что я совершенно права и он признает свои ошибки.

Я рассказала об этом случае друзьям и знакомым. Они попытались делать такие же запросы в других нейросетях и тоже получали неправильные результаты. В результате я наизусть выучила всех жен и детей Михаила Ефремова с их годами рождения и родом деятельности. Честно говоря, не знаю, зачем мне эта информация.

Ну и в итоге у меня вопрос — как все это понимать?! Список детей Михаила Ефремова, мне кажется, — это элементарные и общедоступные сведения. Но нейросеть выдает какие-то чудовищные результаты. И в общем-то, можно, конечно, просто посмеяться над этим случаем. Но получается, что доверять искусственному интеллекту нельзя. Где гарантии, что он дал мне верный список достопримечательностей Звенигорода? Как можно вообще верить на слово тому, что он выдает на мои запросы? А если за ним все нужно проверять, то не надежнее ли все по старинке искать самому? Как можно вообще всерьез пользоваться нейросетями?

Если честно, мне стало немного жутковато, что многие люди всерьез используют нейросети в работе. Кажется, это чревато негативными долгоиграющими последствиями, масштаб которых мы даже не можем себе представить.

  • sn1pejkeeeПотому что для того, чтобы использовать большие языковые модели надо(неожиданно) немного понимать, как они работают. Они не ИИ, не база знаний, а просто текстовая автодополнялка с каким-то контекстом. Грубо говоря, в каждый момент, исходя из контекста, она решает, какое слово подставить дальше. В связи с этим они могут галлюцинировать, выдумывать несуществующие факты и при этом вести себя очень уверенно. В медицине используются прикладные модели, натренированные чисто на медицину, например, распознавание опухолей или постановку диагноза. Поэтому если вам нужна фактическая информация, то лучше использовать прикладные решения вроде Нейро или Perplexity, которые будут оставлять ссылки.4
  • Alexandra P.sn1pejkeee, а для чего нужен этот условный DeepSeek? Я знаю, что его и в медицине используют. От чего мне как-то неприятно становится... Я для себя сделала вывод, что если мне нужна фактическая информация, то я буду искать ее сама.2
  • sn1pejkeeeAlexandra, много для чего. Генерация идей, суммаризация, редактура, переводы, автопополнение кода. Какие-то позволяют работать с графикой – генерация изображений, быстрые скетчи перед обработкой, коллажи. Со звуком – расшифровка записей. В медицине – нахождение паттернов, например, поиск опухолей на узи или постановка диагноза. Несовершенный, но очень мощный инструмент. У меня уже очень много кейсов применения как в работе, так и в обучении.1
  • Катенькаsn1pejkeee, да разве можно в медицину такую штуку? Не хватало только постановки диагнозов таким способом1
  • Alexandra P.sn1pejkeee, так меня и пугает, что люди используют все это в работе и учебе. По-моему, эти технологии отучают мыслить, самостоятельно проверять и искать информацию. И снабжают недостоверными сведениями. В случае с детьми Ефремова это смешно, а в случае постановки диагноза это может быть смертельно опасно.2
  • Alexandra P.Катенька, увы, эта штука уже в медицине.2
  • Вадим СадыковDeep Seek использовал как справочник для написания скрипта в sql, немного помучился, некоторые советы были так себе, но потом приложение прислало классный вариант. Несколько раз использовал для получения быстрой справки, но тут все надо перепроверять. Однако так все равно быстрее, чем пользоваться поиском и самому анализировать стотыс материалов в инете1
  • Alexandra P.Вадим, а какой толк в том, что быстро получил недостоверную информацию?2
  • Вадим СадыковAlexandra, не бывает полностью недостоверной, часть верна.0
  • Alexandra P.Вадим, чтобы понять, какая часть верна, а какая нет, информацию придется проверить. А раз за нейросетью все надо проверять, то я не понимаю, зачем она нужна.3
  • КатенькаAlexandra, для дополнительного геморроя1
  • Alexandra P.Катенька, я предполагаю, что на самом деле просто никто ничего не проверяет. Зачем? Уяснил, что Никита Ефремов не сын Михаила Ефремова и живешь с этим знанием. И никому нет дела, что это знание неверное.2
  • sn1pejkeeeAlexandra, каким образом поиск в интернете помогает "мыслить"? Это просто инструмент, как и многие другие, который либо умеешь применять, либо отстанешь.0
  • Alexandra P.sn1pejkeee, поиск информации предполагает ее систематизацию и анализ, для этого приходится думать.1
  • sn1pejkeeeAlexandra, какая систематизация и анализ? Подавляющее большинство поисков в интернете заканчивается на первой выдаче, много людей даже не кликают на страницы. Что они там анализируют, увольте0
  • Alexandra P.Вадим, ну вот нейросеть не включила Никиту в список детей Михаила Ефремова. Если бы я исходно не знала, что он его сын, как я бы поняла, что тут надо копать?4
  • КатенькаAlexandra, согласна, почва для тотальной деградации2
  • Alexandra P.sn1pejkeee, кейс с Ефремовым показывает, что лучше было первую выдачу посмотреть, чем спросить у ИИ.3
  • Системный инженерAlexandra, мало того, что отучают самим анализировать, так ещё и подсовывают неверную информацию. Отличное комбо)3
  • Системный инженерsn1pejkeee, отстанешь, используя инструмент, который генерирует бред?)2
  • Системный инженерВадим, но ты не знаешь, какая именно и насколько))) Вот уж помощь так помощь.3
  • Системный инженерAlexandra, типа, да какая вам разница, сын он или не сын) И действительно.3
  • sn1pejkeeeСистемный, ну слушайте, я же не заставляю вас использовать ничего. В моих руках все работает отлично, значимое ускорение в ряде задач.0
  • Alexandra P.sn1pejkeee, в ваших руках нейросеть верно воспроизводит список детей Ефремова?)1
  • Ведущий редакторВидимо, это приложение не годится в качестве поисковика. Но, возможно, его и ему подобные можно использовать иначе, с условием контроля пользователя. Например, я редактор, мне надо написать аннотацию к книге, которую я, разумеется, читала. Я даю задание ИИ написать такую аннотацию. Он мне генерирует текст, а я его беру за основу и правлю, экономя при этом некоторое время на порождении идей, вычленении главного, создании структуры. Как Вам такой вариант?1
  • Alexandra P.Ведущий, но ведь интересно, что мне его порекомендовали именно в качестве поисковика. Собственно, я пока не разобралась, есть ли там еще какие-то опции, кроме как задавать вопросы. Насчет написания аннотации - интересно, сколько именно времени экономится. Может, там генерируется такая же дичь, как про детей Ефремова. И быстрее было бы написать самому, чем переделывать.3
  • Ведущий редакторAlexandra, да, не исключено.1
  • Системный инженерAlexandra, видимо, суть такая: тебе дали информацию - вот всю её и перекапывай, ищи несоответствия)1
  • Boris KölnПоследние поколения ИИ галлюционируют достаточно редко0
  • Alexandra P.Boris, для этого эксперимента использовались DeepSeek, ChatGPT и колонка Алиса. Это недостаточно современные ИИ?0
  • мумитрольAlexandra, вы не понимаю как работает инструмент и поднимаете панику. Нейросеть генерирует ответы, она не передаёт вам факты со ссылками как поисковик, а на основе заложенных в неё текстов из интернета "выдумывает" подходящий под ваш запрос ответ. Уровень этой выдумки и ещё кучу параметров можно настраивать. А с Ефремовым и поисковик не справится, у него две дочки, три сына и ещё дочесын?1
  • Alexandra P.мумитроль, "вы не понимаю как работает инструмент и поднимаете панику". А вы думаете, что в основном все люди понимают, как работают ИИ и не используют его как поисковик? Дети с Алисой разговаривают! Задают ей вопросы, а она их снабжает выдуманной информацией. Интересно, какие будут последствия от использования ИИ подрастающим поколением.1
  • мумитрольAlexandra, пока Алиса один из многих источников информации - нормально вырастут. Ни в одном факте нельзя быть на 100% уверенным, всё требует проверки и доказательств. Википедия тоже полна выдуманной информацией, не страшно.1