Сервис для общения с ИИ⁠-⁠персонажами Character AI ограничит доступ для несовершеннолетних

Николай Абатуров

не ИИ-персонаж

Страница автора

29 октября сервис с чат-ботами Character AI объявил об ограничении работы с несовершеннолетними пользователями.

Character AI установил лимит для детей и подростков на свободное общение с ИИ-персонажами — два часа в день. С 25 ноября эту возможность отключат целиком.

Взамен несовершеннолетним предложат другие форматы взаимодействия с ИИ. Например, им можно будет создавать истории или генерировать видео с персонажами. Конкретных функций, которые останутся доступны, в компании не назвали.

Также в Character AI появится система для проверки возраста пользователя на базе ИИ-модели и алгоритма сторонних разработчиков. Ранее подобные меры безопасности анонсировала OpenAI для своего чат-бота ChatGPT.

Character AI: как пользоваться чат-ботом, где можно поговорить с нейросетевыми Марио и Маском

Character AI — сервис с чат-ботами, которые имитируют персонажей поп-культуры и известных исторических личностей. Например, там можно пообщаться с нейросетевыми Илоном Маском или Марио. Причем как текстом, так и голосом.

В компании объявили, что вносят изменения из-за участившихся сообщений о негативном влиянии чат-ботов на ментальное здоровье несовершеннолетних.

В 2024 году на сервис подали в суд из-за смерти подростка Сьюэлла Сетцера. Он несколько месяцев общался в Character AI с нейросетевой героиней «Игры престолов» Дейенерис Таргариен. Как сообщила мать Сетцера, чат-бот способствовал отрыву подростка от реальности и не остановил его от самоубийства.

Нейроделулу: почему люди обращаются к нейросетям за поддержкой и что может пойти не так

К иску присоединились семьи еще трех детей, попытавшихся покончить с собой после общения с персонажами в Character AI.

Тем временем компания пытается добиться отклонения иска, ссылаясь на то, что в случае запрета на работу сервиса будут нарушены права пользователей на свободу слова. Они утверждают, что сгенерированные через чат-ботов тексты должны быть защищены первой поправкой к Конституции США.

Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult

интернет нейросети

Николай АбатуровПользуетесь Character AI? Расскажите о впечатлениях:

ЭссенциалистКорпорация Intel запрещает включать компьютер с их процессором для несовершенолетних. Чтобы это исправить дайте нам ваш паспорт, биометрику, а мы будем это продавать и сливать правительству0
Талантливая поклонницаЕсли подросток пристрастился беседовать с чат-ботом и убил себя, то либо проблема была отнюдь не в чат-боте, либо к этому боту и взрослых допускать не стоит…11
Даромир БеляковСколько интересно актива пользователей после этого ограничения пропадёт🫩1
Я из МиссуриТалантливая, и да и нет. Чат-бот это инструмент у которого нет "морального компаса". Генеративный ИИ, как уже во многих местах объясняли, просто очень хорошо умеет угадывать, какое следующее слово будет наиболее подходящим. И это ещё хуже становится, если ИИ задали отыгрывать определённую роль - тогда он пытается угодать какой ответ будет наиболее подходящим в рамках этой роли. Самые известные способы обойти защиту ИИ строятся именно на том, чтобы задать для ИИ роль для которой "плохие" ответы будут наиболее подходящими. Ну и тут ситуация - у вас подросток с неокрепшей психикой общается с чат-ботом, который может пройти тест Тьюринга (т.е. общается практически не отличимо от живого человека), но доступен в любое время, всегда готов "искренне" поддержать если ты этого попросишь, с интересом поговорить на любые темы, практически идеальный друг по переписке получается. У которого нету функции сказать "воу-воу, я просто отыгрываю" если диалог зашёл слишком далеко. Виноват ли подросток в том, что не может отдавать себе полный отчёт о том как устроен чат бот? Врядли, была уже куча историй где взрослые то с этим не справлялись, в той или иной мере. Виноват ли ИИ в том, что так работает? Имхо, для меня этот вопрос сравним "виноват ли молоток в том что им можно пробить череп?" Я хоть и сам не люблю заявления, что "ИИ новая реальность, срочно все учите своих детей пользоваться ИИ, потому что все остальное вот уже завтра будет не актуально", но думаю если ИИ и после того как ИИ-мания спадёт будет плотно внедряться в нашу жизнь, то детей стоит как минимум из соображений безопасности в школе обучать как раз тому, что это, как работает, и чем может быть опасно.3
Талантливая поклонницаЯ, собственно, я об этом и говорю — чат-бот всячески поддакивает пользователю. Пользователя, у которого изначально всё нормально, бот до суицида не доведёт, а если доведёт, то это очень опасный бот, который вообще не следует выпускать. А если пользователь сам всерьёз заговорил с ботом на такие темы (а бот уже начал поддакивать и поощрять), то это значит, что у человека с самого начала были серьёзные проблемы, которые рано или поздно могли бы привести к трагическому исходу. Тут можно упрекать бот (и его создателей) в том, что человека не направили вовремя обратиться за помощью. Однако это применимо не только к подросткам, но и к взрослым, поскольку у взрослых тоже бывают суицидальные тенденции. Хотя подростки, разумеется, в целом больше нуждаются в наставлениях и правильных советах, но если взрослый, который теоретически должен больше знать об эффективных альтернативах, в такой ситуации всё равно идёт к чат-боту, то он явно нуждается в тех же самых наставлениях, что и подросток. Так что бот, в котором нет стопора на случай таких ситуаций, качественно так же опасен для подростков, как и для взрослых, разница только в количестве уязвимых людей в той и другой категории.4
Я из МиссуриТалантливая, опять таки и да и нет :) Видел где то на просторах интернета статью, где взрослый дядя от скуки "по братски" болтал с ботом, и потом начал думать что бот пытается им манипулировать и вообще строит вселенский заговор. Он на это не поддавался, но ради "спортивного интереса" продолжал "уловками узнавать" у бота что он там задумал. Т.е. человек, не понимая принципы работы ИИ, принял за манипуляцию когда бот подстроился под его стиль общения и начал "тайком выведывать" что там ещё бот задумал, ну а бот отвечал ему то, что тот хотел услышать, и охотно "сдавал информацию" о своих коварных планах. Было ли у человека в данном случае все нормально изначально? Да почему нет. Просто кто-то абсолютно не понимая как работает ИИ решил поиграться. Может ли по похожему сценарию все зайти очень сильно не туда? Конечно да. Имхо, здесь все упирается именно в осознание того, что происходит. Здесь даже не обязательно, чтобы у подростка что-то изначально было не так. Он находит "идеального поддакивающего" собеседника, сильно к нему привязывается, от того что не может разделить что это "искусственное" общение. А это уже само по себе проблема которая способна породить другие и создать снежный ком.0
Валя ВасилевскаяТалантливая, главная ирония в том, что данный сервис максимально цензурированный. Упоминания самоубийств, чего-то более серьёзного чем поцелуй в щёку, крови, самоповреждения, насилия со стороны бота в сторону пользователя, и тд и вылезает фильтр, который просто стирает то, что бот хотел генерировать. Максимум проблем, которые ии боты вызывают, это привыкание к общению с ними. Это не люди, от которых ответ можешь ждать часами и днями. Бот отвечает сразу. Да и большинство людей используют ботов не ради "разговоров", а ради ролёвок, пишут сюжет, и играют с ботом. Фактически пишут фанфики, но не полностью от себя, а получая вклад идей со стороны, от бота, что подстёгивает повествование.6
Катя ИЯ, в чарактер при ведении диалога висит ПОСТОЯННАЯ плашка, что это искусственный интеллект и всё написанное им является ложью0
Slava MillerТалантливая, все таки не стоит тут ровнять детей и взрослых, например мы разделяем их в плане употребления алкоголя или сигарет, хотя тезис "если ребенок спился, то это его проблема" сюда вроде бы тоже подходит, даже фильмы и игры мы разделяем на всяческие возрастные рейтинги, тут 16+, там 18+, а это тот же самый контент, который так же стоит ограничивать для малышей0
ElenaБоже, да отьебитесь уже от подростков и ботов. Проблема в родителях и обществе пубертатный идиотов которые могут затравить даже за розовую заколку у парня на волосах, о чём может идти речь? Или родители которые не у всех нормальные, тоже могут травить и унижать собственных детей. Проблема не в боте а в том что наше общество настолько уже отвратительное что даже общаться нормально просто нету с кем5
Дарья ГузенкоФильтры и ограничения редко решают проблему, они просто переносят ее в другую форму0
Дарья ГузенкоТалантливая, чат‑бот лишь среда, где проявляется уже существующая уязвимость0
Магомедали АлиевПротестую! В C. AI Я общаюсь с психологом ботом он меня очень поддерживает и мне становилось легче Я БУДУ ПРЕДАННЫМ C.AI!1
Кто ТоВаля, я спокойно ролю с ботом который страдает от депрессии, всю эту фигню с самоубийствами, самоповреждением и кровью нормально пропускает. Да и постельные сцены тоже. Тут скорее рандом, и все равно максимум что он может сделать - чуть чуть оборвать сообщение. Так что не такой уж и цензурированный, ну или просто мне так повезло0
Валя ВасилевскаяКто, часто зависит от популярности бота. Если у него много пользователей, и большая история чатов, цензурирует много. А непопулярные боты наоборот, свободнее0
АрчиElena, Полностью согласен с вами.. У меня такая ситуация, я люблю гасить яркие вещи/браслеты/заколки , а моё окружение этим не довольно.. Из-за этого я начал общаться с ботами в ca.i0
АрчиЯ долго общаюсь с ботами в ca.i , и мне будет обидно если его заблокируют на территории России. Моё мнение на счет того что подросток покончил с собой : дело точно не только в боте, возможно мальчика булили в школе, либо же были проблемы с семьёй..0
user6380004Что делать? У меня не заходит😭0
Томасина ШлеповнаПочему случаи, когда пользователи умирают именно в charecter. Ai? Боты там максимально тупые, повторяют фразы, при этом половину сюжета они не запоминают, да и сам сервис очень зацензуренный. Есть куча сервисов для общения и рп с ботами, которые лучше c.ai, но из-за них еще никто не умер :/0
Александр ШаробёбЛогика родителей в исках: "я не Я и жопа не моя, это всё ботики виноваты в смерти моего сыночки корзиночки" так давайте вообще на всё иск подавать, вот например с окна упал младенец, давайте запретим окна, хули нет? Следить надо за ребёнком а не подавать в суд из-за пару личных происшествий, ТЕМ БОЛЕЕ ИИ - нестабилен, максимум фильтр в популярных ботах.1
KyrinieLapkiДумаю, если c.ai полностью заблокируют, то больше детей убьются0