«Нейросеть отлично маскиру­ется»: как я ловлю студентов, которые пишут эссе с помощью ChatGPT

Я работаю ассистентом в университете и все чаще сталкиваюсь с рассуждениями о роли ChatGPT в учебном процессе.

Расскажу, как я поступил в учебное заведение, как начал проверять студенческие эссе и какие выделил признаки, по которым можно распознать тексты, сгенерированные нейросетью.

После событий 2022 года я покинул Россию. В тот момент я учился в магистратуре МГУ на специальности «востоковедение» — взял академический отпуск и так из него не вышел. Я переехал в Сербию и начал искать университеты, в которых смог бы продолжить заниматься своей специальностью.

Я изучаю историю Юго-Восточной Азии, а конкретнее — региона, который раньше назывался Французским Индокитаем, в него входили три страны: Камбоджа, Лаос и Вьетнам. Университетов с такой узкой специализацией не так много. Я отправил письма в несколько учебных заведений — преподаватель канадского Университета Виктории ответил, что хотел бы со мной сотрудничать.

В 2023 году я собрал все документы, сдал тест по английскому языку TOEFL, поступил в университет и получил стипендию на обучение. Сейчас учусь на магистерской программе, она завершится в этом году.

Сразу после поступления я стал ассистентом преподавателя. Это еще одна мера поддержки студентов кроме стипендии. В моем университете каждый семестр можно занимать две такие позиции. Оплата не очень высокая, но и количество рабочих часов небольшое — 60—70 за семестр, который длится три месяца. Получается, в среднем я работаю несколько часов в неделю.

Мои обязанности зависят от преподавателя. Некоторые требуют лишь технической поддержки: помочь с настройкой программ, модерировать дискуссии или загрузить материалы на университетскую онлайн-платформу. Другие поручают более сложные задачи, например проверку эссе и сочинений. Для этого приходится глубоко погружаться в материал.

Некоторые преподаватели возлагают на ассистентов еще больше дел: кроме технических и проверочных обязанностей необходимо также вести семинары. Я проводил занятия и проверял домашние работы студентов, в том числе эссе. Нередко мне присылали тексты, сгенерированные ChatGPT.

У меня есть несколько методов, которые помогают понять, какое эссе сгенерировано чат-ботом. Сразу замечу, что на 100% это невозможно определить, если студент сам не сознается. Даже самые продвинутые ИИ-детекторы вроде GPTZero не гарантируют идеальный результат, поэтому их можно использовать только как вспомогательное средство.

ChatGPT — умная модель, обученная на огромном количестве данных. Если правильно сформулировать запрос, она способна отлично маскироваться под человека. Полностью опираться на детекторы нельзя — на помощь приходят некоторые методы, выработанные опытом.

Анализ стиля повествования и грамотности текста. Обычно эссе, написанные с помощью ChatGPT, отличаются максимально скучным, формалистским и предсказуемым стилем. То есть читаешь и будто души в этом не видишь — настолько все расчетливо. Для меня это первый звоночек.

Второй — идеальная грамотность: все запятые, тире и дефисы расставлены без ошибок. Эссе безупречно буквально до мелочей, хотя студенты редко пишут без единой помарочки. Тем более что речь идет не про огромную научную работу, которую вычитывают десятки раз, а про небольшой текст.

Ну а если такое эссе сдают еще и после дедлайна, возникает логичный вопрос, почему прилежный ученик теряет баллы за опоздание.

Сравнение эссе с результатами ученика в классе и его предыдущими работами. Я работаю со студентами, знаю их и помню, как они показывают себя на парах, — у меня есть примерное представление об их способностях. Если человек пишет идеальное эссе, которое можно оценить на максимальный балл из-за сложного языка и глубоких мыслей, а в классе ничего не демонстрирует, такой контраст вызывает вопросы.

К тому же всегда можно сравнить новое эссе с предыдущими письменными работами, потому что обычно студенты сдают три-четыре текста за семестр. Достаточно сопоставить сложность языка, обороты и термины, чтобы понять, действительно ли их написал один человек.

Поиск особенностей, присущих сгенерированным текстам. Я заметил, что у ChatGPT есть характерные особенности, которые выдают текст чат-бота. Например, использование вертикального апострофа вместо стандартного, похожего на запятую.

Еще один примечательный момент — оборот с двойными тире. Так пишут многие ученые — это распространенный в академической среде стиль, но подозрительно видеть его в эссе первокурсника.

Встречаются и другие странности. Например, в одной работе я заметил два абсолютно одинаковых предложения, которые шли друг за другом. Такое ощущение, что фрагмент случайно скопировали дважды и просто не заметили. Думаю, если бы студент писал эссе сам, подобной ошибки бы не возникло.

В конце концов, всегда можно вбить в ChatGPT тему эссе и сравнить с работой студента: бывает, результаты очень похожи структурой, лексикой и аргументами.

Личный разговор. По совокупности всех характеристик — использования ИИ-детектора и сопоставления остальных письменных работ студента — я отмечаю подозрительные эссе. После этого советуюсь с профессором, который выбирает студентов для личной беседы.

Единственный вариант узнать правду — поговорить со студентом и, грубо говоря, расколоть его. Сделать так, чтобы он во всем признался. Студенты ведь понимают, что в университете использование ChatGPT запрещено и считается серьезным нарушением, за которое могут даже отчислить.

Беседу со студентами я начинаю прямо и говорю: «Мне кажется, вы использовали ИИ, давайте обсудим». Задаю простые вопросы о работе или прошу дать краткое содержание. Представьте, человек написал идеальное эссе с крутыми аргументами, а потом не может его пересказать. Речь даже не о деталях — он не может передать основную идею. Это уже странно.

Иногда я могу придраться к конкретным предложениям. Во многих эссе используется неразговорная, академическая лексика. Достаточно спросить, что означает конкретное слово. Чаще всего я разговариваю со студентами, для которых английский — не родной язык, при этом их эссе написаны чуть ли не по-шекспировски. У одной студентки я спросил, что означает слово aporias в тексте. Сам я не знал значения — девушка тоже не смогла ответить.

Если студент не может ответить на простые вопросы, я сообщаю, что мы можем начать формальную проверку использования ChatGPT на уровне кафедры. Чаще всего в этот момент ребята сознаются — как-то один ученик даже заплакал. Все просят оставить ситуацию между нами и не доводить до руководства университета.

Я в ответ пытаюсь объяснить, что своя посредственная работа лучше, чем идеальная, но сгенерированная нейросетями.

Мы с профессором не сдаем таких студентов, но и не оставляем без наказания. У читеров сокращают балл за эссе — до 5 из 15 возможных. Это сильно сказывается на общей оценке за курс.

Повторюсь, не существует единственного признака для выявления нейросетей. Определение сгенерированных текстов превращается в настоящее искусство. Уверен, многим студентам удалось меня обмануть. Но мне это даже нравится — в каком-то смысле процесс напоминает фильм «Поймай меня, если сможешь».

Забавно, но почти все профессора тоже используют ChatGPT, ведь у чат-бота огромные возможности. Но некоторые преподаватели, особенно старшего поколения, категорически отказываются от таких технологий и запрещают их студентам.

На мой взгляд, проблема не в самой технологии, а в честности студентов. В некоторых учебных программах прямо указано, что использование нейросетей разрешено. А отдельные курсы и вовсе посвящены работе с ChatGPT. Проблема возникает, когда студенты нарушают правила.

Абсолютное большинство учащихся так или иначе использовали или продолжают использовать ChatGPT. Моя задача — не запретить ИИ, а не допустить, чтобы студенты полностью заменяли им собственное мышление. Пускай они используют чат-бота для поиска информации или перефразирования отдельных предложений. Но я категорически против того, чтобы за несколько секунд вбить тему в чат-бота и необдуманно взять сгенерированный текст.

Когда я написал тред в X о том, чем занимаюсь в университете, в реплаях многие писали, что я без причины наезжаю на студентов и занимаюсь неолуддизмом  . Вообще, это резонный вопрос, стоит ли бороться с искусственным интеллектом в образовании. Университеты ведь готовят людей к конкурентному рынку труда, а использование ИИ и промпт-инжиниринг — важные навыки сегодня.

Я считаю, что университет — это не только хард-скиллы, то есть конкретные навыки и знания, которые непосредственно будут использованы в работе. Учебная среда стремится дать разностороннее образование, в том числе и софт-скиллы, прокачать критическое мышление, научить коммуникации с другими людьми. Копирование из ChatGPT не даст этого. Работодатели ценят честность и ответственность — а как можно подготовить специалиста, который врет о своей квалификации и выдает чужую работу за свою?

Я лишь выступаю за баланс. ИИ — уже важная часть нашей жизни, поэтому нельзя запрещать технологии и бороться с прогрессом. Но и не стоит разрешать использовать нейросети везде.

Нужно какое-то разделение. Вот тебе задания на хард-скиллы, где ты можешь использовать что угодно. А вот — на критическое и креативное мышление, где ты должен показать себя и свои качественные навыки без вспомогательных материалов.

Искусственный интеллект — это круто. Здорово, что технология так быстро развивается. Я сам использую нейросети в работе: они помогают мне структурировать мысли, искать информацию, переводить, перефразировать не самые удачные предложения в академический английский. Но если ИИ запрещен в конкретном задании, я его не применяю.

Для меня ChatGPT — не конечная цель и генератор ответов, а лишь инструмент, который помогает развиваться и добиваться лучшего результата.