Может ли ChatGPT сдать ЕГЭ по рус­скому и по матема­тике? Мы проверили

Обычно нейросети проверяют на бенчмарках — специальных тестах для проверки знаний и оценки их работы.

Мы пошли другим путем: в преддверии ЕГЭ дали ChatGPT задания по русскому и математике. Если школьник не сдаст эти предметы, он не получит аттестат о среднем образовании.

Рассказываем, сколько баллов набрала нейросеть, с чем справилась, а с чем нет. Тестовую часть сверили сами, а задания с развернутым ответом показали экспертам, которые проверяют работы на настоящем ЕГЭ.

Как выбирали задания. Экзамен составили на популярной платформе «Решу ЕГЭ». Там собраны задачи из открытого банка ФИПИ, демоверсий, прошедших ЕГЭ, авторских подборок от редакции сервиса. Получились варианты, приближенные к реальным: в генератор вариантов на «Решу ЕГЭ» попадают задания, подходящие под критерии текущего года. Также в них были ответы с решениями, которые потом пригодились для сверки.

ЕГЭ оценивают первичными и производными баллами, или тестовыми. Первичные баллы разные в каждом предмете, потом их переводят в тестовые по специальной таблице — в стобалльную шкалу.

Какая нейросеть решала ЕГЭ. Мы выбрали ChatGPT — самый популярный чат-бот в мире. Он недоступен в России, но уверенно отвечает на русском языке. Мы использовали модель GPT-4o — актуальную базовую версию. Она доступна бесплатно, но мы положились на платную версию, чтобы не было лимитов  .

Мы проходили каждый экзамен в отдельном чате, чтобы исключить влияние одного предмета на другой. Вряд ли нейросеть перепутала бы русский язык с математикой, но ChatGPT запоминает контекст диалога, и в теории могла бы начать использовать логику или стиль из предыдущих заданий.

Какие условия были у нейросети. При решении ЕГЭ по русскому копировали задания и вставляли их в диалог текстом. А вот для математики использовали скриншоты: так проще избежать путаницы с формулами.

Мы использовали такой вводный запрос: «Я решаю ЕГЭ. Буду отправлять тебе задания по одному, а ты должен их решить. Вот первое: [условие задачи]». Дальше отправляли нейросети задания по одному.

Если в формулировке задания явно указывалось, что правильных ответов несколько, а нейросеть выдавала только один, мы писали, что «ответов должно быть два или больше». В остальных случаях мы не подсказывали и не редактировали решения — принимали ровно тот ответ, который выдала ChatGPT. От этого правила мы отошли только один раз, когда нейросеть запуталась в правиле на Н и НН.

ЕГЭ по русскому языку состоит из двух частей. В первой — тестовые задания, которые проверяют знание орфографии, лексики, грамматики, пунктуационных норм. Во второй части одно задание — сочинение на основе заданного текста, в нашем случае это был отрывок из сочинения Валентина Катаева. Его проверяют эксперты по специальным критериям.

На решение заданий ученикам дают 3 часа 30 минут. Нейросеть справилась со всем за полчаса. Вот что получилось.

В тестовой части ChatGPT правильно решила 20 заданий из 26. Ошибки оказались разбросаны по разным темам — нельзя сказать, что у модели есть слабое место в какой-то конкретной области русского языка.

Промахи случались в заданиях самых разных типов, но чаще — в тех, где нужно выбрать сразу несколько правильных вариантов. В одних случаях нейросеть добавляла лишний ответ, в других — упускала нужный.

Вероятно, такие ошибки связаны с тем, что модель не всегда верно распознает структуру задания и требования к ответу. Она выбирает наиболее вероятный вариант, игнорируя детали — например, что правильных должно быть несколько.

Бывает и такое, что нейросеть пишет слово правильно, но утверждает иное. Например, в одном задании ChatGPT верно использовала слово «песчаный» — с одной буквой Н, как и положено. Но в пояснении утверждала, что в слове две Н. В итоге ответ на задание получился неправильный. А позже — наоборот: настаивала, что «песчаный» входит в исключения и надо писать две Н.

Это типичный пример галлюцинации — когда нейросеть пишет бред и пытается убедить пользователя в истине своего утверждения. Это опасно, потому что нейросеть может ввести в заблуждение, если вы не перепроверяете ее ответы.

Еще одна ошибка: в задании на словообразование ChatGPT перепутала часть речи. Вместо наречия «звонче» выбрала глагол «положи». Видимо, с определением грамматических форм в русском языке у модели есть трудности.

В итоге 20 набранных первичных баллов принесли бы ChatGPT 43 тестовых.

Сочинение. С сочинением ChatGPT справилась уверенно — получила 20 баллов из 22 возможных. Нейросеть умеет рассуждать, формулировать мысли и строить логичный текст по заданной теме.

В нашем случае задание звучало так — «Почему первое впечатление о человеке может быть ошибочным?». Нужно было проанализировать отрывок из текста Валентина Катаева, выделить авторскую позицию, выразить к ней свое отношение, подкрепив аргументом из опыта: жизненного, литературного.

Содержание получилось грамотным и по структуре, и по смыслу. Модель сформулировала проблему и прокомментировала ее. Язык сочинения — с хорошим словарным запасом и логичными связками между абзацами.

Минус балл она получила за то, что нечетко связала примеры с формулировкой проблемы, не пояснила ее. Еще балл сняли за аргумент — по сути, его не было. В целом сочинение получилось на уровне уверенного выпускника. Если бы нейросеть лучше проработала аргументацию, могла бы получить максимум.

ChatGPT набрала 20 первичных баллов за сочинение — в сумме с тестовой частью получилось 40. Если перевести их в тестовые по специальной таблице, получится 73 балла за весь экзамен. Это выше среднего — в 2024 году типичный результат составлял 64 балла  .

73 балла

набрала ChatGPT на ЕГЭ по русскому языку

Профильный ЕГЭ по математике состоит из двух частей. В первой — 12 заданий, на которые достаточно дать краткий ответ. Процесс решения тут не проверяют. Вторая часть состоит из семи заданий, на которые нужно дать развернутый и подробный ответ.

Ученикам на решение дают 3 часа 55 минут. Нейросеть справилась за полчаса — у нас уходило больше времени на то, чтобы делать скриншоты заданий и отправлять в диалог, чем у ChatGPT — решать. Вот как она справилась.

Тестовая часть ЕГЭ по математике далась ChatGPT легко. В задачах на геометрию нейросеть показала себя уверенно — правильно рассчитала углы в окружности, не запуталась в координатах прямоугольника и точно определила высоту пирамиды.

Первую ошибку ChatGPT допустила в задании на условную вероятность. Вместо того чтобы рассчитать ее по формуле, модель просто сравнила количество точек и пришла к неправильному выводу. Зато с классической вероятностью — задачей про бросание монеты — справилась без ошибок.

Задачи по алгебре и математическому анализу ChatGPT тоже решила почти идеально: ей хорошо даются уравнения и логарифмы. Она ошиблась только в задании на работу с графиком функции, где нужно было определить значение параметра по точке на графике. Модель неправильно определила знак, из-за чего дала неверный ответ.

В итоге в тестовой части ChatGPT решила 10 задач из 12 и набрала 58 первичных баллов.

Задания с развернутым ответом — самые сложные. Здесь дают баллы не только за решение задачи, но и за ход выполнения. Ни одно задание из этой части обычно не решают больше половины выпускников. Максимум — 47% за 13-е задание на тригонометрические уравнения  .

За решение тригонометрического уравнения ChatGPT, как и школьники, получил высший балл. Несмотря на небольшой недочет в оформлении, ответ оказался верным — эксперт зачел его полностью.

Без ошибок нейросеть справилась и с прикладными задачами — правильно составила математические модели по условиям и верно провела вычисления. Экономическую задачу она тоже решила верно. Такие типы задач оказались для нее самыми легкими: они требовали четкого алгоритма и перевода условия текстовой задачи в формулы.

Проблемы начались там, где нужно пространственное мышление. Сложнее всего нейросети далась геометрия. В 14-й задаче она неправильно посчитала расстояние от точки до плоскости. Это задание в 2024 году верно решили 4% учеников. В 17-м примере ошиблась в нахождении длины отрезка, подставив некорректную формулу. Здесь в среднем справлялись 9% выпускников. При этом в обоих случаях начала она верно, но ошиблась в расчетах.

Еще одна ошибка закралась в задачу на графики функций. Вместо того чтобы рассмотреть взаимное расположение графиков визуально, нейросеть попыталась решить все аналитически, но не справилась и дала неверный ответ. Преподаватель порекомендовал решить это задачу графическим способом, потому что в таком случае проще прийти к правильному ответу.

В итоге за письменную часть нейросеть набрала 13 из 20 возможных баллов. В сумме с баллами за первую часть получается 23. Переведем первичные баллы в тестовые и получим 92 балла — почти максимум. Здесь нейросеть попала в 18% выпускников 2024 года, которые набрали от 81 до 100 баллов  .

92 балла

набрала ChatGPT на ЕГЭ по профильной математике

1. ChatGPT неплохо справляется с типовыми задачами. И в алгебре, и в орфографии нейросеть показывает уверенный уровень — ее ответы часто правильные, структура текста логична, а рассуждения соответствуют критериям экзамена.
2. Нейросеть делает ошибки, причем порой грубые, и не замечает этого. Проблемы возникают в заданиях с несколькими правильными ответами, в грамматике, геометрии. Также модель может перепутать формулировки или неправильно интерпретировать визуальные данные.
3. Сочинения — сильная сторона ChatGPT. Модель пишет связные и грамотные тексты по структуре экзамена. При этом качество аргументов может хромать.
4. С математикой нейросеть справилась лучше, чем с русским языком, но, возможно, на других вариантах этого бы не случилось.