Почему ни ИИ, ни обычный учитель английского не определит уровень CEFR

За последний год появилось множество видеороликов и статей по использованию нейросетей для изучения английского языка. Очень часто авторы, среди которых попадаются и "дипломированные" учителя, в очень немногочисленных и расплывчатых промптах-инструкциях просят ИИ ограничиваться каким-то уровнем CEFR, от A1 до С2. Как ни странно, никто из этих авторов даже не потрудился изучить, понимают ли ChatGPT, Gemini, Claude, Grok, что входит в конкретный уровень, а что — нет. Как это можно проверить?

1. Проверочные тексты
2. Сопоставление сырых баз данных
3. Прагматика
4. Маршрут "от простого к сложному"
5. На кой чёрт лично мне уровни CEFR?
6. Зачем создавались уровни CEFR?
7. Продуктивное использование ИИ и сопоставительный метод изучения языков
8. Почему умные используют ИИ не так, как глупые

Найдите в сети контрольные уровнеопределительные тексты, попросите разные модели ИИ определить их уровень CEFR, использовав указанные там изощрённые уровнеопределительные промпты, которые вам бы никогда в голову не пришли.

Сравнив ту противоречивую информацию, которую выдадут разные ИИ, вы поймёте, что каждый робот — с каждой попыткой! — выдумывает новую собственную систему определения уровней, и к CEFR эти системы отношение имеют весьма отдалённое даже если дать чёткую инструкцию строго придерживаться официальных данных на Englishprofile.org.

Похоже, робот, как профессиональная нейропроститутка, просто пытается ублажить клиента, соблазнить его на платную подписку. Главное при этом, господа, не подцепить от неё нейросифилис, нейроспид и прочую нейровенерику одним нейровенеробукетом.

Можно зайти с другого конца. Сравнить, например, лексику какого-то уровня на Englishprofile.org и списками лексики, которую вам выдадут ChatGPT, Gemini, Claude, Grok. А можете ли вы чётко сформулировать задачу для этих роботов? Нужно сравнивать же не просто список слов, а список значений слов. А есть ещё и словосочетания. Если ChatGPT говорит: "Почему нет единого списка? Потому что язык полисемантичен (много значений)", вы понимаете, что это нейробред, нейроувиливание. Или не понимаете?

То же самое касается сравнения грамматики какого-то уровня на Englishprofile.org и нейрофантазиями разных роботов. Профессионального филолога, поверьте, эти "галлюцинации" в таком катастрофическом объёме очень забавляют. Сортировать нейромусор — это задача непростая и очень хлопотная, и очень быстро проверять нейрогаллюцинации вам может надоест. А могут ли ChatGPT, Gemini, Claude, Grok хотя бы тупо скачать данные с Englishprofile.org? Давайте, попробуйте заставить их это сделать и сравните (если у вас хватит терпения) потом с тем, что есть на самом деле на Englishprofile.org.

Очень забавно будет, если спросите у одной модели ИИ, есть ли данная база данных у конкурирующей модели ИИ. Создаётся впечатление, что разработчики ИИ являются то ли олигофренами, то ли шизофрениками, которые угорают со смеху, наблюдая, с каким восторгом слабоумные пользователи ИИ играют с этими диковинными игрушками. Понятно, разработчики отрабатывают свою зарплату любыми методами и впаривают лохам любой сырой суррогат.

Но разве уровень CEFR определяется только лексикой и грамматикой? Нет, конечно! Он определяется ещё и тем, что вы можете делать с этими словами и грамматикой. То есть, кроме лексики и грамматики есть, оказывается, ещё и прагматика. Поэтому для каждого уровня CEFR есть can-do statements, что вы можете почитать на сайте ALTE. Сформулированы они более туманным языком, чем речь любого дипломата, политика или гадалки.

Поймите правильно, если на какой-то проект выделялся какой-то бюджет и кому-то нужно было отчитываться за свою зарплату, то филологи налить всякой воды могут намного больше, чем не выучивший урок троечник, когда его вызвали к доске.

Может ли обычный учитель английского вам конкретно объяснить, входит ли конкретное умение, конкретная задача в конкретный набор can-do statements? Нет, не может. Если вы считаете себя умным человеком, вы сможете в этом убедиться самостоятельно. Может ли ИИ английского вам конкретно объяснить, входит ли конкретное умение, конкретная задача в конкретный набор can-do statements? Нет, не может. У "Искусственного Интеллекта" интеллект отсутствует.

На этом месте читатель должен уже задуматься, каким словом назвать "учителей", слепо доверяющих ИИ и восторженно его рекомендующих как надёжный инструмент, а не как поставщик нейромусора, который надо сортировать и проверять.

Возникает логичный вопрос: "Если обычный учитель не помнит, к какому из шести уровней относится конкретное значение (а их на 6 уровнях 15696) слова или словосочетание, и даже не помнит, к какому — конкретный пункт грамматики (а их там всего лишь 1219), то как он может преподавать "беспереводным" методом, для которого последовательность подачи материала критически важна и определена достаточно жёстко? И какой толк от этих уровней?"

Особенно, если, допустим, у вас нет конкретной цели сдать какой-то кембриджский экзамен, а учить язык всё-таки хочется "от простого к сложному"?

А важно ли то, что "простое" для робота — это часто не то, что просто для вас? Из-за того, что в языке есть много измерений, аспектов, а многие элементы вообще никак не связаны с другими, для робота путь "от простого к сложному" достаточно сильно оличается от того, что представляет себе конкретный живой человек. Если у вас в руках велосипед, то маршрут для вездехода вам не подойдёт. Это то, что имеется ввиду под "индивидуальной образовательной траекторией".

Если идею "от простого к сложному" вам вбили на уроках математики, не надо пытаться её натянуть на иностранный язык, освоение которого скорее похоже на грызение огромного яблока, чем на ходьбу по прямой линии. Порядок подачи материала, который почему-то называется "методикой", в разных учебниках разный, и содержание учебников разное, но никого это почему-то не смущает. Наиболее логичный и ясный порядок подачи грамматики для беспереводного метода вы найдёте в учебнике профессора Хорнби, автора не только знаменитых оксфордских учебных толковых словарей, но и собственной классификации конструкций английского языка.

Но если вы используете ИИ для переводного, сопоставительного изучения языков, особенно если вы вместо учебников даже на начальных этапах учите язык в письменном и устном общении с носителями, используя техники англопрагматики, то здесь индивидуальный маршрут уже прокладываете вы сами, но надо учитывать, что живой, неуровневый, внеучебниковый язык намного богаче языка учебников, и в таком языке обычный учитель будет путаться. Последовательность изучаемого материала при таком подходе может быть практически любая, а ИИ сможет достаточно хорошо вам объяснять его и отвечать на ваши вопросы.

Чётко ограничиваются уровнями только экзаменационные материалы на кембриджских уровневых экзаменах, а вот учебники или продавцы пива в Таиланде таким никогда не страдали. Вы же наверное не замечали, что написано в учебниках мелким шрифтом насчёт соответствия уровням СЕFR?

Если вы "прошли" учебник какого-то уровня, вы ещё не вышли на следующий. Продавца пива в Таиланде не волнует то, что какой-то текст уровня А1 в родном языке почему-то переводится на английский текстом уровня С2. Продавца пива интересует только возможность выражения своих мыслей на английском, и возможность понять ответ (который может быть вообще внеуровневый). Уровни CEFR и проблемы евробюрократов его не волнуют.

Уровни СЕFR были созданы вовсе не для того, чтобы облегчить вам изучение языка. Вы об этом конечно же не знали. Уровни были созданы для того, чтобы издательствам можно было экономить на адаптации одноязычных учебников к родным языкам учащихся, и чтобы обеспечить работой сотни тысяч англичан и американцев, не владеющих иностранными языками, но приобретшими "книги для учителя" и моментально возомнившими себя учителями и проповедниками "беспереводного" метода.

Представьте, что производители сыра настолько обнаглели, что открыто заявляют, что техническое пальмовое масло шестого сорта лучше молочных продуктов. Лет 30 назад везде можно было встретить рекламу маргарина, в которой недвусмысленно утверждалось, что он лучше сливочного масла, но, похоже, со временем даже до самых тупых начало доходить, что это развод, и реклама стала более изощрённой.

А почему кому-то лень скачать на свой вкус десяток-другой книг, аудио- и видеокурсов приличных авторов с "пиратских" сайтов? Ведь есть же там неплохие учебники, среди которых можно найти даже "переводные", то есть, пытающиеся кое-как использовать сопоставительный метод и мало зависящие от уровней CEFR. Но всё-таки учебников, кое-как использующих сопоставитику, катастрофически мало. Даже одноязычный учебник можно просто скормить конкретной модели ИИ, и попросить робота исправлять вас и разжёвывать вам материал, в котором нет полушизофренического нейробреда.

В конце концов в учебниках нет неритуальных заданий, которые не под силу роботу. Нет "некнижного", "внеучебникового", живого языка, который намного богаче языка учебников и в котором путается робот. Учебники-то выхолощенные, универсальные, в расчёте на среднестатистического учащегося, а значит и робот в этом разберётся. Если чего-то нет в одном учебнике, это можно найти в другом. Конечно, учебники, не использующие сопоставитику, робот переводить будет настолько же приблизительно, как и среднестатистический учитель — зато это бесплатно. Если пять разных русских предложений робот переводит одним английским и наоборот, то выучите вы только каркас языка.

Тем не менее, для тех, кто покопался в сотне учебников и не нашёл для себя ничего интересного, даже на начальных этапах изучения языка непосредственно через живое письменное общение с носителями, используя техники англопрагматики, лучшие из ИИ, особенно если этот процесс курирует опытный учитель-переводчик, на данный момент могут быть полезны для переводов и объяснений живого, внеучебникового, неуровневого языка.

Слабоумие всегда идёт в комплекте с ленью. Идиоту намного проще тупо уверовать в то, что робот может создать универсальный или даже персонализированный учебник — причём лучше, чем профессиональный разработчик. Идиоту будет лень проверить "переводы" роботов в учебном словаре — ведь идиоту удобнее верить, что там будет то же самое. Идиот всегда верит в то, что для него менее энергозатратно. На что не надо тратить много времени.

Именно идиоты, которых с детства приучили потреблять только синтетические ароматизаторы, похожие на "клубнику", не захотят потом есть продукты с натуральной клубникой. Из людей, обученных роботом, вырастут роботы. Это уже замечают многие психиатры. ИИ является лишь мультипликатором: умный с ним станет умнее, а глупый — глупее. Потому что умный даёт не такие промпты, который даёт глупый. Пока что не существует набора из тысяч высокоэффективных промптов и алгоритмов, которые можно скормить роботам, таким образом превратив их в достаточно неплохого учителя.

Даже если бы умные люди это всё написали, мы все очень разные, и человек слишком сложная система, чтобы процесс обучения можно было алгоритмизировать так, чтобы он был не просто формальностью или развлекаловкой, а чтобы его продуктивность была не ниже продуктивности высококвалифицированного учителя.

Любой несовершенный инструмент можно использовать с пользой для себя. Но только если использовать его правильно. А правильно использовать ИИ для изучения иностранного языка пока что умеют очень немногие. Очень немногие способны ездить на автомобиле, в котором почти не работают тормоза, иногда не переключаются скорости, часто глохнет мотор, сел аккумулятор, разбиты зеркала заднего вида и т.д. Без специальных навыков ездить на таком автомобиле не просто некомфортно — это ещё и опасно. Намного проще впарить такую колымагу лоховитому покупателю.