Правда ли, что «Антиплагиат» распознает сгенерированные нейросетью тексты?
У сервиса обнаружения текстовых заимствований «Антиплагиат» есть функция распознавания текстов, сгенерированных в нейросетях.
По задумке, сервис должен заметить, что части текста написали в одной из версий ChatGPT, и пометить работу как подозрительную. А в России, несмотря на ограничения, ChatGPT уже достаточно активно применяют в учебном процессе. Мы протестировали обновленный «Антиплагиат» на сгенерированных текстах и выяснили, что он действительно работает. Но обойти систему все еще можно.
Как «Антиплагиат» распознает сгенерированный текст
Функция выявления ИИ-текстов доступна только в платной версии. Одна проверка стоит 472 ₽ — если покупать сразу несколько, будет дешевле. Детектор обучен и протестирован на большом наборе данных, поэтому риск ложного срабатывания минимален, уверяют в «Антиплагиате».
В компании отметили, что сами разработали алгоритм «на основе многолетних исследований» по обработке естественного языка. «Несмотря на все успехи ChatGPT или Jasper, их тексты все еще отличаются от написанных человеком», — заявил исполнительный директор компании Юрий Чехович.
Система анализирует текст на наличие фрагментов, созданных с помощью языковых моделей начиная с GPT-2, в том числе и тех, которые используются в ChatGPT сейчас. Если система находит такой фрагмент, она выделяет его красным цветом, а документ маркируют как подозрительный.
Подобные сервисы существовали и до обновления «Антиплагиата». В основном они работают по одному и тому же принципу: смотрят на «предсказуемость» каждого следующего слова в тексте.
Например, если дополнять приложение «Каждый день он ходит на…», то очевидные ответы — «работу» или «учебу». Нейросети, особенно устаревшие, составляют именно такие предсказуемые цепочки, чтобы не потерять связность. Людям тоже свойственна шаблонность, но не на протяжении всего текста. Такую последовательность и вычисляют сервисы, но чем сложнее нейросеть — тем сложнее и разнообразнее генерация текста.
Как понять, что текст сгенерирован нейросетью
Пишет слишком конкретно. Нейросеть предсказывает следующее слово в предложении и таким образом генерирует текст. Из-за этого алгоритмы плохо рассуждают на абстрактные темы.
Генерирует галлюцинации. Нейросеть может придумывать вымышленные факты, если у нее недостаточно данных о реальном мире. Алгоритмы не могут усомниться в себе. Они признают ошибки, только если прямо на них указать.
Пишет неперсонализированный текст. ChatGPT имитирует опыт миллионов людей, поэтому глубины и экспертности у нее мало. Написать по-настоящему вдумчивый текст может только человек с богатым личным опытом.
Как мы проверяли тексты в «Антиплагиате»
Где мы генерировали тексты. Мы попросили ChatGPT создать научную статью «Анализ эффективности деятельности подразделения предприятия» — на популярную экономическую тему, по которой много источников и студенческих работ. Для чистоты эксперимента сгенерированный текст мы вручную не редактировали. Все наполнение статьи — план, разделы и источники — придумывала нейросеть.
Всего мы сгенерировали 12 текстов, по два с использованием GPT-4, GPT-4o, GPT-4o mini, GPT o1-preview и GPT o1-mini, а еще два — тоже с GPT-4o, но с заданной ролью и пользовательскими инструкциями:
- GPT-4 — уже устаревшая модель от OpenAI, но современные сервисы проверок обучены преимущественно на более ранних — GPT-2 и GPT-3;
- GPT-4o — актуальная модель, доступная бесплатным пользователям с ограничениями и без лимитов по подписке ChatGPT Plus;
- GPT-4o mini — более легкая и быстрая версия GPT-4o, оптимальная для большинства повседневных задач. Она доступна всем пользователям без ограничений;
- GPT o1-preview — следующее поколение моделей, использует рассуждения шаг за шагом и решает сложные научные задачи. Доступна по подписке;
- GPT o1-mini — версия модели GPT o1, предназначенная для математических вычислений, анализа данных и написания кода, доступна по подписке.
Для каждой модели один текст мы сгенерировали на русском языке, а второй — на английском. Англоязычные тексты потом перевели через нейросетевой переводчик DeepL без дополнительной редактуры. Так мы сразу проверили популярный совет пользоваться связкой «англоязычный ChatGPT — переводчик» для обхода «Антиплагиата».
Еще одну пару статей сгенерировали в базовой GPT-4o с предварительно прописанными указаниями отвечать как эксперт в этой области, перепроверять данные, рассуждать шаг за шагом и сильнее учитывать контекст. Поскольку инструкции от пользователя влияют на ответ нейросети, хотелось проверить, достаточно ли их для обхода проверки.
Вот какие тексты мы сгенерировали
Отрывок из текста, сгенерированного GPT-4 на русском языке
Введение
В современном быстро меняющемся бизнес-окружении, постоянный анализ и повышение эффективности деятельности является ключевым фактором успешности любого предприятия. Эффективность деятельности отдельных подразделений часто служит индикатором общего здоровья и потенциала организации, а также является мерилом успеха принимаемых управленческих решений. Отсюда возникает необходимость в глубоком и всестороннем анализе эффективности деятельности подразделений предприятия.
Целью данного исследования является разработка и применение комплексной методологии для анализа эффективности деятельности подразделения предприятия, а также выработка рекомендаций для повышения этой эффективности. Для достижения этой цели мы поставили следующие задачи: определение критериев и показателей эффективности, анализ текущего состояния подразделения, оценка влияния различных факторов на его деятельность, а также разработка предложений по улучшению.
Данная тема актуальна, поскольку несмотря на многочисленные исследования в данной области, проблема повышения эффективности деятельности остается открытой. Кроме того, в условиях постоянного развития технологий и изменения бизнес-процессов, требуется периодический пересмотр подходов и методов анализа.
Таким образом, результаты данного исследования будут интересны как теоретикам, занимающимся проблемами управления и эффективности, так и практикам, ищущим способы оптимизации работы своих подразделений и всего предприятия в целом.
Отрывок из текста, сгенерированного GPT-4o на русском языке
Аннотация
В статье рассматриваются подходы к анализу эффективности деятельности отдельных подразделений предприятия. Эффективность работы подразделений является ключевым фактором для общего успеха организации, поскольку каждое из них вносит вклад в достижение стратегических целей компании. В исследовании применяются различные методы оценки, такие как ключевые показатели эффективности (KPI), анализ затрат и результатов, а также факторный анализ. На основе этих методов предлагаются рекомендации по повышению производительности и оптимизации управленческих решений.
Введение
Эффективное управление предприятием требует комплексной оценки деятельности не только компании в целом, но и ее отдельных структурных единиц. В условиях высокой конкуренции и быстро изменяющихся рыночных условий способность подразделений адаптироваться, поддерживать высокую производительность и вносить вклад в достижение общих целей предприятия становится критически важной. Целью данной статьи является анализ эффективности деятельности подразделения предприятия и разработка рекомендаций по улучшению его работы.
Методы оценки эффективности подразделений
Для анализа эффективности подразделений предприятия применяются различные методы, включающие как количественные, так и качественные показатели. Основные из них включают:
- Ключевые показатели эффективности (KPI). KPI являются инструментом измерения успеха подразделения в достижении конкретных целей. Эти показатели могут включать финансовые метрики (прибыли, доходы), операционные (сокращение времени выполнения задач, увеличение производительности), а также показатели, связанные с удовлетворенностью клиентов и качеством предоставляемых услуг.
- Анализ затрат и результатов. Этот метод включает оценку соотношения затрат, понесенных подразделением, и достигнутых результатов. Применение данного подхода позволяет определить, насколько экономически оправданы действия подразделения и какие изменения можно внести для оптимизации расходов.
- Факторный анализ. Этот метод позволяет выявить основные факторы, влияющие на эффективность работы подразделения. Например, на деятельность подразделения могут влиять такие факторы, как уровень квалификации сотрудников, внедрение новых технологий, использование ресурсов и организация рабочего процесса.
Отрывок из текста на русском языке, сгенерированного GPT-4o с пользовательским промптом
Эффективность деятельности подразделений предприятия является важным фактором, влияющим на общую производительность и конкурентоспособность компании. В условиях усиления конкуренции и роста требований к качеству работы организаций, необходимость анализа и повышения эффективности подразделений становится критическим аспектом управления. В данной статье рассматриваются ключевые методы оценки эффективности, предлагаются рекомендации по улучшению работы подразделений на основе анализа данных.
Цель исследования
Целью данной статьи является анализ существующих методик оценки эффективности деятельности подразделений, их преимуществ и недостатков, а также разработка рекомендаций для повышения их результативности на основе применения современных инструментов управления и анализа.
Методология
Для достижения поставленной цели в статье используется комплексный подход к анализу эффективности. Исследование включает следующие этапы:
- сбор и анализ показателей эффективности работы подразделений;
- качественный анализ процессов внутри подразделений;
- изучение факторов, влияющих на производительность;
- оценка методов управления.
Основные методы анализа эффективности
Ключевые показатели эффективности (KPI)
Один из наиболее популярных инструментов оценки работы подразделений — это использование KPI (Key Performance Indicators). KPI представляют собой количественные и качественные метрики, которые позволяют оценить, насколько успешно подразделение выполняет поставленные перед ним задачи. Основные KPI могут включать производительность, затраты на выполнение работы, уровень удовлетворенности клиентов и сотрудников.
Отрывок из текста, сгенерированного GPT-4o mini на русском языке
Аннотация
В данной статье рассматривается проблема анализа эффективности деятельности подразделений предприятий. Эффективность является ключевым фактором, определяющим конкурентоспособность и устойчивость бизнеса в современных условиях. Цель исследования заключается в выявлении методов и подходов к оценке эффективности работы подразделений, а также в определении влияния различных факторов на результаты их деятельности.
Введение
В условиях быстро меняющейся экономической среды и растущей конкуренции предприятиям необходимо постоянно оценивать и улучшать свою деятельность. Эффективность подразделений является важным аспектом, так как именно они обеспечивают реализацию стратегий и целей компании. Анализ эффективности позволяет выявить сильные и слабые стороны работы подразделений, что способствует принятию обоснованных управленческих решений.
Методы анализа эффективности
1. Качественные методы
Качественные методы анализа предполагают использование экспертных оценок, интервью с сотрудниками и анализ внутренней документации. Эти методы помогают глубже понять процессы, происходящие в подразделении, и выявить проблемы, которые не всегда можно количественно оценить.
2. Количественные методы
Количественные методы включают в себя использование различных коэффициентов и индикаторов, таких как:
- Коэффициент продуктивности — отношение объема выпуска к затраченным ресурсам.
- Коэффициент рентабельности — отношение прибыли к затратам или объему продаж.
- Коэффициент текучести кадров — отношение числа уволившихся сотрудников к среднему числу работников за период.
Эти показатели позволяют объективно оценить эффективность работы подразделения.
Отрывок из текста, сгенерированного GPT o1-preview на русском языке
Аннотация
В современном бизнесе эффективность деятельности подразделения предприятия является ключевым фактором успеха организации в целом. В данной статье рассматриваются основные методы и подходы к анализу эффективности, а также предлагаются рекомендации по ее повышению.
Ключевые слова: эффективность, анализ, подразделение предприятия, методы оценки, производительность.
Введение
Эффективность работы отдельных подразделений предприятия существенно влияет на общие показатели деятельности организации. Правильный анализ и оценка эффективности позволяют выявить сильные и слабые стороны, оптимизировать процессы и повысить конкурентоспособность. Цель данной статьи — исследовать методы анализа эффективности деятельности подразделения предприятия и предложить практические рекомендации по ее улучшению.
1. Теоретические основы анализа эффективности
1.1. Понятие эффективности
Эффективность — это соотношение между достигнутым результатом и затраченными ресурсами. В контексте подразделения предприятия эффективность отражает способность подразделения достигать поставленных целей при минимальных затратах.
1.2. Виды эффективности
- Экономическая эффективность: измеряется финансовыми показателями, такими как прибыль, рентабельность и оборачиваемость капитала.
- Производственная эффективность: оценивается на основе производительности труда, использования оборудования и времени производственного цикла.
- Социальная эффективность: включает удовлетворенность персонала, текучесть кадров и корпоративную культуру.
Отрывок из текста, сгенерированного GPT o1-mini на русском языке
Аннотация
В данной статье рассматриваются методы и подходы к оценке эффективности деятельности подразделений предприятия. Анализируется значимость оценки эффективности для стратегического управления и повышения конкурентоспособности организации. Предлагаются практические рекомендации по внедрению системы оценки эффективности, основанные на современных управленческих инструментах.
Введение
Эффективное управление предприятием предполагает систематическую оценку деятельности его подразделений. Анализ эффективности позволяет выявить сильные и слабые стороны, оптимизировать процессы, повысить производительность и конкурентоспособность организации. В современных условиях динамичного рынка и быстрого технологического развития оценка эффективности становится критически важным элементом стратегического управления.
Обзор литературы
В научной литературе существует множество подходов к оценке эффективности деятельности подразделений. Среди наиболее распространённых методов можно выделить:
- Ключевые показатели эффективности (KPI): позволяют измерять успех подразделения по определённым метрикам.
- Сбалансированная система показателей (Balanced Scorecard): интегрирует финансовые и нефинансовые показатели, обеспечивая комплексную оценку.
- SWOT-анализ: помогает выявить сильные и слабые стороны, а также возможности и угрозы для подразделения.
- Анализ затрат и прибыли: оценивает финансовую эффективность деятельности.
Исследования показывают, что интеграция нескольких методов позволяет получить более точную и всестороннюю оценку эффективности.
Что у нас вышло. Все 12 сгенерированных текстов мы отправили на платную проверку «Антиплагиата». Оригинальность у всех текстов оказалась достаточно высокая: более 85%.
В среднем в российских вузах от выпускных квалификационных работ требуется уникальность на уровне 80—90%, а для рефератов и курсовых работ — и того меньше.
Семь текстов из 12 не прошли проверку — «Антиплагиат» определил работу нейросети.
У них появилась отметка «Подозрительные». Причем система распознала и старую модель GPT-4, и новые GPT-4o и GPT o1-preview, и даже одну из версий переведенного текста. Пользовательский промпт тоже не помог: детектор на них все равно сработал.
Лучше всего проверку «Антиплагиата» проходят тексты, которые мы изначально сгенерировали на английском языке, а потом пропустили через переводчик.
Результаты тестирования
| Модель | Оригинальность | Подозрение, что текст сгенерирован в нейросети |
|---|---|---|
| GPT-4 на русском | 88,52% | Да |
| GPT-4 на английском | 89,68% | Нет |
| GPT-4o на русском | 96,49% | Да |
| GPT-4o на английском | 100% | Нет |
| GPT-4o на русском с пользовательским промптом | 92,52% | Да |
| GPT-4o на английском с пользовательским промптом | 98,67% | Нет |
| GPT-4o mini на русском | 100% | Да |
| GPT-4o mini на английском | 86,22% | Да |
| GPT o1-preview на русском | 86,68% | Да |
| GPT o1-preview на английском | 100% | Да |
| GPT o1-mini на русском | 94,49% | Нет |
| GPT o1-mini на английском | 96,54% | Нет |
По каждому материалу можно посмотреть отчет, какие именно подозрительные элементы нашел «Антиплагиат». Сервис выделил красным куски текста, которые посчитал сгенерированным — около половины в каждой статье.
Причем иногда это была первая половина, а иногда — вторая. Обнаружить какие-то закономерности не удалось, но текст в любом случае отмечался как подозрительный.
Можно ли обойти «Антиплагиат»
Преимущество ChatGPT в том, что сервис запоминает контекст диалога и может дальше работать с текстом, сгенерированным ранее. Поэтому мы решили доработать статью с помощью нейросети и посмотреть, как на это отреагирует «Антиплагиат».
Мы взяли части, которые «Антиплагиат» выделил красным, и попросили ChatGPT переписать их заново. Запрос был такой: «Перепиши этот текст так, чтобы он был оригинальным и проходил проверку сервисов, которые определяют, что текст сгенерировала нейросеть. Сделай его более читаемым».
Перегенерация не помогла. «Антиплагиат» снова выделил больше половины текста красным, а оригинальность упала на долю процента.
Тогда мы попробовали перегенерировать выделенные «Антиплагиатом» части с нуля, уточнить детали и написать текст так, как его написал бы студент российского вуза на четвертом курсе. Это немного увеличило оригинальность, но текст снова пометили как подозрительный.
Вероятно, если бы мы более вдумчиво подошли к написанию текста и отредактировали его самостоятельно, то смогли бы обойти плагиат. Либо можно с самого начала генерировать текст на английском языке, а затем пропускать его через переводчик.
Другим пользователям удалось обойти проверку «Антиплагиата». Александр Жадан, который написал диплом с помощью ChatGPT и прославился этим, тоже опробовал новую функцию «Антиплагиата». Он отправил на платную проверку девять страниц своего диплома. Сервис посчитал весь документ подозрительным и отметил, что три страницы сгенерированы в нейросетях. Затем Жадан попросил ChatGPT переписать текст, поменять структуру и сделать его более читаемым. В итоге «Антиплагиат» не нашел сгенерированные фрагменты.
В комментариях к треду Жадана предположили, что сервис проверки на нейросетевые тексты хуже работает с большими объемами. Пользователи считают, что он помечает красным простые предложения, которые многократно повторяются в интернете.
В «Антиплагиате» обратили внимание на тред Жадана и признали, что проверку сервиса можно обойти. В пресс-службе считают, что Жадану помогло редактирование текста: «Любое вмешательство человека в сгенерированный ИИ текст, конечно же, „очеловечивает“ его, позволяя обойти алгоритм распознавания». Для обхода «Антиплагиата» понадобилось значительное время на работу с чат-ботом, посчитали разработчики системы.
Пресс-служба «Антиплагиата» отметила, что ChatGPT хорошо пишет тексты, и дала советы по работе с нейросетями:
- Перепроверять факты. ИИ выдумывает информацию, потому что пытается создать не корректный, а похожий на человеческий текст. Например, часто ChatGPT ссылается на несуществующие произведения.
- Генерировать небольшие отрывки. У ИИ есть проблемы с логикой в больших текстах. Часто ChatGPT выдает не мысль, а просто набор фраз, поэтому текст перестает быть осмысленным. Контролировать логику позволяет генерация небольших частей текста.
- Грамотно ставить задачу. ChatGPT не напишет диплом с нуля. Чтобы получить качественный текст, нужно четко ставить задачу, проверять текст на достоверность.
Выводы
- Если вы полностью сгенерировали научную работу в ChatGPT, скорее всего, «Антиплагиат» отметит текст как подозрительный.
- Если вы полностью сгенерировали научную работу в ChatGPT на английском языке, а потом перевели на русский, «Антиплагиат» в большинстве случаев не отметит текст как подозрительный.
- Если вы использовали ChatGPT для сбора и упорядочивания информации при написании научной работы, часть редактировали, а часть переписывали вручную, вероятнее всего, «Антиплагиат» не распознает сгенерированный текст.
Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult
