AI-детекторы текста проваливают до 48% стилевых имитаций

AI-детекторы текста проваливают до 48% стилевых имитаций — исследование Epoch AI

Популярные сервисы для определения авторства текста — Pangram, GPTZero и Originality.ai — научились с почти идеальной точностью ловить обычный сгенерированный текст. Но стоит языковой модели целенаправленно скопировать стиль конкретного автора — и до каждого пятого текста эти системы просто не замечают. Исследование Epoch AI показало, что проблема особенно остра в научной сфере, где точность определения авторства критически важна.

Как проходил тест

Исследователи Epoch AI собрали корпус из 495 текстов 99 авторов, написанных до выхода ChatGPT в ноябре 2022 года. Это исключало возможность «загрязнения» данными от языковых моделей. Тексты были разделены поровну между тремя жанрами: блогерские публикации, художественная проза и научные статьи.

Затем три ведущих детектора — Pangram 3.3.2, GPTZero (модель 2026-05-11-base) и Originality.ai Turbo 3.0.2 — проверяли три категории текстов: подлинно человеческие, обычный сгенерированный ИИ и стилевые имитации, где модель получала пять реальных текстов автора и просилась написать новый текст в том же стиле.

Как детекторы справляются с обычным сгенерированным текстом

Когда речь шла о стандартном сгенерированном тексте без задачи имитации, все три системы показали себя превосходно. Доля пропущенного (ложноотрицательного) текста не превышала 0,7%. Ложные срабатывания на человеческих текстах также были редки: Pangram и GPTZero не допустили ни одного, Originality.ai пометил 19 из 495 человеческих текстов как сгенерированные — это 3,8%, что уже вызывает вопросы, но не критично.

Картина радикально менялась при переходе к стилевым имитациям. Три модели — Claude Opus 4.8, GPT-5.5 и Gemini 3.1 Pro — получили тексты авторов и сгенерировали новые в подражание их стилю. Из 297 таких текстов в среднем 38 проходили незамеченными, что даёт ~13% ложноотрицательных срабатываний. Pangram пропустил 10%, GPTZero — 11%, Originality.ai — 18%.

Почему научные тексты проваливают проверку стилевых имитаций

Художественная проза и блоги давали умеренные показатели: 1–5% пропусков для всех детекторов. Но научные статьи стали настоящим кошмаром. Pangram не обнаружил 25% стилевых имитаций в академических текстах, GPTZero — 24%, Originality.ai — 29%.

Худшие индивидуальные результаты ещё более показательны: Pangram пропустил 48% академических текстов, сгенерированных Gemini. Originality.ai не заметил 39% научных текстов от GPT-5.5. Для контекста — именно в научной среде детекторы ИИ-текста применяются наиболее активно: проверка студенческих работ, рецензирование, оценка оригинальности.

При этом все три сервиса используют принципиально разные методы. Pangram работает на нейросети, обученной на человеческих и машинных текстах, но его основатель открыто называет систему «чёрным ящиком» без возможности проследить логику вердикта. GPTZero измеряет предсказуемость выбора слов и вариативность внутри текста — идея в том, что языковые модели пишут более однородно, чем люди. Originality.ai ищет статистические паттерны, найденные при обучении.

Что это значит на практике

Результаты исследования ставят под сомнение надёжность детекторов ИИ-текста в любом сценарии, где авторство имеет значение. Низкий уровень ложных срабатываний на человеческих текстах — что декларируют все три сервиса — не гарантирует, что ИИ-текст не проскользнёт незамеченным. Особенно если этот текст написан целенаправленно со стилевой имитацией, а не сгенерирован «в лоб».

Для редакторов, рецензентов и преподавателей это означает, что единственный надёжный метод проверки — это экспертная оценка, а не автоматические инструменты. Детекторы AI-контента могут использоваться как первый фильтр, но при серьёзных решениях необходим человеческий анализ.