Гильдия авторов протестировала AI-детекторы: большинство ошибаются в 70–100% случаев

Что произошло

Гильдия авторов США провела собственный тест пяти популярных AI-детекторов на выборке из профессионально написанных человеком материалов — статьях об авторском праве, судебных документах, некрологах и литературных обзорах. AI Digest изучил детали исследования. Результаты оказались полярными: одни инструменты безошибочно определяли человеческое авторство, другие систематически ошибались, помечая качественный текст как сгенерированный.

Какие AI-детекторы справились, а какие провалили тест

Сервисы Pangram и Grammarly корректно определили все без исключения тексты как написанные человеком — ни одного ложного срабатывания. При этом инструменты ZeroGPT, Sidekicker.ai и Originality.ai показали заметно худшие результаты. Например, Sidekicker пометил как AI-текст 85 процентов петиций об отклонении обвинений в непристойности и 96 процентов публикаций о судебных разбирательствах по антимонопольному праву.

Важный нюанс: надёжное распознавание человеческого текста не означает, что те же инструменты одинаково хорошо ловят AI-контент. Подробнее о том, как устроены большие языковые модели, — в нашем материале. Тест Guild показал главным образом то, что некоторые детекторы настроены минимизировать ложные срабатывания — то есть ситуации, когда текст человека ошибочно признаётся машинным. При этом ZeroGPT демонстрирует от 5 до 76 процентов ложных срабатываний в зависимости от типа текста, а Originality.ai практически не ошибался — но это не значит, что он надёжно ловит AI-текст, а не просто минимизирует фолс-позитивы.

Почему хороший человеческий текст похож на машинный

Авторы исследования указывают на фундаментальную проблему: тексты, написанные профессиональными авторами, статистически похожи на выдачу языковых моделей. Причина проста — LLM обучались именно на такого рода качественных текстах. Это создаёт слепую зону для любых статистических детекторов: чем лучше модель научилась писать, тем труднее отличить её текст от человеческого.

Что показал тест для правовых и медицинских текстов

Особенно показательными оказались результаты для юридических и медицинских текстов. Именно в этих областях, где точность формулировок критически важна, детекторы допускали больше всего ошибок. Профессиональный юридический текст с его характерной структурой и терминологией оказывается статистически неотличим от того, что генерирует языковая модель, обученная на миллионах судебных документов. Это создаёт реальные риски: юрист или врач могут быть ошибочно обвинены в использовании AI при подготовке важного документа.

Почему это важно

Инструменты проверки текста на AI-происхождение активно используются школами, издательствами и HR-отделами по всему миру. Ошибочные срабатывания могут стоить студенту оценки, автору — репутации, соискателю — работы. При этом рынок детекторов растёт, а стандартов тестирования и сертификации до сих пор нет — каждый производитель заявляет свою точность без верификации. Гильдия авторов призвала индустрию к прозрачности методов и публичной оценке точности, но пока безрезультатно.

Что дальше

Дебаты о роли AI в создании контента продолжатся. Пока одни видят в детекторах инструмент защиты, другие указывают, что технология несовершенна и легко обходится минимальными правками — достаточно добавить опечатку или сменить порядок слов. Дискуссия затрагивает фундаментальный вопрос: где проходит граница между использованием AI для помощи в написании и написанием текста целиком. Гильдия авторов призвала индустрию к публичной оценке точности, но пока стандартов нет, результаты таких тестов остаются скорее маркетинговым аргументом, чем надёжным инструментом. Эксперты предполагают, что следующим шагом станут юридические разбирательства, когда кто-то официально оспорит результаты детектора как основание для отказа.