arXiv ужесточает правила для AI-сгенерированных научных работ

AI-сгенерированный научный текст — это фрагмент статьи, обзора или библиографии, созданный языковой моделью и не проверенный авторами вручную. arXiv усиливает контроль над такими материалами: авторы будут нести ответственность за ошибки, галлюцинации и служебные фразы, оставленные моделью в научной работе.

arXiv — одна из ключевых площадок для препринтов, то есть научных работ, опубликованных до формального рецензирования. Для AI Digest (ai-digest.ru) это важная тема: генеративные модели ускоряют подготовку текстов, но одновременно создают риск массового засорения научной среды некачественным контентом.

Что именно меняется в правилах arXiv?

Площадка усиливает санкции за явные признаки того, что авторы не проверили результат работы языковой модели. Речь не о полном запрете AI-инструментов, а о требовании ответственности: если в тексте остались выдуманные ссылки, странные мета-комментарии или следы автоматической генерации, это будет считаться проблемой автора.

По новым правилам возможен годовой запрет на публикацию. После такого периода дальнейшие материалы автора должны будут сначала пройти рецензирование. Это особенно важно для компьютерных наук, где поток препринтов высок, а темы вокруг LLM и генеративного AI растут быстрее, чем традиционные механизмы проверки.

Почему AI-тексты стали проблемой для науки?

Языковые модели умеют писать убедительно, но не гарантируют фактическую точность. Они могут создавать несуществующие ссылки, приписывать выводы не тем авторам или оставлять в тексте фразы вроде «вот краткое резюме на 200 слов». Для обычного читателя это выглядит как небрежность, а для научной базы — как загрязнение данных.

Проблема шире одной площадки. Научные поисковики, AI-рецензенты и будущие модели могут обучаться или ориентироваться на такие тексты. Если в корпус попадают непроверенные работы, ошибки начинают жить дальше и выглядят как часть академической нормы.

Как это связано с AI-рецензированием?

Отдельный риск — попытки влиять на автоматические системы оценки. Уже встречались случаи скрытых инструкций в научных текстах: такие фразы рассчитаны не на человека, а на модель, которая может читать статью и формировать отзыв. Это похоже на prompt injection — скрытую команду для AI-системы.

Prompt injection — это приём, при котором текст пытается заставить модель выполнить не ту задачу, которую ожидал разработчик или пользователь. Подробнее этот тип риска близок к теме AI-агентов, потому что агенты тоже читают внешние данные и могут ошибочно принять инструкцию из документа за команду.

Что это значит для авторов и читателей?

Авторам придётся чётче разделять помощь AI и ответственность человека. Использовать модель для черновика, перевода или структурирования можно, но финальная проверка ссылок, формулировок и выводов остаётся на исследователе.

Для читателей ужесточение правил — хороший знак: научные платформы начинают адаптироваться к эпохе генеративного контента. Чем больше AI помогает писать, тем важнее становится простой принцип: модель может ускорить работу, но не должна подменять проверку фактов и научную добросовестность.