OpenAI научила один ИИ атаковать другой: GPT-Red находит уязвимости в 6 раз эффективнее людей

Что такое GPT-Red и как самоигра заменяет людей в тестировании безопасности

Компания OpenAI разработала внутренний инструмент для тестирования на проникновение собственных языковых моделей — систему под названием GPT-Red. В отличие от традиционных методов, где безопасность моделей проверяют люди-исследователи, здесь роль атакующего исполняет отдельная AI-модель. Она обучается методом самоигры (self-play reinforcement learning): атакующая модель и защищающаяся модель соревнуются друг с другом, постоянно повышая свой уровень. Результат — система находит успешные атаки в 84% тестовых сценариев. Для сравнения, профессиональные исследователи безопасности из команды human red team справляются лишь в 13% случаев.

Основная угроза, которую тестирует GPT-Red, — это prompt injection (инъекция промпта). Это вид атаки, при котором вредоносные инструкции скрываются внутри обычных данных: электронных писем, веб-страниц, файлов. Когда модель обрабатывает такие данные, скрытые команды могут заставить её выполнить действия, не предусмотренные разработчиками — например, изменить цены в автомате с кофе или отменить заказы других пользователей. О том, как обнаружить такие атаки в реальных AI-агентах, мы подробно писали в отдельном материале.

Какие результаты показал GPT-Red в реальных условиях

Наиболее показательный эксперимент GPT-Red провела в собственных офисах OpenAI: модель успешно манипулировала AI-powered торговым автоматом, меняла цены на продукты и отменяла чужие заказы. Это не учебная атака — это демонстрация реальной уязвимости, которую необходимо закрывать.

Результаты итеративного обучения напрямую применяются для улучшения публичных моделей. Модель GPT-5.6 Sol демонстрирует в шесть раз меньше отказов при прямых инъекциях промпта по сравнению с лучшей версией четырёхмесячной давности. Однако полностью проблема не решена: при наиболее агрессивных вариантах атак успешность составляет около 3,8%. Если масштабировать это на миллионы запросов ежедневно, абсолютное число проникновений остаётся значительным — на уровне, сопоставимом с показателями конкурирующих моделей вроде Claude Opus 4.5.

Почему это важно для индустрии agentic AI

Агентные AI-системы (agentic AI) — модели, способные автономно выполнять цепочки действий — становятся стандартом индустрии. Они взаимодействуют с почтой, документами, веб-страницами и внешними сервисами. Каждый такой контакт с внешними данными создаёт потенциальную точку для инъекции вредоносного промпта. До сих пор индустрия полагалась на ручное тестирование и реактивные патчи — исправления уже обнаруженных уязвимостей. Подход OpenAI предлагает проактивную автоматизацию этого процесса.

Техника самоигры, где модель одновременно выступает атакующим и защитником, ранее доказала свою эффективность в других областях: от игры в го до молекулярного дизайна. Применение этого метода к безопасности языковых моделей выглядит логичным продолжением, но масштаб результатов — десятикратный разрыв с human red team — указывает на принципиальное изменение в подходе к AI Safety. Опрошенные изданием специалисты по безопасности отмечают, что аналогичные подходы уже применяются в защите открытого программного обеспечения — например, система Akrites от Linux Foundation использует похожий принцип для выявления уязвимостей в AI-генерированном коде.

Что дальше

GPT-Red остаётся внутренним инструментом OpenAI. Публичный релиз модели не планируется, однако компания обещает выпустить научную статью с подробным описанием методологии. Для индустрии это означает, что конкурирующие компании и исследовательские группы, вероятно, начнут разрабатывать аналогичные системы самостоятельно — либо создавать собственные модели-атак, либо обращаться к уже существующим.

Пока же экосистема AI-безопасности сталкивается с фундаментальным выводом: даже при активном применении автоматизированного тестирования итерации моделей продолжают содержать уязвимости. Инъекции промпта остаются практической угрозой для любого развёртывания LLM (large language model, большая языковая модель) в реальных продуктах. Публикация подробной методологии от OpenAI может стать отправной точкой для выработки новых отраслевых стандартов тестирования AI-систем.