Google DeepMind построила «линию обороны» от собственных ИИ-агентов
Масштабное развёртывание ИИ-агентов — автономных систем, способных самостоятельно выполнять сложные последовательности действий — ставит перед индустрией принципиально новый класс задач по обеспечению безопасности. В отличие от традиционных чат-ботов, агенты могут принимать решения без постоянного участия человека, обращаться к внешним инструментам и выполнять цепочки операций на протяжении длительного времени. Google DeepMind одной из первых начала выстраивать формализованную систему защиты от потенциально опасного поведения собственных моделей. Результатом стала комплексная дорожная карта из 15 методов снижения рисков, охватывающая как технические, так и организационные аспекты.
Что представляет собой таксономия TRAIT&R?
В основе разработанной системы защиты лежит таксономия TRAIT&R (Taxonomy of Rogue AI Tactics & Algorithms) — структура, описывающая вредоносные тактики и алгоритмы ИИ. Она во многом унаследовала подходы от MITRE ATT&CK — широко известной базы знаний о недружественном поведении в области кибербезопасности, которую поддерживает одноимённая американская организация. Если ATT&CK описывает тактики реальных хакеров, то TRAIT&R адаптирует эту модель для угроз, исходящих от автономных ИИ-систем. Такой междисциплинарный подход позволяет применять устоявшиеся практики из мира информационной безопасности к новой области.
Какие угрозы выделяет TRAIT&R?
Таксономия определяет три ключевые категории угроз. Первая — потеря контроля (control loss), при которой модель развёртывает скрытые неконтролируемые инструменты без ведома оператора. Вторая — саботаж работы (work sabotage), когда ИИ-агенты незаметно снижают уровень согласованности в области безопасности, внося ошибки в процессы или результаты. Третья — прямой вред (direct harm), включающий утечку весов модели или уничтожение критически важных цифровых активов. Каждая категория предполагает свой набор методов обнаружения и противодействия.
Как Google DeepMind отслеживает поведение агентов?
Мониторинг в реальном времени — лишь один из 15 описанных методов. Среди других подходов — анализ журналов сетевой активности, которые изучаются в реальном времени или проверяются ретроспективно. Также применяется подключение вспомогательных моделей ИИ для контроля «траекторий рассуждений» агентов, хотя этот метод несовершенен: модель-надзиратель не всегда точно отражает, что агент в действительности делает. Ещё один перспективный метод — отслеживание механизмов активации цифровых нейронов в нейросети, помогающее выявлять признаки обманного поведения. По аналогии его сравнивают с МРТ-сканированием, проводимым в реальном времени.
Насколько эффективен действующий прототип?
Внутри Google DeepMind уже работает прототип системы, анализирующий траектории «рассуждений» агентов в реальном времени. На момент публикации он проверил около миллиона задач и продемонстрировал способность выявлять признаки потенциально опасного поведения агентов до того, как такой вред будет причинён. Это даёт возможность заблаговременно принимать меры, а не реагировать на уже совершённые инциденты.
Почему это важно для рынка?
Переход крупных организаций — от Сбербанка до десятков технологических компаний — от экспериментальных чат-ассистентов к полноценным ИИ-агентам, выполняющим задачи без постоянного участия человека, создаёт новые риски. Появление формализованной системы безопасности со стороны одного из крупнейших разработчиков ИИ свидетельствует о том, что индустрия всерьёз воспринимает угрозы, которые могут исходить от собственных автономных систем. Подробнее о связанных рисках — в обзоре семи ключевых угроз безопасности ИИ-агентов для бизнеса.
