Разработчик Антон Трофимов описал Governed Agent Runtime — экспериментальную среду, в которой языковая модель Qwen3.8:27b предлагает действия, но не получает самостоятельных полномочий на их исполнение. Допустимость операций проверяет отдельная программа по заданным правилам. На имитации платёжного сервиса автор столкнулся с двумя разными проблемами: модель ошибалась в плане восстановления, а система оценки иногда требовала от неё того, чего не было во входных данных.
Убедительный план ещё не означает безопасное действие
В эксперименте агент работал с намеренно упрощённым платёжным сервисом: получал сведения о нагрузке, состоянии работающих копий сервиса и ограничениях мощности. Задача заключалась не просто в объяснении неполадки, а в выборе допустимого следующего шага. Модель предлагала, а среда исполнения контролировала полномочия, ограничения и разрешённые изменения состояния.
По данным автора, в первых пяти одношаговых сценариях, по три запуска в каждом, ответы модели прошли оценку качества в 12 случаях из 15. Контроль со стороны среды исполнения прошёл все 15 проверок. Это разные показатели: соблюдение программных ограничений не означает, что объяснение модели верно.
Особенно показательным оказался сценарий подготовки отката — возврата с проблемной версии сервиса на стабильную. Модель выбрала допустимый тип предложения, но дописала численные условия остановки и успешного восстановления, которых не было в её контексте. Такой текст мог выглядеть убедительно для оператора, хотя основания для этих критериев отсутствовали. Отдельный материал о галлюцинациях языковых моделей и способах их выявления объясняет этот более общий риск.
Проверять пришлось и саму проверку
В следующем эксперименте платформа заранее рассчитывала мощность, чтобы не поручать арифметику модели. При нагрузке 820 запросов в секунду шести стабильных копий сервиса не хватало; семь не обеспечивали работу при потере одной копии, а восемь удовлетворяли этому требованию.
Модель предложила увеличить число копий и перенести на них трафик, но оценщик обнаружил пропущенные промежуточные проверки. После сопоставления задания, ответа и критериев Трофимов выяснил: не все требования оценщика были обоснованы доступным модели контекстом. Результат этого эксперимента он признал неопределённым, а не отрицательным.
Автор добавил Evaluation Traceability Gate — механизм проверки оснований для критериев оценки. Существенное требование должно опираться на входные данные либо иметь документированное объяснение, как оно из них следует. При этом ответственность за смысловую оценку осталась у человека: программа проверяла в том числе зафиксированное решение такого разбора.
Что изменили после повторного опыта
После проверки критериев новый эксперимент выявил уже содержательную ошибку Qwen: модель предложила сначала переключить трафик, а затем увеличить стабильную группу с шести до восьми копий, не подтвердив их готовность до переключения. По отчёту автора, качество ответа получило 0 успешных оценок из 3, а контроль среды — 3 из 3. Инструменты в этом эксперименте не исполнялись.
Затем Трофимов изменил постановку: вместо полного плана модель должна была выбирать по одному следующему действию, учитывая актуальное состояние и проверки среды. В описанном подходе ей передавали цель, ограничения, доступные инструменты и оставшееся число действий.
Для читателя, который рассматривает агента для рабочих задач, здесь полезно разделение трёх вещей: качества предложения, права выполнить действие и обоснованности проверки результата. Это опыт одного разработчика в синтетической среде, а не подтверждение надёжности на действующем платёжном сервисе. Успешный контроль ограничений сам по себе не делает все ответы модели правильными.
