Китайский проект экспортных ограничений предлагает измерять возможности ИИ-агентов числом подзадач, совместно работающих агентов и подключённых инструментов — вместе с показателями качества. Но для человека, который выбирает помощника для работы, даже такие пороги не отвечают на главный вопрос: справится ли система с его задачей, с каким числом попыток и под чьим контролем.
Что предлагают измерять в Китае
16 октября Министерство коммерции и Министерство науки и технологий Китая опубликовали в объявлении №48 проект изменений каталога технологий, запрещённых или ограниченных к экспорту. Для ИИ-агентов в нём предусмотрены отдельные критерии планирования, совместной работы и использования инструментов. Это проект правил передачи технологий, а не универсальный рейтинг помощников.
Порог планирования — не менее 20 исполнимых подзадач, точность разбиения задачи не ниже 80% и средняя успешность подзадач не ниже 90%. Для работы с инструментами предусмотрены минимум 200 сторонних инструментов, точность выбора не ниже 90% и средняя успешность всего процесса не ниже 90% в сценариях, где нужны как минимум три типа инструментов.
Для совместной работы порог составляет не менее 60 одновременно сотрудничающих агентов. При одинаковом эффекте общее время выполнения должно быть не более чем вдвое больше минимального времени одиночного выполнения, а соответствие конечного вывода эталонному ответу — не ниже 85%. Эти условия относятся к отдельной категории: их нельзя смешивать с требованиями к инструментам.
Обсуждение проекта продолжается до 15 ноября. При этом временная регистрация перед экспортом перечисленных технологий действует уже с 16 октября. Речь именно о передаче технологии: эти положения нельзя пересказывать как общий запрет зарубежного использования китайских ИИ-сервисов.
Сравнивать нужно всю систему, а не только модель
ИИ-агент не просто выдаёт текст: он может планировать действия и обращаться к внешним инструментам. Одна и та же языковая модель с одной попыткой и несколькими инструментами — не то же самое, что система с памятью, браузером, повторными попытками и дополнительными агентами. Поэтому название модели само по себе не описывает возможности готового продукта.
Подключение инструментов — отдельная часть устройства агента. Разобраться в ней поможет объяснение протокола MCP для ИИ-агентов. Но сам факт подключения ещё не показывает, правильно ли помощник выбирает действие и получает ли нужный результат.
Восемь часов — не обязательно время работы агента
Показательный пример — показатель горизонта выполнения задач у METR. Условные восемь часов при вероятности успеха 50% не означают, что агент восемь часов работал автономно. Это оценка сложности: человеку-эксперту такая задача потребовала бы около восьми часов, а агент успешно выполняет задачи такого уровня примерно в половине случаев на тестовой выборке.
METR указывает, что набор в основном состоит из задач разработки программ, машинного обучения и кибербезопасности. Автоматически переносить этот результат на бухгалтерию или юридическую работу нельзя. Сначала нужно выяснить, насколько проверенные задачи похожи на ваши.
Удачная попытка и надёжная работа — разные обещания
Учебный пример: один помощник справился один раз из восьми запусков, другой — восемь раз подряд. Оба могут показать удачную демонстрацию, но повторяемость у них разная. Если оценка учитывает хотя бы один успех из нескольких попыток, покупателю нужно знать и число попыток, и способ выбора правильного результата.
UK AI Security Institute показывает, что измеряемые возможности агента меняются с вычислительным бюджетом выполнения. Дополнительные ресурсы можно направить на проверку, исправления или параллельные попытки. Поэтому процент успешности без времени, стоимости и числа запусков не позволяет честно сравнить предложения.
Перед выбором стоит выяснить, какую сборку тестировали, сколько помогал человек и кто подтверждал результат: сам агент, отдельная проверка или фактическое состояние рабочей системы. Отдельный вопрос — что помощнику разрешено менять и как он останавливается после ошибки. Больше инструментов не означает ни большей надёжности, ни большей опасности: значение имеют конкретные действия и их обратимость.
Китайский проект связывает масштаб с качеством, а не ограничивается большими числами. Но регуляторный порог и пригодность для вашей работы решают разные задачи. Для выбора полезнее сопоставимые условия испытаний, чем единственный показатель «мощности».
