Модель Fable 5.2 от Anthropic заняла первое место в Remote Labor Index (RLI) — испытании ИИ на реальных фриланс-проектах. По результатам оценки, она выполнила 41,3% заданий на уровне, достаточном для приёмки заказчиком. Примерно год назад лучший участник этого теста справлялся лишь с 2,5%. Но это не означает, что ИИ уже может заменить такую же долю фрилансеров.
Что именно проверяли
RLI разработали Scale Labs и Center for AI Safety (CAIS). Здесь проверяют не отдельный ответ или красивую картинку, а законченный заказ. В описании исследования фигурируют 240 выполненных проектов с Upwork и 358 проверенных специалистов. Среди задач — монтаж видео, проектирование, разработка игр и анализ данных.
ИИ-агент, то есть система, которая выполняет несколько действий с помощью программ, получает виртуальное рабочее место. Ему доступны профессиональные инструменты, в том числе Blender, GIMP и Audacity, а также специализированные средства генерации изображений, аудио и видео.
Обученные эксперты открывают сданные файлы в соответствующих программах и сравнивают результат с работой человека-фрилансера. Поэтому 41,3% — доля успешно завершённых проектов в тесте, а не оценка того, насколько убедительно модель описывает свою работу.
Как изменился результат
При запуске RLI примерно год назад лучший результат принадлежал Manus и составлял 2,5%. В июле Fable 5 достигла примерно 16%, а у непосредственной предшественницы нынешней модели, Fable 5.1, результат был чуть ниже 18%. Теперь Fable 5.2 получила 41,3%. Речь о сравнении разных систем и версий в одном испытании, а не об улучшении одной неизменной модели за год.
По сообщению Scale Labs, самые заметные улучшения пришлись на редактирование аудио и музыки, архитектуру и интерьеры, а также создание трёхмерных моделей. Почти 50 успешно выполненных Fable 5.2 заказов прежде не удавались ни одному участнику теста. При этом промышленный дизайн и анимация, по оценке Scale Labs, по-прежнему даются агентам с большим трудом.
Почему готовый файл всё ещё нужно проверять
Большинство заданий Fable 5.2 всё ещё не завершила успешно. По данным исследователей, типичные неудачи агентов — любительское качество, недоделанная работа, повреждённые файлы и противоречивые проектные решения. Хорошее впечатление от результата не равно пригодности к использованию.
Попытки CAIS поручить проверку другому ИИ пока не дали нужного результата: такие проверяющие плохо владеют профессиональными программами и завышают оценки внешне убедительных, но технически ошибочных работ.
Для заказчика и фрилансера полезный вывод здесь — смотреть на проверяемый результат конкретного задания, а не переносить общий процент на свою профессию. RLI показывает возможности систем в заданной рабочей среде, но не измеряет сокращение рабочих мест, изменение ставок или экономию на реальных заказах. Более широкий контекст даёт материал о том, что показал опыт OpenAI и Anthropic с ИИ-агентами в работе.
