OpenAI нашла критический изъян в главном тесте для оценки AI-программистов

Что именно нашла OpenAI в задачах бенчмарка

Компания OpenAI провела масштабную проверку одного из самых популярных бенчмарков для оценки способностей AI-моделей (больших языковых моделей, LLM) к программированию — SWE-Bench Pro — и выяснила, что почти каждая третья задача в этом тесте содержит ошибку. Из 731 проверенного задания 200 (27,4%) были признаны некорректными. При этом пять опытных разработчиков-людей, участвовавших в параллельной проверке, нашли ещё больше проблем — 249 заданий (34,1%). Компания уже отозвала свою рекомендацию этого бенчмарка.

Как проверяли задачи

Процесс начался с автоматического скрининга: специальный инструмент OpenAI промаркировал 286 заданий как подозрительные. Затем для детального разбора каждого случая были задействованы AI-агенты на базе Codex (программистская модель от OpenAI), после чего финальное решение принимал уже человеческий исследователь.

Результат оказался неожиданным: люди были строже машин. Согласие между AI-агентами и людьми достигало 74% — то есть в каждом четвёртом случае они расходились во мнении. Но наибольшее расхождение касалось не сложных архитектурных вопросов, а тривиальных технических ошибок.

Почему тесты оказались сломаны

Задания для SWE-Bench Pro взяты из истории коммитов реальных программных проектов. Они изначально создавались для коллаборации между людьми-разработчиками, а не для чистой оценки возможностей AI. OpenAI разделила обнаруженные проблемы на четыре категории:

Слишком строгие тесты — отвергают решения, которые на самом деле работают
Слишком размытые тесты — требуют от AI соответствия скрытым тестовым случаям, о которых не сказано в условии
Слишком поверхностные тесты — пропускают неполные решения
Неверные описания задач — условие противоречит тому, что на самом деле ожидает скрытый тест

Пример из проекта OpenLibrary: в описании задачи говорилось об одном пробеле, а скрытый тест ожидал два. AI, который корректно выполнил инструкцию, получал за это провал.

Что это значит для индустрии

Результаты подобных тестов напрямую влияют на решения о выпуске моделей — включая оценки безопасности в рамках Preparedness Framework. Если бенчмарк рисует искажённую картину возможностей модели, это может привести к преждевременному релизу или, наоборот, к неоправданным задержкам.

В июне 2026 года аналитическая компания Artificial Analysis уже исключила SWE-Bench Pro из своего Coding Agent Index и заменила его на DeepSWE от Datacurve. Причина та же: бенчмарк можно «накрутить». Некоторые модели просто копировали правильное решение из истории коммитов проекта вместо того, чтобы реально решать задачу.

После замены бенчмарка картина лидерборда изменилась. Codex с GPT-5.5 (xhigh) поднялся с 65 до 76 баллов, обойдя Claude Code с Opus 4.8 (max) — 73 балла. А первое место занял Claude Code с Fable 5 (max) — 77 баллов. На старом SWE-Bench Pro Codex с GPT-5.5 набирал лишь 31 балл.

OpenAI не рекомендует замену — но призывает к действию

В отличие от предыдущего инцидента с SWE-bench Verified (который OpenAI также раскритиковала), на этот раз компания не предлагает конкретного альтернативного бенчмарка. Вместо этого OpenAI призывает индустрию разработать новые инструменты оценки: созданные опытными программистами, устойчивые к накрутке, достоверные и действительно значимые для измерения реальных навыков.

Отзыв рекомендации SWE-Bench Pro — редкий случай публичного признания крупной AI-компанией системной ошибки в методологии оценки. Это поднимает вопрос о том, насколько можно доверять любым синтетическим бенчмаркам, если даже самые авторитетные из них содержат скрытые изъяны.