Два исследователя Шаньдунского университета выяснили: более сложная программная оболочка ИИ-помощника не обязательно помогает ему решать больше задач. В их испытаниях Claude Code и минималистичный mini-SWE-agent показали близкие результаты, а стоимость выполнения одной задачи при одинаковой модели могла различаться до трёх раз в зависимости от оболочки. Для тех, кто выбирает помощника для разработки, это повод смотреть не только на место в рейтинге.
Что сравнивали, кроме самих моделей
ИИ-агент для программирования — это не только языковая модель. Ему нужна оболочка: инструкции, инструменты для работы с файлами и правила сохранения истории действий. Она помогает модели ориентироваться в проекте, искать нужные фрагменты и вносить изменения.
Исследователи Liu и Han сравнили пять моделей в трёх готовых оболочках: Claude Code, OpenCode и mini-SWE-agent. Последняя предоставляет только инструмент Bash для выполнения команд и не управляет историей диалога. У двух других есть специализированные инструменты поиска и работы с файлами, длинные инструкции и автоматическое сжатие истории.
Испытания охватили 45 самых трудных задач из SWE-bench Verified — набора проверок по исправлению программ — и дополнительный набор из 447 задач. Часть конфигураций запускали повторно, чтобы отделить влияние оболочки от обычных колебаний результата. Итоговые испытания проводили без доступа к интернету.
Повторный запуск менял результат не меньше замены оболочки
На наборе из 447 задач разница между Claude Code и mini-SWE-agent составляла менее двух процентных пунктов для обеих проверенных там моделей. Авторы признали результаты статистически эквивалентными в пределах пяти процентных пунктов. Это не означает, что программы работают совершенно одинаково: обнаружить меньшие различия такой эксперимент надёжно не позволяет.
На самых трудных задачах смена оболочки давала разницу в две–пять решённых задач на модель. При этом простой повтор той же конфигурации менял число успехов вплоть до трёх задач. Медианная доля задач, у которых менялся исход, составляла 13% и при повторном запуске, и при смене оболочки; при смене модели — 22%.
Исключение — OpenCode: на большом наборе его отставание от двух других оболочек достигало девяти процентных пунктов. По оценке авторов, примерно половина разрыва связана с обработкой ограничения длины ответа. Причина остальной части неизвестна. Для локально запущенных моделей у OpenCode также был существенно более строгий лимит времени — неустранённое различие условий, которое авторы отдельно отмечают.
Откуда берётся разница в счёте
При одинаковых модели, задачах и расценках стоимость одной задачи могла различаться до трёх раз. Исследователи связывают разницу прежде всего с объёмом служебных инструкций и описаний инструментов: они отправляются модели на каждом шаге.
Эти тексты занимали около 16 600 токенов у Claude Code, примерно 7 000 у OpenCode и менее 1 000 у mini-SWE-agent. Токены — небольшие фрагменты текста, по количеству которых рассчитывается оплата обращения к модели. Длиннее инструкция — больше оплачиваемого текста ещё до полезной работы.
Но самая короткая инструкция не гарантировала самый низкий счёт. Например, с Deepseek-V4-Flash mini-SWE-agent делал столько дополнительных шагов, что его стоимость оказывалась примерно равной Claude Code. Считать нужно всю попытку, а не только размер первого запроса.
Как читать такие сравнения
Вывод ограничен прежде всего одним набором тестов. Небольшая дополнительная проверка на Terminal-Bench 2.1 показала похожую картину, но закрытую модель Claude Opus 5 испытывали только в Claude Code. Работа не доказывает бесполезность всех сложных оболочек во всех условиях.
Авторы рекомендуют публиковать повторный запуск той же конфигурации рядом с каждым сравнением оболочек. Без него небольшое преимущество легко принять за улучшение, хотя оно укладывается в разброс результатов.
Для выбора инструмента полезнее сопоставлять долю решённых задач, полную стоимость попытки и ограничения испытаний, а не сложность устройства сама по себе. В качестве следующего шага пригодится гайд по выбору ИИ-агента для программирования: он посвящён выбору помощника, а не результатам этого исследования.
