CLAUDE.md делает агента тупее: исследование на 138 репозиториях
Многие разработчики тщательно прописывают инструкции для ИИ-агентов в файлах CLAUDE.md и AGENTS.md. Казалось бы — чем больше контекста, тем лучше агент понимает проект. Но исследователи из ETH Zurich доказали обратное: подробные контекстные файлы увеличивают расходы на 20% и снижают качество решений на 3%.
Что такое контекстные файлы для ИИ-агентов
Контекстные файлы — это markdown-документы в корне репозитория, которые автоматически загружаются при каждом запросе к ИИ-агенту (LLM). Они описывают структуру проекта, используемые инструменты, конвенции кода и правила работы. Claude Code создаёт CLAUDE.md, GitHub Copilot использует copilot-instructions.md, Cursor — .cursorrules. Цель одна: дать LLM (большой языковой модели) максимум информации для навигации по кодовой базе.
Проблема в том, что каждый такой файл съедает токены контекстного окна при каждом запросе — даже когда агенту нужно просто переименовать переменную.
Исследование ETH Zurich: 5694 пулл-реквеста, 4 модели
В феврале 2026 года Thibaud Gloaguen, Niels Mündler и их коллеги из ETH Zurich и LogicStar.ai опубликовали масштабное исследование «Evaluating AGENTS.md». Команда протестировала 5694 реальных пулл-реквеста из 138 Python-репозиториев через четыре модели: Claude Sonnet 4.5, Codex GPT-5.2, GPT-5.1 Mini и Qwen3-30B.
AI-инструменты, которые можно сразу взять в работу
Подборка доступов и подписок к популярным сервисам: быстро, с авто-выдачей и понятной оплатой.
Методология была строгой. Первый сценарий — SWE-Bench Lite с 300 задачами и LLM-сгенерированными контекстными файлами (аналог /init в Claude Code). Второй — собственный AgentBench с 138 задачами из нишевых репозиториев, которых модели гарантированно не видели в обучающих данных.
Результаты по LLM-сгенерированным файлам
Success rate — основная метрика качества — упал на 3% в среднем. При этом стоимость инференса (выполнения модели на GPU) выросла более чем на 20%. То есть разработчики платят больше за худший результат. Добавление подробных инструкций, сгенерированных тем же ИИ, оказалось контрпродуктивным.
Результаты по человеческим файлам
Здесь картина чуть лучше: success rate вырос на 4%. Но стоимость инференса тоже выросла — на 19%. Четыре процента улучшения за двадцать процентов переплаты. Экономически это сложно назвать победой.
Почему описание структуры проекта не работает
Самый контринтуитивный вывод исследования: секции «Project Structure» и «Directory Overview» не помогают агентам находить нужные файлы быстрее. Вообще. Агенты читали эти описания, тратили токены на их обработку — а потом всё равно шли искать через grep и glob. Потому что поиск по файлам — это то, что LLM делает лучше человека: без усталости, без пропусков, без предвзятости.
Как формулирует инженер Google Addy Osmani: «Если агент может сам это найти в коде — удали из файла.» Описание архитектуры проекта? Агент поймёт за секунды. Версии фреймворков? Видны в pyproject.toml. Стиль кода? Конфиги лежат в корне.
GPT-5.1 Mini и проблема перечитывания
Особенно удивительное поведение показала GPT-5.1 Mini: она начинала перечитывать контекстный файл по несколько раз. Reasoning tokens для GPT-моделей выросли на 14–22%. Все четыре модели делали больше лишних шагов: запускали тесты, где они не нужны, проверяли зависимости при переименовании переменной.
Интересный эффект: когда в контекстном файле упоминались конкретные инструменты, их использование вырастало с 0.05 до 2.5 вызовов в среднем. Агент читал про инструмент и начинал его использовать просто потому, что ему про него рассказали. В одном случае, описанном на Hacker News, агент попытался заменить SQLite на MariaDB — потому что в контекстном файле было написано «для продакшена используем MariaDB».
Пять файлов для одной цели: бардак форматов
Разработчики сейчас поддерживают CLAUDE.md, AGENTS.md, .cursorrules, copilot-instructions.md и CLAUDE.local.md — пять файлов с пересекающимся содержимым. На GitHub открыт issue (#34235) с просьбой унификации. Один комментатор назвал корень репозитория «markdown-музеем для запутанных ботов». Каждый файл съедает контекстное окно при каждом запросе, даже при тривиальных задачах.
Какие инструкции действительно нужны
Исследование не призывает удалять контекстные файлы полностью, но рекомендует радикально сократить их объём. Консенсус экспертов: меньше 60 строк. Вот что стоит оставить:
- Команда для запуска тестов, если она нестандартная
- Пакетный менеджер (pnpm вместо npm), если это не очевидно
- Линтеры с нестандартными настройками
- Конвенции именования, которые не выводятся из кода
- Специфичные скрипты и инструменты
А вот что можно смело удалить: описание структуры проекта, перечень языков и фреймворков, архитектурные обзоры и всё, что генерирует команда /init.
Подход разработчика pamelafox с Hacker News заслуживает внимания: «Я добавляю инструкцию в AGENTS.md только когда агент провалил задачу — затем откатываю изменения и тестирую улучшение.» Эмпирически, на основе реальных ошибок, а не теоретических описаний.
Вывод
ИИ-агенты 2026 года умеют исследовать кодовую базу самостоятельно. Им не нужна карта местности — они лучше ориентируются без неё. Подробные контекстные файлы превращаются в шум, который увеличивает расходы и замедляет работу. Будьте лаконичны — агент за это скажет спасибо в токенах.
Подробнее о том, как бесплатные инструменты для программистов вытесняют платные сервисы, читайте в нашем обзоре.
AI-инструменты, которые можно сразу взять в работу
Подборка доступов и подписок к популярным сервисам: быстро, с авто-выдачей и понятной оплатой.