Разработчик igumnov описал опыт подключения QMD — инструмента поиска по смыслу — к ИИ-помощнику для программирования. В двух задачах на проекте из 1231 исходного файла расчётная стоимость обработки токенов снизилась на 40,92% и 1,33%. Но на маленьком проекте из 27 файлов, по словам автора, она, наоборот, выросла на 60%.
Что изменили в работе помощника
Прежде чем исправлять программу, ИИ-агент должен найти нужные файлы. По наблюдению автора, обычный поиск имён и строк расходует много токенов — фрагментов текста, которые обрабатывает модель. Он решил проверить другой подход: сначала искать нужную реализацию по описанию её поведения.
Для этого он использовал открытый проект QMD — Query Markup Documents. Инструмент создаёт поисковый индекс, то есть заранее подготовленную базу для поиска по содержимому. В выбранном автором режиме QMD сочетает поиск по словам и смыслу, расширяет исходный запрос и повторно оценивает найденные фрагменты по близости к нему.
В инструкции для агента автор разделил случаи: известен путь — открыть файл напрямую; известны точное имя или строка ошибки — искать их обычными средствами; известно только поведение — обратиться к QMD. Поиск по смыслу должен заменять первоначальный широкий просмотр проекта, а не становиться дополнительным обязательным шагом.
Две задачи — очень разная экономия
Основной тест проходил на проекте с Java, Scala и Angular. В первой задаче требовалось добавить выключенный по умолчанию флаг антиквантового шифрования: от настройки в веб-интерфейсе до сохранения в базе и передачи агенту. По расчёту автора, стоимость с QMD составила $0,3634 против $0,6151 без него — снижение на 40,92%. Он также сообщил, что время работы в этом случае сократилось с шести до четырёх минут.
Во второй задаче добавляли поле dry для политики стирания, также с редактированием в интерфейсе, сохранением в базе и передачей агенту. Расчёт дал $0,5415 с QMD против $0,5488 без него: экономия лишь 1,33%. Обычных входных токенов стало меньше, но объём кэшированных входных данных и ответа вырос. Одного сокращения поиска оказалось недостаточно для сопоставимого снижения итоговой стоимости.
Существенная оговорка появилась в обновлении публикации: тестировали Luna 6, а суммы считали по тарифам GPT-5.3-Codex для быстрой оценки. Поэтому это не фактические расходы на GPT-5.3-Codex и не подтверждённый счёт за Luna 6. Автор утверждает, что пересчёт по тарифам Luna 6 не меняет картину, но отдельные суммы такого пересчёта не приводит.
Где подход может оказаться лишним
На проекте из 27 файлов автор получил противоположный результат: стоимость выросла на 60%. Сам он считает QMD избыточным для маленькой кодовой базы и признаёт, что нужна более широкая выборка. Эти наблюдения не дают основания обещать всем пользователям экономию в 40% — результат зависит от конкретной задачи и проекта.
Есть и работа по подготовке поиска. Индекс нужно обновлять при изменении кода и проверять, что в него не попали ненужные файлы. Автор рассказал, что скомпилированные JavaScript-файлы и большие файлы переводов засоряли результаты. После нахождения нужной реализации он предлагает прекращать поиск и переходить к чтению необходимых участков кода.
Практический вывод здесь скромнее яркой максимальной цифры: сравнивать стоит полную стоимость выполнения своей задачи, а не только число входных токенов. А для более общего вопроса — когда поиску по смыслу можно доверять — пригодится материал о пользе и ограничениях ИИ-поиска по внутренним документам.