Как оценивать RAG-системы: метрики, которые спасут от галлюцинаций

Как оценивать RAG-системы: метрики, которые спасут от галлюцинаций

RAG (Retrieval-Augmented Generation) — одна из самых популярных техник в современных AI-приложениях. Система сначала находит релевантные документы, а потом генерирует ответ на их основе. Но как понять, что RAG работает правильно? Новое руководство от OTUS разбирает ключевые метрики и подходы к оценке.

Триада RAG: три измерения качества

Ошибки в RAG-системах внешне выглядят одинаково — неверный ответ, — но причины кардинально различаются. Поисковый модуль может не найти нужный документ, модель может «галлюцинировать» даже при правильном контексте, а может ответить не на тот вопрос. Исправления для каждого случая совершенно разные.

Авторы предлагают оценивать RAG по трём осям: релевантность контекста (нашёл ли поиск нужные документы), верность источнику (придерживается ли генерация фактов) и релевантность ответа (отвечает ли система на вопрос пользователя).

Ключевая идея — раздельная оценка. Если проверять только финальный ответ, невозможно понять, где именно произошёл сбой. Например, в HR-ассистенте вопрос про отпуск по уходу за ребёнком может получить неправильный ответ из-за плохого поиска (не найден документ с условиями стажа) или из-за галлюцинации модели (документ найден, но проигнорирован).

Контекстная точность критически важна из-за эффекта «потеря в середине»: исследования показывают, что LLM хорошо воспринимают информацию в начале и конце контекста, но часто упускают данные посередине. Поэтому поисковый модуль, который ставит нужный документ на 8-е место из 10, практически бесполезен.

Для оценки авторы рекомендуют подход LLM-as-a-judge, когда одна LLM оценивает ответы другой. Этот метод вытеснил устаревшие метрики вроде BLEU и ROUGE, которые измеряли совпадение слов, а не смысл. Фреймворки G-Eval и Prometheus показали, что LLM в роли судьи способны распознавать семантическую эквивалентность и давать оценки, коррелирующие с человеческими.

Для практических экспериментов рекомендуется платформа Opik с встроенными метриками ContextPrecision и ContextRecall, которые работают по шкале от 0 до 1 и используют few-shot-промптинг со структурированными рубриками. По умолчанию используется GPT-4o, но можно переключиться на любую модель через LiteLLM.

Источник: Habr / OTUS