CiteVQA показал, что AI путает источники правильных ответов

CiteVQA — это новый бенчмарк для проверки того, умеют ли мультимодальные AI-модели не только отвечать на вопросы по PDF-документам, но и точно указывать фрагмент, на котором основан ответ. Мультимодальная модель работает сразу с несколькими типами данных, например текстом и изображениями страниц. AI Digest (ai-digest.ru) разбирает событие: исследователи показали, что ведущие модели могут давать правильный ответ, но ссылаться на неверное место в документе.

Что проверяет CiteVQA?

Обычные тесты по документам часто оценивают только финальный ответ: модель нашла дату, сумму, имя или вывод — значит зачёт. CiteVQA добавляет второй слой: модель должна указать точную область страницы, где находится доказательство ответа. Если ответ верный, но выделен не тот фрагмент, такая попытка не считается полностью успешной.

В набор вошли 1 897 вопросов по 711 PDF-документам из семи доменов и на двух языках. Средняя длина документа — 40,6 страницы. Это важно, потому что реальные юридические, финансовые и медицинские документы редко похожи на одну аккуратную страницу с очевидной строкой ответа.

Почему правильный ответ с неверной ссылкой опасен?

Авторы называют проблему атрибутивной галлюцинацией: модель не обязательно ошибается в ответе, но ошибается в объяснении, откуда он взят. Для читателя это особенно коварно. Финальный ответ выглядит убедительно, ссылка вроде бы есть, а проверка показывает, что указанный абзац или таблица не подтверждают вывод.

Такая ошибка отличается от классической выдумки фактов. AI Digest уже писал, что галлюцинации LLM могут быть встроенным эффектом работы модели. Здесь проблема тоньше: модель может попасть в правильный ответ за счёт общего контекста, но построить ложный след доказательств. Для аудита это почти хуже, потому что неверная ссылка маскируется под прозрачность.

Какие результаты показали модели?

Ключевая метрика CiteVQA называется Strict Attributed Accuracy, или SAA. Она засчитывает успех только тогда, когда совпадают и ответ, и место доказательства. По опубликованным результатам лучший коммерческий участник, Gemini-3.1-Pro-Preview, набрал 76 баллов из 100 по SAA. У некоторых моделей разрыв между обычной точностью ответа и строгой точностью с источником оказался заметно больше.

Для открытых моделей картина слабее: лучший open-source результат остался около 22,5 по SAA. Это не значит, что такие модели бесполезны для документов, но показывает ограничение: в задачах, где нужна проверяемая трасса до источника, простой ответ «на вид правильно» уже недостаточен. Похожая логика лежит в основе оценки RAG-систем и метрик против галлюцинаций.

Что это значит для бизнеса и юристов?

Главный риск появляется там, где AI помогает читать длинные документы: договоры, отчёты, медицинские выписки, тендерные файлы, регуляторные правила. Если сотрудник видит ответ и ссылку, он может перестать перепроверять первоисточник. Но CiteVQA показывает, что сама ссылка ещё не доказывает корректное основание ответа.

Практический вывод не в том, чтобы отказаться от AI-документооборота. Вывод в другом: системы должны проверять не только точность ответа, но и точность цитирования, координаты фрагмента, страницу, таблицу и связь между ними. Это особенно важно для RAG-подхода, где модель отвечает на основе найденных документов. Если проверка источников станет отдельным стандартом, корпоративные AI-ассистенты будут оценивать не по красоте текста, а по воспроизводимой цепочке доказательств.