M3D,OC,RAG: Революция в понимании документов с помощью многомодальных технологий

В мире, где информация часто разбросана по множеству документов, вопросно-ответные системы на основе визуального анализа документов (DocVQA) становятся всё более востребованными. Традиционные методы, такие как использование моделей языка с мультимодальными возможностями (MLM) для обработки одностраничных документов или применение текстового извлечения с последующей генерацией ответов на основе извлечённых текстов (RAG), сталкиваются с серьёзными ограничениями при работе с многостраничными и многодокументными источниками. В этой статье мы рассмотрим новый подход, представленный в исследовании "M3D,OC,RAG: Multi-modal Retrieval is What You Need for Multi-page, Multi-document Understanding", который обещает преодолеть эти ограничения и значительно улучшить понимание документов.

Проблемы существующих методов

Одностраничные документы

Традиционные MLM, такие как использование оптического распознавания символов (OCR) для извлечения текста, эффективны для обработки одностраничных документов. Однако, когда дело доходит до многостраничных или многодокументных источников, эти модели сталкиваются с проблемами:

• Ограниченная длина контекста: Многие MLM не способны обрабатывать большие объёмы текста из-за ограничений по длине контекста.
• Игнорирование визуальной информации: OCR и другие методы извлечения текста часто упускают важные визуальные элементы, такие как таблицы, графики и изображения, которые могут содержать ключевую информацию.

Текстовый RAG

Текстовый RAG, где используются модели для поиска релевантных текстовых фрагментов и генерации ответов, также имеет свои недостатки:

• Игнорирование многомодальных данных: Текстовые модели не учитывают визуальную информацию, что может привести к неполным или неверным ответам.
• Неэффективность при работе с большими объёмами данных: Поиск и обработка информации из множества документов может быть вычислительно затратным и медленным.

M3D,OC,RAG: Новый подход

Что такое M3D,OC,RAG?

M3D,OC,RAG (Multi-modal Multi-page Multi-document Retrieval-Augmented Generation) представляет собой инновационную систему, которая объединяет многомодальные данные и RAG для улучшения понимания документов. Этот подход:

• Использует многомодальные данные: Обрабатывает не только текст, но и визуальные элементы документов.
• Поддерживает многопользовательские сценарии: Может работать как в закрытых (один документ), так и в открытых (множество документов) доменах.
• Обеспечивает гибкость: Подходит для вопросов, требующих информации с разных страниц или документов, а также для многомодальных доказательств.

Основные компоненты M3D,OC,RAG

1. Эмбеддинг документов: Все страницы документов преобразуются в RGB-изображения, из которых извлекаются визуальные эмбеддинги с помощью модели ColPali.

2. Поиск страниц: Используется модель поиска, основанная на ColPali, для нахождения наиболее релевантных страниц на основе текстового запроса. Для ускорения поиска в открытом домене применяется инвертированный файловый индекс (IVF).

3. Генерация ответов: На основе найденных страниц и исходного запроса, многомодальная модель языка, например, Qwen2-VL, генерирует ответ.

Преимущества M3D,OC,RAG

• Сохранение визуальной информации: В отличие от текстовых методов, M3D,OC,RAG учитывает и обрабатывает визуальные элементы документов.
• Эффективность: Может обрабатывать большие объёмы данных, включая многостраничные документы и множество документов.
• Гибкость: Подходит для различных сценариев использования, от простых вопросов до сложных, требующих многомодальных и многодокументных данных.

Эксперименты и результаты

M3D,OC,VQA: Новый бенчмарк

Для оценки эффективности M3D,OC,RAG была разработана новая база данных M3D,OC,VQA, которая включает более 3000 PDF-документов и более 40000 страниц. Вопросы в этом бенчмарке требуют информации из различных модальностей, таких как текст, изображения и таблицы.

Результаты

Эксперименты показали, что M3D,OC,RAG превосходит существующие методы:

• На M3D,OC,VQA: Значительно улучшает точность ответов, особенно когда информация содержится в визуальных элементах.
• На MMLongBench-Doc и MP-DocVQA: Показывает лучшие результаты по сравнению с другими методами, включая текущие лидеры в области DocVQA.

Качественный анализ

Примеры из M3D,OC,VQA демонстрируют, как система может находить ответы, используя информацию из различных страниц и документов, а также из визуальных элементов, таких как логотипы игр или таблицы с данными.

Заключение

M3D,OC,RAG представляет собой значительный шаг вперёд в области понимания документов. Интеграция многомодальных данных и эффективных методов поиска и генерации ответов позволяет системе работать с реальными сценариями, где информация может быть разбросана по множеству страниц и документов. Это открывает новые возможности для применения AI в таких областях, как финансы, здравоохранение и юриспруденция, где обработка больших объёмов документов является ключевым фактором для принятия информированных решений.