Бывший исследователь DeepMind Торе Грепель основал Metis Reasoning и предложил способ бороться с выдуманными ответами ИИ: хранить знания отдельно от модели и проверять каждый новый вывод. Образцом стала AlphaGo, но пока это исследовательская программа, а не работающая система. Для тех, кто использует ИИ в ответственных задачах, главное здесь — обещание прослеживаемых доказательств, которое ещё предстоит проверить.
От выбора хода — к проверке ответа
Грепель представил подход на конференции Nvidia GTC в Берлине. Его команда считает, что простого увеличения языковых моделей недостаточно для решения проблемы галлюцинаций — ответов, которые выглядят убедительно, но не соответствуют фактам.
Идея опирается на устройство AlphaGo, победившей профессионального игрока в го Ли Седоля в 2016 году. Система не только предлагала вероятные ходы, но и перебирала продолжения партии. Metis хочет перенести сочетание предложений и поиска на рассуждения о реальном мире. Вместо положения камней на доске система должна учитывать, что ей известно и какие вопросы пока остаются открытыми.
Как должен работать реестр знаний
В предложенной схеме знания хранятся во внешнем реестре, а не только во внутренних параметрах нейросети. Реестр фиксирует известные сведения, степень уверенности и пробелы. Отдельный модуль проверяет новые записи с помощью расчётов, формальных доказательств или эмпирических данных. Если исходное предположение отпадает, зависевшие от него выводы пересматриваются.
Следующим «ходом» может стать вопрос, эксперимент или оспаривание прежнего предположения. Система должна выбирать действие, которое сильнее уменьшает неопределённость по исходному вопросу. Конечный результат — либо ответ с обоснованием, либо объяснение, почему ответить пока нельзя.
Две нейросети предлагают и оценивают такие шаги, но не могут отменить правила проверки. По замыслу Metis, это позволит реже выдумывать факты, объяснять ответы со ссылками на доказательства и менять или удалять знания без повторного обучения модели. Применение небольших моделей на устройствах и в роботах команда также рассматривает как возможность, а не продемонстрированный результат.
Что ещё не доказано
У Metis пока нет работающей системы, результатов тестов и сравнений с нынешними моделями для рассуждений. Поэтому утверждать, что метод уже уменьшил число ошибок или превзошёл существующие решения, нельзя.
Команда признаёт: реальный мир устроен сложнее го. Информация бывает неполной, получение доказательств — дорогим, а некоторые вопросы вообще не имеют ответа. Открытым остаётся и то, как организовать проверяемый реестр в запутанных практических задачах, а не только в учебных примерах.
Сам принцип сочетания нейросети с отдельной проверкой не нов: например, AlphaGeometry2 использует механизм проверки математических доказательств. Metis предлагает распространить подобные принципы на открытые вопросы реального мира. Именно этот переход ещё требует демонстрации.
Что это означает для работы с ИИ сейчас
Для пользователя новость пока не означает появления инструмента, которому можно безоговорочно доверить расчёт или решение. Сильная сторона замысла — возможность проследить, на чём держится вывод, и пересмотреть его при изменении исходных данных. Но описание такого механизма ещё не доказывает его надёжность.
В повседневной работе можно применять более простой приём: требовать опору для отдельных утверждений и сверять её с исходным материалом. Например, в нашем материале о том, как сравнивать предложения с помощью нейросети, к записям в таблице предлагается прикладывать короткие цитаты. Это не реализация подхода Metis и не гарантия от ошибок, а способ сделать проверку ответа удобнее.
