Введение

В мире, где технологии искусственного интеллекта (AI) развиваются стремительными темпами, крупные языковые модели (LLM) становятся неотъемлемой частью нашей жизни. Они демонстрируют впечатляющие способности решать задачи общего назначения, однако, с увеличением их влияния, возникает необходимость в обеспечении их надежности, безопасности и полезности для пользователей. В этом контексте, исследование методов, улучшающих взаимодействие пользователей с LLM, приобретает особую актуальность.

Недавние исследования показали, что LLM могут имитировать поведение специфических агентов, когда это требуется. Это привело к появлению различных подходов к улучшению ответов моделей, таких как использование множественных агентов для дебатов или создание единого эксперта для ответа на вопросы. Однако, каждый из этих методов имеет свои ограничения.

Многозадачное Промптингование (Multi-expert Prompting)

Многозадачное Промптингование представляет собой новый подход, который расширяет концепцию ExpertPrompting (Xu et al., 2023), направленный на улучшение генерации ответов LLM. Этот метод предполагает, что модель будет имитировать множество экспертов, агрегировать их ответы и выбирать наилучший из предложенных вариантов. Процесс выполняется в рамках одной цепочки мыслей через семь тщательно разработанных подзадач, вдохновленных Номинальной Групповой Техникой (NGT) (Ven и Delbecq, 1974).

Основные шаги Многозадачного Промптингования

1. Генерация экспертов и ответов: Модель создает список экспертов, способных ответить на заданный вопрос, и каждый эксперт предоставляет свой ответ.

2. Агрегация ответов экспертов: Ответы объединяются, и модель выбирает наилучший ответ среди индивидуальных и агрегированных вариантов.

Преимущества и оценка

Многозадачное Промптингование значительно превосходит ExpertPrompting и другие базовые методы по нескольким критериям:

• Истинность: Улучшает точность ответов.
• Фактичность: Уменьшает количество ошибок и неточностей.
• Нетоксичность: Снижает вероятность токсичных ответов.
• Невредность: Уменьшает потенциальный вред от ответов.
• Информативность: Увеличивает объем и глубину предоставляемой информации.
• Полезность: Повышает практическую ценность ответов.

Оценка показала, что Многозадачное Промптингование достигает наилучших результатов по истинности, превосходя все базовые линии на 8.69% с использованием ChatGPT.

Анализ и обсуждение

Почему Многозадачное Промптингование работает?

• Краткое против длинного описания эксперта: Исследование показало, что краткое описание эксперта не уступает по эффективности длинному, используемому в ExpertPrompting.

• Агрегированный ответ против ответа одного эксперта: Многозадачное Промптингование превосходит базовые методы за счет учета не только общих взглядов, но и уникальных перспектив каждого эксперта.

Заключение

Многозадачное Промптингование представляет собой эффективный, объяснимый и адаптируемый метод, который улучшает качество ответов LLM, делая их более надежными, безопасными и полезными для пользователей. Этот подход демонстрирует потенциал для применения в различных сценариях, где требуется глубокое и разностороннее рассмотрение вопросов.