Обучение и оценка языковых моделей с использованием шаблонной генерации данных

С недавним развитием больших языковых моделей (LLMs), таких как GPT-3 и PaLM, стало очевидным, что они демонстрируют выдающиеся способности в понимании и генерации естественного языка. Однако, несмотря на эти достижения, LLMs сталкиваются с трудностями при решении задач, требующих сложного рассуждения, особенно в математических задачах. Это связано с нехваткой больших, качественных наборов данных, необходимых для обучения таких моделей.

Для решения этой проблемы была предложена новая методология — Template-based Data Generation (TDG), которая позволяет автоматически генерировать параметры и шаблоны для создания высококачественных математических задач и их решений. В данной статье мы рассмотрим основные концепции, лежащие в основе TDG, а также представим результаты, полученные с использованием этой методологии.

Проблемы существующих методов

Несмотря на значительные успехи LLMs в области обработки естественного языка (NLP), они часто сталкиваются с проблемами в областях, требующих глубокого понимания и сложного рассуждения. Например, в математическом решении задач LLMs могут не справляться с задачами, которые требуют точных вычислений и строгой логики.

Существующие наборы данных для обучения LLMs в области математики часто ограничены по размеру и разнообразию. Это затрудняет способность моделей обобщать и решать новые, ранее невидимые задачи. Таким образом, возникает необходимость в создании более обширных и разнообразных наборов данных, которые могут быть использованы для обучения и оценки LLMs.

Template-based Data Generation (TDG)

TDG — это подход, который использует шаблоны для систематического создания разнообразных математических задач и их решений. Этот метод включает в себя следующие ключевые этапы:

1. Генерация мета-шаблонов: Использование LLMs для создания шаблонов, которые описывают структуру задач и их решений. Например, шаблон может включать переменные, такие как имена, количества и временные рамки.

2. Автоматическая генерация задач: На основе мета-шаблонов автоматически создаются конкретные математические задачи. Это включает в себя подстановку значений в шаблоны для создания уникальных задач.

3. Генерация решений: Для каждой созданной задачи генерируется соответствующее решение, которое также может быть представлено в виде кода или естественного языка.

4. Верификация: Проверка сгенерированных задач и решений на корректность с использованием LLMs, что позволяет отсеивать недействительные или ошибочные пары.

Преимущества TDG

Метод TDG предлагает несколько значительных преимуществ:

• Масштабируемость: TDG позволяет генерировать практически неограниченное количество задач, что делает его идеальным для создания больших наборов данных.

• Разнообразие: Использование шаблонов обеспечивает разнообразие задач, что способствует лучшему обучению моделей.

• Качество: Система верификации гарантирует, что только качественные и корректные задачи и решения попадают в набор данных.

• Упрощение процесса: Автоматизация позволяет значительно сократить время и усилия, необходимые для создания обучающих наборов данных.

Применение TDG

В рамках TDG был создан набор данных Template Math Dataset, который включает более 7 миллионов синтетических математических задач, каждая из которых сопровождается кодом и естественным языком решения. Этот набор данных служит ценным ресурсом для обучения, дообучения и оценки LLMs в области математического рассуждения.

Примеры задач и решений

Рассмотрим несколько примеров задач, созданных с использованием TDG:

1. Задача: "Эмили продала 15 яблок. Она купила в 3 раза больше яблок и затем отдала 5 яблок своему другу. Сколько яблок у Эмили осталось?"

   • Решение: Эмили изначально имеет 15 яблок. Она покупает 15 * 3 = 45 яблок. Теперь у нее 15 + 45 = 60 яблок. После того как она отдала 5 яблок, у нее осталось 60 - 5 = 55 яблок.

2. Задача: "В магазине было 100 конфет. Продавец продал 20% конфет, а затем еще 30 конфет. Сколько конфет осталось в магазине?"

   • Решение: Продавец продал 20% от 100, что составляет 20 конфет. После этого он продал еще 30 конфет. Всего было продано 20 + 30 = 50 конфет. Таким образом, осталось 100 - 50 = 50 конфет.

Методология

Генерация мета-шаблонов

Первым шагом в TDG является создание мета-шаблонов с использованием LLMs, таких как GPT-4. Эти мета-шаблоны описывают структуру задач и включают переменные, которые могут быть изменены для создания уникальных задач. Например, мета-шаблон может выглядеть следующим образом:

"{имя} продал {количество_1} {предмет}. Он купил {количество_2} {предмет} и затем отдал {количество_3} {предмет} своему другу. Сколько {предмет} у {имя} осталось?"

Автоматическая генерация задач

На основе мета-шаблонов, TDG автоматически генерирует конкретные задачи. Каждая задача включает в себя случайно выбранные значения для переменных, что обеспечивает разнообразие. Например, для вышеуказанного шаблона может быть создана задача:

"Эмили продала 15 яблок. Она купила 45 яблок и затем отдала 5 яблок своему другу. Сколько яблок у Эмили осталось?"

Генерация решений

Для каждой созданной задачи также генерируется соответствующее решение. Важно, чтобы решения были представлены как в виде кода, так и в естественном языке, что делает их более доступными для обучения моделей.

Верификация

После генерации задач и решений, необходимо провести верификацию для проверки их корректности. Это включает в себя использование LLMs для выполнения расчетов и проверки логики решений. Если решение не проходит проверку, оно отбрасывается, и создается новое.

Результаты

Используя TDG, был создан набор данных, который включает в себя 7,473,000 уникальных задач и решений. Этот набор данных был использован для обучения и оценки LLMs, что показало значительное улучшение в их способности решать математические задачи.

Оценка производительности

Производительность моделей была оценена на основе их способности решать задачи из созданного набора данных. Результаты показали, что модели, обученные с использованием TDG, значительно превосходят модели, обученные на традиционных наборах данных.

Заключение

Template-based Data Generation (TDG) представляет собой инновационный подход к созданию высококачественных наборов данных для обучения языковых моделей в области математического рассуждения. Этот метод позволяет генерировать практически неограниченное количество задач, обеспечивая при этом их разнообразие и качество. Результаты, полученные с использованием TDG, демонстрируют значительное улучшение в производительности LLMs, что открывает новые возможности для их применения в сложных задачах, требующих глубокого понимания и рассуждения.

Будущие исследования могут сосредоточиться на расширении подхода TDG для других областей, таких как естественный язык, программирование и другие области, требующие сложного анализа и решения проблем.