Оптимизация выбора данных для тонкой настройки больших языковых моделей: Введение в DELIFT

Тонкая настройка крупных языковых моделей (LLMs) необходима для улучшения их производительности на конкретных задачах, но часто требует значительных ресурсов из-за избыточных или неинформативных данных. Чтобы решить эту проблему неэффективности, мы представляем DELIFT (Data Efficient Language model Instruction Fine-Tuning), новый алгоритм, который систематически оптимизирует выбор данных на трех ключевых этапах тонкой настройки: (1) настройка по инструкциям, (2) специфическая для задачи тонкая настройка (например, рассуждения, ответы на вопросы) и (3) непрерывная тонкая настройка (например, внедрение новых версий данных). В отличие от существующих методов, которые сосредотачиваются на оптимизации одного этапа или полагаются на вычислительно сложные вычисления градиентов, DELIFT действует эффективно на всех этапах. Центральным элементом нашего подхода является метрика парной полезности, которая определяет, насколько полезен образец данных для улучшения ответов модели на другие образцы, эффективно измеряя информационную ценность относительно текущих возможностей модели. Используя различные субмодулярные функции, применяемые к этой метрике, DELIFT выбирает разнообразные и оптимальные подмножества данных, которые полезны на всех этапах тонкой настройки. Эксперименты на различных задачах и масштабах моделей показывают, что DELIFT может уменьшить объем данных для тонкой настройки до 70% без ущерба для производительности, предлагая значительную экономию вычислительных ресурсов и превосходя существующие методы по эффективности и результативности.