Открытый Код: Рецепт для Создания Лучших Моделей Кода на Базе LLM

Крупные языковые модели (LLM) для кода стали незаменимыми в различных областях, включая генерацию кода, задачи логического мышления и системы агентов. Хотя модели кода с открытым доступом всё чаще приближаются к уровню производительности проприетарных моделей, высококачественные LLM для кода, подходящие для строгих научных исследований, особенно те, которые имеют воспроизводимые пайплайны обработки данных и прозрачные протоколы обучения, остаются ограниченными. Такая нехватка обусловлена различными вызовами, включая ограничения ресурсов, этические соображения и конкурентные преимущества, связанные с сохранением передовых моделей. Чтобы заполнить этот пробел, мы представляем OpenCoder, модель LLM для кода высшего уровня, которая не только достигает производительности, сравнимой с ведущими моделями, но и служит «открытой кулинарной книгой» для научного сообщества. В отличие от большинства предыдущих попыток, мы публикуем не только веса модели и код для вывода, но и воспроизводимые обучающие данные, полный пайплайн обработки данных, результаты строгих экспериментальных абляций и подробные протоколы обучения для открытых научных исследований. Через это комплексное раскрытие мы определяем ключевые ингредиенты для создания модели LLM для кода высшего уровня: (1) оптимизированные эвристические правила для очистки данных и методы дедупликации данных, (2) вспоминание текстовых корпусов, связанных с кодом, и (3) высококачественные синтетические данные на этапах отжига и контролируемого дообучения. Предлагая такой уровень открытости, мы стремимся расширить доступ ко всем аспектам модели LLM для кода высшего уровня, при этом OpenCoder служит как мощной моделью, так и открытой основой для ускорения исследований и обеспечения воспроизводимых достижений в области ИИ для кода.