Что произошло в слоях LLM при обучении на быстрых и медленных размышлениях: Градиентная перспектива

Что влияет на послеобучение крупных языковых моделей (LLM)? Мы исследуем паттерны обучения различных слоев крупных языковых моделей через призму градиентов, когда обучение ведется с различными откликами и начальными моделями. Нас особенно интересует, как быстрое и медленное мышление влияет на градиенты по слоям, учитывая недавнюю популярность обучения LLM на путях рассуждений, таких как цепочки мыслей (CoT) и процесс вознаграждения. В нашем исследовании быстрое мышление без использования CoT приводит к большим градиентам и большим различиям градиентов между слоями по сравнению с медленным мышлением (подробный CoT), что указывает на стабильность обучения, обеспечиваемую последним. Более того, предварительно обученные LLM менее подвержены нестабильности быстрого мышления, чем LLM, настроенные на инструкции. Дополнительно мы изучаем, могут ли паттерны градиентов отражать правильность ответов при обучении различных LLM с использованием путей быстрого и медленного мышления. Результаты показывают, что градиенты медленного мышления могут различать правильные и неуместные пути рассуждений. В сравнении, мы проводим аналогичный анализ градиентов на задачах обучения нерассуждающим знаниям, где, однако, тривиальное увеличение длины ответа не приводит к аналогичному поведению медленного мышления. Наше исследование укрепляет фундаментальное понимание обучения LLM и дает новые взгляды на его эффективность и стабильность, что прокладывает путь к созданию обобщающего агента System-2. Наш код, данные и статистика градиентов доступны по ссылке: https://github.com/MingLiiii/Layer_Gradient.