Ай Дайджест

Свежая выжимка ml и AI статей - каждый день

Подборка статей по тегу "stability"

SNOOPI: Усовершенствованная одноступенчатая дистилляция диффузионных моделей

Недавние подходы дали обнадеживающие результаты в дистилляции многоступенчатых моделей диффузии текста в изображение в одноступенчатые. Современная эффективная техника дистилляции, а именно SwiftBrushv2 (SBv2), даже превосходит производительность модель-учителя при ограниченных ресурсах. Однако наше исследование показывает ее нестабильность при работе с разными основами моделей диффузии из-за использования фиксированной шкалы управления внутри потерь Вариационной Дистилляции Оценки (VSD). Еще одной слабостью существующих одноступенчатых моделей диффузии является отсутствие поддержки отрицательной подсказки, что критически важно в практической генерации изображений. Эта статья представляет SNOOPI, новую структуру, разработанную для решения этих ограничений путем улучшения управления в одноступенчатых моделях диффузии как в процессе обучения, так и в процессе вывода. Во-первых, мы эффективно увеличиваем стабильность обучения через Правильное Управление-SwiftBrush (PG-SB), которое использует подход классификации без-guidance с произвольной шкалой. Путем изменения шкалы управления у обеих модель-учителей мы расширяем их распределения выходных данных, что приводит к более надежным потерям VSD, которые позволяют SB эффективно работать с разнообразными основами, сохраняя при этом конкурентоспособную производительность. Во-вторых, мы предлагаем метод без обучения, называемый Вниманием Направленным Вперёд Отрицательно (NASA), который интегрирует отрицательные подсказки в одноступенчатые модели диффузии через перекрестное внимание, чтобы подавить нежелательные элементы в генерируемых изображениях. Наши экспериментальные результаты показывают, что предлагаемые нами методы значительно улучшают базовые модели по различным метрикам. Удивительно, но мы достигаем балла HPSv2 31.08, устанавливая новую современную эталонную оценку для одноступенчатых моделей диффузии.

generationperformanceguidance

Выравнивание крупных языковых моделей: Инновационный подход с использованием ограничений на уровне признаков

Согласование больших языковых моделей (LLMs) с человеческими предпочтениями остается ключевым вызовом. Хотя посттренировочные техники, такие как Обучение с подкреплением от человеческой обратной связи (RLHF) и Оптимизация прямых предпочтений (DPO), достигли заметного успеха, они часто вводят вычислительные неэффективности и нестабильность обучения. В данной статье мы предлагаем Оптимизацию предпочтений на уровне признаков (FPO), новый метод, разработанный для упрощения процесса согласования при сохранении стабильности. FPO использует предобученные Разреженные Автокодировщики (SAEs) и вводит ограничения на уровне признаков, что позволяет проводить эффективное, вынужденное разрежением согласование. Наш подход отличается эффективностью за счет использования разреженных признаков, активированных в хорошо обученном разреженном автокодировщике, и качества последовательного дивергенции Кульбака-Лейблера с использованием оффлайн-референса на уровне признаков. Экспериментальные результаты на эталонных наборах данных показывают, что FPO достигает абсолютного улучшения на 5.08% в проценте побед при значительно более низких вычислительных затратах по сравнению с лучшими на сегодняшний день базовыми моделями, что делает его перспективным решением для эффективного и контролируемого согласования LLM.

efficiencyconstraintssparsity

Что произошло в слоях LLM при обучении на быстрых и медленных размышлениях: Градиентная перспектива

Что влияет на послеобучение крупных языковых моделей (LLM)? Мы исследуем паттерны обучения различных слоев крупных языковых моделей через призму градиентов, когда обучение ведется с различными откликами и начальными моделями. Нас особенно интересует, как быстрое и медленное мышление влияет на градиенты по слоям, учитывая недавнюю популярность обучения LLM на путях рассуждений, таких как цепочки мыслей (CoT) и процесс вознаграждения. В нашем исследовании быстрое мышление без использования CoT приводит к большим градиентам и большим различиям градиентов между слоями по сравнению с медленным мышлением (подробный CoT), что указывает на стабильность обучения, обеспечиваемую последним. Более того, предварительно обученные LLM менее подвержены нестабильности быстрого мышления, чем LLM, настроенные на инструкции. Дополнительно мы изучаем, могут ли паттерны градиентов отражать правильность ответов при обучении различных LLM с использованием путей быстрого и медленного мышления. Результаты показывают, что градиенты медленного мышления могут различать правильные и неуместные пути рассуждений. В сравнении, мы проводим аналогичный анализ градиентов на задачах обучения нерассуждающим знаниям, где, однако, тривиальное увеличение длины ответа не приводит к аналогичному поведению медленного мышления. Наше исследование укрепляет фундаментальное понимание обучения LLM и дает новые взгляды на его эффективность и стабильность, что прокладывает путь к созданию обобщающего агента System-2. Наш код, данные и статистика градиентов доступны по ссылке: https://github.com/MingLiiii/Layer_Gradient.

gradientstabilitythinking