Ай Дайджест

Свежая выжимка ml и AI статей - каждый день

Подборка статей по тегу "decomposition"

GenMAC: Композиционная генерация видео на основе текста с помощью многоагентного сотрудничества

Модели генерации текста в видео продемонстрировали значительный прогресс в последние годы. Однако они все еще испытывают трудности с созданием сложных динамических сцен на основе составных текстовых запросов, таких как связывание атрибутов для нескольких объектов, временная динамика, связанная с разными объектами, и взаимодействие между объектами. Наша основная мотивация заключается в том, что сложные задачи можно разложить на более простые, каждая из которых обрабатывается специализированным агентом MLLM. Несколько агентов могут сотрудничать для достижения коллективного интеллекта в сложных целях. Мы предлагаем GenMAC, итеративную многоагентную структуру, которая позволяет составлять текстовую генерацию видео. Совместный рабочий процесс включает три этапа: Дизайн, Генерация и Повторный дизайн, с итеративным циклом между этапами Генерации и Повторного дизайна для постепенной проверки и уточнения созданных видео. Этап Повторного дизайна является самым сложным, его цель - проверить созданные видео, предложить исправления и переработать текстовые запросы, макеты кадра и масштабы руководства для следующей итерации генерации. Чтобы избежать галлюцинации одного агента MLLM, мы разбиваем этот этап на четыре последовательно выполняемых агента на основе MLLM: агент проверки, агент предложений, агент исправлений и агент структурирования выходных данных. Более того, для решения разнообразных сценариев составной текстовой генерации видео мы разрабатываем механизм самостоятельного маршрутизации для адаптивного выбора подходящего агента исправлений из набора агентов исправлений, каждый из которых специализирован для одного сценария. Обширные эксперименты демонстрируют эффективность GenMAC, достигая лучших результатов в области составной текстовой генерации видео.

agentsgenerationcollaboration

Генерация рабочих процессов с помощью декомпозиции задач и RAG: Путь к низкокодовым решениям

Технологии ИИ быстро переходят от исследований к производству. С ростом популярности Фундаментальных Моделей (FM), которые генерируют текст, изображения и видео, сложность систем на основе ИИ возрастает. По сравнению с традиционным программным обеспечением на основе ИИ, системы, использующие FM или системы на основе генеративного ИИ (GenAI), более сложны в проектировании из-за их масштаба и универсальности. Это делает необходимым документирование лучших практик, известных как проектные шаблоны в программной инженерии, которые могут быть использованы в различных приложениях GenAI. Нашим первым вкладом является формализация двух техник, Разложение задач и Генерация с дополнением данных (RAG), как проектных шаблонов для систем на основе GenAI. Мы обсуждаем их компромиссы в контексте атрибутов качества программного обеспечения и комментируем альтернативные подходы. Мы рекомендуем практикам ИИ рассматривать эти техники не только с научной точки зрения, но и с точки зрения желаемых инженерных свойств, таких как гибкость, поддерживаемость, безопасность и защита. В качестве второго вклада мы описываем наш опыт работы в отрасли, применяя Разложение задач и RAG для создания сложного реального приложения GenAI для корпоративных пользователей: Генерация рабочих процессов. Задача генерации рабочих процессов включает в себя создание конкретного плана с использованием данных из системной среды, принимая в качестве входного параметра требования пользователя. Поскольку эти два шаблона влияют на весь цикл разработки ИИ, мы объясняем, как они повлияли на создание датасета, обучение модели, оценку модели и этапы развертывания.

modelsdeploymentgenai

WF-VAE: Улучшение Видео VAE с помощью Энергетического Потока на Основе Вейвлетов для Моделей Диффузии Видео в Латентном Пространстве

Видеографический вариационный автокодировщик (VAE) кодирует видео в низкоразмерное латентное пространство, становясь ключевым компонентом большинства латентных моделей диффузии видео (LVDM), чтобы снизить затраты на обучение модели. Однако, с увеличением разрешения и длительности генерируемых видео, стоимость кодирования видеографических VAE становится ограничивающим фактором при обучении LVDM. Более того, метод блокового инференса, используемый большинством LVDM, может привести к дискретности латентного пространства при обработке длинных видео. Ключ к решению вычислительного узкого места заключается в разбиении видео на отдельные компоненты и эффективном кодировании критической информации. Преобразование вейвлетов может разложить видео на несколько компонент в частотной области и значительно повысить эффективность, поэтому мы предлагаем Wavelet Flow VAE (WF-VAE), автоэнкодер, который использует многоуровневое вейвлет-преобразование для облегчения потока низкочастотной энергии в латентное представление. Кроме того, мы вводим метод под названием Causal Cache, который поддерживает целостность латентного пространства во время блокового инференса. По сравнению с современными видеографическими VAE, WF-VAE демонстрирует превосходные результаты как по метрике PSNR, так и по метрике LPIPS, достигая в 2 раза более высокой пропускной способности и в 4 раза меньшего потребления памяти при сохранении конкурентоспособного качества реконструкции. Наш код и модели доступны по адресу https://github.com/PKU-YuanGroup/WF-VAE.

vaewaveletinference

Разложение и интерпретация векторов управления: Можно ли использовать разреженные автоэнкодеры?

Векторы управления являются перспективным методом для контроля поведения крупных языковых моделей. Однако их внутренние механизмы остаются плохо понятыми. Хотя разреженные автокодировщики (SAEs) могут предложить потенциальный способ интерпретации векторов управления, недавние исследования показывают, что векторы, реконструированные с помощью SAEs, часто лишены управляющих свойств оригинальных векторов. В данной статье исследуется, почему прямое применение SAEs к векторам управления приводит к вводящим в заблуждение декомпозициям, выявляя две причины: (1) векторы управления находятся вне распределения входных данных, для которых SAEs были разработаны, и (2) векторы управления могут иметь значимые отрицательные проекции в направлениях признаков, которые SAEs не предназначены учитывать. Эти ограничения препятствуют прямому использованию SAEs для интерпретации векторов управления.

featuresdecompositioninterpretation

BitStack: Эффективное управление памятью для сжатия больших языковых моделей

Крупные языковые модели (LLMs) произвели революцию во многих приложениях, однако их внедрение до сих пор сталкивается с ограничениями памяти на локальных устройствах. Хотя законы масштабирования улучшили возможности LLM, основное узкое место сместилось от возможностей к доступности, подчеркивая необходимость эффективного управления памятью. Традиционные методы сжатия, такие как квантование, часто требуют заранее определенных соотношений сжатия и отдельных процессов сжатия для каждого настройки, что усложняет развертывание в условиях переменной памяти. В данной статье мы представляем BitStack, новый подход к сжатию весов без обучения, который позволяет осуществлять компромиссы на уровне мегабайт между использованием памяти и производительностью модели. Используя декомпозицию весов, BitStack может динамически настраивать размер модели с минимальной передачей данных между оперативной памятью и устройствами хранения. Наш подход итеративно разлагает матрицы весов с учетом значимости каждого параметра, в результате чего получается приблизительно 1-битовый остаточный блок на параметр в каждой итерации декомпозиции. Эти блоки сортируются и складываются в хранилище как базовые единицы передачи, при этом разное их количество загружается в зависимости от текущей доступности памяти. Многочисленные эксперименты по широкому спектру задач показывают, что, несмотря на предоставление детального контроля над размером, BitStack последовательно соответствует или превосходит сильные базовые показатели квантования, особенно при экстремальных коэффициентах сжатия. Насколько нам известно, это первый метод на основе декомпозиции, который эффективно сокращает разрыв между практическими техниками сжатия, такими как квантование. Код доступен по адресу: https://github.com/xinghaow99/BitStack.

performancemodelsquantization