Ай Дайджест

GitChameleon: Разоблачение возможностей генерации версионного кода LLM

Быстрое развитие библиотек программного обеспечения представляет собой значительный вызов для моделей генерации кода, которые должны адаптироваться к частым обновлениям версий, сохраняя при этом совместимость с предыдущими версиями. Существующие бенчмарки для автодополнения кода часто упускают из виду этот динамический аспект, а те, которые его учитывают, опираются на статические задачи предсказания кода без оценки на основе выполнения, предоставляя ограниченный взгляд на практическую применимость модели. Чтобы заполнить этот пробел, мы представляем **GitChameleon**, новый, вручную отобранный набор данных, состоящий из 116 задач автодополнения кода на Python, каждая из которых обусловлена конкретными версиями библиотек и сопровождается исполняемыми юнит-тестами. **GitChameleon** предназначен для тщательной оценки способности современных больших языковых моделей (LLM) генерировать код, специфичный для версии, который не только синтаксически правильный, но и функционально точен при выполнении. Наши комплексные оценки показывают, что передовые LLM сталкиваются с трудностями в решении этой задачи; например, GPT-4o достигает pass@10 всего 39.9% (43.7%, когда предоставляется обратная связь об ошибках), что подчеркивает сложность проблемы и ограничения текущих моделей. Предоставляя бенчмарк на основе выполнения, который подчеркивает динамическую природу библиотек кода, **GitChameleon** служит важным инструментом для продвижения разработки более адаптируемых и надежных моделей генерации кода. Для облегчения дальнейшего исследования генерации кода, обусловленной версиями, мы делаем наш репозиторий кода общедоступным по адресу https://github.com/NizarIslah/GitChameleon.

benchmark adaptability execution

Авторегрессивные модели в компьютерном зрении: обзор

Авторегрессионное моделирование стало огромным успехом в области обработки естественного языка (NLP). Недавно авторегрессионные модели стали значимой областью внимания в компьютерном зрении, где они превосходно справляются с созданием высококачественного визуального контента. В NLP авторегрессионные модели обычно работают с субсловными токенами. Однако стратегия представления в компьютерном зрении может варьироваться на разных уровнях, например, уровень пикселей, уровень токенов или уровень масштаба, что отражает разнообразную и иерархическую природу визуальных данных по сравнению с последовательной структурой языка. В этом обзоре мы всесторонне рассматриваем литературу по авторегрессионным моделям, применяемым в области зрения. Для улучшения читаемости для исследователей с разным научным багажом, мы начинаем с предварительного представления и моделирования последовательностей в зрении. Далее мы делим основные фреймворки визуальных авторегрессионных моделей на три общие подкатегории: модели на основе пикселей, токенов и масштаба в зависимости от стратегии представления. Затем мы исследуем взаимосвязи между авторегрессионными моделями и другими генеративными моделями. Кроме того, мы представляем многоаспектную категоризацию авторегрессионных моделей в компьютерном зрении, включая генерацию изображений, видео, 3D-объектов и мультимодальную генерацию. Мы также подробно описываем их применение в различных областях, включая новые области, такие как воплощенный ИИ и 3D медицинский ИИ, с примерно 250 связанными ссылками. В заключение, мы подчеркиваем текущие вызовы для авторегрессионных моделей в зрении и предлагаем потенциальные направления для исследований. Мы также создали репозиторий на Github для организации бумаг, включенных в этот обзор, по адресу: https://github.com/ChaofanTao/Autoregressive-Models-in-Vision-Survey.

autoregression modeling vision

НЕКО: Построение пост-распознавания с использованием моделей больших языковых моделей и специалистов по задачам

Конструкция общего назначения корректора ошибок после распознавания ставит важный вопрос: как наиболее эффективно обучить модель на большом смешении наборов данных из различных областей? Ответ заключается в изучении специфических для каждого набора данных характеристик и их интеграции в единую модель. Ранние методы достигали этого, создавая отдельные модели коррекции языка, что приводило к значительному увеличению числа параметров. В данной работе мы представляем решение с использованием концепции "Смесь экспертов" (Mixture-of-Experts, MoE), подчеркивая, что MoE - это гораздо больше, чем просто инструмент для масштабирования. Мы предлагаем MoE для многозадачной коррекции, где эксперты обучаются быть "специалистами" в области распознавания речи, перевода текста и обработки визуальной информации, обучаясь направлять токены каждого набора данных к соответствующему эксперту. Эксперименты на Open ASR Leaderboard показывают, что мы исследуем новый уровень производительности, достигая в среднем относительного снижения WER на 5.0% и значительных улучшений в BLEU для задач распознавания речи и перевода. При нулевом тестировании NeKo превосходит GPT-3.5 и Claude-Opus с относительным снижением WER на 15.5% до 27.6% в тесте Hyporadise. NeKo показывает конкурентоспособные результаты по грамматике и коррекции после OCR в качестве модели для многих задач.

model training datasets

Энергоэффективные модели языка белков: Использование малых языковых моделей с LoRA для контролируемой генерации белков

Крупные языковые модели (LLM) показали значительный успех в задачах обработки естественного языка (NLP) и продемонстрировали многообещающие результаты в других областях, таких как генерация последовательностей белков. Однако существуют существенные различия между LLM, используемыми для NLP, которые эффективно справляются с множеством задач и доступны в небольших размерах, и языковыми моделями белков, которые часто специализированы для конкретных задач и существуют только в более крупных размерах. В этой работе мы представляем две небольшие языковые модели белков, основанные на Llama-3-8B и Phi-3-mini, которые способны генерировать белки как неконтролируемым, так и контролируемым способом. Для задачи неконтролируемой генерации наша лучшая модель достигает среднего pLDDT-оценки 69.75, что свидетельствует о надежной работоспособности при создании жизнеспособных структур белков. Для задачи контролируемой генерации, где модель генерирует белки в соответствии с заданными в запросе свойствами, мы достигли выдающегося среднего TM-Score в 0.84, что указывает на высокую структурную схожесть с целевыми белками. Мы выбрали 10 свойств, включая шесть классов ферментов, чтобы расширить возможности предыдущих языковых моделей белков. Наш подход использует технику Low-Rank Adaptor (LoRA), сокращая количество обучаемых параметров до всего 4% от исходного размера модели, что снижает вычислительные требования. Используя подмножество набора данных UniRef50 и небольшие модели, мы сократили общее время обучения на 70% без ущерба для производительности. Стоит отметить, что Phi-3-mini сократил количество обучаемых параметров на 60%, уменьшив затраты на обучение на 30% по сравнению с Llama 3. В результате, Phi-3 достигла сопоставимого TM-Score в 0.81, демонстрируя, что меньшие модели могут соответствовать производительности более крупных, таких как Llama 3. Мы также продемонстрировали развертывание наших моделей на энергосберегающем чипе ET-SoC-1, значительно улучшив TPS/W в три раза.

llms nlp protein

Исследование рациональности LLM в контексте теории игр

Данная статья исследует рациональность крупных языковых моделей (LLMs) в контекстах стратегического принятия решений, в частности в рамках теории игр. Мы оцениваем несколько передовых LLM на спектре игр с полной и неполной информацией. Наши результаты показывают, что LLM часто отклоняются от рациональных стратегий, особенно по мере увеличения сложности игры с большими матрицами выигрышей или более глубокими последовательными деревьями. Чтобы устранить эти ограничения, мы разработали несколько игротеоретических рабочих процессов, которые направляют процессы рассуждений и принятия решений у LLM. Эти рабочие процессы направлены на улучшение способности моделей вычислять равновесие Нэша и принимать рациональные решения даже в условиях неопределенности и неполной информации. Экспериментальные результаты демонстрируют, что внедрение этих рабочих процессов значительно улучшает рациональность и устойчивость LLM в игротеоретических задачах. В частности, с помощью этих рабочих процессов LLM показывают заметные улучшения в идентификации оптимальных стратегий, достижении почти оптимальных распределений в переговорных сценариях и снижении уязвимости к эксплуатации во время переговоров. Кроме того, мы рассматриваем мета-стратегические аспекты того, является ли рациональным для агентов принятие таких рабочих процессов, признавая, что решение использовать или отказаться от рабочего процесса само по себе является игротеоретической проблемой. Наш исследовательский вклад способствует глубокому пониманию возможностей LLM в принятии решений в стратегических контекстах и предоставляет идеи для повышения их рациональности через структурированные рабочие процессы. Результаты имеют значение для разработки более устойчивых и стратегически обоснованных ИИ-агентов, способных ориентироваться в сложных интерактивных средах. Код и данные, поддерживающие это исследование, доступны по адресу https://github.com/Wenyueh/game_theory.

rationality game strategy

Погружение в мир длинных документов: Бенчмарк M-LongDoc и подход к настройке с учётом извлечения информации

Способность понимать и отвечать на вопросы по документам может быть полезной во многих деловых и практических приложениях. Однако документы часто содержат длинные и разнообразные мультимодальные содержания, такие как тексты, иллюстрации и таблицы, которые для человека очень трудоемко читать полностью. Следовательно, существует срочная потребность в разработке эффективных и автоматизированных методов для помощи людям в этой задаче. В данной работе мы представляем M-LongDoc, эталонный набор из 851 образца, и автоматизированную платформу для оценки производительности крупных мультимодальных моделей. Мы также предлагаем метод настройки с учетом извлечения информации для эффективного и результативного чтения мультимодальных документов. В отличие от существующих работ, наш эталонный набор состоит из более свежих и длинных документов, содержащих сотни страниц, при этом требуя не только извлечения ответов, но и открытых решений. Насколько нам известно, наша тренировочная платформа является первой, которая напрямую решает задачу извлечения информации для длинных мультимодальных документов. Для настройки моделей с открытым исходным кодом мы создали обучающий корпус в полностью автоматическом режиме для задачи вопросно-ответной системы по таким документам. Эксперименты показывают, что наш метод настройки достигает относительного улучшения на 4.6% в правильности ответов модели по сравнению с базовыми моделями с открытым исходным кодом. Наши данные, код и модели доступны по адресу https://multimodal-documents.github.io."

benchmark multimodal retrieval

Введение в IOPO: Оптимизация предпочтений входа-выхода для улучшения следования инструкциям в LLM

В области больших языковых моделей (LLM) способность моделей точно следовать инструкциям является ключевой, поскольку всё больше агентов и приложений используют LLM для разработки, где сложность инструкций быстро возрастает. Однако, с одной стороны, существует ограниченное количество данных для оценки сложных инструкций; с другой стороны, нет специализированных алгоритмов для улучшения способности следовать сложным инструкциям. В этой связи данная статья представляет TRACE, эталон для улучшения и оценки способности следовать сложным инструкциям, который включает 120 тысяч обучающих данных и 1 тысячу данных для оценки. Кроме того, мы предлагаем метод выравнивания IOPO (Input-Output Preference Optimization), который учитывает пары предпочтений входных и выходных данных, где LLM не только быстро адаптируются к предпочтениям ответов, но и тщательно исследуют предпочтения инструкций. Многочисленные эксперименты на данных внутри домена и за его пределами подтверждают эффективность IOPO, показывая улучшения на 8.15% и 2.18% для данных внутри домена и 6.29% и 3.13% для данных за пределами домена по сравнению с SFT и DPO соответственно.

instructions benchmark training

Золотой камень: Комплексный билингвальный бенчмарк для оценки финансовых моделей большого языка

По мере того как крупные языковые модели становятся все более распространенными в финансовом секторе, возникает острая необходимость в стандартизированном методе для комплексной оценки их производительности. Однако существующие финансовые эталоны часто страдают от ограниченного охвата языков и задач, а также сталкиваются с проблемами, такими как низкое качество наборов данных и недостаточная адаптация для оценки LLM. Чтобы устранить эти недостатки, мы предлагаем "Золотой Краеугольный Камень", первый комплексный двуязычный эталон для финансовых LLM, который включает репрезентативные наборы данных на китайском и английском языках по восьми основным задачам финансовой обработки естественного языка. Этот эталон разработан на основе обширного сбора открытых данных и учета отраслевых требований и включает различные финансовые задачи, направленные на тщательную оценку способностей моделей к пониманию и генерации языка. Через сравнительный анализ основных моделей на этом эталоне, таких как GPT-4o, Llama3, FinGPT и FinMA, мы выявляем их сильные и слабые стороны в обработке сложной финансовой информации. Кроме того, мы представили в открытом доступе Touchstone-GPT, финансовую LLM, обученную через непрерывное предварительное обучение и настройку на финансовых инструкциях, которая показывает высокие результаты на двуязычном эталоне, но все еще имеет ограничения в определенных задачах. Это исследование не только предоставляет практический инструмент оценки для крупных финансовых языковых моделей, но и направляет разработку и оптимизацию будущих исследований. Исходный код для Золотого Краеугольного Камня и веса модели Touchstone-GPT были выложены в открытый доступ на https://github.com/IDEA-FinAI/Golden-Touchstone, способствуя эволюции FinLLMs и стимулируя дальнейшие исследования в этой важной области.

benchmark evaluation datasets

Как DPO снижает токсичность: Взгляд на внутренние механизмы

Алгоритмы тонкой настройки безопасности часто используются для доработки языковых моделей с целью уменьшения вредных результатов, однако точные внутренние механизмы, с помощью которых модели достигают этого, остаются неясными. В исследовании прямой оптимизации предпочтений (DPO) для снижения токсичности, текущие объяснения утверждают, что DPO действует, снижая активность наиболее токсичных нейронов MLP, чтобы научиться избегать токсичных областей в остаточном потоке. Тем не менее, после удаления наиболее токсичных нейронов и применения патчей активации, мы обнаружили, что это объяснение неполное. Проецируя изменения активации нейронов на зонд токсичности, мы установили, что только 31.8% снижения токсичности происходит за счет ослабления токсичных нейронов. Вместо этого, DPO снижает токсичность, накапливая эффекты по нескольким группам нейронов, как уменьшая выражение в токсичном направлении, так и стимулируя анти-токсичность в остаточном потоке. Более того, DPO вносит шумные корректировки в активацию нейронов, при этом многие нейроны фактически увеличивают токсичность. Это указывает на то, что DPO является процессом балансирования противоположных эффектов нейронов для достижения снижения токсичности.

fine-tuning toxicity neurons

Ключевые кадры и маскирование Mamba для расширенного генерирования движений

Перевод на русский: Генерация движений человека является передовой областью исследований в генеративном компьютерном зрении с перспективными применениями в создании видео, разработке игр и манипуляциях робототехники. Недавно разработанная архитектура Mamba показывает многообещающие результаты в эффективном моделировании длинных и сложных последовательностей, однако остаются две значительные проблемы: Во-первых, непосредственное применение Mamba к расширенной генерации движений неэффективно, поскольку ограниченная емкость неявной памяти приводит к её затуханию. Во-вторых, Mamba испытывает трудности с мультимодальной интеграцией по сравнению с трансформерами и не соответствует текстовым запросам, часто путая направления (влево или вправо) или опуская части длинных текстовых запросов. Чтобы решить эти проблемы, наша статья предлагает три ключевых вклада: Во-первых, мы вводим KMM, новую архитектуру с моделированием маскирования ключевых кадров, разработанную для улучшения фокусировки Mamba на ключевых действиях в сегментах движения. Этот подход решает проблему затухания памяти и представляет собой пионерский метод в настройке стратегического маскирования на уровне кадров в системах моделирования последовательностей (SSM). Кроме того, мы разработали парадигму контрастивного обучения для решения проблемы мультимодальной интеграции в Mamba и улучшения согласованности движения с текстом. Наконец, мы провели обширные эксперименты на наборе данных go-to, BABEL, достигнув рекордных результатов с сокращением более чем на 57% в FID и на 70% параметров по сравнению с предыдущими методами, установившими стандарт качества. Смотрите сайт проекта: https://steve-zeyu-zhang.github.io/KMM

modeling architecture memory

Edify Image: Высококачественная Генерация Изображений с Использованием Моделей Диффузии в Пиксельном Пространстве

Мы представляем Edify Image, семейство диффузионных моделей, способных генерировать фотореалистичное изображение с пиксельной точностью. Edify Image использует каскадные модели диффузии в пространстве пикселей, обученные с использованием новаторского процесса лапласианской диффузии, при котором сигналы изображения в различных частотных полосах затухают с разной скоростью. Edify Image поддерживает широкий спектр применений, включая синтез изображения из текста, повышение разрешения до 4K, ControlNets, генерацию 360-градусных HDR панорам и тонкую настройку для кастомизации изображений.

diffusion photorealistic synthesis

Китайский SimpleQA: Оценка фактичности больших языковых моделей

Новые бенчмарки для оценки крупных языковых моделей (LLM) важны для соответствия быстрому развитию этих моделей. В данной работе мы представляем Chinese SimpleQA — первый всеобъемлющий китайский бенчмарк для оценки способности языковых моделей отвечать на краткие вопросы с точки зрения фактичности. Chinese SimpleQA обладает пятью ключевыми характеристиками: китайский язык, разнообразие, высокое качество, статичность и простота оценки. В частности, во-первых, мы сосредотачиваемся на китайском языке по 6 основным темам с 99 разнообразными подтемами. Во-вторых, мы проводим всесторонний процесс контроля качества для обеспечения высокого качества вопросов и ответов, где эталонные ответы являются статичными и не могут изменяться со временем. В-третьих, в соответствии с SimpleQA, вопросы и ответы очень короткие, а процесс оценки прост благодаря использованию API OpenAI. На основе Chinese SimpleQA мы проводим комплексную оценку фактической способности существующих LLM. Наконец, мы надеемся, что Chinese SimpleQA поможет разработчикам лучше понимать способности их моделей в китайском контексте и способствовать развитию базовых моделей.

benchmark evaluation factuality

Исследование причинно-следственных связей в языковых моделях: Генерация контрфактуальных строк

Понимание и манипулирование механизмами причинного генерации в языковых моделях является ключевым для контроля их поведения. Предыдущие исследования в основном полагались на методы, такие как хирургическое вмешательство в представления — например, абляции модели или манипуляции линейными подпространствами, связанными с конкретными концепциями — для вмешательства в эти модели. Для точного понимания влияния вмешательств полезно рассмотреть контрафактуальные ситуации — например, как бы выглядело предложение, если бы оно было сгенерировано моделью после определенного вмешательства. Мы подчеркиваем, что контрафактуальное рассуждение концептуально отличается от вмешательств, как это выражено в причинной иерархии Пирла. Основываясь на этом наблюдении, мы предлагаем фреймворк для генерации истинных строковых контрафактуалов путем переформулирования языковых моделей как Обобщенных Структурно-Уравненных Моделей с использованием трюка Гамбела-макс. Это позволяет нам моделировать совместное распределение над исходными строками и их контрафактуалами, возникающими из одной и той же реализации шума выборки. Мы разработали алгоритм на основе ретроспективного семплирования Гамбела, который позволяет нам выводить скрытые переменные шума и генерировать контрафактуалы наблюдаемых строк. Наши эксперименты показывают, что подход производит значимые контрафактуалы, в то же время демонстрируя, что обычно используемые методы вмешательства имеют значительные нежелательные побочные эффекты.

intervention counterfactual causality

OМНИ-ЕДИТ: Создание универсальных моделей редактирования изображений через специализированный надзор

Методы редактирования изображений на основе инструкций показали значительный потенциал, обучая модели диффузии на автоматически синтезированных или вручную аннотированных парах изображений для редактирования. Однако эти методы всё ещё далеки от практического применения в реальной жизни. Мы выделяем три основных вызова, которые способствуют этому разрыву. Во-первых, существующие модели обладают ограниченными навыками редактирования из-за предвзятого процесса синтеза. Во-вторых, эти методы обучаются на наборах данных с высоким уровнем шума и артефактов, что связано с применением простых методов фильтрации, таких как CLIP-score. В-третьих, все эти наборы данных ограничены одной низкой разрешенностью и фиксированным соотношением сторон, что ограничивает универсальность для обработки реальных сценариев использования. В данной статье мы представляем \omniedit, который является всесильным редактором, способным обрабатывать семь различных задач редактирования изображений с любым соотношением сторон без проблем. Наш вклад состоит из четырёх частей: (1) \omniedit обучается с использованием супервизии от семи различных специализированных моделей, чтобы обеспечить охват задач. (2) Мы используем важностное выборочное обучение на основе оценок, предоставляемых крупными мультимодальными моделями (например, GPT-4o), вместо CLIP-score для улучшения качества данных. (3) Мы предлагаем новую архитектуру редактирования под названием EditNet для значительного повышения успешности редактирования. (4) Мы предоставляем изображения с различными соотношениями сторон, чтобы наша модель могла обрабатывать любые изображения из реального мира. Мы создали тестовый набор, содержащий изображения с различными соотношениями сторон, сопровождаемые разнообразными инструкциями для покрытия различных задач. Как автоматическая оценка, так и оценка людьми показывают, что \omniedit значительно превосходит все существующие модели. Наш код, набор данных и модель будут доступны по адресу https://tiger-ai-lab.github.io/OmniEdit/.

diffusion supervision sampling

Водяные знаки в локализованных сообщениях: Обзор модели WAM

Методы наложения водяных знаков на изображения не адаптированы для обработки малых водяных знаковых областей. Это ограничивает применение в реальных сценариях, где части изображения могут поступать из разных источников или были отредактированы. Мы представляем модель глубокого обучения для локализованного наложения водяных знаков, названную Моделью Наложения Водяных Знаков (WAM). Встраиватель WAM неуловимо изменяет входное изображение, в то время как экстрактор разделяет полученное изображение на водяные знаковые и неводяные зоны и извлекает одно или несколько скрытых сообщений из областей, где были обнаружены водяные знаки. Модели обучаются совместно на низком разрешении и без перцептивных ограничений, затем дополнительно обучаются на незаметность и на возможность наложения множественных водяных знаков. Эксперименты показывают, что WAM конкурентоспособен с лучшими методами по незаметности и устойчивости, особенно против восстановления и монтажа, даже на изображениях высокого разрешения. Более того, он предлагает новые возможности: WAM может локализовать водяные знаковые области на монтированных изображениях и извлекать различные 32-битные сообщения с ошибкой менее 1 бита из нескольких малых областей - не более 10% поверхности изображения - даже для маленьких изображений 256x256.

watermarking deep-learning embedding

Вставка объектов в изображения без обучения с использованием предобученных диффузионных моделей

Добавление объектов на изображения на основе текстовых инструкций является сложной задачей в области семантического редактирования изображений, требующей баланса между сохранением исходной сцены и бесшовной интеграцией нового объекта в подходящее место. Несмотря на значительные усилия, существующие модели часто сталкиваются с трудностями в достижении этого баланса, особенно при поиске естественного места для добавления объекта в сложные сцены. Мы представляем Add-it, подход без обучения, который расширяет механизмы внимания диффузионных моделей для включения информации из трех ключевых источников: изображения сцены, текстового запроса и самого сгенерированного изображения. Наш механизм расширенного взвешенного внимания поддерживает структурную согласованность и мелкие детали, одновременно обеспечивая естественное размещение объекта. Без специфической настройки для задачи, Add-it достигает рекордных результатов на бенчмарках вставки изображений как на реальных, так и на сгенерированных изображениях, включая наш новый "Бенчмарк возможности добавления" для оценки правдоподобности размещения объекта, превосходя методы с обучением. Оценки пользователей показывают, что Add-it предпочтителен в более чем 80% случаев, и он также демонстрирует улучшения по различным автоматизированным метрикам.

diffusion attention benchmark