Black Forest Labs объяснила, зачем FLUX 3 учится на изображениях, видео и звуке

3 мин чтения 1
Black Forest Labs объяснила, зачем FLUX 3 учится на изображениях, видео и звуке

Андреас Блаттманн и Дастин Поделл из Black Forest Labs в интервью, опубликованном 16 ноября, рассказали о совместном обучении FLUX 3 на изображениях, видео и звуке. Их цель — не только убедительный отдельный кадр, но и согласованное движение и сохранение облика объектов. Для тех, кто создаёт ролики или редактирует фотографии, это разговор о качестве, которое не оценишь по одной красивой картинке.

Что движущаяся камера добавляет к фотографии

Блаттманн объясняет идею «визуального интеллекта» через ловлю мяча: человек начинает двигать рукой ещё до того, как мяч до неё долетит. Чтобы это сделать, необязательно уметь записывать траекторию формулой. Так он описывает знание о движении, которое Black Forest Labs стремится развивать у моделей.

Каждый вид данных даёт свою подсказку. Фотография показывает положение мяча, видео — как он туда попал, а звук удара помогает определить момент столкновения, даже если камера не сняла само касание. Этим в интервью объясняется совместное использование трёх сигналов при обучении FLUX 3.

Другой пример — камера, которая обходит человека. В какой-то момент модели придётся показать его затылок. По мнению Блаттманна, обычные видео содержат много сведений о том, как предметы выглядят с разных сторон. Но это ещё не доказывает, что модель понимает физику: в разговоре этот вопрос остаётся спорным.

Резкость кадра — не то же самое, что качество ролика

Если повышать резкость каждого кадра независимо, отдельные изображения могут выглядеть отлично, а при воспроизведении мелкие детали начнут мерцать. Причина в приведённом собеседниками примере — немного разные решения обработки от кадра к кадру.

Black Forest Labs использует ту же базовую модель FLUX 3 для своего инструмента повышения разрешения видео. Команда подчёркивает важность согласованности между кадрами даже в задаче, где пользователь просит лишь более чёткий файл. Практический вывод: оценивать такой результат стоит в движении, а не только по стоп-кадру.

Как ранний опыт с Kontext превратился в отдельную разработку

Поделл рассказал и о начале работы над FLUX Kontext, который позволяет менять изображение, сохраняя остальное. Его исходная догадка: если модель рисует собаку в шляпе, у неё уже есть некоторое представление о связи предметов.

Он и коллега собрали небольшой набор фотографий с описаниями таких связей. После нескольких часов обучения модель смогла разместить логотип на футболке. Результат был грубым, но его хватило для обсуждения внутри команды. Затем работа над данными и моделью заняла месяцы. Ранний опыт здесь не равен готовому продукту.

Для пользователя важна узнаваемость, а не только эффектность

Один из неожиданных для Поделла сценариев — восстановление старых повреждённых семейных фотографий: пользователи обрабатывали их через FLUX и показывали близким. Он говорит, что заранее не предвидел такого применения.

В подобных задачах сохранение лица имеет вполне человеческий смысл. Для другой ситуации с тем же требованием пригодится материал о том, как обработать фото для рабочего профиля и сохранить сходство. Это практический разбор работы со своим снимком, а не инструкция по восстановлению семейного архива.

Интервью раскрывает подход команды, но не устанавливает цены и условия доступа к описанным возможностям. По нему также нельзя заключить, что модели уже безошибочно сохраняют внешность или воспроизводят физику. Убедительное объяснение цели — ещё не гарантия результата.

Материал был полезен?
AI-инструменты без границ

Получите доступ к нужному AI-сервису уже сегодня

ChatGPT, Claude, Gemini, MiniMax и агенты для кода — предложения проверенных продавцов по доступным ценам. Оплата российскими картами, через СБП или криптовалютой.

Проверенные продавцы Быстрая выдача Доступные цены
Прокрутить вверх