Андреас Блаттманн и Дастин Поделл из Black Forest Labs в интервью, опубликованном 16 ноября, рассказали о совместном обучении FLUX 3 на изображениях, видео и звуке. Их цель — не только убедительный отдельный кадр, но и согласованное движение и сохранение облика объектов. Для тех, кто создаёт ролики или редактирует фотографии, это разговор о качестве, которое не оценишь по одной красивой картинке.
Что движущаяся камера добавляет к фотографии
Блаттманн объясняет идею «визуального интеллекта» через ловлю мяча: человек начинает двигать рукой ещё до того, как мяч до неё долетит. Чтобы это сделать, необязательно уметь записывать траекторию формулой. Так он описывает знание о движении, которое Black Forest Labs стремится развивать у моделей.
Каждый вид данных даёт свою подсказку. Фотография показывает положение мяча, видео — как он туда попал, а звук удара помогает определить момент столкновения, даже если камера не сняла само касание. Этим в интервью объясняется совместное использование трёх сигналов при обучении FLUX 3.
Другой пример — камера, которая обходит человека. В какой-то момент модели придётся показать его затылок. По мнению Блаттманна, обычные видео содержат много сведений о том, как предметы выглядят с разных сторон. Но это ещё не доказывает, что модель понимает физику: в разговоре этот вопрос остаётся спорным.
Резкость кадра — не то же самое, что качество ролика
Если повышать резкость каждого кадра независимо, отдельные изображения могут выглядеть отлично, а при воспроизведении мелкие детали начнут мерцать. Причина в приведённом собеседниками примере — немного разные решения обработки от кадра к кадру.
Black Forest Labs использует ту же базовую модель FLUX 3 для своего инструмента повышения разрешения видео. Команда подчёркивает важность согласованности между кадрами даже в задаче, где пользователь просит лишь более чёткий файл. Практический вывод: оценивать такой результат стоит в движении, а не только по стоп-кадру.
Как ранний опыт с Kontext превратился в отдельную разработку
Поделл рассказал и о начале работы над FLUX Kontext, который позволяет менять изображение, сохраняя остальное. Его исходная догадка: если модель рисует собаку в шляпе, у неё уже есть некоторое представление о связи предметов.
Он и коллега собрали небольшой набор фотографий с описаниями таких связей. После нескольких часов обучения модель смогла разместить логотип на футболке. Результат был грубым, но его хватило для обсуждения внутри команды. Затем работа над данными и моделью заняла месяцы. Ранний опыт здесь не равен готовому продукту.
Для пользователя важна узнаваемость, а не только эффектность
Один из неожиданных для Поделла сценариев — восстановление старых повреждённых семейных фотографий: пользователи обрабатывали их через FLUX и показывали близким. Он говорит, что заранее не предвидел такого применения.
В подобных задачах сохранение лица имеет вполне человеческий смысл. Для другой ситуации с тем же требованием пригодится материал о том, как обработать фото для рабочего профиля и сохранить сходство. Это практический разбор работы со своим снимком, а не инструкция по восстановлению семейного архива.
Интервью раскрывает подход команды, но не устанавливает цены и условия доступа к описанным возможностям. По нему также нельзя заключить, что модели уже безошибочно сохраняют внешность или воспроизводят физику. Убедительное объяснение цели — ещё не гарантия результата.