Сбербанк выпустил семейство генеративных видеомоделей Kandinsky WM 1.0. Они создают короткие ролики, которые точнее обычного AI-видео следуют законам физики. Главное применение — генерация тренировочных данных для систем Physical AI: роботов, беспилотников, промышленных манипуляторов. Код и веса моделей опубликованы под лицензией MIT.
Суть события
В основе Kandinsky WM 1.0 — модель Kandinsky 5.0 Video Lite. Её дополнительно дообучили на видеозаписях с камер роботов, беспилотных автомобилей и промышленных систем. Получившиеся ролики длятся около пяти секунд и показывают отдельные физические действия: взял-положил-разрезал, перестроение на дороге, этапы производственного процесса.
По словам представителей Сбербанка, модели пригодятся там, где реальные съёмки невозможны, опасны или слишком дороги: редкие аварийные ситуации, экстремальная погода, отказы оборудования. Реальный автомобиль с камерами и датчиками накапливает примерно 5000 часов записей в год. Современным моделям нужны миллионы часов — разрыв огромный, и синтетические данные его закрывают.
MIT-лицензия означает полную открытость кода и весов для любого разработчика в мире. Любая компания — от стартапа до крупного производителя — может бесплатно скачать модель и использовать её для своих задач без отчислений и ограничений. Это принципиальное отличие от закрытых коммерческих решений, где доступ к весам и коду закрыт.
Создаваемые ролики — это базовые «кирпичики», из которых складывается обучение автономных систем. Пять секунд видео с чётким физическим действием — не абстрактная картинка, а конкретный сценарий, который робот должен распознать и правильно обработать.
Детали
Модели Kandinsky WM обучены генерировать видео с соблюдением физических законов. В отличие от обычных видеомоделей, которые могут создавать физически невозможные сцены, Kandinsky WM контролирует реалистичность: ролик не покажет объект, проваливающийся сквозь пол, или жидкость, текущую вверх. Это критически важно для роботов — ошибка в тренировочных данных может стоить миллионы рублей поломки оборудования.
MIT-лицензия означает, что код и веса доступны любому разработчику в мире. Любая компания — от стартапа до крупного производителя — может бесплатно скачать модель и использовать её для своих задач без отчислений и ограничений.
Создаваемые ролики — это базовые «кирпичики», из которых складывается обучение автономных систем. Пять секунд видео с чётким физическим действием — не абстрактная картинка, а конкретный сценарий, который робот должен распознать и правильно обработать.
Контекст
Physical AI — класс систем, которые воспринимают физический мир и управляют реальными устройствами. В отличие от языковых моделей, для физического AI нет открытых данных в достаточном объёме. Съёмка стоит дорого: нужны устройства, датчики, контролируемая среда, операторы. Ян Лекун, лауреат премии Тьюринга, оценивает, что четырёхлетний ребёнок через зрение получает больше информации, чем содержится во всех текстах, на которых обучены крупнейшие языковые модели.
Kandinsky WM 1.0 — первое открытое семейство российских моделей для генерации физически достоверных данных. В мире аналогичных систем единицы. Технология применима для обучения беспилотного транспорта — от легковых автомобилей до грузовиков и роботакси, для промышленных манипуляторов, сервисных и антропоморфных роботов, для компьютерного зрения на складах и производствах. Исследователи, университеты и стартапы смогут экономить ресурсы при сборе обучающих данных.
Подробнее о рынке беспилотников читайте в материале «Беспилотные автомобили: когда машины заменят водителей».
Помимо генерации данных, Kandinsky WM могут становиться основой для систем управления: физическая интуиция, выученная при генерации видео, переносится в модели действий роботов. Модели мира — будущее направление, где нейросеть предсказывает развитие сцены и служит симулятором для обучения без реальных экспериментов.
Что дальше
Kandinsky WM 1.0 — первое поколение на этом пути. Это не финальный продукт, а инструмент, который уже сейчас доступен разработчикам. Следующие шаги — улучшение физической достоверности, удлинение роликов и интеграция с реальными системами управления роботами.
Открытая лицензия означает, что российские и международные команды смогут форсировать развитие технологии без зависимости от закрытых решений. Это важно для инфраструктурных компаний, которые хотят контролировать свой стек.
Подробнее о Physical AI и связанных моделях читайте в разборе Gemini Robotics 2.
