AnimateAnything: Создание Консистентных и Контролируемых Анимаций для Генерации Видео

Мы представляем унифицированный подход к управляемой генерации видео под названием **AnimateAnything**, который облегчает точное и последовательное манипулирование видео в различных условиях, включая траектории камеры, текстовые запросы и аннотации движений пользователя. В частности, мы тщательно разрабатываем сеть слияния многомасштабных контрольных характеристик для построения общего представления движения для различных условий. Она явно преобразует всю контрольную информацию в кадр за кадром оптические потоки. Затем мы включаем оптические потоки как априорные знания о движении для руководства финальной генерацией видео. Кроме того, чтобы уменьшить мерцание, вызванное крупномасштабными движениями, мы предлагаем модуль стабилизации на основе частот. Он может улучшить временную когерентность, обеспечивая согласованность частотной области видео. Эксперименты показывают, что наш метод превосходит современные подходы. Для получения дополнительной информации и видео, пожалуйста, обратитесь к веб-странице: https://yu-shaonian.github.io/Animate_Anything/.