S,POT,L,IGHT: Управляемое перерисовывание объектов с использованием теней

Недавние исследования показали, что модели диффузии могут быть использованы в качестве мощных нейронных рендеринговых движков, которые могут быть использованы для вставки виртуальных объектов в изображения. Однако, в отличие от типичных физических рендеров, нейронные рендеринговые движки ограничены отсутствием ручного контроля над настройками освещения, что часто является важным для улучшения или персонализации желаемого результата изображения. В этой статье мы показываем, что точный контроль освещения можно достичь для переосвещения объекта, просто указав желаемые тени объекта. Удивительным образом мы показываем, что внедрение только тени объекта в предобученный основанный на диффузии нейронный рендерер позволяет ему точно создавать тени объекта в соответствии с желаемой позицией света, при этом правильно гармонизируя объект (и его тень) в целевом фоновом изображении. Наш метод, SpotLight, использует существующие подходы к нейронному рендерингу и достигает управляемых результатов переосвещения без дополнительного обучения. В частности, мы демонстрируем его использование с двумя нейронными рендерерами из недавней литературы. Мы показываем, что SpotLight достигает превосходных результатов композитинга объектов, как количественно, так и перцептивно, что подтверждено исследованием пользователей, превосходя существующие модели на основе диффузии, специально разработанные для переосвещения.