Акустический объемный рендеринг для нейронных полей импульсных откликов

Акустическое окружение играет ключевую роль в восприятии звука, формируя наши ежедневные аудиальные впечатления и оказывая значительное влияние на создание убедительных виртуальных миров. Импульсный отклик (IR) является фундаментальной характеристикой, которая захватывает сложные взаимодействия между звуком и пространством, отражая, как звуковые волны взаимодействуют с окружающей средой через отражение, дифракцию и поглощение. Этот отклик может быть использован для воссоздания акустических ощущений в любой точке пространства путем свертки с источниками звука, такими как музыка или речь.

Важность моделирования и понимания пространственного изменения импульсных откликов в акустических средах привела к значительному исследовательскому интересу. Существующие подходы стремятся создать нейронное поле импульсных откликов, которое представляет собой обученное отображение, генерирующее импульсные отклики на основе позиций источника и слушателя. Однако эти методы часто сталкиваются с проблемами точного захвата детализированных характеристик импульсных откликов и их пространственной вариации.

Мы утверждаем, что основное препятствие на пути к достижению лучших результатов заключается в отсутствии физических ограничений, которые бы обеспечивали согласованность между различными позициями. Без таких ограничений нейронная сеть склонна к переобучению на тренировочных данных и показывает слабую обобщаемость.

Методология

Акустический объемный рендеринг

В данной работе мы представляем новый подход под названием Акустический Объемный Рендеринг (AVR), который адаптирует техники объемного рендеринга для моделирования полей акустических импульсных откликов. Вдохновленные успехами в моделировании полей яркости для изображений, мы применяем объемный рендеринг в частотной области для решения уникальных вызовов, связанных с временными сигналами импульсных откликов.

Основные принципы акустического распространения волн

Акустические волны распространяются в пространстве, и их путь может включать прямую передачу, отражение от поверхностей, дифракцию и поглощение. Эти взаимодействия приводят к задержкам во времени и затуханию энергии. Например, если звуковой импульс эмитируется из точки ( p_e ) в момент времени ( t = 0 ), то сигнал, полученный в точке ( p_l ), будет:

[ h(t) = \frac{1}{| p_l - p_e |} \delta(t - \tau) ]

где ( \tau = \frac{| p_l - p_e |}{v} ), и ( v ) - скорость звука. Это уравнение учитывает задержку времени и затухание амплитуды с расстоянием.

Акустический объемный рендеринг в частотной области

Для преодоления проблем дискретного сэмплирования в реальном мире, мы переходим в частотную область, где временные задержки превращаются в сдвиги фазы. Это позволяет нам моделировать импульсные отклики с учетом физических принципов распространения звука:

[ H(f) = \frac{1}{| p_l - p_e |} e^{-j 2 \pi f \tau} ]

Используя преобразование Фурье, мы можем эффективно учитывать задержки времени и затухание энергии, что делает наш метод более точным и эффективным.

Эксперименты и результаты

Мы провели эксперименты на реальных и симулированных датасетах, демонстрируя, что AVR значительно превосходит существующие методы по различным метрикам, включая ошибку фазы, амплитуды, временную ошибку и другие параметры, характеризующие качество акустических импульсных откликов.

Реальные датасеты

На реальных датасетах, таких как MeshRIR и Real Acoustic Field, AVR показал значительные улучшения в точности синтеза импульсных откликов для новых позиций слушателей, что подтверждается визуализацией пространственного распределения сигналов и точностью в моделировании временных задержек.

Симулированные датасеты

На симулированных данных, созданных с помощью нашей платформы AcoustiX, AVR также продемонстрировал превосходство, особенно в сложных трехмерных сценах, где другие методы не могли точно захватить распределение поля.

Заключение

AVR представляет собой новаторский подход к моделированию акустических импульсных откликов, который интегрирует физические принципы распространения звука в нейронные сети. Используя частотный рендеринг и сферическую интеграцию, мы смогли преодолеть многие из ограничений, присущих предыдущим методам. Наши результаты показывают, что AVR способен создавать высококачественные акустические импульсные отклики, что открывает новые возможности для создания иммерсивных аудиальных опытов в виртуальной и дополненной реальности, а также в других приложениях, требующих точного моделирования акустики.