Свежая выжимка ml и AI статей - каждый день
В мире робототехники и искусственного интеллекта постоянно происходят значительные сдвиги, направленные на улучшение способности роботов взаимодействовать с окружающей средой. Одним из таких прорывов является разработка системы DynaMem, которая представляет собой динамическую пространственно-семантическую память, позволяющую роботам адаптироваться к изменяющимся условиям в реальном времени. Этот подход является ответом на вызовы, с которыми сталкиваются современные системы открытого словаря мобильной манипуляции (OVMM), где роботы должны выполнять задачи в любой среде, руководствуясь лишь естественным языковым описанием.
Большинство существующих систем OVMM работают на предположении, что окружающая среда статична. Однако в реальной жизни обстановка часто меняется из-за вмешательства человека или действий самого робота. Это ограничивает применимость таких систем в динамических условиях, где объекты могут перемещаться, появляться или исчезать.
DynaMem предлагает новый подход, используя динамическую пространственно-семантическую память для представления окружающей робота среды. Эта память построена на основе трехмерной структуры данных, которая поддерживает точечное облако и позволяет отвечать на запросы о локализации объектов с использованием мультимодальных LLM или открытых словарных функций, сгенерированных современными моделями видео-языкового взаимодействия.
Динамическая 3D карта вокселей: DynaMem создает и поддерживает карту вокселей, которая обновляется с учетом изменений в окружающей среде. Каждый воксель содержит информацию о точках, таких как их координаты, время последнего наблюдения, количество наблюдений, идентификатор исходного изображения и семантические признаки.
Запросы на локализацию объектов: Система поддерживает два способа запросов:
Навигация и исследование: DynaMem также предоставляет карты препятствий и значения для исследования, что помогает роботу эффективно перемещаться и исследовать новые или измененные области.
Эксперименты, проведенные с использованием робота Stretch SE3 в трех реальных и девяти оффлайн-сценах, показали, что DynaMem значительно улучшает успех в выполнении задач по подъему и перемещению объектов в динамических средах. Средний уровень успеха составил 70%, что более чем в два раза превышает результаты статических систем.
DynaMem представляет собой значительный шаг вперед в области мобильной манипуляции роботов. Способность системы адаптироваться к динамическим изменениям в окружающей среде делает ее чрезвычайно полезной для реальных приложений, где условия могут быстро меняться. В будущем, интеграция DynaMem с более сложными навыками, такими как поиск в шкафах или ящиках, может еще больше расширить возможности роботов в повседневной жизни.