Код как Монитор: Осознание Ограничений в Визуальном Программировании для Реактивного и Проактивного Обнаружения Ошибок Роботов

Автоматическое обнаружение и предотвращение сбоев открытого множества имеют решающее значение в системах робототехники с замкнутым циклом. Недавние исследования часто сталкиваются с трудностями при одновременной идентификации неожиданных сбоев реактивно после их возникновения и предотвращении предсказуемых проактивно. С этой целью мы предлагаем Code-as-Monitor (CaM), новую парадигму, использующую модель визуального языка (VLM) как для реактивного, так и для проактивного обнаружения сбоев открытого множества. Основой нашего метода является формулирование обеих задач как единого набора задач удовлетворения пространственно-временных ограничений и использование кода, сгенерированного VLM, для их оценки в режиме реального времени. Для повышения точности и эффективности мониторинга мы дополнительно вводим элементы ограничений, которые абстрагируют связанные с ограничениями сущности или их части в компактные геометрические элементы. Этот подход предлагает большую универсальность, упрощает отслеживание и облегчает визуальное программирование с учетом ограничений, используя эти элементы как визуальные подсказки. Эксперименты показывают, что CaM достигает на 28,7% более высокой степени успеха и снижает время выполнения на 31,8% в условиях сильных помех по сравнению с базовыми показателями в трех симуляторах и в реальных условиях. Более того, CaM можно интегрировать с политиками управления открытым циклом для формирования замкнутых систем, что позволяет выполнять долгосрочные задачи в загроможденных сценах с динамическими условиями.