Введение в CAD-MLLM: Объединение Генерации CAD с Мультимодальными Условиями

В современном мире дизайна и инженерии компьютерное моделирование играет ключевую роль. Системы компьютерного проектирования (CAD) позволяют создавать, модифицировать и оптимизировать объекты с высокой точностью и эффективностью. Однако, несмотря на мощь современных CAD-систем, процесс проектирования часто требует значительных знаний и времени, особенно когда речь идет о создании моделей на основе различных входных данных, таких как текстовые описания, изображения, облака точек или их комбинации.

CAD-MLLM: Новый Подход к Генерации CAD

Концепция CAD-MLLM

CAD-MLLM (Computer-Aided Design Multimodal Large Language Model) представляет собой инновационный подход к генерации параметрических CAD-моделей, используя мультимодальные входные данные. Эта система объединяет в себе возможности больших языковых моделей (LLM) для обработки и интерпретации различных типов данных, таких как текст, изображения и облака точек, для создания точных и детализированных CAD-моделей.

Основные Компоненты CAD-MLLM

1. Модуль Выравнивания Визуальных Данных: Этот модуль обрабатывает изображения из различных ракурсов, извлекая и объединяя визуальные признаки в единое представление, которое затем может быть использовано для генерации CAD-моделей.

2. Модуль Выравнивания Данных Облака Точек: Аналогично визуальным данным, этот модуль обрабатывает облака точек, преобразуя их в векторизованное представление, совместимое с LLM.

3. Большая Языковая Модель (LLM): Используя LoRA (Low-Rank Adaptation) для тонкой настройки, LLM интерпретирует входные данные и генерирует последовательности команд для создания CAD-моделей.

Создание и Аугментация Данных

Для обучения CAD-MLLM была создана уникальная база данных Omni-CAD, содержащая около 450 тысяч CAD-моделей с соответствующими текстовыми описаниями, многоугольными изображениями и облаками точек. Этот набор данных был сформирован с использованием API Onshape и дополнен через процесс аугментации, который включает в себя извлечение промежуточных моделей после каждой операции экструзии, что значительно увеличивает объем и разнообразие данных для обучения.

Оценка Качества Генерации

Для оценки качества генерируемых CAD-моделей были разработаны новые метрики, такие как:

• Segment Error (SegE): Оценивает точность топологии сегментов модели.
• Dangling Edge Length (DangEL): Измеряет длину висячих ребер, которые могут указывать на проблемы с топологией.
• Self-Intersection Ratio (SIR): Определяет процент самопересекающихся граней.
• Flux Enclosure Error (FluxEE): Оценивает, насколько хорошо модель закрывает пространство.

Экспериментальные Результаты

Эксперименты показали, что CAD-MLLM превосходит существующие методы генерации CAD-моделей по всем ключевым метрикам, демонстрируя высокую устойчивость к шуму и пропущенным точкам в данных. Модель также показала способность эффективно работать с мультимодальными входными данными, что позволяет ей генерировать модели даже при частичной или искаженной информации.

Заключение

CAD-MLLM представляет собой значительный шаг вперед в области компьютерного проектирования, предлагая универсальное решение для генерации CAD-моделей на основе мультимодальных данных. Это открывает новые возможности для инженеров и дизайнеров, упрощая процесс создания и модификации 3D-моделей, а также делает CAD-системы более доступными для пользователей с различным уровнем подготовки.