Интерактивная Медицинская Сегментация Изображений: Бенчмарк IMed-361M и Базовая Модель

Интерактивная медицинская сегментация изображений (IMIS) является важным инструментом в современной медицине, позволяя врачам и исследователям точно выделять области интереса на медицинских снимках. Однако, несмотря на значительные достижения в этой области, IMIS все еще сталкивается с рядом проблем, включая ограниченную доступность больших, разнообразных и плотно аннотированных наборов данных, что затрудняет обобщение моделей и их последовательную оценку.

Введение в IMIS

IMIS позволяет пользователям направлять сегментацию, помечая точки, линии или области на изображении, что приводит к более точным результатам, соответствующим клиническим требованиям. Такой подход не только оптимизирует процесс сегментации, но и решает проблемы с обобщением полностью автоматизированных моделей, предоставляя гибкий механизм корректировки, который значительно повышает надежность сегментации.

Основные Проблемы

• Ограниченность данных: Существующие публичные датасеты часто ограничены специфическими модальностями или содержат разреженные аннотации, что ограничивает возможности обобщения моделей.
• Качество аннотаций: Многие датасеты не обладают достаточным количеством высококачественных масок, необходимых для обучения моделей на плотной сегментации.
• Недостаток бенчмарков: Отсутствие стандартизированных бенчмарков для оценки различных моделей IMIS.

Бенчмарк IMed-361M

В ответ на эти проблемы, мы представляем IMed-361M — новый бенчмарк датасет для IMIS, который превосходит все существующие по масштабу, разнообразию и качеству аннотаций.

Сбор и Стандартизация Данных

Мы собрали и стандартизировали более 6,4 миллионов медицинских изображений и их соответствующих истинных масок из множества источников. Используя возможности распознавания объектов фундаментальной модели видения, мы автоматически генерировали плотные интерактивные маски для каждого изображения, обеспечивая их качество через строгий контроль качества и управление гранулярностью.

Характеристики IMed-361M

• Масштаб: Датасет содержит 361 миллион масок, что составляет в среднем 56 масок на изображение.
• Разнообразие: Включает 14 модальностей и 204 целей сегментации, охватывая почти все части человеческого тела.
• Качество и Плотность: Маски имеют высокое качество и плотность, что позволяет моделям обучаться на сложных и разнообразных клинических сценариях.

Базовая Модель IMIS

На основе IMed-361M мы разработали базовую сеть IMIS, поддерживающую высококачественную генерацию масок через интерактивные вводы, включая клики, ограничивающие рамки, текстовые подсказки и их комбинации.

Архитектура Модели

• Энкодер изображения: Используется ViT-base для извлечения признаков изображения.
• Энкодер подсказок: Интегрирует информацию о взаимодействиях пользователя, поддерживая три типа подсказок: точки, рамки и текст.
• Декодер масок: Генерирует сегментационные результаты, используя встроенные изображения и подсказки.

Оценка Модели

Мы провели всестороннюю оценку нашей базовой модели, сравнивая её с другими фундаментальными моделями, такими как SAM и его вариации, адаптированные для медицинских изображений. Наши результаты показывают, что IMIS-Net превосходит другие модели по точности и масштабируемости.

Внешние Датасеты

Для проверки обобщаемости нашей модели мы использовали три внешних датасета, включая SegThor, TotalSegmentator MRI и ISLES, демонстрируя высокую производительность IMIS-Net в различных клинических сценариях.

Заключение

IMed-361M и базовая модель IMIS-Net представляют собой значительный шаг вперед в области интерактивной медицинской сегментации изображений. Этот бенчмарк и модель обеспечивают необходимую инфраструктуру для дальнейшего развития и оценки IMIS, способствуя переходу здравоохранения к интеллектуализации и автоматизации. В будущем мы планируем расширить наш подход для включения более сложных и детализированных сценариев медицинского анализа изображений, а также улучшить методы получения семантической информации для интерактивных масок.