SegBook: A Comprehensive Guide to Volumetric Medical Image Segmentation

В медицинской визуализации, особенно при использовании компьютерной томографии (CT), сегментация играет ключевую роль в анализе и интерпретации изображений. Сегментация позволяет выделять и классифицировать различные анатомические структуры, что важно для диагностики, планирования лечения и мониторинга заболеваний. С появлением больших объемов данных, таких как полные наборы CT-сканов человеческого тела, появляется возможность предварительно обучать мощные модели, которые могут затем адаптироваться к различным задачам сегментации.

В этой статье мы рассмотрим проект SegBook, который представляет собой обширную базу данных и набор инструментов для оценки и улучшения методов сегментации объемных медицинских изображений. Проект включает в себя использование модели STU-Net, предварительно обученной на полных CT-сканах тела, и ее применение для различных задач сегментации через перенос обучения.

Основные аспекты SegBook

1. Сбор и анализ данных

SegBook собрал 87 публичных наборов данных, охватывающих различные модальности (CT, MRI, PET, ультразвук), цели сегментации (структуры, поражения, их комбинации) и размеры выборок (от 11 до 1250 случаев). Эти данные позволяют проводить масштабные исследования по переносу обучения:

• Модальности: CT, MRI, PET, ультразвук, а также комбинированные модальности, такие как CT&PET.
• Цели сегментации: видимые и невидимые структуры, поражения, комбинации структур и поражений.
• Размеры выборок: малые (до 100 случаев), средние (от 100 до 400) и большие (более 400).

2. Модель STU-Net

STU-Net (Scalable and Transferable U-Net) - это модель, которая была предварительно обучена на полных CT-сканах тела, содержащих 104 анатомических структуры. Она имеет несколько масштабируемых конфигураций:

• Small: 58M параметров, 0.51 TFLOPs.
• Base: 58M параметров, 0.51 TFLOPs.
• Large: 440M параметров, 3.81 TFLOPs.
• Huge: 1.4B параметров, 12.60 TFLOPs.

Каждая конфигурация позволяет адаптировать модель к различным вычислительным требованиям и задачам.

3. Метрики оценки

Для оценки качества сегментации используется коэффициент сходства Дайса (DSC), который измеряет степень перекрытия между предсказанным и истинным сегментами:

[ DSC(G, P) = \frac{2 |G \cap P|}{|G| + |P|} ]

где ( G ) - истинная маска, а ( P ) - предсказанная маска.

4. Эксперименты и анализ

Перенос обучения по размерам данных

Эксперименты показали, что:

• Улучшения при дообучении не увеличиваются линейно с размером данных. На малых и больших наборах данных дообучение значительно улучшает производительность, в то время как на средних наборах улучшения менее заметны. Это может указывать на наличие "бутылочного эффекта" в дообучении.

Перенос обучения по модальностям

• Модели, предварительно обученные на CT-сканах, демонстрируют хорошую адаптацию к другим модальностям, таким как MRI, даже если целевые структуры не встречались во время предварительного обучения.

Перенос обучения по целям

• Предварительное обучение на структурных данных CT показывает эффективность не только в обнаружении структур, но и в выявлении поражений, демонстрируя адаптивность к различным задачам.

Выводы и будущие направления

SegBook предоставляет ценный ресурс для исследователей и разработчиков в области медицинской визуализации, позволяя оценивать и улучшать методы сегментации объемных изображений. Основные выводы включают:

• Необходимость учета размера данных при дообучении для оптимизации производительности.
• Эффективность переноса обучения между различными модальностями и целями сегментации.
• Важность использования предварительно обученных моделей для улучшения результатов в задачах с ограниченными данными.

Будущие исследования могут включать в себя:

• Исследование более сложных методов дообучения и переноса обучения.
• Разработку новых архитектур моделей, которые могут еще лучше адаптироваться к различным медицинским задачам.
• Увеличение объема и разнообразия данных для улучшения обобщающей способности моделей.

SegBook служит мощным инструментом для углубления понимания и развития методов сегментации в медицинской визуализации, открывая путь к более точной и эффективной диагностике и лечению.