SegBook: A Comprehensive Guide to Volumetric Medical Image Segmentation

Компьютерная томография (КТ) является одной из самых популярных модальностей для медицинской визуализации. КТ-изображения внесли наибольший вклад в создание общедоступных наборов данных для задач сегментации объемных медицинских изображений, охватывающих анатомические структуры всего тела. Большое количество изображений КТ всего тела предоставляет возможность предварительно обучать мощные модели, например, STU-Net, обученную в контролируемом режиме, для сегментации множества анатомических структур. Однако остается неясным, в каких условиях эти предварительно обученные модели могут быть перенесены на различные задачи медицинской сегментации, особенно при сегментации других модальностей и разнообразных целей. Для решения этой проблемы важно создать крупномасштабный эталон для всеобъемлющей оценки условий переноса. Таким образом, мы собрали 87 публичных наборов данных, различающихся по модальности, цели и размеру выборки, для оценки способности к переносу моделей, предварительно обученных на КТ всего тела. Затем мы использовали представительную модель, STU-Net с несколькими масштабами моделей, для проведения обучения с переносом через модальности и цели. Наши экспериментальные результаты показывают, что (1) может существовать эффект узкого места, связанный с размером набора данных при тонкой настройке, с большим улучшением как на малых, так и на больших наборах данных, чем на средних. (2) Модели, предварительно обученные на КТ всего тела, демонстрируют эффективный перенос модальностей, хорошо адаптируясь к другим модальностям, таким как МРТ. (3) Предварительное обучение на КТ всего тела не только поддерживает высокую производительность в обнаружении структур, но и показывает эффективность в обнаружении поражений, демонстрируя адаптивность по отношению к различным целевым задачам. Мы надеемся, что эта крупномасштабная открытая оценка обучения с переносом сможет направить будущие исследования в области сегментации объемных медицинских изображений.