Prompt2Perturb: Текстово-ориентированные атакующие методы диффузионного типа для изображений ультразвука молочной железы

Современные глубокие нейронные сети (DNN) имеют огромный потенциал в области медицинской диагностики, особенно в выявлении рака молочной железы с помощью медицинских изображений. Однако, несмотря на свои успехи, такие модели подвержены уязвимостям, связанным с атаками. Атаки представляют собой небольшие, незаметные изменения в изображениях, которые могут ввести классификаторы в заблуждение. Это создает серьезные проблемы в отношении надежности и безопасности таких систем.

Традиционные методы атак часто используют фиксированные нормы искажения, которые не всегда соответствуют человеческому восприятию. В отличие от них, атаки на основе диффузии требуют предварительно обученных моделей, что требует значительных объемов данных, что делает их использование сложным в условиях нехватки данных, характерных для медицинской области. В этом контексте мы представляем новый метод под названием Prompt2Perturb (P2P), который использует текстовые инструкции для генерации значимых атакующих примеров.

Основные идеи метода P2P

Проблема с традиционными атаками

Традиционные методы, такие как метод быстрого градиентного знака (FGSM) и проекционно-градиентный спуск (PGD), могут эффективно искажать изображения, но часто создают значительные отклонения от реального распределения данных. Это приводит к компромиссу между эффективностью атак и их незаметностью. Генеративные модели, такие как GAN, могут создавать высококачественные изображения, но изменения в латентном пространстве могут легко заметить человеческие наблюдатели.

Диффузионные модели

Недавние исследования показали, что диффузионные модели могут быть использованы для генерации реалистичных атакующих изображений. Модели, такие как AdvDiffuser и Diff-PGD, интегрируют методы PGD в процесс диффузии для повышения реализма. Однако такие подходы часто требуют больших объемов предварительно обученных моделей, что делает их непрактичными в медицинской области.

Подход P2P

Метод P2P предлагает инновационное решение, которое не требует повторного обучения диффузионных моделей. Вместо этого он фокусируется на оптимизации текстовых векторов, что позволяет генерировать атаки, которые остаются незаметными, сохраняя при этом качество изображений. Мы используем текстовые эмбеддинги, чтобы создать атаки, которые соответствуют клинической терминологии, что делает их более значимыми в медицинском контексте.

Методология

Обзор

P2P ориентирован на генерацию атакующих изображений, которые изменяются на основе текстовых инструкций. Основная идея заключается в оптимизации текстовых эмбеддингов для управления результатами классификации, направляя классификатор к неверному выводу.

Латентные диффузионные модели

Мы используем предобученные условные латентные диффузионные модели (LDM), которые позволяют производить управляемое редактирование в латентном пространстве. Латентное пространство предоставляет компактное представление, которое акцентирует важные семантические детали, что делает его идеальным для контролируемых изменений.

Оптимизация текста

Процесс оптимизации текста включает в себя обработку входного текста, который затем преобразуется в токены, соответствующие индексам в предопределенном словаре. Каждому токену соответствует вектор эмбеддинга, который мы оптимизируем для генерации атакующих изображений.

Минимизация обратных шагов

Исследования показали, что чувствительность модели диффузии к условиям значительно возрастает на поздних этапах диффузионного процесса. Мы предполагаем, что не все обратные шаги необходимы для генерации атакующего изображения. Оптимизация только начальных шагов позволяет нам повысить эффективность и сохранить качество изображений.

Экспериментальная установка

Дatasets и модели

Мы провели эксперименты на трех общедоступных наборах данных ультразвуковых изображений молочной железы, используя три архитектуры классификаторов: ResNet34, SqueezeNet1.1 и DenseNet121. Все изображения были приведены к размеру 224x224 пикселей, а для оценки использовалась перекрестная валидация.

Гиперпараметры

Модель была обучена в течение 500 итераций с использованием оптимизатора AdamW. Для атакующих методов были установлены параметры FGSM и PGD. Мы также использовали Diff-PGD с аналогичными настройками, как для ImageNet.

Оценка атакующих примеров

Мы оценили качество атакующих изображений, созданных с помощью P2P, сравнив их с методами Diff-PGD и традиционными подходами, такими как FGSM и PGD. Оценка проводилась по нескольким метрикам, включая уровень успешности атаки, LPIPS, SSIM и FID.

Результаты

Результаты показали, что P2P consistently достигал высоких показателей успешности атаки, превосходя традиционные методы по метрикам FID и LPIPS, что указывает на меньшие искажения и более высокое качество изображений. Кроме того, P2P продемонстрировал конкурентоспособные результаты по SSIM, что подтверждает высокую визуальную схожесть между атакующими и оригинальными изображениями.

Качественные результаты

Визуальные сравнения показали, что P2P генерирует атакующие примеры, которые более естественно выглядят и менее заметны по сравнению с другими методами. Это особенно важно в медицинской области, где сохранение семантической целостности изображений критически важно.

Заключение

В данной работе мы представили метод P2P, который позволяет эффективно генерировать атакующие изображения для ультразвуковых исследований молочной железы, используя текстовое руководство. Метод демонстрирует высокую эффективность в условиях нехватки данных и сохраняет клиническую значимость, что делает его особенно ценным для медицинских приложений. P2P улучшает способность к атаке на классификаторы, позволяя создавать более естественные и менее заметные атаки по сравнению с существующими методами.