Простая трансформация для защиты данных в вертикальном федеративном обучении

Федеративное обучение (Federated Learning, FL) представляет собой революционную парадигму для совместного машинного обучения, при которой несколько клиентов участвуют в обучении модели на распределенных, защищенных данных. Основная идея заключается в том, чтобы обучить глобальную модель без обмена сырыми данными между участниками. Существует два основных типа федеративного обучения: горизонтальное (Horizontal Federated Learning, HFL), где данные разделены между клиентами по образцам, и вертикальное (Vertical Federated Learning, VFL), где признаки данных распределены между клиентами.

В этой статье мы сосредоточимся на аспектах конфиденциальности вертикального федеративного обучения, особенно в контексте Split Learning (SL), где модели делятся так, что первые несколько слоев принадлежат клиенту, а остальные обрабатываются на сервере. В SL клиент делится активациями своего последнего слоя (называемого Cut Layer) вместо сырых данных. Это позволяет каждому участнику сохранить свою конфиденциальную информацию, но при этом риски утечки данных все еще существуют.

Угрозы безопасности в вертикальном федеративном обучении

В контексте SL существуют различные типы атак, которые могут быть осуществлены злоумышленниками. Основные из них включают:

1. Атаки на вывод меток (Label Inference Attacks): злоумышленник пытается восстановить метки данных, основываясь на активациях, полученных от клиента.
2. Атаки на восстановление признаков (Feature Reconstruction Attacks): злоумышленник пытается восстановить исходные данные клиента, используя доступ к модели и активациям.
3. Атаки на восстановление модели (Model Reconstruction Attacks): злоумышленник пытается скопировать модель клиента.

В данной работе мы сосредоточимся на атаках восстановления признаков, особенно на атаках Model Inversion (MI) и Feature-space Hijacking Attack (FSHA). Эти атаки требуют предварительного знания о распределении данных, что делает их менее эффективными в некоторых случаях.

Теоретические обоснования

Мы утверждаем, что атаки на восстановление признаков не могут быть успешными без знания о предварительном распределении данных. Это означает, что простые трансформации архитектуры модели могут значительно повлиять на защиту входных данных во время VFL. Мы демонстрируем, что модели на основе многослойных перцептронов (MLP) устойчивы к современным атакам восстановления признаков.

Модель инверсии

Атака Model Inversion (MI) заключается в том, что злоумышленник создает клон модели клиента и пытается восстановить сырые данные, имея доступ к активациям. Современные методы MI показывают, что SL также уязвимо к таким атакам. Однако большинство существующих защитных механизмов, направленных на защиту данных от MI, эффективны только против злоумышленников с полным доступом к архитектуре модели.

Атаки на захват пространства признаков

FSHA использует возможность сервера контролировать процесс обучения, чтобы восстановить частные признаки. Злоумышленник использует публичный набор данных из той же области, что и защищаемые данные, чтобы манипулировать процессом обучения и восстановить исходные данные.

Эмпирические результаты

В нашей работе мы провели эксперименты, чтобы проверить наши теоретические предположения. Мы протестировали эффективность атак MI и FSHA на различных архитектурах моделей, включая MLP и CNN, на популярных наборах данных, таких как MNIST и Fashion-MNIST.

Результаты атак

1. Атака UnSplit: Мы обнаружили, что атака UnSplit, которая требует знания архитектуры модели клиента, не смогла успешно восстановить данные для MLP-моделей, в то время как для CNN-архитектур результаты были значительно лучше.
2. Атака FSHA: Аналогично, атака FSHA также не смогла восстановить данные для MLP-моделей, демонстрируя, что архитектурный дизайн модели играет ключевую роль в устойчивости к атакам.

Оценка качества защиты

Для оценки качества защиты мы использовали метрики, такие как среднеквадратичная ошибка (MSE) и расстояние Фреше (FID). Результаты показали, что MLP-модели значительно менее уязвимы к атакам восстановления признаков по сравнению с CNN.

Заключение

В этой статье мы продемонстрировали, что простые архитектурные трансформации могут существенно повысить защиту данных в вертикальном федеративном обучении. Модели на основе MLP продемонстрировали высокую устойчивость к современным атакам восстановления признаков, что открывает новые горизонты для разработки более безопасных систем машинного обучения. Эти результаты подчеркивают важность выбора архитектуры модели в контексте защиты конфиденциальности данных и могут быть использованы для дальнейшего улучшения методов защиты в федеративном обучении.