Гипотеза представления фрейма: Интерпретируемость много-токенных LLM и генерация текста с учетом концепций

Интерпретируемость в глубоком обучении является важной задачей, направленной на понимание того, как нейронные сети принимают решения. С увеличением сложности моделей, таких как большие языковые модели (LLM), становится все труднее понять их внутренние механизмы. В этом контексте важность интерпретируемости становится очевидной, так как она способствует доверию, безопасности и справедливости в использовании AI технологий.

В данной статье мы представляем гипотезу представления фрейма (Frame Representation Hypothesis, FRH), которая является теоретически обоснованной основой для интерпретации и управления LLM. Мы расширяем линейную гипотезу представления (Linear Representation Hypothesis, LRH), которая ранее использовалась для анализа одиночных токенов, на много-токенные слова. Это расширение позволяет нам более точно моделировать текстовые данные, содержащие тысячи концепций.

Гипотеза представления фрейма

FRH предполагает, что слова могут быть интерпретированы как фреймы — упорядоченные последовательности векторов, которые лучше отражают отношения между токенами и словами. Мы показываем, что концепции могут быть представлены как среднее значение фреймов слов, которые разделяют общую концепцию. Это позволяет нам использовать концептуально управляемую декодировку для интуитивного управления генерацией текста.

Линейная гипотеза представления

LRH утверждает, что концепции могут быть представлены как векторы в пространстве признаков LLM. Например, концепция "женщина" может быть представлена как среднее значение векторов токенов, таких как "женщина" и "королева". Однако LRH ограничена одномерными концепциями, что делает ее применение неэффективным для большинства интерпретационных задач.

Расширение на много-токенные слова

Мы наблюдаем, что более 99% слов в нескольких языках состоят из линейно независимых токенов. Это позволяет нам использовать много-токенные слова, представляя их как фреймы. Мы формулируем математическую основу для представления слов и концепций в виде фреймов, что позволяет нам учитывать сложные отношения между токенами.

Связь между токенами и концепциями

В рамках FRH мы определяем семантическое пространство фреймов, которое связывает фреймы слов с концепциями. Это позволяет нам вычислять семантические отношения между фреймами и выявлять, как различные слова (например, "мясо" и "овощи") могут быть связаны с концепциями (например, "вегетарианец").

Пример фреймов

Рассмотрим слова, такие как "мясо" и "овощи". Они могут быть представлены как отдельные геометрические объекты в пространстве фреймов, несмотря на наличие общих токенов. Это позволяет нам выделять концептуальные фреймы, такие как "вегетарианец" или "мясоед", как центроиды наборов слов, разделяющих одну и ту же концепцию.

Управление генерацией текста с помощью концепций

Мы предлагаем метод Top-k Concept-Guided Decoding, который управляет генерацией текста, выбирая токены, максимизирующие выбранную концепцию. Например, если концепция "вегетарианец" задается как целевая, модель может генерировать предложения, которые соответствуют этой концепции, что позволяет лучше контролировать выходные данные.

Применение на практике

Мы протестировали предложенные идеи на моделях Llama 3.1, Gemma 2 и Phi 3, выявив гендерные и языковые предвзятости, а также потенциальные уязвимости. Однако мы также обнаружили возможности для их устранения, что ведет к более безопасным и прозрачным LLM.

Эксперименты

В этой секции мы проверяем гипотезу FRH в контексте много-токенных слов и концепций, демонстрируя управление генерацией предложений. Мы используем модели Llama 3.1, Gemma 2 и Phi 3, а также Open Multilingual WordNet (OMW) для построения концептуальных фреймов.

Эмпирическая проверка

Мы исследуем, являются ли слова фреймами, анализируя, состоят ли они из линейно независимых векторов. Наши результаты показывают, что более 99% слов в OMW имеют полную ранг, что подтверждает нашу гипотезу.

Генерация текста с учетом концепций

Мы исследуем применение FRH в текстовой генерации с использованием Top-k Concept-Guided Decoding. Это позволяет нам выявлять предвзятости и уязвимости модели. Например, при генерации текста о мужчинах и женщинах мы показываем, как концептуально управляемая генерация может изменить нарратив, подчеркивая различные аспекты, такие как семейные роли или профессиональные достижения.

Заключение

В данной работе мы представили гипотезу представления фрейма как расширение линейной гипотезы представления, предлагая структурированную основу для интерпретируемости и управления LLM. Мы показали, что даже современные LLM могут демонстрировать предвзятости и уязвимости, но также открывают возможности для их устранения. Это исследование является начальным этапом, и дальнейшие исследования необходимы для глубокого понимания концептуальных взаимосвязей в LLM.

FRH представляет собой многообещающий путь для интерпретируемости LLM и может привести к новым разработкам в области безопасных и надежных AI систем.