Семантический центр: как языковые модели объединяют смыслы через языки и модальности

Современные языковые модели (LLM) демонстрируют удивительную способность обрабатывать разнообразные входные данные, от текста на разных языках до математических выражений, кода и даже мультимодальных входных данных, таких как изображения и звуки. Но как эти модели справляются с такой разнообразной задачей, используя единый набор параметров? Одна из гипотез предполагает, что они обучаются создавать общее пространство представлений, где семантически схожие входные данные размещаются близко друг к другу, независимо от их модальности или языка. Этот феномен мы называем гипотезой семантического центра.

Гипотеза семантического центра

Гипотеза семантического центра предполагает, что языковые модели, такие как LLaMA-3 или другие современные модели, создают и используют общее семантическое пространство для обработки различных типов данных. Это пространство функционирует как своего рода "семантический центр", аналогичный трансмодальному семантическому "хабу" в человеческом мозге, который интегрирует информацию из различных модальностей.

Общие представления для разных языков

Первый эксперимент показал, что представления моделей для семантически эквивалентных входных данных на разных языках действительно схожи в промежуточных слоях модели. Например, когда модель обрабатывает китайский текст, её скрытые состояния часто ближе к английским токенам, чем к китайским, особенно в средних слоях, что указывает на использование английского языка как "скелета" для интерпретации данных.

Эксперименты с параллельными текстами

Используя профессионально переведенные английско-китайские параллельные тексты, мы обнаружили, что косинусное сходство представлений для переводов значительно выше, чем для случайных пар предложений. Это подтверждает, что модели используют общие семантические представления для обработки текстов на разных языках.

Расширение на другие типы данных

Эта тенденция не ограничивается только текстами на разных языках. Мы наблюдаем схожие результаты и при обработке арифметических выражений, кода и даже визуальных или аудиальных данных.

Арифметические выражения

При обработке арифметических выражений, таких как "5+3", модельные представления оказываются ближе к английским словам, обозначающим числа, чем к их числовым эквивалентам. Это подтверждает, что модель переводит числовые данные в семантическое пространство, где числа представлены как слова.

Код

При работе с кодом, модели, такие как LLaMA-2, демонстрируют тенденцию к интерпретации кода через естественный язык. Например, при обработке списка в Python, модель может предсказывать слово "and" вместо следующего элемента списка, что указывает на использование естественного языка для представления структур кода.

Вмешательство в общее представление

Чтобы убедиться, что общее семантическое пространство не является просто побочным продуктом обучения на больших данных, мы провели эксперименты по вмешательству. Изменение представлений в одном типе данных (например, добавление вектора активации для изменения настроения в тексте) предсказуемо влияло на результаты в других типах данных (например, на восприятие изображений или звуков).

Мультиязычное вмешательство

Используя метод активационного добавления (Activation Addition), мы показали, что вмешательство в скрытые состояния модели на английском языке может изменять настроение текста на других языках, таких как испанский или китайский, без значительного ущерба для беглости и релевантности текста.

Заключение

Гипотеза семантического центра предоставляет интересный взгляд на внутренние механизмы работы современных языковых моделей. Они не просто обрабатывают входные данные на разных языках и в разных модальностях, но и создают общее семантическое пространство, где смыслы объединяются. Это не только объясняет их способность к мультиязычной и мультимодальной обработке данных, но и открывает пути для более точного управления и интерпретации этих моделей.

Исследования в этой области продолжаются, и понимание того, как модели создают и используют семантический центр, может привести к разработке более эффективных и инклюзивных языковых моделей, способных лучше понимать и обрабатывать разнообразные данные.