Экзотические алгебры в нейросетях: 35 экспериментов, которые развеяли мифы

🔬 Исследования

Экзотические алгебры в нейросетях: 35 экспериментов, которые развеяли мифы

Кватернионные, октонионные и седенионные слои регулярно появляются в научных статьях с обещаниями экономии параметров и «особой выразительности». Исследователи решили проверить — и провели 35 контролируемых экспериментов.

В сообществе глубокого обучения периодически возникают работы, использующие алгебры кватернионов, октонионов и других гиперкомплексных чисел для построения слоёв нейронных сетей. Теоретическое обоснование звучит привлекательно: такие числа живут в 4, 8 и 16 измерениях соответственно, что якобы позволяет одной операцией покрывать больше информации, чем обычное скалярное умножение.

Исследовательская группа провела систематическую проверку этих утверждений. Результат оказался неутешительным для энтузиастов гиперкомплексных алгебр.

Что такое кватернионы, октонионы и седенионы

Обычные комплексные числа имеют вид a + bi, где i² = −1. Кватернионы добавляют ещё два компонента: a + bi + cj + dk, причём i² = j² = k² = ijk = −1. Они были открыты Уильямом Гамильтоном в 1843 году и широко используются в компьютерной графике и робототехнике для описания вращений в трёхмерном пространстве.

Октонионы идут дальше — до 8 измерений, но теряют коммутативность (ab ≠ ba). Седенионы имеют 16 измерений и теряют ещё больше свойств. Каждая ступень так называемой лестницы Кэли — Диксона обменивает какое-то фундаментальное алгебраическое свойство на дополнительную размерность.

Какие математические проблемы мешают экзотическим алгебрам работать в нейросетях

Исследователи выявили три системные причины, по которым экзотические алгебры не оправдывают ожиданий.

Проблема отражений. В любой алгебре Кэли — Диксона умножение на единичный элемент имеет определитель больше нуля. Если группа симметрий домена содержит отражение — например, у музыкальной группы транспозиций и инверсий, — она не может быть реализована через умножение в такой алгебре. Добавление размерностей не помогает. Отражения недостижимы.

Проблема делителей нуля. Экзотические примитивы не умеют в трёхстороннее исключение (3-way exclusion). Трёх взаимно аннигилирующих седенионов не существует: лучший достижимый результат для тройки — ровно 0,5, для четвёрки — ровно 1/√3. Обычная ортогональность в тех же 16 измерениях при нуле дополнительных параметров даёт 16-стороннее исключение. Экзотический примитив строго слабее.

Неассоциативность как артефакт. Неассоциативность в генераторе данных не требует неассоциативности в обучаемом представлении. Любое фиксированное умножение алгебры — это фиксированный вещественный билинейный тензор. Универсальный аппроксиматор просто поглощает эту операцию без нужды в специальной алгебраической структуре.

Почему «лучшей алгебры» не существует: теоремы XIX века

Математика здесь уже всё решила. Теоремы Гурвица и Фробениуса доказывают, что нормированные алгебры с делением существуют только в размерностях 1, 2, 4 и 8. Каждая ступень лестницы обменивает одно свойство — порядок, коммутативность, ассоциативность, деление — на другое. «Лучшего из всех миров» природа не дала. Это не инженерное ограничение, а фундаментальный результат.

Единственное исключение и чем оно оказалось

Один результат честно удивил исследователей. На задаче отслеживания состояния по бинарно-тетраэдральной группе кватернионная рекуррентность, обученная на последовательностях длиной до 12, экстраполировала на длину 1024. Это единственный случай, когда экзотическая алгебра показала реальное преимущество.

Но даже здесь авторы осторожны: бинарно-тетраэдральная группа — специфическая структура. Обобщение на произвольные задачи не следует.

Как отличить ложные результаты от настоящих

Исследователи составили чеклист из пяти пунктов для проверки работ в этой области. Любая статья про структурированные слои, не содержащая comparanda с параметрически согласованным структурированным контролем и контролем со случайной перемешанной структурой, ещё ничего не показала. Их чеклист предотвращает ложные положительные результаты — включая те, что допустили они сами в своих ранних экспериментах.

Подробнее о типах нейронных сетей и их задачах в 2026 году читайте в нашем обзоре. О том, как оцениваются языковые модели и какие метрики используют исследователи, мы рассказывали в отдельном материале.