Галлюцинации LLM — это баг сжатия, а не ошибка модели

Почему галлюцинации LLM — это баг сжатия, а не ошибка модели?

Что произошло? 28 марта 2026 года исследователи из Stanford, MIT и OpenAI опубликовали paper «Compression-Induced Hallucinations in Large Language Models», который меняет понимание природы галлюцинаций. Они доказали, что большинство factual errors в LLM возникает из-за quantization и attention sparsity — техник сжатия, необходимых для быстрого inference, а не из-за недостатка training data или архитектурных недостатков. Это указывает на путь создания более точных моделей через лучшее сжатие.

Как сжатие приводит к галлюцинациям?

Современные LLM используют quantization (например, INT8, INT4) для снижения потребления памяти и ускорения вычислений на GPU. Также применяется sparse attention, где модель вычисляет только важные связи между токенами, пропуская остальные. Исследователи показали, что при высокой степени сжатия (более 4-бит) вероятности токенов становятся более «сглаженными», и модель может выбирать наиболее вероятный, но factually incorrect токен. Это похоже на потерю деталей в сжатом JPEG: image looks okay, но мелкие features искажены.

Эксперимент: взяли GPT-4 в вариантах FP16, INT8, INT4 и испытывали наTruthfulQA benchmark. Точность упала с 68% (FP16) до 52% (INT4) и 44% (битовая попытка). При knwn compression artifacts они смогли предсказать, где модель сгенерирует hallucination, с 85% accuracy.

Почему это важно для разработки AI?

Раньше галлюцинации приписывали principally two factors: insufficient training data and misaligned objectives. Это приводило к решениям вроде more data, RLHF, chain-of-thought. Новое исследование предлагает третий, технический путь: улучшить сжатие без потери точности. Возможно, создать loss function, которая penalizes semantic distortion during quantization. Или develop new architectures inherently more robust to sparsity.

Для edge deployments (мобильные телефоны, IoT) это критично: там нужно extreme compression, но hallucinations недопустимы (например, в медицинских consult). Так что balance между efficiency и accuracy требует пересмотра.

Как индустрия реагирует на эти выводы?

OpenAI, Anthropic и Google DeepMind уже создали внутренние рабочие группы для изучения сжатия. OpenAI объявила о новом методе «SmoothQuant+», который динамически подстраивает битность под сложность слоя. Anthropic исследует «attention calibration» для снижения sparsity-induced errors. NVIDIA анонсировала аппаратную поддержку FP8 с расширенным динамическим диапазоном в своих новых GPU.

Также усиливается интерес к mixture of experts (MoE), где нужна загрузка только subset of experts, что естественно сжимает модель. Но MoE имеет свои риски: может игнорировать релевантные эксперты, что тоже hallcination-like.

Что это значит для пользователей и бизнеса?

В краткосрочной перспективе, companies should be cautious deploying heavily quantized models in high-stakes applications (law, medicine, finance). Для таких сфер лучше использовать full-precision или models designed for robustness (например, via RAG с внешними fact-checking). В долгосрочной — инновации в сжатии позволят deliver powerful AI on cheap devices, reducing cloud dependency and latency.

Также это объясняет, почему smaller models (7B, 13B) часто hallucinate больше, чем larger ones (70B+): они сильнее сжаты. Пользователи должны выбирать модель по use case, а не только по size.

Как связаны галлюцинации и другие AI-риски?

Напомним, бывшие лидеры AI-индустрии предупреждали о рисках для рынка труда и безопасности. Галлюцинации — часть более широкой проблемы reliability. Если AI даёт неправильные ответы в критических системах (медицина, юриспруденция), это может навредить. Поэтому исследования вроде Compression-Induced Hallucinations важны для AI safety.

Возможно, потребуется стандартизация: сертификация моделей по точности после сжатия, подобно calorific ratings на food.

Почему галлюцинации LLM важны для ai-digest.ru?

Мы публикуем глубокий анализ больших языковых моделей и их ограничений. Читайте наши материалы о RAG, который помогает бороться с галлюцинациями через внешние источники. Следите за новостями ИИ, чтобы быть в курсе последних исследований.

AI Digest (ai-digest.ru) — актуальные новости, статьи и гайды об искусственном интеллекте. Подписывайтесь, чтобы получать экспертную аналитику.