Как уместить «Войну и мир» в 10 ГБ: нейросеть, которая убивает героев и выдумывает новых

Эксперимент с сжатием литературного текста через LLM

Исследователь решил проверить, как большая языковая модель обрабатывает «Войну и мир» — роман объёмом более 500 000 слов. Результат: модель уместила весь текст в 10 ГБ видеопамяти, но при этом начала убивать персонажей, которых автор оставил в живых, и выдумывать новых — вроде таинственного «Пьера Бездаровского».

Что произошло

При сжатии текста в параметры модели часть информации теряется. Модель восстанавливает «общий смысл», но путает детали: имена, сюжетные линии, хронологию. Это как JPEG-сжатие для изображения: общая картина сохраняется, но пиксели смазываются.

Почему это важно

Эксперимент показывает фундаментальное ограничение LLM: они сжимают знания, а не хранят их. При decompression часть данных теряется. Это объясняет галлюцинации — модель не врёт, а «додумывает» недостающие фрагменты.

Практический вывод

Для работы с длинными текстами (книги, документация, кодовая база) нужны не только большие контекстные окна, но и системы проверки фактов — RAG, цитирование, верификация. LLM как источник правды — ненадёжен.