5 способов расширить контекстное окно LLM

Что такое контекстное окно и почему оно важно

Контекстное окно LLM — это как оперативная память компьютера. Чем больше RAM, тем больше программ и данных вы можете держать открытыми одновременно. Без достаточного контекста модель «забывает» важную информацию из начала разговора и начинает противоречить сама себе.

В 2026 году стандарт вырос с 4K токенов (2020) до 128K–2M в топовых моделях. Но даже миллион токенов — не предел. Рассказываем пять рабочих способов расширить effective context.

Способ 1: RAG — загрузка базы знаний в реальном времени

Retrieval-Augmented Generation

RAG позволяет подключить к LLM внешнюю базу знаний. Когда вы задаёте вопрос, система сначала ищет релевантные документы, затем передаёт их модели вместе с запросом. Это как если бы перед экзаменом вы могли держать в руках все учебники — вопросы те же, но ответы точнее.

Популярные инструменты: LangChain, LlamaIndex. Для русскоязычных задач используйте RAG с векторной базой данных (Chroma, FAISS) и русскоязычными эмбеддингами (Rubert-tiny2 или мультиязычными).

Такой подход особенно полезен для субагентов, которые работают с большими объёмами документации.

Способ 2: агрегирование контекста через несколько проходов

Если нужно обработать документ длиннее контекстного окна, разбейте его на части. Обработайте каждую часть отдельно, соберите краткие выжимки (summary) и работайте уже с ними. Это как читать книгу по главам и делать заметки — в голове не умещается всё, но конспект помещается.

# Псевдокод
chunks = split_long_text(document, chunk_size=8000)
summaries = [summarize(chunk) for chunk in chunks]
combined_summary = merge(summaries)
final_answer = llm.ask(user_question + combined_summary)

Этот метод работает с любой моделью, включая компактные локальные через Ollama, и не требует специальных возможностей от LLM.

Способ 3: используйте модели с длинным контекстом

Выбор модели — ключевое решение

Некоторые модели изначально обучены на длинных последовательностях. В 2026 году лидеры:

• Gemini 1.5 Pro — до 2 миллионов токенов, идеален для анализа больших документов
• Claude 3.5 Sonnet — 200K токенов, отличное качество
• Llama 3.1 — 128K в open-source, можно запустить локально
• GPT-4o — 128K, лучшая интеграция

Выбор модели с большим контекстом похож на покупку грузовика вместо легковушки: дороже, но перевозит больше. Сравнение моделей доступно в нашем обзоре LLM.

Способ 4: контекстуальное кэширование

Многие API (Anthropic, OpenAI) поддерживают кэширование контекста. Вы один раз загружаете «базовый» контекст (инструкции, документацию, справочные данные), сохраняете кэш и платите только за новые запросы. Экономия — до 90% на длинных диалогах.

Пример для Anthropic API:

# Создание кэша с системным промптом
cache = client.create_cache(
    messages=system_prompt_with_docs,
    max_tokens=100000
)
# Повторные запросы используют кэш
response = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    messages=[{"role": "user", "content": "новый вопрос"}],
    cache=cache
)

Контекстуальное кэширование — это как загрузить операционную систему в RAM: первый запуск медленный, все последующие — мгновенные.

Способ 5: иерархическая память и субагенты

Сложные системы используют несколько уровней памяти: краткосрочная (текущий диалог), долгосрочная (важные факты о пользователе), внешняя (базы знаний). Модель решает, какую информацию использовать, на основе relevance scoring.

Субагенты реализуют этот подход: главный агент координирует специализированных агентов, каждый из которых работает со своим фрагментом контекста. Результаты агрегируются в финальный ответ. Это децентрализованная память — как командная работа вместо одного перегруженного сотрудника.

Сравнение способов

RAG — универсальный, работает с любой моделью, требует инфраструктуры.
Агрегирование — просто реализовать, теряет нюансы при сжатии.
Длинный контекст — нативная поддержка, дороже в API.
Кэширование — экономия на повторяющихся задачах.
Иерархия — масштабируется, сложная архитектура.

Что выбрать

Для большинства задач комбинация работает лучше всего: используйте модель с длинным контекстом (Claude 3.5 или Gemini), подключите RAG для специфической документации и настройте кэширование для повторяющихся сценариев. Такой стек даёт максимальное effective context без ограничений одного метода.