30-миллиардная модель на RTX 3090: Nemotron-Cascade-2 работает быстрее, чем ожидалось

Гибридная архитектура Mamba + MoE позволяет запускать 30B-модель на домашней видеокарте

Nemotron-Cascade-2 — 30-миллиардная языковая модель с гибридной архитектурой (Mamba + MoE) — успешно работает на домашнем компьютере с RTX 3090 (24 ГБ видеопамяти). Автор эксперимента запустил её через vLLM с FP8-квантованием и протестировал на задачах по физике, математике и логике.

Почему не подошли другие модели

Перед выбором автор протестировал несколько альтернатив. Qwen 3.5-35B не поместился в 24 ГБ с адекватным квантованием. GGUF через Llama.cpp (даже Q4) работал медленнее желаемого. NIM от NVIDIA не имел версии с AWQ, а BF16 для домашнего использования слишком тяжёл.

Что такое Nemotron-Cascade-2

Модель stelterlab/Nemotron-Cascade-2-30B-A3B-AWQ использует гибридную архитектуру: Mamba-слои эффективно обрабатывают длинные запросы, а MoE (Mixture of Experts) обеспечивает высокую скорость — активируются только часть параметров при каждом токене. Запуск через vLLM с FP8 для KV-кэша позволил достичь высокого throughput.

Результаты тестов

Модель проверили на каверзных задачах, составленных с помощью Gemini. В тесте по физике и термодинамике (нагрев льда от −10°C до воды) Nemotron-Cascade-2 набрал 10 из 10: правильно рассчитал количество тепла, время плавления (≈59 минут) и объяснил изменение наклона графика при переходе из твёрдого состояния в жидкое. Это LLM показала не просто арифметику, а понимание физики процесса.

Зачем это нужно

Запуск 30-миллиардной модели на домашнем компьютере — это шаг к локальному ИИ без зависимости от облака. RTX 3090 стоит на вторичном рынке от 30 тысяч рублей — это делает приватный AI-помощник доступным для разработчиков и энтузиастов. Гибридная архитектура Mamba + MoE может стать стандартом для локальных моделей: скорость при малых затратах памяти.

Подробнее о тестировании — в оригинальной статье на Habr.