9 шагов: как установить Ollama и запустить LLM локально

Зачем запускать нейросеть у себя на компьютере

Представьте, что вы арендуете квартиру каждый раз, когда хотите поспать, — это облачные API. Ollama — это как купить собственную кровать: один раз настроил и спишь бесплатно, без ограничений и без интернета. Локальный запуск LLM даёт приватность, нулевую задержку и полный контроль над моделью.

В 2026 году Ollama стала стандартом де-факто для домашнего и офисного ИИ. Ниже — пошаговая инструкция, которая проведёт вас от нуля до работающего чат-бота на своём железе.

Шаг 1: проверьте требования к системе

Для запуска 7B-модели нужен минимум 8 ГБ оперативной памяти и 10 ГБ свободного диска. Для 13B — 16 ГБ ОЗУ, для 70B — 64 ГБ. Видеокарта не обязательна, но ускоряет генерацию в 5–10 раз. Поддерживаются NVIDIA (CUDA), Apple Silicon и AMD (ROCm).

Шаг 2: скачайте и установите Ollama

На macOS и Linux

Откройте терминал и выполните одну команду:

curl -fsSL https://ollama.ai/install.sh | sh

Скрипт автоматически определит ОС, загрузит бинарник и настроит systemd-сервис. На macOS также доступен DMG-установщик с сайта ollama.ai.

На Windows

Скачайте установщик с официального сайта, запустите и следуйте мастеру. Ollama автоматически установит WSL2, если он ещё не настроен.

Шаг 3: загрузите первую модель

После установки введите:

ollama pull llama3.2

Другие популярные варианты: qwen2.5, mistral, gemma2, deepseek-coder-v2. Все модели загружаются бесплатно и хранятся локально.

Шаг 4: запустите модель в терминале

ollama run llama3.2

Появится интерактивная оболочка: просто печатайте вопросы и получайте ответы. Это как мгновенный чат с нейросетью, только полностью оффлайн.

Шаг 5: настройте параметры генерации

Создайте файл Modelfile для тонкой настройки. Аналогия: если стандартная модель — это повар с готовым меню, то Modelfile — это ваши личные инструкции шефу: какую температуру использовать, какой стиль ответов предпочитать.

FROM llama3.2
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
SYSTEM "Ты — дружелюбный помощник, отвечай на русском языке."

Соберите свою версию: ollama create mybot -f Modelfile.

Шаг 6: подключите веб-интерфейс

Ollama имеет встроенный API на порту 11434. Для удобного интерфейса установите Open WebUI:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

Откройте http://localhost:3000 — получите ChatGPT-подобный интерфейс с историей чатов, загрузкой файлов и управлением моделями.

Шаг 7: интегрируйте с IDE и приложениями

Ollama совместима с OpenAI API. Это значит, что её можно подключить к VS Code (через Continue.dev), к Obsidian, к кастомным скриптам и даже к агентным фреймворкам вроде OpenClaw. Просто укажите базовый URL http://localhost:11434/v1 вместо серверов OpenAI.

Шаг 8: оптимизируйте производительность

Используйте квантованные версии моделей (Q4_K_M, Q5_K_M) — они занимают в 2–3 раза меньше памяти при минимальной потере качества. Модель 7B с квантованием Q4 поместится даже в 4 ГБ ОЗУ. На GPU модели загружаются автоматически — Ollama сама распределит слои между CPU и видеопамятью.

Шаг 9: разверните как сервис для команды

Для офисного использования настройте Ollama на сервере, откройте порт 11434 в файрволе и используйте как корпоративный ИИ-хаб. Это принципиально отличается от подхода с субагентами, где каждый агент получает свой экземпляр модели — здесь один сервер обслуживает всю команду. Ограничьте доступ через nginx с basic-auth или IP-фильтрами.

Итоги

Установить Ollama и запустить LLM локально можно за 15 минут. Результат — собственный ИИ-ассистент, который работает без интернета, не отправляет данные наружу и не требует подписок. Начните с модели 7B, попробуйте разные задачи и постепенно масштабируйтесь под свои нужды.