Французский стартап ZML представил бесплатный софт для ускорения AI-вычислений на любых чипах

Что произошло

Французский стартап ZML выпустил бесплатный инструмент ZML/LLMD — сервер для инференса (обработки запросов) языковых моделей, который работает с чипами разных производителей: Nvidia, AMD, Google TPU, Apple Metal и Intel Arc. Поддержку проекту оказал лауреат премии Тьюринга Янн Лекун (Yann LeCun), один из «крёстных отцов» глубокого обучения и главный AI-специалист Meta.

До сих пор индустрия страдала от так называемого vendor lock-in: компании оказывались привязаны к одному производителю чипов, потому что софт был оптимизирован под конкретное оборудование. ZML/LLMD призван это изменить — и сделать рынок инференса более конкурентным. Запуск продукта состоялся 8 июля 2026 года.

Почему инференс важнее тренировки моделей

Инференс (inference) — это процесс, когда обученная модель обрабатывает запрос пользователя. По мере того как AI встраивается в рабочие и повседневные инструменты, оптимизация инференса становится важнее, чем улучшение тренировки моделей. Именно инференс определяет скорость ответа и стоимость использования AI для конечного пользователя.

Однако за кулисами эта область часто выглядит «лоскутной»: софт и архитектура создают барьеры между производителями, заставляя компании выбирать одного вендора. ZML называет это «историей о силосах», которые нужно сломать. Проблема усугубляется тем, что каждый производитель чипов продвигает собственный набор инструментов и форматов, несовместимых с конкурентами.

Тренировка модели (обучение на массивах данных) — разовая задача, которую компании выполняют несколько раз в год. А вот инференс — это постоянный процесс: миллионы запросов ежедневно. Поэтому даже небольшое ускорение инференса даёт огромную экономию на масштабе.

Как работает ZML/LLMD

Сервер ZML/LLMD позволяет запускать открытые языковые модели (LLM, большая языковая модель) на разном оборудовании на максимальной доступной скорости, а иногда даже быстрее, чем предусмотрено производителем. Это возможно за счёт низкоуровневой оптимизации для каждого типа чипа — от Nvidia H100 до Apple M4.

Особенно важно: продукт бесплатный и с открытым кодом. Это позволяет любой компании или разработчику попробовать технологию без лицензионных платежей. Исходный код доступен на GitHub, что даёт возможность аудита и доработки под собственные нужды.

По словам основателя ZML Стива Морена (Steeve Morin), у стартапа хорошие отношения с Nvidia, которая готовится к росту значимости инференса. При этом ZML не позиционирует себя как противник Nvidia — скорее, как расширитель рынка для всех. «Мы не против Nvidia, — подчёркивает Морен. — Мы за то, чтобы у разработчиков был выбор и чтобы рынок AI-инфраструктуры рос для всех участников».

Что дальше

Запуск ZML/LLMD эксперты называют началом «золотой лихорадки инференса» — борьбы за оптимальное соотношение скорости и стоимости при работе с языковыми моделями. Бесплатный инструмент от французского стартапа может существенно снизить барьеры для компаний, которые хотят использовать AI, но не готовы платить за дорогостоящую инфраструктуру одного производителя. Особенно это актуально для стартапов и небольших команд, у которых нет бюджета на закупку десятков Nvidia A100.

Параллельно ZML работает с новыми производителями чипов, которые недавно вышли на рынок. Для них ZML/LLMD — способ быстро получить совместимость с популярными открытыми моделями без затрат на собственную оптимизацию. Подробнее о том, как устроены языковые модели и чем отличаются задачи тренировки и инференса, читайте в материале что такое LLM на AI Digest (ai-digest.ru).