Claude Fable 5 лидирует в новых отраслевых бенчмарках

Claude Fable 5 лидирует в новых отраслевых бенчмарках — но в 100 раз дороже DeepSeek

Что произошло

AI Digest (ai-digest.ru) — Независимая аналитическая компания Artificial Analysis выпустила новый набор отраслевых бенчмарков для AI-моделей — шесть специализированных индексов, покрывающих финансы, право и медицину. Claude Fable 5 от Anthropic возглавил все шесть рейтингов, продемонстрировав лидерство на специализированных задачах. Однако цена этого лидерства оказалась значительной: стоимость одного запроса в стратегическом индексе (Strategy & Ops) составила $3,48 — более чем в сто раз дороже альтернативы от DeepSeek.

Что показали новые бенчмарки

Новые индексы Artificial Analysis созданы для оценки моделей в реальных профессиональных сценариях, а не на абстрактных академических тестах. Шесть бенчмарков покрывают:

Finance Index — задачи из области финансового анализа и прогнозирования;
Legal Index — юридические задачи, включая анализ документов и правовую поддержку;
Medical Index — медицинские задачи, диагностические сценарии;
Strategy & Ops Index — стратегические задачи и операционная аналитика;
Science Index — научные задачи и исследования;
General Index — общие интеллектуальные задачи.

Claude Fable 5 лидирует во всех шести, но разрыв с ближайшим конкурентом не всегда значительный. Например, в Strategy & Ops Index разница в качестве между Fable 5 и DeepSeek V4 Pro составляет всего 12 баллов, тогда как разница в стоимости — $3,45 за запрос ($3,48 против $0,03). Это ставит вопрос о целесообразности переплаты для задач, где точность не критична.

Впрочем, в медицинском и юридическом индексах разрыв больше — и там переплата может быть оправдана. Ошибка в медицинском диагнозе стоит дороже, чем экономия на инференсе. Artificial Analysis не публикует точные цифры для всех отраслей, но отмечает, что для высокорисковых задач премиальные модели остаются обоснованным выбором.

DeepSeek V4 Pro, занявший второе место, предлагает значительно более дешёвый инференс (вычислительный процесс получения ответа от модели) при сопоставимом качестве для большинства задач. Для enterprise-компаний, запускающих AI-решения в масштабе, этот ценовой разрыв может стать решающим фактором при выборе модели.

Почему это важно

Результаты Artificial Analysis показывают, что рынок AI-моделей входит в фазу специализации. Победитель «общих» бенчмарков уже не гарантирует лидерство в конкретных отраслях. Для бизнеса это означает необходимость выбирать модель под конкретную задачу, а не ориентироваться на абстрактные рейтинги.

Ценовой разрыв между лидерами и бюджетными альтернативами ($3,48 vs $0,03) — также напоминание о том, что стоимость AI-инференса остаётся ключевым фактором при масштабном внедрении. При масштабе в миллионы запросов в день разница между $0,03 и $3,48 за запрос превращается в десятки миллионов долларов. По мере созревания рынка и появления новых оптимизаций этот разрыв, вероятно, будет сокращаться — как уже произошло с падением стоимости GPT-4 после появления конкурентов.

Что дальше

Ожидаем, что специализированные бенчмарки станут стандартом для enterprise-оценки AI-моделей. Компании всё чаще запускают пилотные проекты на дешёвых моделях и переходят на премиум, только если задача требует соответствующего качества. Claude Fable 5 останется выбором для задач, где цена ошибки высока (медицина, юриспруденция), а DeepSeek и аналоги — для масштабных операционных сценариев. Подробнее о том, как устроены большие языковые модели и почему их инференс стоит денег.