Gemini 4 Carbon возглавила MathArena, но в тесте обошлась в 15 раз дороже GPT-6.1 Sol

3 мин чтения 0
Gemini 4 Carbon возглавила MathArena, но в тесте обошлась в 15 раз дороже GPT-6.1 Sol

Модель Google Gemini 4 Carbon заняла первое место в MathArena — тесте на решение математических задач. По опубликованным результатам, её оценка составила 85,4% против 80,6% у GPT-6.1 Sol. Но при настройках, использованных в испытании, показатель стоимости Carbon оказался примерно в 15 раз выше. Для тех, кто выбирает ИИ для расчётов, это сравнение не только точности, но и цены результата.

Как распределились места

В результатах, о которых стало известно 14 ноября, Carbon сместила GPT-6.1 Sol с первой позиции. Второе место заняла Claude Fable 5.2 от Anthropic с оценкой 82,8%; модель OpenAI оказалась третьей. Это результат конкретного математического испытания, а не общий рейтинг полезности чат-ботов.

Для каждой оценки указана неопределённость: 85,4% ±3,0% у Carbon, 82,8% ±5,3% у Fable 5.2 и 80,6% ±2,7% у Sol. Эти диапазоны пересекаются. Поэтому первое место в таблице не стоит превращать в обещание, что Carbon обязательно лучше решит любую отдельную задачу.

Что именно сравнивают по стоимости

В таблице MathArena приведены ожидаемые показатели стоимости: 15,70 доллара для Gemini 4 Carbon, 40,20 доллара для Claude Fable 5.2 и 1,07 доллара для GPT-6.1 Sol. Сравнение относится к выбранным режимам рассуждения — настройкам, влияющим на то, как модель ищет решение. Для Carbon использован high, для двух других моделей — max.

В тексте сообщения разница между Carbon и Sol округлена примерно до 15 раз. Это не сравнение цен месячных подписок и не универсальная разница в стоимости любого запроса. Приведённых сведений недостаточно, чтобы пересчитать эти суммы в бюджет собственной задачи. Более дорогая Fable 5.2 при этом не заняла первое место: цена и положение в таблице здесь не совпадают.

Лидерство не отменяет ограничения по времени

По описанию испытаний, самая частая причина неудач Carbon — превышение отведённого времени. Модель почти никогда не отказывается от задачи. В одном из случаев она запустила скрипт, который выполнялся более 11 часов, не проверяя его ход. Это отдельный наблюдавшийся эпизод, а не обычная длительность ответа Carbon.

Практический вывод: при выборе помощника для математики стоит смотреть не только на долю решённых задач, но и на допустимое время ожидания и стоимость при нужных настройках. Результат MathArena даёт ориентир для такого выбора, но не заменяет проверку на собственных примерах. Если нужен более широкий взгляд на повседневные задачи, пригодится сравнение ChatGPT, Gemini и Grok — оно посвящено выбору сервисов, а не этому математическому рейтингу.

Материал был полезен?
AI-инструменты без границ

Получите доступ к нужному AI-сервису уже сегодня

ChatGPT, Claude, Gemini, MiniMax и агенты для кода — предложения проверенных продавцов по доступным ценам. Оплата российскими картами, через СБП или криптовалютой.

Проверенные продавцы Быстрая выдача Доступные цены
Прокрутить вверх