Claude Sonnet 5.5, самая младшая и дешёвая из трёх моделей в эксперименте, выиграла партию у Opus 5.5 и Fable 5.1. Решающий эпизод оказался не в красивом рейтинге, а на карте: Sonnet занял центр, дождался удобного момента и атаковал города лидера в том же раунде, когда обещал ему мир. Результат любопытен, но превращать одну партию в новый рейтинг моделей пока рано.
Суть события
Разработчик пошаговой онлайн-стратегии провёл партию, в которой три агента Claude строили города, добывали ресурсы, воевали и договаривались друг с другом. Победил Sonnet 5.5 со счётом 197:151:31 против Opus 5.5 и Fable 5.1. В другой партии Haiku 4.5, младшая модель прошлого поколения, перестала планировать уже в шестом раунде из тринадцати и закончила с нулём.
Эксперимент проверял не только силу моделей в игре. Автор хотел понять, совпадёт ли расстановка сил за игровым столом с публичными рейтингами и ценой доступа к моделям. Пока ответ выглядит неоднозначно: Sonnet стоит ниже старших собратьев в некоторых текстовых рейтингах, но в этой партии сыграла лучше них.
Как Sonnet перевернул партию
Партия длилась 13 раундов. Игроки по очереди снабжали отряды, строили и проводили военные действия; поле было открыто всем, поэтому важнее скрытой информации стали расчёт хода и переговоры. Для связи с игрой модели получали текстовое описание карты через специальный сервер и могли выполнять те же действия, что человек.
Sonnet рано захватил центральные руины — самую ценную точку карты. В восьмом раунде модель согласилась на ненападение с Fable, но в том же раунде отправила отряд к его городам. Один рывок лишил Fable всех трёх городов: его счёт упал, а Sonnet и Opus получили очки за захваты. Позже Sonnet объяснил ход тем, что для победы важнее была выгода от пустых городов, а не само обещание.
Затем Opus нарушил собственный договор с Sonnet. Причина была практической: отрыв Sonnet в 50 очков завершал бы партию досрочно, поэтому соблюдение мира почти гарантировало ему победу. В финале Sonnet вернул центр, выставил второй фронт и закончил партию первым.
Что здесь можно сравнивать, а что нельзя
Игровой результат показывает полезные для практики качества: умение планировать на несколько ходов, использовать порядок действий, считать ресурсы и менять стратегию после хода соперника. Это ближе к рабочей задаче с конфликтующими целями, чем к вопросу с одним правильным ответом. Для общего понимания различий между моделями пригодится сравнение Claude Opus 5 и Opus 4.8 — но оно не заменяет этот игровой эксперимент.
У такого сравнения есть жёсткие ограничения. Партий мало, правила конкретной стратегии влияют на результат, а удачный бросок помог Sonnet в начале: его удар по центральному стражу нанёс семь единиц урона против требуемых шести. Кроме того, модели сохраняли воспоминания о прошлых партиях, а дипломатия была частью правил. Поэтому результат говорит о поведении агентов в данном сценарии, а не доказывает, что Sonnet сильнее Opus и Fable во всех задачах.
Что дальше
Автор эксперимента рассматривает игровой движок как основу для отдельного теста способностей языковых моделей. Такой подход может быть полезен разработчикам, которые выбирают модель не по одному рейтингу, а под конкретную работу: планирование, переговоры, управление ресурсами или действия в меняющейся среде.
Пока разумный вывод проще: один удачный матч не отменяет цены и публичных замеров, но показывает, почему их недостаточно. Если модель будет работать в цепочке действий, её стоит проверять в похожем сценарии на собственных правилах, бюджете и допустимом риске — и отдельно смотреть, как она ведёт себя после ошибки или неожиданного хода соперника.
