[Перевод] Не каждый AI-вызов должен генерировать текст

В AI-приложении дорогая чат-модель не обязана отвечать на каждый вопрос. Для маршрутизации, проверки и выбора следующего шага иногда достаточно быстрого структурированного решения.

Суть события

Сообщество Spring AI представило интеграцию TypeSafe AI — сервиса, который не пишет связные ответы, а принимает решения по типизированным вопросам. Приложению можно передать состояние: например, обращение клиента в поддержку, — и спросить, относится ли оно к биллингу, насколько оно похоже на техническую проблему или требует ли срочной реакции. На выходе будут числовые оценки, вероятности и уровень уверенности.

Идея проста: отделить работу «что делать дальше» от генерации текста. Такой вызов подходит для классификации, маршрутизации запроса, проверки ответа и выбора инструмента в многоагентной системе.

Детали

Вместо шаблонов промптов, JSON-схем и последующего разбора текста разработчик задаёт несколько узких вопросов. В примере с одним вопросом медианная задержка составила 275 миллисекунд, с тремя — 310 миллисекунд; три ответа заняли 73 выходных токена. Это данные из описанного автором запуска, а не независимый тест.

TypeSafe различает несколько примитивов: значение истинности с диапазоном от 0 до 1, выбор варианта с распределением вероятностей и оценку на упорядоченной шкале. Уверенность помогает не маскировать сомнение средним баллом. Если проверка ответа о погоде обнаруживает невозможную температуру, критерий правдоподобия может провалиться, а общий вердикт — остаться неопределённым.

Контекст

Для бизнеса это прежде всего способ экономить дорогие вызовы и снижать задержку. Небольшой сервис может сначала определить тему обращения, выбрать нужный инструмент или проверить риск, а крупная чат-модель подключится только там, где действительно нужен текст. Для поддержки это означает более предсказуемую маршрутизацию; для небольшой команды — меньше ручных правил и меньше лишних обращений к дорогой модели.

TypeSafe также используется в judge-компонентах Spring AI: они проверяют качество результата и могут запустить повторную попытку. Guardrail-проверки отдельно контролируют вход и выход без повторного запроса. При этом интеграция не заменяет чат-модель: она решает, как с ней работать. Бенчмарки из исходного материала требуют самостоятельной проверки перед расчётом экономии.

Что дальше

Практичный первый шаг — выбрать один стабильный участок процесса, где результатом уже должен быть класс, оценка или решение «пропустить/заблокировать». Затем стоит задать атомарные вопросы, определить пороги уверенности и измерить задержку, стоимость и долю решений, которые всё ещё требуют человека. Не следует использовать такой сервис для саммари, объяснений и другой задачи, где нужен связный текст.

Разработчикам на Spring AI доступны starter и Java SDK; для работы нужен аккаунт TypeSafe и API-ключ. Начинать разумнее с тестового каскада: дешёвая проверка принимает большинство решений, а сложный вызов обрабатывает исключения. Так архитектурная идея превращается в проверяемый эффект для продукта, поддержки и бюджета.