Nvidia выпустила открытую речевую модель Nemotron 3.5 Transcribe, которая превращает аудиозапись в текст, переводит речь и отмечает, кто что сказал. Это инструмент для разбора уже записанных встреч и интервью, а не для разговора в прямом эфире. Набор возможностей зависит от языка.
Одна запись — несколько задач
По данным Nvidia, модель распознаёт речь на 40 языках, переводит с 31 языка на английский и обратно, а разделяет реплики по говорящим на 13 языках. Она рассчитана на записи продолжительностью до часа с участием не более восьми человек. Поддержка расшифровки сама по себе не означает, что для того же языка доступны все остальные функции.
Задачу можно задать обычной текстовой инструкцией: получить расшифровку с обозначением говорящих, английский перевод или краткое изложение принятых решений. Модель также отвечает на вопросы о содержании записи. Но эту последнюю возможность, как уточняет Nvidia, обучали на английском языке.
Для сложной лексики можно передать подсказки — например, названия лекарств. По замыслу разработчиков, модель должна использовать такие слова только тогда, когда они действительно звучат в записи. Это не замена проверке: Nvidia рекомендует выборочно сверять имена, смену говорящих и ответы на вопросы.
Что показывают тесты — и чего они не гарантируют
На англоязычной таблице Open ASR Leaderboard от Hugging Face модель заняла первое место среди моделей с открытыми весами: средняя доля ошибок в словах составила 5,33%. В отдельном сравнении Artificial Analysis показатель равен 2,81%. Это разные испытания, поэтому напрямую сопоставлять эти два числа нельзя.
В тесте VoiceArena на разговорах с перебивающими друг друга участниками Transcribe заняла первое место среди 14 систем. Она также пропустила наименьшую долю слов — 8,32%. Такие результаты полезны для оценки расшифровки живого разговора, но не гарантируют ту же точность на любой записи и любом языке.
Модель содержит 30 млрд параметров — внутренних настроек, полученных при обучении. На каждом шаге работают около 4 млрд. Она запускается на одном графическом процессоре Nvidia, однако это не обещание работы на любом домашнем компьютере. Заявленные компанией 100 часов аудио менее чем за три минуты относятся к конкретному оборудованию RTX PRO 6000 Blackwell Server Edition и режиму вычислений NVFP4.
Настройка под профессию требует отдельной проверки
Вместе с моделью Nvidia выпустила Granary v2: набор примерно из 844 тысяч часов речи на 48 языках и инструменты подготовки данных. Для записей предусмотрены разные варианты текста: дословный, со словами-паразитами, и очищенный. При этом компания предупреждает, что опубликованный набор не полностью совпадает с данными, на которых обучали модель.
Nvidia показала дополнительное обучение на записях индийских врачей и студентов-медиков. На полном тесте уточнение инструкции снизило долю ошибок с 30,8% до 23,8%, а дополнительное обучение — до 11,8%. Обучающие записи были преимущественно синтетической речью. На обычной английской речи после такой настройки ошибок стало немного больше; специализированная медицинская модель всё ещё лучше распознавала торговые названия лекарств.
Для проверки собственной версии Nvidia советует отложить не менее 100 настоящих, проверенных записей. Практический вывод простой: хорошая расшифровка общего разговора ещё не доказывает точность в профессиональной лексике.
Где попробовать и с чем не перепутать
Модель и Granary v2 опубликованы на Hugging Face; доступна и демонстрация. Перед использованием стоит проверить поддержку нужной функции именно для своего языка и сверить результат с исходным аудио. Для обработки разговора в реальном времени Transcribe не предназначена.
В семействе Nemotron есть и другие продукты. Недавно Nvidia представила Nemotron 3.5 Super VL для корпоративных ИИ-агентов. Это отдельная модель, а не другое название речевой Transcribe: возможности одной нельзя автоматически приписывать другой.
