Описание модели Nemotron 3.5 Transcribe

• Модель с открытыми весами для распознавания и перевода речи • Поддерживает 40 языков, переводит с 31 языка на английский и обратно • Определяет говорящих на 13 языках

Функции и возможности

• Обрабатывает записи до одного часа • Позволяет запрашивать стенограммы, перевод, краткое изложение и ответы на вопросы • Учитывает специальные термины и переключение между языками • Определяет говорящих даже при перебиваниях • Поддерживает аудио с участием до восьми человек • Сопоставляет текст с аудиозаписью и добавляет временные метки

Качество и точность

• Качество зависит от языка и условий записи • В рейтинге Open ASR Leaderboard заняла первое место среди систем с открытыми весами • Средний WER составил 4,71% на англоязычных наборах и 4,62% в многоязычном тестировании • В тесте ContextASR-Bench реже ошибалась при распознавании имен с заранее предоставленным списком • В бенчмарке Artificial Analysis показатель составил 2,81%

Архитектура и производительность

• Включает специализированный кодировщик речи, модуль определения говорящих и языковую модель Nemotron 3.5 Lightning 30B-A3B • Содержит около 30 млрд параметров, активны примерно 4 млрд при обработке каждого фрагмента • На RTX PRO 6000 Blackwell Server Edition обрабатывает 100 часов аудио за три минуты

Дополнительные ресурсы

• NVIDIA выпустила набор данных Granary v2 с 844 тыс. часов аудиозаписей на 48 языках • Инструменты для подготовки данных и адаптации модели к специализированным задачам • Модель, набор данных и руководство по дообучению доступны на Hugging Face • Предоставляется демонстрационная версия с инструментами для адаптации к новым языкам и предметным областям