Modelo de reconocimiento de voz de NVIDIA que transcribe, traduce y responde preguntas sobre audio siguiendo instrucciones en lenguaje natural. Está construido sobre el modelo de lenguaje Nemotron 3.5 Lightning.
Un solo modelo de pesos abiertos hace transcripción literal o redactada, identifica quién habla, traduce y responde preguntas sobre el audio. Además, la instrucción puede incluir una lista de términos para que reconozca nombres y vocabulario técnico.
Pesos abiertos en Hugging Face y ModelScope con licencia OpenMDW 1.1, que permite el uso comercial. Hay una demo en Hugging Face y se puede ejecutar con vLLM y SGLang. También está en build.nvidia.com y en proveedores como Baseten, DeepInfra y Simplismart. NVIDIA publicó a la vez Granary v2, un conjunto de datos de voz multilingüe.
30.000 millones de parámetros (unos 4.000 millones activos por token) con arquitectura híbrida Mamba-Transformer de mezcla de expertos. Transcribe 40 idiomas, incluido el español; traduce 31 idiomas desde y hacia el inglés, y distingue hasta ocho hablantes en 13 idiomas. Acepta grabaciones de hasta una hora y da marcas de tiempo por palabra. Está pensado para audio grabado, no para transcripción en directo.
