Daily AI Models avatar
Daily AI Models
Available now
For
When
Started on Wednesday, March 27, 2024 16:00

Key facts

Parámetros
14.3 B
Ventana de contexto
8,192 tokens
Parámetros activos
2.7 B
Licencia
Licencia propia
Uso comercial
Yes

About

Primer modelo de mezcla de expertos de Qwen, de 14.300 millones de parámetros en total y 2.700 millones activos.

¿Por qué importa?

Según Alibaba, iguala a modelos de 7.000 millones como Mistral 7B y Qwen1.5-7B con un 75 % menos de coste de entrenamiento y una inferencia 1,74 veces más rápida.

Disponibilidad

Pesos abiertos en Hugging Face y ModelScope (licencia Tongyi Qianwen). Llegó semanas después de la serie Qwen1.5 original.

Datos técnicos

Cuenta con 2.000 millones de parámetros activos sin contar embeddings.

Key facts

Parámetros
14.3 B
Ventana de contexto
8,192 tokens
Parámetros activos
2.7 B
Licencia
Licencia propia
Uso comercial
Yes