Mixtral 8x7B de Mistral

Ended
1 year
Starts
23:00 Sunday December 10, 2023
Ends
00:00 Sunday March 30, 2025
About
Mixtral 8x7B de Mistral
Modelo abierto de mezcla de expertos con 8 expertos, de los que se activan 2 por token.

¿Por qué importa? Según Mistral, superaba a Llama 2 70B con inferencia seis veces más rápida e igualaba a GPT-3.5 en la mayoría de pruebas.

Pesos abiertos en Hugging Face (licencia Apache 2.0).

46.700 millones de parámetros (12.900 millones activos). Contexto de 32.000 tokens.

More related

Do you like Modelos al dÍA? Create your own page with NowHub.