Modelo de lenguaje fundacional de Meta, publicado para investigadores en tamaños de 7.000, 13.000, 33.000 y 65.000 millones de parámetros.
¿Por qué importa? Según Meta, sus modelos más pequeños, entrenados con más datos, permitían estudiar los LLM sin grandes infraestructuras; fue el punto de partida de la familia Llama.
Pesos disponibles bajo solicitud para investigadores, con licencia no comercial.
Entrenado con hasta 1,4 billones de tokens en 20 idiomas.