Nueva York, 07 abril, batalladeideas.com.- Llama 4 Behemoth tiene dos billones de parámetros, cinco veces más que Llama 3. Es un componente de la nueva serie de modelos Llama 4, que también se caracteriza por su ventana de contexto de 10 millones de tokens.
Meta anunció el sábado pasado el estreno de Llama 4, su nueva gama de modelos de IA de código abierto. La compañía se enorgullece de sus tres versiones multimodales, siendo una de ellas especialmente impresionante por su tamaño absolutamente enorme. Sin embargo, tiene una razón válida.
Hola, Llama cuatro. Ha transcurrido casi un año desde que Meta presentó Llama 3, y su nueva gama de modelos viene con tres versiones diferentes:
Llama 4 Scout: el más «diminuto», que compite con Gemma 3, Gemini 2.0 Flash-Lite y Mistral 3.1.
Llama 4 Maverick: rivaliza con GPT-4o, Gemini 2.0 Flash y DeepSeek v3
Llama 4 Behemoth: un auténtico coloso que, según Meta, supera a GPT-4.5, Gemini 2.0 y Claude 3.7 en varios benchmarks. Este último no se encuentra disponible públicamente por ahora.
Ventana de contexto impresionante. Estos modelos proporcionan una ventana de contexto de 10 millones de tokens, lo cual es simplemente impresionante. Esto implica que podremos ingresar una enorme cantidad de datos como entrada (prompt), por ejemplo, vastos repositorios de código en los que trabajar de manera directa.
Combinación de expertos. Estos modelos emplean la arquitectura Mixture-of-Experts que fue utilizada, por ejemplo, por DeepSeek. Como mencionamos anteriormente, esto posibilita fragmentar el modelo en «especialistas» que se activan de acuerdo al tipo de solicitud.
Esto optimiza la eficiencia y ha demostrado ser un método excelente para que los modelos funcionen de manera óptima utilizando mucho menos recursos. Scout cuenta con 16 especialistas y Maverick posee 128. Este tipo de arquitectura también beneficia la etapa de inferencia, o lo que es igual: los modelos responderán no solo de manera eficiente, sino también rápida y fluida.
XATAKA
