Są to: Llama 4 Scout, Llama 4 Maverick i Llama 4 Behemoth. Wszystkie zostały wytrenowane na „dużych ilościach nieoznakowanych danych tekstowych, graficznych i wideo”, aby zapewnić im „szerokie zrozumienie wizualne” – wskazują przedstawiciele Meta. To „najbardziej zaawansowane modele jak dotąd” i „najlepsze w swojej klasie pod względem multimodalności” – zapewniają.
Wersje Scout i Maverick dostępne są publicznie na Llama.com i u partnerów Meta, w tym platformie deweloperskiej AI Hugging Face, podczas gdy model Behemoth nadal jest w trakcie szkolenia. Meta twierdzi, że Meta AI, jej asystent oparty na sztucznej inteligencji w aplikacjach takich jak WhatsApp, Messenger i Instagram, został zaktualizowany, aby korzystać z Llama 4 w 40 krajach. Funkcje multimodalne są na razie ograniczone do Stanów Zjednoczonych w języku angielskim.
Meta twierdzi, że Llama 4 to jej pierwsza grupa modeli wykorzystująca architekturę mieszaną ekspertów (MoE), która jest bardziej wydajna obliczeniowo do szkolenia i odpowiadania na zapytania. Architektury MoE zasadniczo dzielą zadania przetwarzania danych na podżądania, a następnie delegują je do mniejszych, wyspecjalizowanych modeli „ekspertów”.
Przykładowo, Maverick ma 400 miliardów parametrów, ale tylko 17 miliardów aktywnych parametrów w 128 „ekspertach”. (Parametry mniej więcej odpowiadają umiejętnościom rozwiązywania problemów przez model). Scout ma z kolei 17 miliardów aktywnych parametrów, 16 ekspertów i 109 miliardów parametrów. Według wewnętrznych testów Meta, Maverick, który według firmy jest najlepszy do przypadków użycia „ogólnego asystenta i czatu” – takich jak pisanie kreatywne – przewyższa takie modele, jak GPT-4o firmy OpenAI i Gemini 2.0 firmy Google w niektórych testach kodowania, rozumowania, wielojęzyczności, długiego kontekstu oraz obrazów. Nie dorównuje natomiast bardziej wydajnym ostatnim modelom, takim jak Gemini 2.5 Pro firmy Google, Claude 3.7 Sonnet firmy Anthropic i GPT-4.5 firmy OpenAI.
Siła modelu Scout leży natomiast w zadaniach takich jak podsumowanie dokumentów i rozumowanie na dużych bazach kodu. Co wyjątkowe, ma on bardzo duże okno kontekstowe: 10 milionów tokenów. Może więc przyjmować obrazy i do milionów słów, co pozwala mu przetwarzać i pracować z niezwykle długimi dokumentami. Scout może działać na jednym procesorze graficznym Nvidia H100, podczas gdy Maverick wymaga systemu Nvidia H100 DGX lub równoważnego – zgodnie z obliczeniami Meta.
Wspomniany wcześniej Behemoth będzie potrzebował jeszcze mocniejszego sprzętu. Model ten ma 288 miliardów aktywnych parametrów, 16 ekspertów i prawie dwa biliony parametrów łącznie. Wewnętrzne testy porównawcze Meta wykazały, że Behemoth przewyższa GPT-4.5, Claude 3.7 Sonnet i Gemini 2.0 Pro (ale nie 2.5 Pro) w kilku ocenach mierzących umiejętności STEM, takich jak rozwiązywanie problemów matematycznych.
„Te modele Llama 4 oznaczają początek nowej ery dla ekosystemu Llama”, napisali specjaliści Meta we wpisie na firmowym blogu.
