Meta ogłosiła nowy model LLama 3.1, który ma aż 405 miliardów parametrów

Tym sam jest to obecnie największy i najpotężniejszy duży model językowym (LLM) typu open source. Oznacza to, że przy użyciu jego danych wyjściowych będzie można trenować swój własny LLM bez ponoszenia opłaty licencyjnej. 

Tak duży LLM, z 405 miliardami parametrów, może wykonywać bardziej skomplikowane zadania w porównaniu do innych modeli. Chodzi o rozumienie kontekstu w długich strumieniach tekstu, rozwiązywanie złożonych równań matematycznych czy generowanie danych syntetycznych w celu ulepszenia mniejszych modeli AI.

Oprócz LLama 3.1 405B, Meta wypuściła również dwa mniejsze modele. Mowa o LLama 3.1 8B i LLama 3.1 70B. Są to ulepszone wersje swoich poprzedników, które mogą być używane do zasilania chatbotów i asystentów kodowania oprogramowania. Dodajmy, że nowe modele pojawiły się zaledwie trzy miesiące po tym, jak Meta uruchomiła LLama 3.

Udostępniając kolejne modele LLama za pośrednictwem oprogramowania open source, Meta zamierza przyciągnąć wysokiej jakości talenty na konkurencyjnym rynku. A także obniżyć ogólne koszty infrastruktury obliczeniowej, poinformowało CNBC. Poza tym Meta ma na celu uczynienie LLama standardem w branży, dla każdego, kto chce rozwijać aplikacje i usługi oparte na AI, napisał Mark Zuckerberg. Meta wykorzystuje swoje modele AI także wewnętrznie. Wprowadzane więc przez społeczność open source ulepszenia, pozwalają jej czerpać z nich bezpośrednie korzyści.

Wzmocnienie partnerstwa z Nvidia

Ogłoszenie modelu LLama 3.1 przez Meta odbyło się przed konferencją poświęconą zaawansowanej grafice komputerowej, na której Mark Zuckerberg, szef Meta i Jensen Huang, dyrektor generalny Nvidia, mają zaplanowane wspólne wystąpienie. Ma to dodatkowo podkreślić rosnące partnerstwo między tymi dwoma firmami.

Przypomnijmy, że Nvidia dostarcza macierzystej firmie Facebooka chipy obliczeniowe, które pozwalają trenować modele sztucznej inteligencji, w tym LLama. Jak poinformował rzecznik Meta, najnowszy model LLama 3.1 wytrenowano na 16 000 procesorach graficznych H100 firmy Nvidia.

Dla tego producenta chipów fakt, że Meta szkoli modele, które inne firmy mogą wykorzystywać i dostosowywać do swoich organizacji za darmo, oznacza możliwość rozszerzenia wykorzystania własnych chipów i utrzymanie wysokiego popytu na nie, wskazuje CNBC. Trzeba jednak pamiętać, że stworzenie modeli open source może kosztować setki milionów lub miliardy dolarów. A nie ma zbyt wielu firm, które stać na tak ogromne inwestycje.