Firma będzie hostować zestaw wielojęzycznych dużych modeli językowych (LLM) open source Llama 3.1 w Snowflake Cortex AI. Będą one dostępne dla przedsiębiorstw do łatwego budowania i wykorzystania aplikacji AI o dużej skali. Wspólna oferta obejmuje najnowszy model Meta Llama 3.1 405B oraz stos systemowym open source stworzonym przez Snowflake.
Zespół badawczy Snowflake AI zoptymalizował Llama 3.1 405B zarówno na potrzeby wnioskowania, jak i dostrajania, wspierając okno kontekstowe 128K. Jednocześnie umożliwia wnioskowanie w czasie rzeczywistym z opóźnieniem end-to-end do 3 razy niższym. A także 1,4 razy wyższą przepustowością, niż istniejące rozwiązania open source – zapewniają przedstawiciele Snowflake. Ponadto, pozwala na dostrajanie modelu przy użyciu zaledwie jednego węzła GPU.
„Dostarczamy naszym klientom najnowocześniejsze modele Meta bezpośrednio poprzez Snowflake Cortex AI. Ale także wyposażamy przedsiębiorstwa i społeczność AI w nowe badania i kod open source, który m.in. wspiera okna kontekstowe 128K, wnioskowanie wielowęzłowe, równoległość potoków czy kwantyzację 8-bitową, aby rozwijać AI na potrzeby szerszego ekosystemu” – skomentował Vivek Raghunathan, wiceprezes ds. inżynierii AI w Snowflake.
Zespół badawczy AI Snowflake opracował także zoptymalizowaną infrastrukturę do dostrajania. Obejmuje ona destylację modelu, mechanizmy ochronne, generowanie wspomagane wyszukiwaniem (RAG) oraz generowanie danych syntetycznych.
Ponadto firma udostępnia również Snowflake Cortex Guard. Ma on na celu dalszą ochrony przed szkodliwymi treściami dla każdego modelu LLM lub zasobu stworzonego w Cortex AI. Cortex Guard wykorzystuje Llama Guard 2 od Meta. Ma to ułatwić przedsiębiorstwom korzystanie z zaufanej AI. Dzięki temu firmy będą miały pewność, że używają bezpiecznych modeli.
