Sztuczna inteligencjaRynekPolecane tematy

OVHcloud rozwija własne modele AI. Olala mini otwiera nową linię produktów

Podczas OVHcloud AI Summit, który odbędzie się 19 listopada, firma oficjalnie zaprezentuje Olala, pierwszą rodzinę własnych modeli językowych. Jej premierowy przedstawiciel, Olala mini 7A1B, ma miliard aktywnych parametrów i może działać na komputerze wyposażonym w kartę graficzną z zaledwie 8 GB pamięci. Model zostanie udostępniony na platformie Hugging Face, na licencji Apache 2.0.

OVHcloud rozwija własne modele AI. Olala mini otwiera nową linię produktów
Źródło: OVHcloud

Olala mini ma 7 mld parametrów, z czego miliard jest aktywnych i rozdzielonych między 256 ekspertów w każdej warstwie. Wykorzystuje hybrydową architekturę uwagi łączącą rozwiązania Differential-TPA i Mamba-3. Dzięki temu przy obsłudze zapytania uruchamiana jest tylko część jego zasobów, co ogranicza zapotrzebowanie na pamięć i przyspiesza działanie. Według przedstawicieli OVHcloud, Olala mini osiąga 160 tokenów na sekundę na karcie RTX A4500. Potrafi też działać bez GPU, na standardowym procesorze, z szybkością 50 tokenów na sekundę. Obecne okno kontekstowe modelu obejmuje 32 tys. tokenów.

Europejskie superkomputery i pierwsze wdrożenie w Qwant

Olala mini powstał przy wykorzystaniu mocy obliczeniowej trzech europejskich superkomputerów publicznych: Jupiter, MeluXina i Jean Zay. Korzystają one odpowiednio z układów GPU GH200, A100 i H100. Wsparcie publiczne odpowiadało kosztom obliczeń o wartości około 7 mln euro.

Prace nad modelem pozwoliły OVHcloud zgromadzić zespół specjalistów AI i rozwinąć jednostkę Argentic Lab oraz model językowy OVHai LLM. Olala mini będzie udostępniony wraz z wagami modelu, wstępnie wytrenowanym modelem bazowym, raportem technicznym oraz dokumentacją potwierdzającą zgodność z AI Act – unijnym rozporządzeniem o sztucznej inteligencji.

Model znalazł już pierwsze zastosowanie w wyszukiwarce Qwant, w funkcji szybkich odpowiedzi Flash Answer. Według OVHcloud, wdrożenie skróciło czas generowania odpowiedzi o 20%, a koszty operacyjne obniżyły się trzykrotnie w porównaniu z wcześniej wykorzystywanym modelem.

OVHcloud zapowiada kolejne wersje

Jak zapowiadają przedstawiciele OVHcloud, wersja 1.1 modelu ma pojawić się pod koniec 2026 roku. Otrzyma okno kontekstowe obejmujące 128 tys. tokenów, a także ulepszenia w zakresie rozumowania matematycznego. W dalszej perspektywie OVHcloud planuje rozwijać modele wyspecjalizowane w trzech obszarach. Pierwszym będzie agentowa AI dla firm, która stanie się podstawą platformy OVHai Workspace. Jej szyfrowana wersja ma wykorzystywać modele działające lokalnie, bezpośrednio na komputerze użytkownika. Kolejne zastosowania obejmą narzędzia dla zespołów DevOps oraz cyberbezpieczeństwo, w tym rozwiązania związane z ochroną i testowaniem zabezpieczeń.

Jak podkreśla Octave Klaba, prezes OVHcloud, firma chce samodzielnie rozwijać modele odpowiadające na potrzeby jej klientów i wewnętrznych zespołów. Jak zaznacza, koszt trenowania modeli spadł w ciągu trzech lat dwudziestokrotnie, a kompetencje potrzebne do ich tworzenia stają się coraz bardziej dostępne. „Obecnie tworzenie modeli LLM może być przedsięwzięciem przynoszącym zyski” – podsumował Octave Klaba.

Tagi

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *