Mistral AI – miał być drugim Linuksem dla LLM-ów, a staje się kopią ChatGPT

Pod koniec 2023 roku w branży technologicznej głośno było o startupie Mistral AI, który po zamknięciu rundy finansowania serii A zebrał aż 385 mln euro. Francuska spółka szybko stała się bezpośrednim rywalem OpenAI, którego technologie są obecne w produktach Microsoft.

Firmę Mistral AI założyło trzech naukowców: Arthur Mensch (CEO), Guillaume Lample (główny naukowiec) i Timothee Lacroix (dyrektora ds. technologii) – byłych pracowników cyfrowych gigantów, Google i Meta. Od momentu inauguracji działalności w maju 2023 roku spółka wyraźnie podkreślała, że koncentruje się na otwartej, odpowiedzialnej i zdecentralizowanej technologii GenAI.

„Dzięki otwartemu oprogramowaniu deweloperzy mogą bowiem swobodnie dzielić się wiedzą, co powinno służyć wspieraniu innowacji. Ponadto demokratyzacja dostępu do AI pozwala startupom i mniejszym firmom konkurować z większymi technologicznymi markami, co przynajmniej w pewnym stopniu powinno wyrównywać szanse na rynku” – twierdzili założyciele. „Firma chce skupić się na kształtowaniu europejskiej potęgi w dziedzinie generatywnej sztucznej inteligencji” – dodawał Arthur Mensch.

Sektor narzędzi AI jest bowiem obecnie oligopolem, w którym większość z najbardziej liczących się graczy, posiadających ogromne środki finansowe, pochodzi z USA. Konkurowanie z takimi gigantami, jak Meta czy OpenAI, wymaga więc nie tylko doskonałej umiejętności opanowania rozwoju tej nowej technologii, ale także ogromnych inwestycji.

Startupowi z siedzibą w Paryżu szybko udało się jedno i drugie. We wspomnianej wcześniej rundzie finansowania – po której Bloomberg wycenił Mistral.ai na ok. 2 mld USD – przewodził Andreessen Horowitz (a16z), a towarzyszył mu Lightspeed Venture Partners. Dodatkowymi inwestorami były tak mocne marki jaki m.in. Nvidia i Salesforce. Warto dodać, że kilka miesięcy wcześniej, podczas rundy zalążkowej, Mistral AI – istniejący na rynku ledwie 3 miesiące i zatrudniający wtedy mniej niż 20 osób – zebrał aż 112 mln USD.

Już pod koniec lutego 2024 roku, ten poważny kandydat na „jednorożca” nawiązał zaskakujące partnerstwo z Microsoft, a jego produkty znalazły się w chmurze Azure obok tych najbardziej znanych OpenAI, jak ChatGPT. Microsoft zainwestował w Mistral 16 mln USD. Dla porównania, w OpenAI amerykański koncern zainwestował już ok. 13 mld USD.

Warunki partnerstwa Microsoftu z Mistral AI są obecnie badane przez Unię Europejską, która chce więc upewnić się, że nie zakłócają one nadmiernie dynamiki rynku. Według UE, powinien on pozostać konkurencyjny, aby nic nie stało na przeszkodzie w rozwoju różnych firm i dostarczaniu innowacyjnych produktów.

Rozwój Mistral AI

Jak doszło do tego, że Mistral AI tak szybko i mocno zamieszał w sektorze AI? We wrześniu 2023 roku startup wypuścił swój inauguracyjny model językowy Mistral 7B, wytrenowany przy użyciu stosunkowo „niewielkiego” zestawu danych składającego się z ok. 7 mld parametrów. Był on dystrybuowany na licencji Apache 2.0, działał tylko w języku angielskim i uzyskiwał wynik 7,6 w teście porównawczym MT-Bench, który mierzy zdolność dużych modeli językowych (LLM) do angażowania się w spójne, bogate w informacje i angażujące konwersacje. Dla porównania dodajmy, że najwyższy w tym teście wynik 9,32 MT-Bench osiąga GPT-4-Turbo.

Z kolei w grudniu 2023 roku, firma zainaugurowała działanie platformy deweloperskiej w wersji beta. Oprócz wspomnianego już Mistrala 7B, udostępniono wtedy także model Mixtral 8x7B. Model ten obsługiwał język angielski, francuski, włoski, niemiecki, hiszpański oraz kod i uzyskał wynik 8,3 w MT-Bench. Również rozpowszechniano go na licencji Apache 2.0 i można go było pobrać bezpłatnie.

Natomiast trzecim modelem, który można było znaleźć na tej platformie pod koniec 2023 roku był Mistral-medium. Przewyższał on wszystkie dotychczasowe modele, a w MT-Bench uzyskał wynik 8,61 i podobnie do poprzedniego modelu obsługiwał ten sam zestaw języków. To już było coś, przebijał bowiem model GPT-3.5 (8,39 MT-Bench). Jednak dostęp do Mistrala-medium można już było uzyskać wyłącznie za pośrednictwem płatnej platformy API.

Minęły kolejne dwa miesiące i z końcem lutego br. przedstawiciele spółki zakomunikowali debiut Mistral Large – najnowocześniejszego modelu generowania tekstu, który w testach porównawczych osiąga tak dobre wyniki, że czynią go one 2. na świecie modelem, po GPT-4. Tym samym Mistral.ai, przewyższa takie modele językowe jak Claude 2, Gemini Pro, GPT-3.5 czy LLaMA 2.

Jakie są mocne strony Mistral Large?

Jego okno kontekstowe o pojemności 32 tys. tokenów umożliwia przywoływanie informacji z dużych dokumentów. Model ten jest natywnie biegły w języku angielskim, francuskim, hiszpańskim, niemieckim i włoskim, z zaawansowanym zrozumieniem gramatyki oraz kontekstu kulturowego.

Dobrze radzi sobie z ogólnym rozumieniem tekstu i wykazuje najwyższą spośród głównych modeli LLM wydajność w kodowaniu i zadaniach matematycznych. Na poziomie systemu użyto go do skonfigurowania moderacji chatbota le Chat – czyli nowego asystenta konwersacyjnego, odpowiednika ChatGPT. Jest też natywnie zdolny do wywoływania funkcji.

„To, wraz z ograniczonym trybem wyjściowym, zaimplementowanym na La Plateforme, umożliwia tworzenie aplikacji i modernizację stosu technologicznego na dużą skalę” – czytamy na stronie Mistral AI. W przeciwieństwie do poprzednich wersji Mistral AI, model Large nie jest już niestety oprogramowaniem typu open source. Programiści mogą uzyskać dostęp do niego za pośrednictwem własnej platformy API Mistral.

Należy też dodać, że wraz z Mistral Large wprowadzono również zoptymalizowany pod kątem opóźnień i kosztów model Mistral Small, który według jego twórców przewyższa Mixtral 8x7B i czyni go dobrym rozwiązaniem pośrednim między ofertą open-weight, a modelem Large.

Dzięki nawiązanej współpracy z Microsoft, wszystkie otwarte i komercyjne modele Mistral AI są obecnie dostępne nie tylko za pośrednictwem La Plateforme, bezpiecznie hostowanej na infrastrukturze Mistral w Europie, ale także w Microsoft Azure – za pośrednictwem Azure AI Studio i Azure Machine Learning. Współpraca ta oznacza również możliwość wykorzystania infrastruktury superkomputerowej Microsoftu oraz wzajemne badania i rozwój w zakresie szkolenia różnego rodzaju modeli.

„Dzięki najnowocześniejszej infrastrukturze AI Azure osiągamy nowy kamień milowy, napędzając nasze innowacyjne badania i praktyczne zastosowania dla nowych klientów na całym świecie. Wspólnie dążymy do osiągnięcia znaczącego postępu w branży sztucznej inteligencji i dostarczania niezrównanej wartości naszym klientom i partnerom” – skomentował Arthur Mensch.

I tak, francuska spółka, która zaczynała swą działalność od modeli open source i głoszeniu szczytnych haseł o zdecentralizowanej AI, zaczyna przypominać amerykańskich konkurentów. Z jednaj strony, zamykając źródła, a z drugiej, prezentując coraz dłuższą listę inwestorów z USA, co sugeruje wątpić w jej niezależność.

KOMENTARZ

Pojawienie się Mistrala budziło nadzieje, że może on stać się odpowiednikiem Linuksa w świecie dużych modeli językowych (LLM). Jednak niedawne decyzje wzbudzają zdumienie. Przede wszystkim, udostępnienie najnowszej wersji, Mistral Large, jedynie poprzez API bez możliwości bezpośredniego dostępu do modelu oraz niedawna inwestycja Microsoftu, rzucają cień na te oczekiwania.

Inwestycja Microsoftu, potencjalnie wynikająca z presji regulatorów, jest strategicznym krokiem giganta z Redmond. Niemniej jednak, może nie sprzyjać firmom i innowacyjnym startupom, które liczyły na dostosowanie lub dodatkowe trenowanie modeli Mistral do własnych potrzeb.

Technologiczne osiągnięcia Mistrala są bezdyskusyjne, ale ostatnie kroki, od ograniczonego dostępu, przez inwestycję Microsoftu, po uruchomienie LeChat – kopii ChatGPT, nie sprzyjają budowaniu otwartego ekosystemu wspierającego innowacje i konkurencję. Wygląda na to, że musimy jeszcze poczekać na model, który stanie się ‘drugim Linuksem’ wśród LLM-ów.

 Sebastian Kondracki, Chief Innovation Officer w Deviniti i współtwórca projektu SpeakLeash