Model basal-omni-1.0-ultra, rozwijany przez Remigiusza Kinasa, zajął pierwsze miejsce wśród modeli z otwartymi wagami w rankingu JevBench. W ocenie trafności decyzji i pewności odpowiedzi wyprzedził m.in. rozwiązania OpenAI i Microsoftu. Nie jest to jednak konkurent ChatGPT. Basal powstał do automatyzacji powtarzalnych decyzji, które firmy podejmują tysiące razy dziennie.
„Czyli można? Można! Polskie AI” – napisał Remigiusz Kinas, w serwisie X, komentując wynik swojego modelu. W zestawieniu JevBench v1.6.28 (z 17 października br.) basal-omni-1.0-ultra zdobył 82,5 pkt w kategorii Capability Score i znalazł się na pierwszym miejscu wśród modeli z otwartymi wagami. W szerszym porównaniu, uwzględniającym również zamknięte systemy dostępne przez API, zajął drugą pozycję. Wyżej znalazł się jedynie model kettei-fat firmy Sqwish, z wynikiem 86,3 pkt.
Wynik wymaga jednak doprecyzowania. JevBench nie ocenia, który model najlepiej pisze teksty, generuje kod czy prowadzi rozmowę. Sprawdza natomiast, jak radzi sobie z podejmowaniem konkretnych decyzji. W teście obejmującym 1500 przypadków system musi wybrać odpowiedź z dostępnych opcji, a jego wyniki są oceniane m.in. pod kątem trafności i kalibracji, czyli zgodności deklarowanej pewności z rzeczywistą skutecznością.
To właśnie w tych dwóch obszarach basal-omni-1.0-ultra osiągnął wynik, który zapewnił mu wysoką pozycję. Nie oznacza to jednak, że jest ogólnie lepszy od modeli OpenAI czy Microsoftu. W rankingu chodzi o określony typ zadań i konkretną metodę pomiaru. Co więcej, w łącznym wyniku JevBench, który uwzględnia również szybkość i koszt działania, basal zajął trzecie miejsce wśród 184 modeli z otwartymi wagami.
Basal automatyzuje decyzje, zamiast generować tekst
Basal to autorski projekt Remigiusza Kinasa, obejmujący własny silnik uruchomieniowy basal-serve oraz dwie rodziny modeli. Basal-2.0 bazuje na polskim Bieliku v3, a basal-omni na modelu Gemma 4 od Google. Basal przeznaczony jest do zadań, w których potrzebna jest konkretna decyzja, a nie rozbudowana odpowiedź. Może na przykład przyporządkować zgłoszenie klienta do odpowiedniego działu, sprawdzić dokument według określonych reguł, wyciągnąć dane z faktury albo wskazać kolejny krok dla agenta AI. Jeśli nie ma wystarczającej pewności, może przekazać sprawę człowiekowi.
Takie podejście ma znaczenie w firmach obsługujących duże liczby podobnych spraw. Zamiast angażować rozbudowany model językowy do każdej operacji, można użyć systemu, który szybko wybiera jedną z określonych odpowiedzi. Według pomiarów JevBench, mediana czasu odpowiedzi basal-omni-1.0-ultra wynosiła 0,102 sekundy, a koszt tysiąca decyzji 0,045 dolara.
Projekt Remigiusza Kinasa, obejmuje również silnik basal-serve, który pozwala uruchomić model jako usługę i wykorzystywać go w firmowych procesach. System obsługuje m.in. wybór jednej lub kilku odpowiedzi, decyzje typu „tak”, „nie” lub „nie wiadomo”, ocenianie na skali oraz zadania związane z analizą dokumentów. Twórca rozwija także mechanizmy określające, kiedy model może samodzielnie rozstrzygnąć sprawę, a kiedy powinien skierować ją do pracownika.
Basal na własnych serwerach. Co trzeba sprawdzić przed wdrożeniem?
Kod silnika basal-serve dostępny jest na GitHubie, a modele można znaleźć na Hugging Face. Firma może więc uruchomić je na własnej infrastrukturze, bez konieczności przesyłania danych do zewnętrznego dostawcy usługi. To ważne zwłaszcza wtedy, gdy system ma przetwarzać dokumenty zawierające dane osobowe lub informacje objęte tajemnicą przedsiębiorstwa.
Rodzina basal-omni obsługuje tekst, obrazy i, w części wariantów, dźwięk. Nie wszystkie możliwości są jednak równie dojrzałe. Remigiusz Kinas zaznacza, że funkcje eksperymentalne trzeba sprawdzić na własnych danych przed wykorzystaniem ich w firmie. Samo udostępnienie modelu nie oznacza więc, że można od razu bezpiecznie powierzyć mu procesy biznesowe.
Według twórcy, rozpoczęcie pracy nie wymaga trenowania modelu od podstaw. Należy uruchomić silnik, opisać zadanie i zweryfikować działanie systemu na przykładach pochodzących z organizacji. Dopiero po takich testach można określić, które decyzje model będzie podejmował samodzielnie.
Remigiusz Kinas pracuje jako Principal AI Researcher w firmie Ingenix.ai, gdzie rozwija modele AI na potrzeby biologii i badań klinicznych. Jest również jednym ze współtwórców polskich modeli Bielik.
