Model PLLuM został zaktualizowany i zoptymalizowany. Teraz potrafi m.in. tworzyć oficjalne e-maile czy wnioski i lepiej formatuje odpowiedzi. „To pierwsza aktualizacja wydana pod marką HIVE AI i wyraźny sygnał, że projekt nie zwalnia tempa” – przekonują członkowie konsorcjum.
Pierwszym publicznie dostępnym efektem prac konsorcjum jest model językowy PLLuM-12B-nc-250715. Stanowi on istotne wzmocnienie rodziny polskojęzycznych modeli PLLuM. Model został zaktualizowany i zoptymalizowany do całej gamy zastosowań, w tym do zadań administracji publicznej. Co ważne, do sprawnej pracy nie potrzebuje dużych zasobów obliczeniowych.
PLLuM napisze za nas e-mail i oficjalny wniosek
Model PLLuM-12B-nc, opublikowany w lutym 2025 roku, sprawdza się w wielu zastosowaniach, ale ze względu na nie w pełni optymalny zestaw danych uczących, jego możliwości pozostały częściowo niewykorzystane. Nowa wersja PLLuM-12B-nc-250715 została wytrenowana na znacznie lepiej przygotowanym zbiorze danych i dostrojona do nowych zadań, w tym zadań urzędowych. Potrafi m.in. tworzyć oficjalne e-maile czy wnioski i lepiej formatuje odpowiedzi.
„Nowa wersja modelu została przygotowana nie tylko na zbiorze danych o optymalnej jakości, ale też powiększonym o partię nowych tekstów m.in. z domeny gov.pl, w tym Biuletynu Informacji Publicznej, oraz z Biblioteki Nauki. Co warte podkreślenia, dane gromadzone są w sposób w pełni zgodny z prawem polskim i europejskim” – wyjaśnia dr Agnieszka Karlińska z NASK PIB, kierowniczka projektu HIVE AI.
Trzy wersje PLLuM-12B-nc-250715
Model PLLuM-12B-nc-250715 powstał w trzech wariantach, które różnią się stopniem przygotowania do konkretnych zadań:
- base – Jest to podstawowa wersja, która przeszła pełną adaptację językową na ogromnym polskojęzycznym zbiorze danych liczącym ok. 140 miliardów słów. To fundament, na którym zbudowano kolejne odsłony modelu.
- instruct – Wariant instrukcyjny, dostrojony do realizacji szeregu zadań w języku polskim. Oznacza to, że został nauczony odpowiadać na pytania i realizować polecenia na podstawie par promptów i przykładowych odpowiedzi, co ułatwia mu lepsze rozumienie intencji użytkownika.
- chat – Najbardziej zaawansowana wersja, która przeszła dodatkowe „wychowanie”. Oprócz adaptacji językowej i dostrajania na instrukcjach, została zabezpieczona i dostosowana do oczekiwań użytkowników. Oparto ją na zbiorach promptów oraz odpowiedzi ocenianych przez ludzi jako lepsze lub gorsze, co pomaga jej reagować bardziej precyzyjnie i bezpiecznie podczas rozmów.
„Wyróżnikiem modeli PLLuM były zawsze autorskie zbiory danych do dostrajania modeli, czyli ich dostosowywania do określonych zadań. Pełna adaptacja językowa modeli jest możliwa tylko dzięki zbiorom mozolnie tworzonym od podstaw” – podkreśla dr hab. Piotr Pęzik, prof. Uniwersytetu Łódzkiego, kierownik operacyjny projektu HIVE AI.
„Od początku staliśmy na stanowisku, że masowe kopiowanie gotowych modeli AI, tzw. silnych LLM-ów wiąże się z szeregiem zagrożeń. Dlatego wypracowujemy metodologię kontrolowanego generowania danych syntetycznych, czyli takich, które powstają z udziałem innych modeli, ale są sprawdzane i zatwierdzane przez ludzi. Jej pierwsze efekty zostały wykorzystane w dostrajaniu nowych modeli 12B” – dodaje.
Nowy PLLuM odpowiada bardziej precyzyjnie
Dzięki temu model lepiej rozumie polski kontekst kulturowy i odpowiada precyzyjniej, generując mniej zbędnych czy przypadkowych słów. Dodatkowo w porównaniu do poprzedniej wersji został jeszcze lepiej zabezpieczony. Testy podatności pokazały, że skuteczność ataków promptowych udało się zmniejszyć do 2-3 przypadków na 100 prób. To znacznie mniej niż w przypadku innych otwartych modeli.
„Żaden model nie będzie w 100 proc. zabezpieczony” – zauważa dr Agnieszka Karlińska. „Każdy można prędzej czy później skłonić do generowania treści toksycznych, obraźliwych czy nielegalnych. Staramy się, żeby w przypadku modeli z rodziny PLLuM było to maksymalnie utrudnione. Nasze testy podatności pokazują, że ryzyko zwracania niepożądanych treści przez wychowaną wersję PLLuM-12B-nc-250715 udało się istotnie ograniczyć” – dodaje.
Wkrótce kolejne premiery do konsorcjum HIVE AI
Wszystkie wersje PLLuM-12B-nc-250715 są dostępne na HuggingFace, po wypełnieniu formularza. Wersję konwersacyjną można już teraz testować w aplikacji PLLuM chat. Przy testach warto pamiętać, modele PLLuM nie są na razie zintegrowane z wyszukiwarką internetową i nie powinno się z nich korzystać do poszukiwania informacji na tematy bieżące.
W najbliższych tygodniach konsorcjum zapowiada publikację kolejnych rezultatów projektu. „Nowe architektury i rozmiary modeli, zaktualizowany zbiór danych do wstępnego etapu uczenia modeli, czyli pretreningu, nowe dane do dostrajania, a w efekcie – nowe kompetencje i zastosowania, w domenie urzędowej i nie tylko” – zapowiada dr Agnieszka Karlińska.
„Już wkrótce zaprezentujemy drugi produkt z rodziny PLLuM: prototyp jednoturowego asystenta, czatbota, obywatelskiego, zaprojektowany jeszcze w ubiegłym roku, który posłuży nam do zbierania promptów pod kątem wdrożenia modeli PLLuM w aplikacji mObywatel. Do tego coś wyjątkowo cennego dla badaczy i twórczyń modeli: podzbiory instrukcji i preferencji wraz ze szczegółowym opisem metodologii ich tworzenia” – dodaje.
„Nie chcemy, żeby nasze deklaracje otwartości sprowadzały się jedynie do fasadowych zapewnień” – podkreśla prof. Piotr Pęzik. „Dlatego docelowo zamierzamy uwolnić jak najwięcej danych do tworzenia modeli instrukcyjnych i wychowanych. Ułatwi to niezależnym zespołom, niekoniecznie dysponującym budżetem na tworzenie własnych zbiorów, włączenie się w rozwój polskiego ekosystemu AI. Pomożemy w ten sposób przezwyciężyć problem tzw. zimnego rozruchu w trenowaniu modeli” – dodaje.
Przypomnijmy, za konsorcjum HIVE AI stoi wiele polskich ośrodków naukowych oraz instytucji skupionych wokół usług cyfrowych, na czele z NASK PIB. Konsorcjum opracowuje nowe polskojęzyczne modele językowe PLLuM i wdraża je w jednostkach administracji publicznej. Już wkrótce do grona użytkowników modeli PLLuM dołączą duże polskie miasta.
