Czy duże modele językowe LLM, takie jak ChatGPT, będą lepiej rozumiały język polski?

Dzięki popularności rozwiązania ChatGPT rośnie zainteresowanie dużymi modelami językowymi (LLM – large language models). Mało kto jednak wie, że szkolenie LLM wymaga ogromnej mocy obliczeniowej, a modele takie jak ChatGPT są zazwyczaj zastrzeżone i oparte wyłącznie na języku angielskim, co ogranicza pole ich wykorzystania.

Na fińskim Uniwersytecie Turku postanowiono to zmienić rozpoczynając współpracę z 10 laboratoriami w Europie, aby stworzyć nowe LLM w szeregu europejskich języków przy wykorzystaniu superkomputera LUMI, który zbudowało konsorcjum 10 państw, w tym Polski. I tak, w przyszłości powstać mają duże modele językowe dla wszystkich oficjalnych języków Unii Europejskiej, a także kilku innych.

„Naszą ambicją jest stworzenie największego otwartego modelu ze wsparciem dla europejskich języków” – powiedział Sampo Pyysalo, pracownik naukowy z Uniwersytetu w Turku.

Jak się okazuje, superkomputer LUMI, oparty na architekturze superkomputera HPE Cray EX i zasilany przez procesory AMD EPYC CPU oraz procesory graficzne AMD Instinct, zapewnił skalę wymaganą przez obciążenia niezbędne do prowadzenia wspomnianych badań.

“LUMI staje się dojrzałą platformą dla sztucznej inteligencji dużej skali. W przyszłości będziemy trenować ją na znacznie większych tokenach. Prawdopodobnie będą one większe niż bilion słów. AMD wykonało znakomitą pracę importując najważniejsze oprogramowanie z tej dziedziny na swoją platformę” – skomentował Sampo Pyysalo.

LUMI to obecnie najszybszy superkomputer w Europie i jeden z najbardziej efektywnych energetycznie na świecie, właśnie dzięki zastosowaniu procesorów AMD EPYC i akceleratorów AMD Instinct. Jego konfiguracja umożliwi grupie badaczy TurkuNLP tworzenie nowych modeli w krótszym czasie. Dotychczas w Finlandii wstępny trening LLM z 1 miliardem parametrów zajmował nawet pół roku – obecnie wystarczą natomiast 2 tygodnie, aby LUMI przetworzył 40 miliardów tokenów składających się na znaki, sylaby oraz słowa.