SpeakLeash stworzył ranking oceniający modele LLM na podstawie zestawu polskich zadań

Chodzi o zadania mające na celu przetestowanie zdolności modeli do rozumienia i generowania polskiego tekstu. Ranking ma być punktem odniesienia dla społeczności polskich modeli językowych oraz pomóc badaczom i praktykom zrozumieć możliwości różnych modeli. Obecnie modele testowane są bez ich szablonów.

Open PL LLM Leaderboard (0-shot & 5-shot) by SpeakLeash to rozbudowany ranking oceniający modele językowe na podstawie ich wyników osiągniętych w trakcie rozwiązywania zestawu polskich zadań, tych bardziej i mniej znanych. Zadania te mają na celu przetestowanie zdolności modeli do rozumienia i generowania polskiego tekstu czy odpowiadania na proste pytania.

Ranking powstał dzięki społeczności SpeakLeash.org (o której więcej można dowiedzieć się z wywiadu z Sebastianem Kondrackim, współtwórcą tego projektu) przy wykorzystaniu zasobów Akademickiego Centrum Komputerowego Cyfronet AGH, które jest partnerem SpeakLeash w szkoleniu, testowaniu i dostrajaniu modeli LLM. Ranking opublikował Hugging Face.