Bielik.AI wdraża technologię DFlash i kilkukrotnie przyspiesza działanie swoich modeli

Fundacja SpeakLeash i Akademickie Centrum Komputerowe Cyfronet AGH zaprezentowały dwa nowe modele draftowe: Bielik-11B-v3.0-DFlash oraz Bielik-Minitron-7B-v3.0-DFlash. Rozwiązania te pozwalają znacząco skrócić czas generowania odpowiedzi, jednocześnie obniżając koszty infrastruktury i zachowując jakość wyników.

Nowe modele wykorzystują technologię DFlash, zastosowaną po raz pierwszy w Polsce. To jedna z najnowszych metod tzw. dekodowania spekulatywnego (speculative decoding), która pozwala zwiększyć wydajność dużych modeli językowych bez pogorszenia jakości generowanych odpowiedzi.

„Stworzyliśmy rozwiązanie, które znacząco zwiększa przepustowość inferencji. Jest to szczególnie ważne dla firm rozwijających produkty AI obsługujące tysiące użytkowników jednocześnie. Dzięki wykorzystaniu nowych modeli draftowych przedsiębiorstwa mogą kilkukrotnie skrócić czas generowania odpowiedzi i jednocześnie obniżyć koszty infrastruktury” – skomentował Krzysztof Ociepa, Head of Model Training w Bielik.AI.

Podczas trenowania nowych modeli wykorzystano autorskie rozwiązania opracowane w frameworku ALLaMo, którego twórcą jest właśnie Krzysztof Ociepa.

Jak działa DFlash i dlaczego przyspiesza modele AI

Technologia DFlash opiera się na współpracy dwóch modeli. Lżejszy model draftowy generuje całe fragmenty odpowiedzi, które następnie są błyskawicznie weryfikowane przez większy model docelowy. Dzięki temu główny model nie musi tworzyć odpowiedzi od podstaw, co znacząco przyspiesza proces wnioskowania.

Modele draftowe zaprojektowano do współpracy z większymi modelami językowymi w środowiskach obsługujących DFlash, takich jak najnowsze wersje vLLM i SGLang. Nie są one przeznaczone do samodzielnego uruchamiania, lecz pełnią rolę akceleratorów zwiększających wydajność całego systemu.

Zdaniem twórców, publikacja modeli DFlash otwiera nowy etap rozwoju ekosystemu Bielik.AI i pokazuje, że innowacje związane z optymalizacją dużych modeli językowych powstają również poza największymi światowymi laboratoriami AI.

Nowe modele draftowe Bielika można pobrać w serwisie Hugging Face:

• https://huggingface.co/speakleash/Bielik-11B-v3.0-DFlash
• https://huggingface.co/speakleash/Bielik-Minitron-7B-v3.0-DFlash

Strategicznymi partnerami Bielik.AI są EY oraz InPost. Wśród partnerów projektu znajdują się także Deviniti i Dell Technologies.