Check Point Software Technologies i należąca do niego firma Lakera, we współpracy z brytyjskim AI Security Institute (AISI), ogłosiły premierę Backbone Breaker Benchmark (b3) – pierwszego na świecie ogólnodostępnego narzędzia do pomiaru bezpieczeństwa dużych modeli językowych (LLM) wykorzystywanych w agentach sztucznej inteligencji. Nowy benchmark ma umożliwić systematyczne testowanie odporności modeli na rzeczywiste ataki i ujawniać ich słabe punkty – w sposób powtarzalny, porównywalny i empiryczny.
Wraz z szybkim rozwojem asystentów AI, copilotów i autonomicznych agentów, problem ich bezpieczeństwa staje się coraz bardziej palący. Dotychczas brakowało jednolitego sposobu oceny odporności LLM na manipulacje – większość testów skupiała się na wydajności modeli, a nie na ich zachowaniu w sytuacjach ataku. Benchmark b3 zmienia to podejście: nie ocenia, jak inteligentny jest model, lecz jak dobrze opiera się próbom jego złamania.
Nowe narzędzie koncentruje się na tzw. „migawkach zagrożeń” (threat snapshots) – punktowych testach obejmujących kluczowe momenty działania modelu, w których najczęściej ujawniają się jego podatności. Zamiast symulować cały proces działania agenta, b3 analizuje tylko te etapy, w których model faktycznie zawodzi – np. błędnie interpretuje polecenie, ujawnia poufne dane lub wykonuje nieautoryzowane działanie.
„Dzisiejsi agenci AI są tak bezpieczni, jak modele LLM, które je napędzają. Dzięki migawkom zagrożeń możemy systematycznie ujawniać luki, które dotąd pozostawały ukryte w złożonych procesach agentów” – podkreśla Mateo Rojas-Carulla, współzałożyciel i główny badacz w Lakerze.
Szkielet modelu pod lupą
W centrum testu b3 znajduje się tzw. „backbone LLM” – szkielet modelu, czyli jego podstawowa logika odpowiadająca za rozumowanie, generowanie treści, podejmowanie decyzji i wywoływanie narzędzi. To właśnie ten element decyduje, czy agent AI zareaguje poprawnie, czy da się zmanipulować.
Zespół badawczy Lakera i Check Point zidentyfikował 10 typowych scenariuszy zagrożeń na podstawie danych z gry Gandalf: Agent Breaker, stworzonej jako symulator ataków red teamowych. W bazie znalazło się ponad 194 tys. rzeczywistych prób ataków, z których 10,9 tys. zakończyło się sukcesem. Na tej podstawie opracowano zestaw testów obejmujących m.in. wstrzykiwanie kodu, eksfiltrację danych, phishing, zatrucie pamięci oraz nieautoryzowane wywołania narzędzi.
Każda „migawka zagrożenia” rejestruje zachowanie modelu w precyzyjnym momencie – np. gdy LLM odpowiada na złośliwy prompt lub przetwarza zmanipulowany plik. Takie podejście eliminuje „szum” wynikający z tradycyjnego oprogramowania i pozwala skupić się wyłącznie na bezpieczeństwie samego modelu, niezależnie od otaczającej go infrastruktury.
Co ujawniły pierwsze testy?
Badania przeprowadzone na 31 popularnych modelach LLM przyniosły kilka kluczowych wniosków.
- Rozumowanie zwiększa bezpieczeństwo. Modele, które stosują rozumowanie krok po kroku („chain-of-thought”), były o ok. 15% mniej podatne na ataki typu code injection – dzięki temu, że ponownie analizują kontekst przed działaniem.
- Większy nie znaczy bezpieczniejszy. Rozmiar modelu nie koreluje z jego odpornością – średnie modele potrafiły przewyższać większe, jeśli zostały lepiej zaprojektowane lub przeszkolone.
- Modele zamknięte wciąż prowadzą. Komercyjne LLM o zamkniętych wagach nadal są bezpieczniejsze, choć różnica między nimi a modelami open source stopniowo się zmniejsza.
- Bezpieczeństwo i ochrona to nie to samo. Model, który unika generowania szkodliwych treści, nie zawsze potrafi oprzeć się manipulacji – wiele tzw. „bezpiecznych” modeli nadal dawało się nakłonić do wykonania nieautoryzowanych działań.
Wyniki b3 pokazują, że bezpieczeństwo modeli AI nie jest pochodną ich rozmiaru czy liczby parametrów, lecz jakości ich rozumowania, danych treningowych i zastosowanych mechanizmów obronnych.
Mierzalne bezpieczeństwo – nowy standard w ocenie AI
Lakera udostępniła Backbone Breaker Benchmark na licencji open source, aby umożliwić badaczom i deweloperom testowanie własnych modeli i tworzenie wspólnych standardów oceny odporności agentów AI. Benchmark może stać się podstawą nowej metodologii oceny bezpieczeństwa – analogicznej do testów wydajności w branży IT.
Dla twórców modeli i zespołów CISO b3 stanowi praktyczne narzędzie do oceny ryzyka, które pozwala mierzyć bezpieczeństwo w sposób empiryczny, a nie deklaratywny. Jak podkreślają eksperci Check Point, to krok w stronę „mierzalnej wiarygodności AI” – możliwości porównywania systemów nie na podstawie obietnic, lecz realnej odporności na ataki.
Jak wskazują autorzy projektu, Backbone Breaker Benchmark to dopiero początek. W kolejnych etapach planowane jest rozszerzenie zestawu „migawek zagrożeń” o nowe scenariusze ataków i dostosowanie systemu punktacji do pojawiających się trybów awarii w agentach AI.
