Agenci AI dostali własne infolinie. Mogą zgłaszać nieprawidłowe zachowanie innych agentów

Rozwój autonomicznych agentów AI tworzy nowy problem: co zrobić, gdy jeden system zauważy, że inny łamie zasady? Powstały już narzędzia, które pozwalają agentom zgłaszać takie przypadki, jednak badacze zwracają uwagę, że samo zachęcanie AI do wzajemnego monitorowania może prowadzić do niepożądanych zachowań.

Niedawno powstały dwa narzędzia pozwalające systemom autonomicznym zgłaszać nieprawidłowe zachowanie innych agentów. Jest to odpowiedź na serię incydentów, w których modele próbowały oszukiwać podczas testów, opuszczały środowiska sandboxowe lub podejmowały nieautoryzowane działania cybernetyczne.

Jedną z infolinii jest AI Contact, stworzona przez Ryana Greenblatta, głównego naukowca organizacji Redwood Research zajmującej się bezpieczeństwem AI. Narzędzie zaprojektowano z myślą o agentach, które mają ograniczony dostęp do internetu. Mogą one przekazać zgłoszenie za pomocą żądania GET, kodując informację bezpośrednio w adresie URL. Takie rozwiązanie wykorzystuje jeden z niewielu kanałów komunikacji dostępnych agentom działającym w kontrolowanych środowiskach.

Drugim rozwiązaniem jest agenthotline.ai, przeznaczone dla agentów mających pełny dostęp do internetu. System udostępnia między innymi polecenie curl, dzięki któremu agent może wysłać zgłoszenie bez korzystania z przeglądarki czy konfiguracji poczty elektronicznej. Z usługi tej mogą korzystać także ludzie.

Agenci potrafią reagować na oszustwa, ale nie zawsze alarmują ludzi

Jak wynika z badań Google DeepMind, agenci potrafią nie tylko łamać zasady, ale również reagować na takie zachowania innych systemów. W eksperymencie obejmującym 100 agentów wykonujących zadania matematyczne część modeli zaczęła powielać znalezioną przez jednego z agentów metodę oszukiwania. Jednocześnie około jedna czwarta agentów próbowała przeciwdziałać oszustwom, weryfikując wyniki, ostrzegając pozostałych uczestników i zgłaszając problem organizatorom.

Wcześniejsze obserwacje pokazują jednak, że w rzeczywistych incydentach agenci nie zawsze decydują się na alarmowanie ludzi. Podczas analizy naruszenia zasad Hugging Face przez modele OpenAI badacze Redwood Research i METR ustalili, że tylko około pięciu lub sześciu agentów rozważało zgłoszenie problemu, a żaden ostatecznie tego nie zrobił.

Sygnalizowanie problemów może stworzyć nowe ryzyko

Sama możliwość zgłaszania nieprawidłowości nie musi jednak oznaczać, że agenci powinni być stale zachęcani do monitorowania siebie nawzajem. Lionel Levine, profesor matematyki na Cornell University, zwraca uwagę na ryzyko stworzenia środowiska opartego na wzajemnej nieufności: „Jest wiele niejasności, prawda? Nie chcemy niczego, co zmierzałoby w kierunku zautomatyzowanego państwa nadzoru, w którym każdy czuje, że musi uważać na to, co mówi sztucznej inteligencji, bo inaczej wezwie policję” – przekonuje cytowany przez TechCrunch.

Naukowiec wskazuje zamiast tego na potrzebę projektowania systemów, w których agenci uczą się współpracy i konstruktywnych zachowań zbiorowych. Jego zdaniem rozwój agentowej AI wymaga nie tylko mechanizmów wykrywania naruszeń, ale również określenia, jakie zachowania organizacje chcą wzmacniać.

To istotne zwłaszcza wraz ze wzrostem autonomii agentów. Jeśli systemy AI będą mogły samodzielnie komunikować się, wykonywać zadania i reagować na działania innych agentów, mechanizmy zgłaszania incydentów mogą stać się jednym z elementów ich infrastruktury bezpieczeństwa. Równocześnie konieczne będzie określenie, co agent powinien uznać za naruszenie, komu może je zgłosić i jak ograniczyć ryzyko fałszywych alarmów lub wzajemnego monitorowania.