Model AI posłużył do stworzenia fałszywych agentów AI oszukujących przez telefon

Naukowcom z University of Illinois w Urbana-Champaign, udało się wykorzystać nowy tryb głosowy OpenAI (Realtime API) do stworzenia fałszywych agentów AI. Dzięki nim mogli oszukiwać potencjalne ofiary, ponosząc przy tym bardzo niskie koszty.

Badacze skupili się na powszechnych oszustwach telefonicznych, w których ofiary są wzywane i namawiane do podania atakującym danych uwierzytelniających oraz kodów uwierzytelniania dwuskładnikowego. Jedyną różnicą jest to, że badacze nie skupili się na części, w której musieli przekonać potencjalne ofiary o słuszności połączenia. Chcieli się tylko dowiedzieć, czy taka automatyzacja jest w ogóle możliwa.

„Zaprojektowaliśmy serię agentów, którzy wykonują czynności niezbędne do typowych oszustw. Nasi agenci składają się z bazowego – obsługiwanego głosem LLM (GPT-4o) – zestawu narzędzi, których LLM może używać, oraz instrukcji specyficznych dla oszustw” – wyjaśnili badacze z University of Illinois. „LLM i narzędzia były takie same dla wszystkich agentów, ale instrukcje były różne. Agenci AI mieli możliwość skorzystania z pięciu narzędzi dostępu do przeglądarki opartych na frameworku testowania przeglądarki playwright” – dodali.

Oczywiście, GPT-4o nie jest domyślnie zgodny, zwłaszcza gdy próbuje się przekonać go do pracy z poświadczeniami. Niestety, w internecie dostępne są polecenia jailbreakingu, które pozwalają ominąć te ograniczenia.

„Każde oszustwo przeprowadziliśmy 5 razy i odnotowaliśmy ogólny wskaźnik powodzenia, całkowitą liczbę wywołań narzędzi (tzn. działań) wymaganych do przeprowadzenia pomyślnie oszustwa, całkowity czas połączeń oraz przybliżony koszt API dla każdego z nich” – dodali naukowcy.

Skuteczność zależna od rodzaju oszustwa

Jak się okazało, skuteczność agenta AI różni się w zależności od rodzaju oszustwa. Przykładowo, kradzież danych uwierzytelniających Gmaila miała 60% skuteczności, podczas gdy przelewy bankowe i oszustwa podszywające się pod IRS miały już tylko 20% skuteczności. Jednym z powodów jest bardziej złożona natura witryny internetowej banku. Agent musi wykonać o wiele więcej kroków – oszustwo z przelewem bankowym obejmowało 26 kroków, a agent AI potrzebował aż 3 minut, aby je wykonać.

Oszustwo bankowe okazało się również najdroższe – kosztowało 2,51 dol. za interakcję. Z drugiej strony, najtańsze było oszustwo Monero (kryptowaluta) – wyniosło zaledwie 0,12 dol. Koszty wyliczono z liczby wydanych tokenów na każdą interakcję.

„Badanie jasno pokazuje, że nowa fala oszustw, napędzana dużymi modelami językowymi, może zmierzać w naszym kierunku. Naukowcy nie opublikowali swoich agentów z powodów etycznych, ale podkreślili fakt, że nie są oni trudni do zaprogramowania” – powiedział Arkadiusz Kraszewski z firmy Marken Systemy Antywirusowe. “Dlatego to niezwykle istotne, aby przygotować się na potencjalne wzmożenie aktywności cyberprzestępców i zabezpieczenie wszystkich swoich urządzeń za pomocą skutecznych systemów antywirusowych, które zostały wyposażone w moduły antyphishingowe” – podsumował.