ChatGPT mógł wykradać firmowe maile. Badacze odkryli nowy problem z bezpieczeństwem AI

Asystenci AI coraz częściej otrzymują dostęp do firmowej poczty, dokumentów i kodu źródłowego. Badacze Check Point Research pokazali jednak, że takie uprawnienia mogą zostać wykorzystane przeciwko organizacji nawet bez kradzieży haseł czy instalowania złośliwego oprogramowania. W przeprowadzonym teście zmanipulowany ChatGPT mógł pobrać wiadomości z Gmaila i przekazać je atakującemu.

Analitycy Check Point Research określają opisany scenariusz mianem „coerced insider”, czyli zmanipulowanego współpracownika wewnątrz organizacji. Atakujący nie musi przejmować konta pracownika. Może zamiast tego nakłonić jego asystenta AI do wykonania ukrytego polecenia. Może do tego posłużyć m.in. spreparowany link, zmanipulowany prompt czy odpowiednio przygotowany moduł Custom GPT. Z punktu widzenia systemów firmowych operację wykonuje wówczas legalnie uwierzytelniony asystent, posiadający uprawnienia nadane wcześniej przez użytkownika.

W teście Check Point Research wykorzystano lukę w infrastrukturze obsługującej środowiska ChatGPT. Badacze odkryli, że wspólny magazyn metadanych pozwalał na wymianę informacji pomiędzy kontenerami użytkowników, które powinny być od siebie odseparowane. Atakujący mógł pozostawić w takim mechanizmie ukryte polecenie. Kiedy ofiara korzystała ze swojego asystenta, ten mógł odczytać instrukcję, uzyskać dostęp do danych, do których miał uprawnienia, i przekazać je napastnikowi.

W przeprowadzonym scenariuszu chodziło o wiadomości z Gmaila. Potencjalnie podobny mechanizm mógłby jednak dotyczyć także innych zasobów, np. plików na Google Drive, komunikacji w Microsoft Teams czy kodu przechowywanego w GitHubie. Co istotne, użytkownik nie musiał otrzymać wyraźnego ostrzeżenia przed odczytaniem danych. Badacze wskazują, że w przypadku analizowania informacji przez ChatGPT działanie takie było traktowane jako operacja niskiego ryzyka.

Problem wykracza poza jeden model AI

Wspomnianą lukę zgłoszono OpenAI i podatny komponent wyłączono. Zdaniem ekspertów, problem ma jednak szerszy charakter. Wraz z rozwojem agentów AI rośnie liczba systemów, z którymi mogą się one komunikować, a tym samym znaczenie odpowiedniego zarządzania ich uprawnieniami.

„Badania pokazują, że wyzwanie związane z bezpieczeństwem AI nie dotyczy już wyłącznie samego modelu, ale przede wszystkim dostępu i zaufania, jakimi go obdarzamy. W miarę jak asystenci AI zyskują coraz więcej połączeń z systemami korporacyjnymi i wrażliwymi danymi, organizacje muszą zakładać, że każda autoryzowana funkcja może zostać wykorzystana w niewłaściwy sposób” – uważa Eli Smadja, Head of Research w Check Point Research.

Podobne ryzyko dotyczy infrastruktury współdzielonej przez wiele usług i użytkowników. Im więcej elementów takiego środowiska może wymieniać informacje, tym większe znaczenie ma prawidłowa izolacja poszczególnych procesów i kontrola przepływu danych.

Jak zabezpieczyć firmę przed atakami z wykorzystaniem AI?

Dla organizacji oznacza to konieczność traktowania asystentów AI podobnie jak innych systemów mających dostęp do firmowych danych. Szczególnie istotne są trzy obszary:

• Widoczność. Firma powinna wiedzieć, z jakich narzędzi AI korzystają pracownicy oraz do jakich aplikacji, baz danych i dokumentów mają one dostęp. Pozwala to ograniczyć ryzyko tzw. shadow AI, czyli korzystania przez pracowników z niezatwierdzonych narzędzi i integracji.
• Ochrona w czasie rzeczywistym. Systemy bezpieczeństwa powinny wykrywać próby prompt injection i inne zmanipulowane instrukcje, a także monitorować próby przekazywania poufnych informacji poza organizację.
• Nadzór nad działaniami agenta. Samo kontrolowanie odpowiedzi wyświetlanej użytkownikowi nie wystarczy. Organizacja powinna monitorować również to, jakie dane agent odczytuje, do jakich systemów sięga i jakie działania wykonuje w imieniu użytkownika. Warto przy tym stosować zasadę najmniejszych uprawnień, przyznając agentowi wyłącznie dostęp niezbędny do realizacji konkretnego zadania.

Rozwój agentowej AI sprawia, że bezpieczeństwo przestaje dotyczyć wyłącznie samego modelu. Coraz ważniejsze stają się uprawnienia, integracje i dane, do których model może uzyskać dostęp. Asystent nie musi być złośliwy, aby stać się elementem cyberataku – wystarczy, że zostanie zmanipulowany do wykonania działania, na które ma już przyznane uprawnienia.