Czy wiesz, kiedy Twoje AI działa przeciwko Tobie?

Z Michałem Kielczykiem, CSO w Polpharma, dyskutujemy o jego rekomendacjach dotyczących bezpiecznej implementacji rozwiązań AI: traktowaniu danych i modeli jak klejnotów koronnych, a także włączaniu zarządzania sztuczną inteligencją w istniejące i nowe kategorie ryzyka, monitorowaniu i audytowaniu rozwiązań.

Jakie są najważniejsze zagrożenia wdrożeń AI? Z czym może się zderzyć firma, która stopniowo przechodzi przez kolejne etapy adaptacji różnych rozwiązań sztucznej inteligencji?

Zagrożenia związane z AI możemy podzielić na te bardziej techniczne, merytoryczne, związane ze samą specyfiką AI i wtedy traktujemy je po prostu jako kolejny system, narzędzie ze swoją specyfiką. Ale możemy potraktować AI bardziej jako zjawisko organizacyjnie, kulturowo – wtedy dostrzegamy, że to w działalności firmy zmiana epokowa, na miarę wprowadzenia Internetu.

Co wybrać?

Lepiej obrać tę szerszą perspektywę. Wówczas, pierwszym i podstawowym zagrożeniem, z jakim obecnie borykają się wszyscy na świecie, jest chaos. Kompletny chaos źródeł wiedzy AI, ale też wiedzy o sztucznej inteligencji, znajomości zakresu jej działania oraz wpływu. Wiadomo, że działa „jakiś” AI, że jest taki system, który potrafi zrealizować coś specyficznego.

Dodatkowo, wszyscy się chwalą, że wdrażają AI, choć nikt do końca nie wie, jak to zinwentaryzować i okiełznać w organizacji. Istnieje zatem ryzyko, że ten chaos będzie się wzmagał – zwłaszcza, jeżeli na wczesnym etapie implementacji w firmie nie zostanie zdefiniowany sposób wdrażania i stosowania AI.

Szybko pojawi się zjawisko, które nazwałbym Shadow AI. Każdy biznes będzie budował własny portfel rozwiązań, świadomie lub nieświadomie, zakupi szereg usług i produktów AI bez wiedzy IT czy bezpieczeństwa. Sytuacja jest dokładnie ta sama, która ma miejsce w związku z Shadow IT, tylko zdecydowanie mocniej zaboli.

Dlatego trzeba się bardzo postarać, żeby uregulować strumienie rozwiązań AI i zatwierdzać ich zastosowanie, inwentaryzować je już „na wejściu” do środowiska firmowego. Późniejsze stałe monitorowanie, inwentaryzowanie jak się z AI korzysta także jest potrzebne, ale kluczowe znaczenie ma pilnowanie furtki do firmowego osiedla.

Skorzystam z tej analogii. Zwykle się mówi, że można na nowym osiedlu stosować dwa podejścia: pozwolić użytkownikom „wydeptać ścieżki” albo z góry wytyczyć alejki.

Czekanie i przypatrywanie się, jakich zwyczajów nabiorą użytkownicy, aż ich przyzwyczajenia okrzepną jest zbyt ryzykowne. Gdyby to działało, to nie byłoby problemu z Shadow AI, a raczej jego konsekwencjami. Firmy nie mogą czekać, aż użytkownicy wybiorą najlepsze zastosowania i narzędzia AI. Jeżeli zaraz nie podejmą trudu uporządkowania tego podwórka to za moment się ockną się w sytuacji, kiedy nie wiedzą gdzie w firmie mają AI albo – co może nawet być gorsze – gdzie AI nie mają.

Kto powinien tutaj przejąć inicjatywę? Czy na przykład dział bezpieczeństwa może czekać na wyłonienie się roli w firmie Chief AI Officera albo Head of AI?

Według mnie w ogóle nie potrzeba takiej funkcji jak Chief AI Officer (CAIO), przynajmniej na tym etapie. AI w sensie technologicznym to jeszcze po prostu kolejny system, kolejne narzędzie o określonych możliwościach. Te możliwości powodują, że coraz bardziej zaciera się granica między interfejsem cyfrowym a ludzką obsługą, ale nie rodzi się jakaś nowa funkcjonalność. AI nie robi tak naprawdę nic, czego nie robiliby wcześniej inteligentni ludzie.

Dlatego nie widzę dziś dużego uzasadnienia dla CAIO. Uważam, że sztuczna inteligencja powinna być elementem digitalizacji, jako instrumentarium włączane do zestawu działań cyfryzacyjnych i zarządzane z punktu widzenia potencjału transformacji firmy.

Nie wątpię, że CAIO brzmi i wygląda lepiej, i już to przekona wiele firm, aby powołać taką funkcję. W gruncie rzeczy jednak taka osoba będzie zajmowała się wycinkiem digitalizacji. Specyficznym, ale wciąż fragmentem. Tak, jak na przykład biometria, a przecież nikomu nie przychodzi do głowy tworzyć rolę Chief Biometry Officer.

Czyli AI nie wymaga także jakiegoś swoistego governance?

Nie widzę z pewnością uzasadnienia dla wymyślania reguł governance od zera pod kątem AI. Potrzebne jest raczej zaadaptowanie metod, które już mamy dla programów digitalizacyjnych, compliance, zapewnienia higieny wykorzystania systemów czy identyfikacji zasobów informacyjnych oraz miejsc ich przetwarzania.

Z drugiej strony, jeżeli wykorzystujemy model AI w formie usługi chmurowej, to musimy polegać na deklaracjach dostawcy, na które nie mamy wpływu. Wówczas jest to po prostu zestaw ryzyk, z którymi trzeba się zmierzyć. Moim zdaniem nikt w pełni nie potrafi ich obsłużyć. Jest na to za wcześnie, modele za szybko transformują i to w spontanicznie wybranych kierunkach.

Najlepsze, co można zrobić, to nie tracić panowania nad tym, gdzie AI w firmie się znajduje. W przeciwnym razie nie da się zrealizować kolejnego etapu, czyli określenia logiki segregacji na krytyczne i niekrytyczne rozwiązania sztucznej inteligencji. Ale to przyszłość.

Jak w praktyce zapanować nad tą sytuacją?

Trzeba w firmie postawić aparat do inwentaryzacji gdzie jest AI i skąd przychodzi. Każdy zakup technologii posiadającej w nazwie AI, ML, realizowany przez IT czy inny dział, wymaga przejrzenia przez kogoś, kto się na tym zna. Ta osoba musi ocenić, czy firma będzie miała wpływ na to, jakie są tam wykorzystywane modele, jakie dane, z jakimi systemami i z jakimi danymi w naszej firmie to konkretne rozwiązanie potrzebuje wymieniać się informacjami. Wreszcie, czy dopuszczenie takiego rozwiązania do kontaktu z którymś z firmowych klejnotów koronnych rzeczywiście warte jest ryzyka.

To jest diagnoza, jaką wystawi bezpieczeństwo. A kto oceni nowe rozwiązanie od strony kosztowej, w tym kosztów zmiany procesów?

Najczęściej biznes przychodzi z business case dla implementacji. Nie obejmują one zwykle ryzyk związanych z ciągłością. Na przykład, co się stanie w naszej firmie, jeśli model AI się zepsuje, wyłączy albo zostanie wyłączony, jeśli jego twórcy zdecydują się go przetrenować pod kątem realizacji innych zadań?

Był całkiem niedawno prawdziwy wysyp różnych usług AI, które na dobrą sprawę były interfejsami API do ChataGPT albo innego LLM-a. Kiedy niedawno Chat GPT przestał działać na 6 czy 7 godzin, to nagle 60% tych wszystkich supernowoczesnych usług także przestało działać.

O te właśnie rzeczy właściwie nikt nie pyta: na ile uzależnimy nasz proces, nasz biznes od tego, że model wspierający usługę działa, i to działa poprawnie. Czy będziemy w stanie wychwycić, że model zaczyna halucynować i podpowiada nam nietrafne dane biznesowe, na których opieramy różne decyzje, nie zwalidowane po drodze przez człowieka, którego z łańcucha decyzyjnego wycięła „optymalizacja”. Business case’y tego nie uwzględniają, one skupiają się na szansach oszczędzenia kosztów, ewentualnie zwiększenia przychodów. A już zupełnie nikt nie zadaje na przykład pytania o sposób wyjścia z takiego modelu. Choć powinien, jeśli myślimy o strategicznym zarządzeniu.

Przejdźmy do tych zasad, które opracowałeś jako rekomendacje w postępowaniu z AI… „Traktuj modele i dane jako klejnoty koronne, dane treningowe, modele, którymi one są doszkalane, RAG-i. Nadaj im status zasobów krytycznych. Niezbędna jest kontrola, rygorystyczna kontrola dostępu, czy pełne szyfrowanie, spoczynku w tranzycie.” Zakładam, że tak jak mówiłeś wcześniej, im szybciej tym lepiej.

Kluczem do zrozumienia powagi sytuacji jest uświadomienie sobie, po czym można poznać, że model, na którym nasza firma opiera swój biznes, zaczyna działać przeciwko niej. W którym momencie jesteśmy w stanie to rozpoznać? Jakie mamy sposoby w organizacji, żeby się zorientować, kiedy dojdzie do tej sytuacji?

Przecież to nie muszą być zmiany z dnia na dzień. Zmiany zachodzące w modelach, w efekcie na przykład modyfikacji danych, na których się model uczy, będą ewolucyjne. Krok po kroku, jak gotowanie żaby. Czy zatem Twoja organizacja jest przygotowana, żeby uchwycić tę zmianę? Czy zorientuje się dopiero, kiedy okaże się, że firma nie osiąga założonej EBITDA, ponieważ szereg decyzji podjętych na podstawie podpowiedzi AI okazał się nietrafionych?

Myślę, że powyższe pytania powinny zrodzić właściwą, szerszą refleksję. Czy nasza firma w ogóle jest w stanie traktować zasoby AI i danych, jako „klejnoty koronne”, a więc mieć na nie wpływ? Czy jest jedynym właścicielem i w odpowiada za pełen zakres danych, na których dany model się uczy? Zawsze powtarzam, żeby nie patrzeć jedynie na to, jak model się uczy, ale także – czy jesteśmy w stanie go „oduczyć”.

Dynamika rozwoju modeli bazowych jest dość duża. Każda taka zmiana może na przykład każdorazowo wymagać recertyfikacji produktu opartego na nim…

Ta trudność będzie narastała w miarę wzrostu złożoności konkretnego modelu AI, zwłaszcza w takich branżach jak produkcyjna, np. bardzo regulowanej farmaceutyce, gdzie walidacji podlega właściwie każdy aspekt wykorzystywanych systemów. Na razie nie mam pomysłu na to, jak miałaby wyglądać walidacja parametrów danego modelu izakresu danych, na których on się uczy.

Bardzo polecam natomiast zastanowienie się na kwestiami, które mają wpływ na to, że wykorzystywane w firmie, „moje” AI będzie w miarę przewidywalne oraz nad możliwością wpływania na te czynniki.

Możemy próbować ustalać punkty kontrolne i wskaźniki, które pokażą czy model nie zaczyna ewoluować w niepożądaną stronę. Ponadto, kiedy już uchwycimy owe zmiany, możemy cofnąć model do chwili, w której pozostawał poprawny i jeszcze raz zaplanować dotrenowanie, oduczyć go złych danych. W mojej ocenie obecnie niewiele osób zadaje takie pytania. Jeszcze mniej zna na nie odpowiedzi.

To obszar, gdzie dostrzegam jeszcze więcej ryzyk. Wynikać one będą na przykład z poziomu wzajemnego odseparowania różnych modeli, który decyduje o rozchodzeniu się albo izolowaniu potencjalnych zakłóceń.

W jaki sposób w praktyce wprowadzić tego typu kontrolę dla modeli AI oraz powiązanych z nimi zbiorów danych?

W modelach, na które chcemy mieć wpływ, trzeba poznać parametry relatywnie stałe oraz te, wynikające z normalnego życia i aktualizacji modelu, choćby z kontekstu wątku. Jest to ta sama zasada, które stosuje się przy weryfikacji integralności krytycznych plików w systemach. Potrzebne są więc mechanizmy nakierowane na zmianę parametrów poza wytyczony zakres albo mechanizmy nakierowane na sygnalizowanie anomalii w normalnym działaniu samego silnika. Mam tu na myśli mechanizm snapshotów, kopii bezpieczeństwa modeli z funkcją odtwarzania dojrzałości modelu do określonego momentu w czasie. Kwestią czasu pozostaje, kiedy zobaczymy pierwsze przypadki szantażowania zatruciem modeli AI na zasadach analogicznych do ataków polegających na szyfrowaniu danych.

Co z kwestią restrykcyjnego ograniczenia dostępów i przywilejów na pracę z AI?

Potrzebą może być poufność, a kiedy indziej dostępność czy integralność. W każdym banku są dane całkowicie jawne, ale zarazem to stopień ich integralności ma krytyczne znaczenie. Weźmy tabele kursowe walut – wszyscy powinni je znać, ale nieautoryzowana zmiana byłaby dla banku katastrofą.

To tylko przykład, ale zastanówmy się, czym różni się „zwykły” system od rozwiązania, które wspiera się albo całkowicie zależy od modelu AI. Przepływ danych musi być zabezpieczony, ale bez pełnej znajomości modelu jest to niemożliwe.

Można rozważyć inną opcję – nie próbować interpretować pracy modelu, ale sposób jego implementacji zaopatrzyć w tyle śluz bezpieczeństwa i punktów kontrolnych, które pozwolą wychwycić jego niepoprawne działanie. Można nadzorować jeden model AI innym albo nakazać wzajemny nadzór i kontrolę jakiejś sieci modeli zaangażowanych w realizację większego procesu.

Szansa, że ktoś zatruje i przejmie jednocześnie dwa lub więcej modeli w sposób kontrolowany, czyli ukierunkowujący je na określone działanie jest dużo mniejsza. To jedna z metod, choć niewątpliwie kosztowna.

Na świecie powstają obecnie rozmaite metody budowy frameworków kontroli, poprzez np. odpowiednią składnię promptów pozwalającą niezależnie od momentu w czasie zapewnić przewidywalny, powtarzalny wynik. Odejście od normy oznacza, że model zaczyna „skręcać” w złą stronę. Framework kontroli, może teoretycznie być realizowany automatycznie, aby model podlegał stałemu monitorowaniu.

Wiele z tych metod to powtórzenie metod stosowanych przed implementacją AI…

Dlatego, że to są te same problemy, z którymi mierzymy się dzisiaj, tylko że przechodzą na inny poziom abstrakcji. Tu nie ma kodu, bit może się zmienić i model będzie nadal działał poprawnie. Dlatego uchwycenie błędu, weryfikacja działania modelu są trudniejsze. Wymaga to jednocześnie określenia poziomu akceptowalnego prawdopodobieństwa błędu, co przekłada się na poziom akceptacji ryzyka wystąpienia błędu.

To w zasadzie uogólnienie zasady zerowego zaufania…

Tak jest, stare dobre zero zaufania – do modeli zewnętrznych. Myślę jednak także szerzej o ryzykach związanych z ciągłością działania, integralnością danych, nie tylko o ryzykach poufności.

Tutaj powinna obowiązywać zasada zero zaufania na każdym poziomie. Od poziomu wiedzy i kontroli nad tym, jakie dane zasilają model, przez to, co model z danymi robi, aż po wiedzę o tym, które dane model AI jest w stanie zapomnieć, bo przecież ja sam przez pomyłkę mogę go nakarmić błędnym zapytaniem. To jest kwestia możliwości realnego zarządzania.

Zalecasz też: „unikaj udostępniania na zewnątrz własnych strategicznie ważnych modeli”.

To bliźniacza zasada do tej, która nakazuje nie ujawniać swoich planów back-up’owych. Ktoś może wypatrzyć i wykorzystać ich słabość. Poza tym, koniec końców, AI ma stanowić o przewadze konkurencyjnej.

Zwracasz uwagę na utwardzanie procesu wnioskowania, w tym – jak rozumiem – poprzez zawężenie specjalizacji poszczególnych modeli. Zgadza się?

Mam na to dobry przykład. Wyobraź sobie, że ChatGPT wspomaga Twoje leczenie. Opowiadasz mu o objawach, podajesz wyniki badań, , prosisz o dobranie dawki leku. I postępujesz zgodnie z zaleceniem. Wyobraź sobie, na jakie ryzyka się zgodziłeś.

Możesz być bardziej świadomym użytkownikiem i korzystać z innego bardziej specjalizowanego modelu ogólnodostępnego. Co jednak, jeśli ktoś inny z tego samego modelu korzysta do produkcji na przykład metforminy? Pytanie jest proste: czy i kiedy jego halucynacje Cię zabiją?

Celowo przekoloryzowuję, ale z punktu widzenia biznesu i dwóch przyszłych dekad, to właśnie będzie walka o przetrwanie. Firmy będą musiały korzystać ze sztucznej inteligencji, która niechcący może je zabić.

Ograniczenie funkcjonalności modelu AI do minimum, do realizacji zadania, to pochodna tego, co obecnie nazywamy utwardzaniem i zmniejszaniem płaszczyzny ataku. Im bardziej wyspecjalizowany model, tym łatwiej złapać kontrolę nad zmiennymi, które mają istotny wpływ dla Twojego procesu. Im mniej zmiennych, tym łatwiej zarządzić. Z kolei bardzo ogólny model to szeroka brama dla ogromnej liczby zmiennych, które bardzo ciężko skontrolować a potem trudno skorelować i wychwytywać niebezpieczne kombinacje.

Trudniej zaaplikować też rekomendację zmierzającą do stałego monitoringu działania modeli AI…

Tu tkwi oczywiście haczyk – możesz audytować, kontrolować AI, ale skąd wiesz jakie są efekty? Kiedy ich nie ma? A jeśli są – czy umiesz je kalibrować, układać w trendy, statystyki?

Istnieje głębsza warstwa problemu audytowalności AI – nie ma tu bowiem komfortu powtarzalności. To nakazuje zastanowić się, czy jednorazowe zaprojektowanie mechanizmów kontroli jest wystarczające i czy w ogóle przy niektórych typach modeli jest możliwe.

Nie trzeba tego robić samodzielnie.

To prawda. Dla małych modeli wewnętrznych dojrzała firma jest w stanie przeprowadzić audyt tak samo skutecznie, jak dla mniejszych systemów, wewnętrznymi siłami. Duże modele – tak jak duże systemy – muszą być jednak audytowane zewnętrznie. Zresztą dział zarządzania ryzykiem będzie naciskał, aby zapłacić komuś za przejęcie części – lub całości – odpowiedzialności za zgodność i za jakość działania. Tu się znowu niewiele zmienia – ale pozornie, bo sama materia będzie mniej przejrzysta.

Wspomniałeś już o kontekście zarządzania ryzykiem i włączaniu do istniejących procesów zarządzania ryzykiem, zgodnością…

Tak, bo organizacja musi mieć wiedzę o tym, w jakim zakresie rzeczywiście polega na AI,. Bez tej wiedzy nie da się zwymiarować prawidłowo skutków materializacji ryzyka.

Czy jest do pomyślenia jakaś wspólna warstwa, np. oparta na markerach aktywności sieciowej tych modeli, która pozwoli zbudować model całościowego bezpieczeństwa?

Trudno by sobie wyobrazić działanie takiej warstwy w oderwaniu od kontekstu, od przeznaczenia danego AI. W praktyce firmowej z jednej strony może działać model AI, który prognozuje produkcję w oparciu o dane rynkowe, obok istnieje narzędzie AI, które planuje ścieżki szkoleń pod kątem potrzebnych kompetencji w horyzoncie 5 lat, a gdzieś między nimi funkcjonuje  jeszcze AI w domenie cyber, który nieustannie przeprowadza pentesty i myśli jeszcze zupełnie inaczej. Jak próbować przyłożyć do nich wspólną miarę?

Nadzór będzie to więc przedsięwzięcie częściowo zautomatyzowane, ale w dużej mierze podlegające ludzkiej kontroli.

Nadzór nad takim środowiskiem może zostać zautomatyzowany, ale musi podlegać kontroli. Jeśli puścić nieco wodze fantazji, to sądzę, że wygra ten, kto najszybciej przestawi myślenie o AI: nie jak o kolejnym systemie, tylko – paradoksalnie – jak o człowieku. Ponieważ wszystko o czym rozmawialiśmy zmierza w stronę problemów analogicznych do tych, które menedżer albo prezes może mieć z człowiekiem, którego zatrudnia. Musi na nim polegać, ale w gruncie rzeczy mało go zna. Gdyby się zastanowić, jest tu szereg podobieństw.

Równowaga pomiędzy innowacją a bezpieczeństwem. Jakie podejście to umożliwi?

Trzeba jasno powiedzieć, że nie można uniknąć wykorzystania sztucznej inteligencji. To byłaby mrzonka. Firmy opierające się na takim założeniu nawet nie będą świadome, dlaczego przegrały z konkurencją. Z drugiej strony, wygrają te organizacje, które odpowiednio postawią granicę i zdefiniują zakres, w jakim będą polegać na AI.

Globalne modele, które bazują na tym, co ludzie wyszukują, są podatne na ogłupienie przez ludzi, a ludzie są podatni na ogłupienie przez te modele i to jest spirala, która się będzie nakręcała. Nie ma mechanizmu walidacji, nie da się  go stworzyć.

Zresztą ludzie nawet formułując prompty, zwykle szukają potwierdzenia swojej tezy. Sztuką jest przestawienie umiejętności tworzenia promptów na wyszukanie błędu w logice użytkownika, wykazanie, gdzie się myli, a nie naginanie rzeczywistości, aby potwierdzić, że jego rację. Warto poprosić ChatGPT  o wskazanie błędów w rozumowaniu, w logice promptów użytkownika. To rodzi naprawdę ciekawe dyskusje i wyniki.

Niestety, nie znam żadnego modelu AI, który posiadałby zaimplementowane mechanizmy przeciwdziałania bańkom informacyjnym,światopoglądowym, czy branżowym. Świat zmierza zatem w stronę braku weryfikacji i braku krytycznego myślenia. AI tylko wspiera te trendy.