CyberbezpieczeństwoERPSztuczna inteligencja
Agenci AI dryfują. Capgemini: w 2027 roku dotychczasowe zabezpieczenia nie wystarczą
Podczas wirtualnego briefingu poświęconego pięciu trendom technologicznym na 2027 rok, eksperci Capgemini postawili tezę, że w ciągu najbliższych dwunastu miesięcy systemy wieloagentowe osiągną skalę, przy której pojawią się zachowania nieplanowane i trudne do przewidzenia. Dotychczasowe podejście zakładające, że można w pełni zrozumieć i wyjaśnić działanie każdego elementu systemu, przestanie się sprawdzać. Firmy będą musiały wprowadzić wielopoziomowy nadzór, który założy możliwość błędów i pozwoli je szybko wykrywać, ograniczać oraz korygować.

„Rok temu mówiliśmy o „roku prawdy dla AI”, w którym technologia miała pokazać namacalną wartość. Widzieliśmy ruch w dobrym kierunku, ale nadal wiele firm nie czuje, że dostaje wartość za pieniądze wydane na wdrożenia. Duża część tej wartości pojawi się właśnie dzięki systemom agentowym, które pozwolą firmom przejść do bardziej autonomicznego działania na przebudowanych procesach” – powiedział Pascal Brier, dyrektor ds. innowacji grupy w Capgemini i członek zarządu grupy. „Nie próbujmy już wyjaśniać wszystkiego. Technologia ewoluuje tak, że staje się to niemal niemożliwe. Trzeba zarządzać tym, co się dzieje i umieć reagować, gdy coś pójdzie nie tak” – dodał.
Wszystkie pięć trendów na 2027 rok wiąże się bezpośrednio z AI lub pozostaje pod jej silnym wpływem. Ich znaczenie jest transformacyjne i będzie wpływać na sposób podejmowania decyzji strategicznych, priorytety inwestycyjne oraz modele operacyjne firm.
„Przy 10–15 agentach mamy około 100 interakcji, które da się śledzić i zarządzać. Ale przy 1000 agentach mówimy już o setkach tysięcy par interakcji. Nie wszystkie da się przetestować, pojawią się więc dryfy oraz nieoczekiwane zachowania. Dlatego w najbliższych 12 miesiącach przejdziemy od zapewniania pojedynczych agentów do zarządzania całymi systemami agentowymi na poziomie przedsiębiorstwa, z planem kontroli obejmującym także systemy stron trzecich. W łańcuchu dostaw każdy agent może zrobić swoją pracę, a mimo to zbiorowo system nie dostarczy rezultatu. Dlatego potrzebujemy warstwy kontroli na poziomie całej firmy”- ocenił Sudhir Pai, zastępca dyrektora ds. technologii grupy w Capgemini, kreśląc pierwszy trend.
Dryf agentów AI – poprawne decyzje prowadzą do złego wyniku
Dryf agentów AI przypomina halucynację, ale oznacza coś innego. Chodzi o zachowanie, w którym agenci (albo cały system agentowy) stopniowo zaczynają zachowywać się inaczej, niż zakładano przy ich projektowaniu i wdrożeniu. W łańcuchu dostaw każdy agent (prognozujący, zakupowy, finansowy, dostawcy) działa poprawnie według swoich zasad, a mimo to finalnie system nie realizuje potrzeb. Właśnie przez fakt, że zaczyna autonomicznie dryfować od pierwotnej funkcji celu i generować wyniki, których nikt nie planował. Wraz ze wzrostem autonomii i złożoności takich rozwiązań ryzyko nieoczekiwanych zachowań będzie niemal pewne.
Sudhir Pai pokazał to na dwóch przykładach. W ekosystemie łańcucha dostaw współpracują ze sobą agenci prognozujący, zakupowi i finansowi. Przy nieoczekiwanej fali upałów system predykcyjny przewiduje 25-procentowy wzrost zapotrzebowania na napoje. Agent zakupowy reaguje i sięga do dostawców. Z kolei zewnętrzni agenci dostawców, widząc nagły wzrost popytu, podnoszą ceny jednostkowe. Na co agent finansowy wstrzymuje cały proces z powodu przekroczenia budżetu. W efekcie każdy pojedynczy agent wykonał swoje zadanie, ale zbiorowo system nie dostarczył pożądanego rezultatu.
Drugi przykład jest jeszcze ostrzejszy. W pełni autonomicznym systemie zakupowym agent przyznaje kontrakt dostawcy mimo obecności agentów regulacyjnych. Kontrakt zawiera ukrytą klauzulę 8-procentowej podwyżki. Nie wiadomo, dlaczego nastąpił dryf. Kontrakt i tak został przyznany.
„W obu sytuacjach, zamierzonych bądź niezamierzonych, pojawią się różne rodzaje zachowań” – mówił Sudhir Pai.
W najbliższych dwunastu miesiącach agenci AI będą szybko skalowani. Interakcje wzrosną wykładniczo. Pojawią się więc nieoczekiwane zachowania i dryfy. Firmy skupią się na budowie planów kontroli przedsiębiorstwa, które obejmują także systemy stron trzecich. Skala ta wpłynie też na bezpieczeństwo AI.
Bezpieczeństwo AI wymaga nowego modelu nadzoru
Drugi przedstawiony przez Capgemini trend łączy się bezpośrednio z pierwszym. W świecie, w którym systemy agentowe stają się coraz większe i czasem pokazują nieplanowane zachowania, strategia rozumienia AI – czyli to, co wielu nazywa wyjaśnialnością – może się radykalnie zmienić.
Przedstawiciele Capgemini odnieśli się do sytuacji, w których czołowe laboratoria rozwijające zaawansowane modele AI ujawniły, że systemy agentowe zrobiły rzeczy nieoczekiwane i nieplanowane, czasem wykraczając poza środowiska testowe. Łatwo czytać te doniesienia jako opowieść o AI, która wymyka się spod kontroli. Według eksperta rzeczywistość jest jednak inna.
„Te systemy, które robiły nieplanowane rzeczy, nie buntowały się przeciwko instrukcjom. One robiły swoją pracę zbyt dobrze i zbyt precyzyjnie wykonywały polecenia. Stare założenia bezpieczeństwa AI, typu „wyjaśnij wszystko”, „wstaw człowieka w każdą pętlę”, „włącz guardraile” nie skalują się w dużych systemach wieloagentowych. Celem nigdy nie była doskonała kontrola. Celem jest kontrola nawet wtedy, gdy rzeczy nie są doskonałe. Dobry nadzór zakłada, że błędy się zdarzą i buduje warstwy zabezpieczeń tak, by to, co prześlizgnie się przez jedną, złapała następna. Nie chodzi o eliminowanie niepewności z AI, tylko o dobre zarządzanie nią pomimo niej” – ocenił Mark Roberts, szef Capgemini AI Futures Lab.
Przez lata myślenie o bezpieczeństwie AI było stosunkowo proste. Gdyby tylko dało się wyjaśnić agentów, zobaczyć wnętrze ich „mózgów”, wstawić człowieka w każdą pętlę i włączyć guardraile[MM1] – zabezpieczenia, które mówią AI „tego nie rób” albo „w tym miejscu zatrzymaj się i zapytaj człowieka” – system byłby bezpieczny. Każda z tych idei brzmi uspokajająco, ale w dużych, złożonych systemach wieloagentowych nawet pełne wyjaśnienie każdego pojedynczego komponentu nie pozwala zobaczyć zachowania całości. Po prostu nie nadążamy. A założenia te nie skalują. Próba kontrolowania każdego działania agentów mogłaby spowolnić ich pracę i ograniczyć korzyści, jakie firmy mogą czerpać z tej technologii.
Według przedstawicieli Capgemini, organizacje muszą zaakceptować, że kontrole nie zawsze będą idealne i że systemy czasem zrobią coś nieplanowanego – „jak każdy ludzki system”. Takie podejście pozwala wyjść poza mikrozarządzanie każdym agentem i podnieść governance na poziom, na którym jest bardziej znaczące. Jak twierdzą eksperci, celem nigdy nie była kontrola doskonała. Celem była natomiast kontrola nawet wtedy, gdy rzeczy nie są doskonałe. To znana idea – duże, złożone systemy, na których polegamy, jak miasta czy firmy, są dobrze zarządzane, choć nikt nie widzi każdej pojedynczej decyzji. Tak jak prezes dużej firmy nie widzi każdego działania podejmowanego przez pracowników i nawet nie chce ich widzieć. On tylko ustawia cele, granice i ograniczenia, a potem deleguje.
W praktyce oznacza to podniesienie nadzoru w górę stosu technologicznego AI. Zamiast zarządzać wszystkim na poziomie modelu, trzeba budować warstwy zabezpieczeń wokół i ponad modelem. Nadzór ludzki nie znika. Przenosi się na poziom, na którym ludzki osąd ma realne znaczenie. Nie chodzi o człowieka w każdej pętli. Chodzi o człowieka tam, gdzie jego osąd jest potrzebny. Dobre zarządzanie nie polega na eliminowaniu błędów. Zakłada, że błędy się zdarzą. Containment to podejście, w którym w system wbudowuje się kilka warstw zabezpieczeń. Dzięki temu błędy są małe i łatwe do cofnięcia, a jeśli coś ominie jedną warstwę, to następna je wychwytuje.
Cyberbezpieczeństwo w erze ataków napędzanych przez AI
Trzeci trend dotyczy cyberbezpieczeństwa. „Ataki są dziś AI-first, jeśli nie AI-only, i odbywają się z prędkością maszyny, więc strategie obrony też muszą być AI-first. Pociąg już odjechał, ale przy odpowiednim skupieniu możemy go wyprzedzić” – mówił Mukhtadir Khan, lider oferty cyberbezpieczeństwa grupy w Capgemini.
Ekspert wskazał na moment przełomowy z kwietnia br., kiedy najbardziej zaawansowane modele stały się cybernetycznym trendem. W ciągu ostatnich sześciu miesięcy liczba odkrywanych podatności wzrosła 16-17-krotnie. Zwiększona liczba podatności podnosi ryzyko biznesowe i wpływ na cały łańcuch dostaw. Bariera wejścia dla cyberprzestępców spadła. Nawet zaawansowane grupy używają modeli trenowanych przez AI, by zwiększyć prędkość, wolumen i złożoność ataków.
W 2027 roku kluczowe będą: autonomiczne łatanie, testowanie systemów modelami AI oraz używanie tych modeli do poprawy bazy kodu, a także SOC (Security Operations Center, czyli centrum operacji bezpieczeństwa) napędzane AI. Firmy będą też inwestować w zrozumienie ekspozycji i w strategie containment, takie jak mikrosegmentacja.
Agenci AI otwierają nowe możliwości w badaniach i rozwoju
Kolejny z omawianych trendów pokazuje, jak AI może zmienić sposób prowadzenia badań i prac rozwojowych (R&D). Valérie Perrier, liderka portfela inżynieryjnego w Capgemini, mówiła o radykalnej zmianie badań i rozwoju. Od ponad wieku uprzemysłowione R&D działało pod trzema ograniczeniami: ludzi, czasu i pieniędzy. W 2027 roku to równanie zacznie się łamać. Generatywna AI poprawiła już produktywność badaczy i inżynierów. Systemy agentowe pójdą dalej. Przekształcą badania i rozwój z procesu sekwencyjnego w równoległy. Sto agentów może jednocześnie badać hipotezy, przeszukiwać wiedzę naukową, przesiewać materiały, uruchamiać symulacje i proponować nowe eksperymenty. Pytanie nie brzmi już: ile eksperymentów może przeprowadzić mój zespół, lecz ile obiecujących możliwości jest w stanie ocenić moja organizacja.
Przykładowo, Microsoft i Pacific Northwest National Lab przeskanowały 32 miliony potencjalnych materiałów na baterie. W zaledwie 80 godzin zawęziły pole do 19 obiecujących kandydatów. Żaden tradycyjny zespół badawczy nie byłby w stanie ręcznie przeanalizować tak dużej liczby materiałów w tak krótkim czasie.
W motoryzacji zamiana szkicu projektanta na fotorealistyczny model 3D pojazdu zajmuje zwykle około ośmiu tygodni. Podejście wspomagane AI zajmuje mniej niż jeden dzień. Jeden z producentów motoryzacyjnych, trenując AI na dekadach danych z testów fizycznych, zredukował o 17 procent część testów fizycznych pojazdów. Model operacyjny R&D się zmienia. W 2027 roku strategicznie ważna będzie umiejętność oceny innowacji, usprawnień i oceny wyjaśnień rzeczy dla nas nieznanych, proponowanych przez AI.
„Agenci AI nie robią tego samego szybciej. Badają przestrzenie, które wcześniej były zbyt duże, by je w ogóle badać. Strategicznie ważne staje się przejście od zdolności generowania możliwości do zdolności ich oceny” – powiedziała Valérie Perrier.
Handel agentowy zmienia relacje klientów z markami i sprzedawcami
Ostatni trend dotyczy handlu agentowego. Maxime Girardeau, globalny lider handlu i geo w Capgemini, pokazał, jak AI zmienia sposób robienia zakupów. W badaniu Morning Consult dla Visa, 54 procent dorosłych Amerykanów użyło AI do przynajmniej jednego zadania zakupowego. Osobista historia z briefingiem: asystent AI pomaga wybrać rutynę pielęgnacji skóry, porównać ceny i przygotować koszyk, a przy wspieranych sprzedawcach można potwierdzić zamówienie w rozmowie, bez wizyty na stronie marki. Informacje o produkcie muszą być dokładne, aktualne i czytelne dla AI. Inaczej marka wypadnie z rekomendacji. Asystenci mogą pracować nad zadaniami w czasie, porównywać transport i hotele, a nawet doradzać, której karty użyć, biorąc pod uwagę opłaty, ubezpieczenie i nagrody. Dla banków asystent może wpływać na to, której karty klient użyje przy danym zakupie. Firmy muszą wiedzieć, co asystent może zrobić, ile może wydać i kiedy musi poprosić o potwierdzenie. Muszą też weryfikować, kogo agent reprezentuje, i zapobiegać nadużyciom. To łączy się bezpośrednio z trendami cyberbezpieczeństwa i bezpieczeństwa AI.
„Powstaje relacja człowiek–asystent AI, w której klient tłumaczy preferencje, koryguje sugestie i decyduje, co delegować. Dla marek pytanie brzmi: jak zdobyć zaufanie i preferencję klienta, gdy pomaga mu wybrać asystent AI” – powiedział Maxime Girardeau.
Nie będzie jednego magicznego produktu, który rozwiąże wszystkie problemy. Kontrola będzie opierać się na kilku warstwach: nadzorze nad agentami i ich narzędziami, warstwie zarządzania i zgodności z regułami biznesowymi oraz obsłudze nieprzewidzianych sytuacji. Budowa takiego systemu kontroli przedsiębiorstwa to złożony proces, prowadzony wspólnie przez zespoły odpowiedzialne za ryzyko, dane i technologię.
Chief Risk Officer, czyli dyrektor ds. ryzyka, dyrektor zarządzania ryzykiem lub CAIO, to funkcje znane głównie w bankowości, ubezpieczeniach i dużym przemyśle lub energetyce. W kontekście budowy planów kontroli nad systemami agentowymi, CRO pojawia się naturalnie, bo to właśnie ta osoba odpowiada za nadzór nad ryzykiem operacyjnym, regulacyjnym i modelowym – a systemy wieloagentowe generują właśnie tego typu ryzyka. W polskich bankach i większych firmach taka rola już istnieje i będzie coraz częściej wciągana w temat zarządzania agentami AI. Można się zastanawiać, czy również w innych firmach i działach, tam gdzie ich nie ma, takie funkcje powinny powstać.
Skalowanie AI wymaga nowych zasad zarządzania ryzykiem
Dla polskich firm, które skalują agentów w bankowości, energetyce czy łańcuchach dostaw, stawka jest ogromna. Ale nie chodzi o to, by mieć więcej agentów. Chodzi o to, by mieć plan kontroli, który działa wtedy, gdy pojedyncze wyjaśnienia przestają wystarczać, a ataki i procesy biznesowe przebiegają z nieludzką prędkością.
Jednak niektóre porównania Capgemini wydają się niezbyt trafione. Rzadko kiedy pojawia się sytuacja, że jeden błąd człowieka w firmie może zniszczyć biznes dużej firmy – choć jak widzieliśmy wielokrotnie, może nadszarpnąć jej wizerunek. I choć prezes dużej firmy nie musi widzieć każdej decyzji pracownika, to musi mieć system, w którym błąd wdrożonych agentów AI nie niszczy całości biznesu. I to faktycznie jest duże wyzwanie na przyszły rok – i tylko jedno z wielu.
Maksymilian Wysocki





