Grupa PZU: testujemy możliwości zastosowania dużych modeli językowych LLM

Z Tomaszem Żelskim, dyrektorem zarządzającym ds. digitalizacji oraz Rafałem Jeżem, dyrektorem ds. ochrony informacji i dyrektorem Biura Bezpieczeństwa w Grupie PZU rozmawiamy o stworzeniu wewnętrznego Asystenta AI; wyzwaniach – zwłaszcza od strony regulacyjnej – które wiązały się z tym projektem; a także pierwszych wnioskach wyciągniętych z wdrożenia narzędzia.

WYZWANIE

Stworzyliście w Grupie PZU Asystenta AI, narzędzie oparte o technologie Generative AI. Jaka była geneza tego projektu?

Rafał Jeż (R.J.): Jako menedżerowie czujemy, że powinniśmy zapewnić możliwości rozwoju organizacji z wykorzystaniem najnowszych technologii, a jedną z nich jest niewątpliwie GenAI. Zaczęliśmy zastanawiać się, jak w bezpieczny sposób – zarówno od strony technologicznej, danych naszych klientów, jaki w zgodzie z obowiązującymi nas regulacjami, umożliwić pracownikom wykorzystanie rozwiązań opartych o algorytmy sztucznej inteligencji.

Tomasz Żelski (T.Ż.): Konkretnie mówimy o dużych modelach językowych LLM (Large Language Model – przyp. red.) czy bazujących na nich rozwiązaniach, takich jak OpenAI ChatGPT czy Google Gemini (dawniej Bard – przyp. red.). Projekt uruchomiliśmy w ramach GPT Lab, naszego zespołu badającego możliwości wykorzystania technologii OpenAI w celu realizacji potrzeb biznesowych. W tym wypadku to przede wszystkim możliwość zapoznania się użytkowników z dużymi modelami językowymi i poszukiwanie inspiracji.

DECYZJA

R.J.: Analizując ogólnie dostępne na rynku modele LLM-owe uznaliśmy, że mają one ogromny potencjał rozwoju dla Grupy PZU. Rozpoczęliśmy poszukiwania sposobu umożliwiającego udostępnienie rozwiązań takich jak ChatGPT czy Gemini pracownikom. W ten sposób doszliśmy do projektu Asystenta AI, który został uruchomiony w naszym tenancie, dedykowanej instancji chmury publicznej Microsoft Azure.

ROZWIĄZANIE

T.Ż.: Nie tworzyliśmy własnego modelu LLM, ze względu na „kosmiczne” koszty i czas. Zastanawialiśmy się za to, jak moglibyśmy podnieść poziom bezpieczeństwa modelu dostępnego w chmurze publicznej.

Tak naprawdę dokonaliśmy głębokiej zmiany w podejściu do korzystania z tego typu narzędzi. Zdajemy sobie sprawę z ryzyk wynikających z wykorzystania aplikacji ChatGPT czy Gemini osadzonych w chmurach publicznych. Poza tymi ryzykami pojawia się też kwestia formalna. Pewnie niewielu dzisiejszych użytkowników tych rozwiązań przeczytało “termsy”, natomiast w przypadku firm klasy Enterprise to konieczność. Na pierwsze miejsce wybijają się tematy związane z tym, co się dzieje z naszymi danymi, drugie zagadnienie to ograniczenia licencyjne.

Wychodząc z tych założeń: wykorzystujemy model w naszym tenancie, stworzyliśmy własny interfejs, podłączyliśmy się do API i dopiero wtedy zaczęliśmy w ramach pilotażu udostępniać rozwiązanie grupie pracowników. Dzięki temu możemy zastosować wszystkie nasze narzędzia z zakresu cyberbezpieczeństwa oraz utrzymać zgodność z regulacjami, które nas obowiązują. Ważnym aspektem jest świadome korzystanie z GenAI, więc użytkownicy przed użyciem Asystenta AI muszą potwierdzić, że znają i rozumieją ryzyka oraz ograniczenia.

R.J.: Co istotne z punktu widzenia bezpieczeństwa informacji, posiadamy aktywnie działający system monitorujący klasy DLP (Data Loss Prevention) który weryfikuje zapytania użytkowników pod względem pytań zawierających dane prawnie chronione. Asystenta AI traktujemy jako narzędzie, które pozwoli nam mocno przetestować rozwiązania GenAI.

Jakie dane wysyłacie do chmury Microsoft Azure?

T.Ż.: Tylko zapytanie i to przez naszą infrastrukturę. Cała aplikacja działa więc po stronie naszego centrum danych. Natomiast back-end, czyli sam model LLM, znajduje się w chmurze. Nie widziałem jeszcze, aby ktoś zastosował takie podejście dla zwykłego „ChataGPT”, zazwyczaj udostępniana jest aplikacja z Internetu, a dzięki naszemu podejściu rozwiązanie jest otwarte dla pracowników.

Czyli Wasze dane…

R.J.: …nie wychodzą poza nasz tenant w chmurze Microsoft Azure.

T.Ż.: Tenant to wydzielony dla nas fragment chmury, nikt inny tam nie „zagląda”. Jego działanie przetestowaliśmy w trakcie wdrożenia M365. Wykorzystujemy zasoby chmury, ponieważ Microsoft na razie nie udostępnia modelu LLM, który moglibyśmy wstawić do naszej serwerowni.

R.J.: Tomek wspominał o usługach M365. To nie są te same usługi, które może kupić dowolny klient potrzebujący pakietu aplikacji biurowych. Nasze rozwiązanie musiało być skrupulatnie przygotowane pod kątem technicznym, formalnym włączając w to kwestie umów. Musieliśmy uruchomić szereg elementów technologicznych wymaganych pod kątem cyberbezpieczeństwa. Dopiero po tym, jak dokonaliśmy technologicznego i formalnego wdrożenia usługi chmurowej Microsoft, udostępniliśmy M365 naszym pracownikom.

T.Ż.: Warto zauważyć, że prace formalne trwały dużo dłużej niż samo wdrożenie, które zajęło ok. 3 miesięcy. Bez pierwszej części nie byłoby drugiej. W efekcie Grupa PZU ma najbardziej kompletne biznesowo i największe wdrożenie M365 w Polsce. Zrobiliśmy to dzięki wspomnianej, ścisłej współpracy z Biurem Bezpieczeństwa, Biurem Prawnym i zastosowanym zabezpieczeniom, o których nie chcemy mówić 😊. Dzięki temu dużo łatwiej wyglądało wdrożenie Asystenta AI.

PIERWSZE EFEKTY

Jak pracownicy przyjęli nowe narzędzie?

T.Ż.: Dziś mamy kilkudziesięcioosobową grupę korzystającą z Asystenta AI i ciągle dochodzą do niej nowe osoby.

Dlaczego tak mała grupa bierze udział w testach?

T.Ż.: Przede wszystkim chodzi o sposób liczenia kosztów rozwiązań GenAI. Warto podkreślić, że – aby skorzystać z modelu LLM – trzeba płacić tokenami za przesyłane do niego zapytania z instrukcjami sterującymi. Problem w tym, że w naszej skali na razie nie wiemy, ile tych tokenów będziemy zużywali. Dlatego narzędzia GenAI wprowadzamy etapami, powoli dołączając kolejnych użytkowników.

R.J.: Kwestie wyliczeń są bardzo skomplikowane. Nawet w najbardziej rozpowszechnionej usłudze ChatGPT mamy do czynienia z różnymi planami taryfowymi. Teoretycznie wiemy np., że osoba prywatna, za 20 USD miesięcznie ma nieograniczony dostęp do ChatGPT 4. Natomiast w umowach Enterprise liczy się każdy element.

Dodatkowo nie do końca mamy wpływ na to, o co nasi pracownicy będą pytać Asystenta AI. Mogą np. poprosić o przygotowanie trzech stron instrukcji, a to może wygenerować inną płatność niż standardowe zapytanie dotyczące np. treści maila.

Nie chcemy narzucać ograniczeń co do tego, o co pytają nasi użytkownicy. W tym trwającym teście zależy nam na tym, aby zobaczyć, jak może zachować się cała organizacja. W ten „eksperyment” zaangażowane są osoby ze wszystkich działów firmy. Jedynym ograniczeniem jest wykorzystywanie danych prawnie chronionych.

T.Ż.: Podeszliśmy do projektu zgodnie z zasadą Minimum Viable Product – udostępniliśmy na początek najmniejszą możliwą funkcjonalność niezbędną do tego, aby z korzystać z LLM. W pierwszym etapie udostępniliśmy funkcjonalności do generowania treści, bo to najbardziej powszechny w naszej organizacji sposób wykorzystania GenAI. Przed wdrożeniem robiliśmy prezentację jak to działa. Pierwszy prompt zakładał przygotowanie życzeń noworocznych, drugi – tak żeby zmieściły się w SMS, trzeci – z wykorzystaniem emotek, a czwarty… życzeń we wszystkich językach w jakich pracuje Grupa PZU – z uwzględnieniem innych alfabetów.

R.J.: Jesteśmy zainteresowani tym, aby dać powszechny dostęp pracownikom do Asystenta AI lub innego narzędzia GenAI, z którego będą mieli korzyść. Widzimy duże zainteresowanie i potrzebę testowania tych rozwiązań.

Wracam do kontroli tego, co Wasi pracownicy przesyłają do ChatGPT. Wspomnieliście, że korzystacie w tym przypadku min. z systemów Data Leakage Protection.

R.J.: Dzięki narzędziom DLP jesteśmy też w stanie uczyć użytkownika przez przekazywane mu na bieżąco komunikaty, że próbuje wysyłać dane prawnie chronione. Dodatkowo używamy tzw. etykietowania, czyli oznaczamy informacje wg naszej klasyfikacji poziomu bezpieczeństwa.

W kontekście Asystenta AI, musieliście objąć ochroną dodatkowy kanał?

R.J.: Przygotowując się do udostępnienia narzędzia przeanalizowaliśmy regulaminy i umowę korzystania z LLM-ów, jak i fakt czy – pod względem technologicznym – jesteśmy w stanie zweryfikować, jakie treści są do niego wysyłane.

T.Ż.: W mojej ocenie to obecnie jedyna pewna droga dla rynku finansowego na wykorzystanie takich modeli w zarządzalny sposób. Przy eksperckiej współpracy cross-obszarowej dużo łatwiej jest realizować takie nieoczywiste projekty.

Skoro macie własnego Asystenta AI z modelem na własnym tenancie, to ogólnie dostępny czat nie uczy się na waszych zapytaniach?

R.J.: Nie, ponieważ nie używamy rozwiązań ogólnie dostępnych  głównie ze względu na warunki licencyjne, które nie gwarantują nam zabezpieczenia naszych danych. Używamy dedykowanych i zweryfikowanych przez nas rozwiązań na naszym tenancie. Testujemy w GPT Lab inne aplikacje oparte o LLM-y i wykorzystujące nasze dane.

NAJWAŻNIEJSZE LEKCJE

Idealnie, gdyby miliony posiadanych przez Was dokumentów można było wrzucić do LLM-a, a potem zadawać mu dowolne pytania ich dotyczące?

T.Ż.: Byłoby idealnie, ale niestety kłopot jest taki, że to tak nie działa. Przynajmniej na razie, nie mogę wrzucić wszystkich dokumentów do jednego katalogu na swoim dysku i kazać ChatGPT je „przeczytać” i potem po prostu odpytywać go na temat ich zawartości. Model LLM trzeba douczyć lub zapewnić mu dostęp do danych w innych sposób.

Jak się go uczy?

T.Ż.: Temat dostarczania dodatkowych danych do modeli językowych jest bardzo szeroki i testujemy różne podejścia. Możliwe jest douczenie modelu, ale jest to raczej drogie i skomplikowane. Bardzo dobre efekty dają także rozwiązania alternatywne takie jak RAG (Retrieval Augmented Generation), które w wstępnie selekcjonują, dzielą i opracowują dodatkowe informacje (zawarte na przykład w dokumentach), a następnie już w formie gotowego kontekstu podają do modelu wraz z zapytaniem. W ten sposób zachowujemy również większą kontrolę nad danymi, bo całość dokumentów pozostaje w naszej infrastrukturze, a do modelu przesyłamy tylko wybrane wcześniej fragmenty.

Są oczywiście rozwiązania, które pozwalają na większą automatyzację tego procesu, np. Azure AI Search (wcześniej Azure Cognitive Search – przyp. red.), ale na razie testujemy je w ograniczonym zakresie. Nie możemy prowadzić testów z wykorzystaniem naszych danych  w oparciu o narzędzia ogólnodostępne w chmurze publicznej.

Macie już pierwsze wnioski po testach Asystenta AI?

T.Ż.: Pierwszy i najważniejszy jest taki, że nie wszystkie pomysły wykorzystania AI/LLM… wymagają AI / LLM (śmiech). Często okazuje się, że można zrealizować pomysł bez tak zaawansowanych narzędzi, bo wystarczy prosty silnik decyzyjny. Trzeba pamiętać, że “to nie są tanie rzeczy”, tym bardziej w naszej skali, choć oczywiście dziś niezwykle łatwo dostępne.

Druga, ważna rzecz, GenAI, jak każdej, nowej technologii, trzeba nauczyć się obsługiwać. I tę wiedzę chcemy przekazać wszystkim pracownikom. Chcemy nie tylko, aby wiedzieli, jak zadawać pytania Asystentowi AI, lecz także, że to, co otrzymają w odpowiedzi nie jest źródłem pewnej i wysoko jakościowej wiedzy.

ChatGPT halucynuje – w naszym przypadku nie chodzi jednak nawet o to, że „wymyśla” odpowiedź, która nas zadowoli. Ta odpowiedź niekoniecznie jest związana z danymi, które mu dostarczyliśmy.

Ale bazujecie przecież na własnych, pewnych, zweryfikowanych dokumentach. Czemu nie możecie dostać prawdziwej odpowiedzi?

R.J.: Na razie testy Asystenta AI traktujemy jako czas poświęcony na naukę zadawania pytań. Kolejne etapy planowanej przez nas rewolucji dotyczyć będą pracy nad właściwymi dokumentami. Cały czas traktujemy jednak GenAI jako narzędzie pomocnicze. Nie zakładamy, że zastąpi pracownika, lecz że będzie dla niego pomocą.

W niedalekiej przyszłości widziałbym rozwiązanie polegające na zasileniu AI/LLM danymi z naszej hurtowni. Wtedy wykorzystanie Asystenta AI jako interfejsu do tych danych byłoby bezcenne –  ponieważ poprzez zadawanie pytań i rozmowę z Asystentem AI moglibyśmy wyciągać z tych zbiorów danych nowe informacje i zestawienia.

W jaki sposób pracownicy najczęściej korzystają z Asystenta AI?

T.Ż.: Testy trwają zbyt krótko, abyśmy mogli już teraz dzielić się takimi wnioskami. Musimy chwilę poczekać. Ja np. kilka razy poprosiłem o streszczenie naprawdę długich e-maili, które dostałem.

R.J.: Na tym etapie nie standaryzujemy użycia Asystenta AI. Ale nie spodziewamy się, że każdy z pracowników będzie używał go w ten sam sposób. Najprawdopodobniej powstaną pewne grupy korzystające z niego w określonych typach zadań, np. przygotowując odpowiedź na e-mail lub prosząc o napisanie podsumowania ze spotkania.

Czy największe problemy z wykorzystaniem rozwiązań GenAI to liczenie kosztów?

T.Ż.: Nie, ale to ważny aspekt. W PZU lubimy wiedzieć, ile wydamy na daną usługę. Pojedynczy token nie jest drogi, ale w skali Grupy PZU mogą to być ogromne koszty.

Rozważacie jeszcze jakieś narzędzia AI?

R.J.: Równolegle do wymienionych już rozwiązań, obserwujemy też rozwój Binga. Tam w wynikach zapytań pojawiły się referencje do źródeł informacji. Potencjalnie wiemy więc, czy możemy wierzyć odpowiedziom, czy też akurat w tym przypadku „chat” halucynował.

T.Ż.: Przyglądamy się rozwiązaniom takim jak Copilot. Ale myślę, że musimy poczekać jeszcze kilka miesięcy, aby te rozwiązania sprawnie działały, szczególnie w języku polskim.  Patrząc szerzej na AI, pomysłów jest bardzo dużo, tym bardziej ze spływają one do nas również z zewnątrz w ramach współpracy ze startupami. Na te potrzeby budujemy sandbox innowacji chmurowych przeznaczony do bezpiecznego testowania narzędzi opartych o AI.