GenAI pozwala dokonać tego, co często jest nie do „ogarnięcia” przez człowieka

Z Anną Stepanów, odpowiedzialną za Sztuczną Inteligencję i Analitykę oraz Jarosławem Łachem, Tribe Leaderem Danych w BNP Paribas Bank Polska rozmawiamy o genezie powstania Knowledge Chatbota GENiusz; podejściu do realizacji tego projektu i jego skalowania w organizacji; wyzwaniach, na które natknięto się w jego trakcie; uzyskanych korzyściach; a także kolejnych projektach związanych z wdrożeniami narzędzi Generative AI.

Wspólnie z Accenture Polska BNP Paribas Bank Polska stworzył Knowledge Chatbota. Jakie były główne cele tego projektu?

Jarosław Łach (J.Ł.): To, co chcieliśmy zrobić to – w ramach pierwszych projektów i zastosowanych rozwiązań – poznać dobrze narzędzia Generative AI. Potwierdzić możliwość użycia w konkretnych zastosowaniach.

Warto podkreślić, że nie powinno zaczynać się od rzeczy najtrudniejszych. Tymczasem wiele organizacji często popełnia ten błąd. W bankowości na pewno nie chcieliśmy zacząć od tematów, które mają jakikolwiek związek z obowiązkiem zachowania tajemnicy bankowej, informacjami na temat naszych klientów.

Chcieliśmy za to przetestować możliwość usprawnienia pracy wewnątrz banku. Dlatego pojawił się pomysł na Knowledge Chatbota, którego nazwaliśmy GENiuszem. Projekt miał być odpowiedzią na potrzebę dotyczącą szybkiego odnajdywania wewnątrz organizacji potrzebnych informacji różnego typu. Tak duże organizacje, jak np. nasz bank, tworzą olbrzymią liczbę dokumentów i procesów związanych z funkcjonowaniem na regulowanym rynku. W związku z tym występują dwie kwestie. Po pierwsze, dokumenty wewnętrzne dotyczą często bardzo szczegółowych kwestii, więc nie ma potrzeby, by każdy z pracowników wszystkie z nich czytał. Po drugie, zakładając nawet, że miałby taką potrzebę, w bardzo wielu przypadkach potrzebowałby dłuższej chwili, by odnaleźć potrzebny dokument.

Postanowiliśmy więc zacząć od budowy rozwiązania, które usprawni zarządzanie wiedzą.

Anna Stepanów (A.S.): Rozpoczynając przygodę z GenAI określiliśmy dwie grupy celów. Pierwsza to poszukiwanie takich Use Case’ów, które rozwiążą faktyczne problemy, i które wygenerują zauważalną od razu wartość dla biznesu. To zaś zbuduje zaufanie do nowych narzędzi. Takim problemem była wspomniane rozproszenie wiedzy w organizacji i ułatwienie dostępu do niej.

Druga grupa to nauka i wzrost świadomości w organizacji na temat zastosowań narzędzi generatywnej, sztucznej inteligencji. W przypadku GenAI, gdzie efekty widać praktycznie natychmiast, rośnie ona w tempie ekspresowym.

J.Ł.:  Staramy się też wprowadzać technologię GenAI w pierwszej kolejności tam, gdzie będzie służyła wsparciu pracowników. Ma im pomóc, a nie służyć temu, aby jakieś funkcje w banku zastąpić sztuczną inteligencją.

Trochę podobna sytuacja była chyba w przypadku projektów wdrożenia robotów RPA? Miały zautomatyzować pewne czynności i odciążyć pracowników od monotonnych prac.

A.S.: Tak, chociaż w przypadku RPA nie mamy dodatkowego efektu osiągniętego dzięki zastosowaniu sztucznej inteligencji, jakim jest możliwość identyfikacji pewnych anomalii lub wzorców, których człowiek nie byłby w stanie zauważyć.

W RPA jesteśmy w stanie zdefiniować, jak bot ma działać i jaką pracę ma zautomatyzować. GenAI pozwala zaś dokonać tego, co nie jest do „ogarnięcia” przez człowieka. Umożliwia przeanalizowanie np. bardzo szerokiego zakresu danych. Czasem – w sposób niezrozumiały dla nas – GenAI może przyswoić pewną wiedzę, a później odpowiadać na pytania, które zadajemy językiem naturalnym.

Trochę więc polemizowałabym ze stwierdzeniem, że są to podobne technologie (śmiech).

J.Ł.: Różnica polega na tym, że RPA służy do zautomatyzowania – np. w operacjach – tematów powtarzalnych. Natomiast GenAI momentami wręcz imponuje możliwościami, jakie oferuje. Dzięki tym narzędziom naszą, nagraną rozmowę możemy skonwertować do tekstu, następnie stworzyć jej podsumowanie, na końcu zaś wygenerować w oparciu o nią kilka infografik.

Czy w trakcie pilotażu pojawił się efekt wykorzystania Generative AI, który Was zaskoczył? Może był to właśnie, nieoczywisty dla człowieka, wniosek wysnuty przez AI?

J.Ł.: W organizacji mieliśmy już doświadczenie we wdrażaniu chatbotów. Natomiast w przypadku GENiusza widzimy ogromny przeskok jakościowy. Wynika on z tego, że wcześniej stosowane rozwiązania de facto usprawniały pisanie odpowiedzi na wcześniej przygotowane pytania.

Tradycyjne chatboty wymagają – bazując na dostępnych w organizacji dokumentach – przygotowania setek, jeśli nie tysięcy pytań. Następnie zaś opracowania odpowiedzi na nie. Działały więc jak drzewo decyzyjne – wybierając najbardziej pasującą do pytania odpowiedź z tych, którymi dysponowały. Często też trzeba było je poprawiać, bo się dezaktualizowały.

Pierwszym i chyba największym zaskoczeniem dla pracowników w przypadku GENiusza było to, że nie potrzebujemy już ani listy pytań, ani odpowiedzi. Potrzebowaliśmy tylko bazy dokumentów, na podstawie których Knowledge Chatbot sam będzie je generował. W efekcie nastąpiła faza fascynacji tym, jak szybko GENiusz odpowiada na zadawane pytania.

Czy były jakieś problemy we wprowadzaniu GENiusza na produkcję?

J.Ł.: W fazie testów okazało się, że część odpowiedzi nie była do końca trafiona. Narzędzie wymagało dalszej kalibracji. Dlatego zaczęliśmy od testów na małym gronie pracowników. Z czasem zwiększaliśmy liczbę dokumentów i obszarów, które włączaliśmy do testów.

A.S.: Mierząc efektywność GENiusza, patrzymy na dwa aspekty. Pierwszy, to czy jakość odpowiedzi generowanych przez chatbota jest na poziomie satysfakcjonującym naszych ekspertów. To nie zespół wytwórczy, zespół Data Science ocenia to, czy jakość ta jest wystarczająca. Włączony w ten proces jest nasz biznes.

Mamy kilka poziomów oceny. Odpowiedź jest bezbłędna; brakuje jakiegoś, istotnego aspektu merytorycznego, czyli jest niewystarczająco szczegółowa; lub też jest po prostu błędna. Okazało się, że tych ostatnich jest naprawdę niewiele. GENiusz nie wprowadzał również nikogo w błąd i potrafi powiedzieć „nie wiem”.

Drugi aspekt oceny dotyczył tego, jak szybko możemy dotrzeć do potrzebnej wiedzy. Zależało nam na demokratyzacji dostępu do niej. Wcześniej pracownik musiał przeszukać jakąś bazę dokumentów, ewentualnie dopytać kilka osób. Często nie był to więc szybki proces. GENiuszowi można zadać konkretne pytanie i otrzymać na nie odpowiedź w ciągu kilku sekund.

Wspomina Pani, że użytkownicy oceniają odpowiedzi GENiusza. Czy na tej podstawie poprawiają Państwo zastosowany model GenAI?

A.S.: Razem z użytkownikami biznesowymi dokonujemy weryfikacji jego działania na podstawie testów. Wskazujemy, gdzie leży problem i jak można go rozwiązać. Czasami jest to kwestia związana z niespójnością dokumentów lub ich nieaktualnością.

Drugi sposób na poprawę działania GENiusza to zastosowanie szeregu technik, które mają na celu poprawę przygotowywania promptów. Odpowiedź jest bowiem efektem działania dwóch elementów. Pierwszy to zasilenie bazy wiedzy odpowiedniej jakości dokumentacją. Drugi to efekt samego procesu zadawania pytania chatbotowi, tzw. promptowania. Możemy zastosować wiele technik służących jego poprawie.

Mechanizm ten podpowiada użytkownikowi np. właściwą składnię zapytania?

A.S.: To się dzieje w tle.

J.Ł.: Stosujemy mechanizm RAG (Retrieval-Augmented Generation – przyp. red.), który pozwala chatbotowi na dynamiczne łączenie się z bazą wiedzy, która jest zainstalowana w środowisku lokalnym. Znajduje się dzięki temu pod naszą ścisłą kontrolą.

Z punktu widzenia Data Science nie mamy tutaj do czynienia z trenowaniem modelu językowego. W pierwszym kroku wybieramy z bazy wiedzy te fragmenty dokumentów, które najbardziej pasują do pytania. Są one wysyłane do modelu językowego i na ich podstawie model generuje odpowiedź dla użytkownika. To co istotne, to że użytkownik od razu otrzymuje linki do tych dokumentów. Dzięki czemu może samodzielnie pozyskać dodatkową informację.

A.S.: Co warto podkreślić, same pytania nie wpływają na wiedzę GENiusza. Ona jest pod naszym nadzorem. Możemy do bazy wiedzy przekazywać nowe dokumenty, a usuwać z niej nieaktualne. To też odróżnia go od człowieka. My nieaktualnej wiedzy tak łatwo nie zapominamy.

W przypadku człowieka liczy się pierwsze wrażenie…

J.Ł.: W przypadku GENiusza możemy szybko je wymazać (śmiech). Dzięki temu nie będzie ono wpływało na jego odpowiedzi.

A.S.:  Mechanizmy wykorzystywane do budowania i poprawiania promptów mają też zapobiegać halucynacji modelu. Na to często zwraca się uwagę w przypadku GenAI. Aby do tego nie dochodziło, określamy również to, że na pytania spoza określonego przez nas zakresu wiedzy użytkownik po prostu nie dostanie odpowiedzi.

Jeśli GENiusz nie znajdzie odpowiedzi w dostarczonej mu bazie wiedzy, potrafi powiedzieć, że czegoś nie wie. To jest duża różnica w stosunku do dostępnych na rynku modeli językowych, które nie są wyposażone w mechanizm RAG. Tam wytrenowany model odpowiada swobodnie na zadawane pytania.

J.Ł.: Można powiedzieć, że GENiusz został przez nas lekko „ogłupiony”. Celowo ograniczyliśmy jego kreatywność, aby nie mógł odpowiedzieć na dowolne pytanie.

A.S.: Mamy tu do czynienia z kolejnym skutkiem ubocznym i kolejnym celem wykorzystania GenAI. Nie tylko dbamy o jakość i szybkość odpowiedzi. Ograniczamy też ryzyko operacyjne związane z błędami wynikającymi z braku wiedzy lub jej spójności.

J.Ł.: Co warto podkreślić, bez narzędzi takich, jak GENiusz trudno jest zmierzyć to, jaka jest w organizacji skala dokumentów, które są w jakiś sposób nieaktualne i jaka część osób ma utrudniony dostęp do dokumentów, albo nie wie gdzie się znajdują. Zakładamy, że dzięki rozwiązaniom Generative AI uda się tę skalę zmniejszyć m.in. poprzez szybkie uspójnienie i aktualizację dokumentów we wspólnej bazie wiedzy. Efekt będzie widoczny natychmiast.

Kiedyś w analizach dużych zbiorów danych wpierw następował etap czyszczenia ich, aby analizować tylko te właściwe. Czy w przypadku projektu Knowledge Chatbot nastąpił też proces wstępnego „wyczyszczenia” bazy dokumentów?

A.S.: Zawsze powinniśmy zasilać narzędzia GenAI wysokiej jakości dokumentacją. Jeśli jednak zdarzy się, że wprowadziliśmy dokumenty, w których znajdują się błędne lub przestarzałe dane, to GENiusz pomoże nam je zidentyfikować.

W ogóle rozwiązania typu GenAI mogą być wykorzystane do przygotowania wysokiej jakości baz dokumentów. Możemy tym narzędziem wcześniej oczyścić pewien ich zbiór. Następnie zaś wskazać to jako źródło np. właśnie GENiuszowi.

J.Ł.: Zazwyczaj wszystkie dokumenty są pewną „kaskadą” – od regulacji ogólnej np. KNF, poprzez polityki wewnętrzne, procedury operacyjne, aż po regulaminy. Może zdarzyć się tak, że dana polityka została wydana, ale np. jakieś procedury do niej są w trakcie opracowywania.

Przed rozpoczęciem tego projektu mieliśmy propozycje tego, aby automatycznie zasilić Knowledge Chatbot w posiadane dokumenty. Ściągnąć wewnętrzne ich repozytoria i w tej formie udostępnić GENiuszowi. Zdecydowaliśmy się jednak na pełną kontrolę nad tym, z jakich danych korzysta GenAI tworząc swoje odpowiedzi. Odpowiadają za to eksperci domenowi.

A.S.: Nasze wymagania nie dotyczą tylko przygotowania bazy dokumentów, ale też określenia procesów, których dotyczą. Dzięki temu możemy zmierzyć, czy wykorzystanie GenAI wpłynęło na ich efektywność.

Wymagamy również referencyjnych pytań i odpowiedzi przygotowanych przez człowieka. Prosimy o to, aby móc przetestować narzędzie w gronie zespołu wytwórczego, później ekspertów, a w kolejnym etapie „przepiąć się” na pilota, który angażuje użytkowników końcowych. Proces ten mamy już w pełni ustrukturyzowany.

Tak też GENiusz jest teraz rozwijany. Dodajemy z każdym, kolejnym etapem kolejne obszary tworząc dla nich bazę wiedzy. Zaczynaliśmy od pionu zakupów. Później były to ESG i cyberbezpieczeństwo. Dziś jest ich już osiem.

Nie zatrzymujemy się jednak. Chcemy dać dostęp do GENiusza użytkownikom w całym banku.

Czy realizujecie innego typu projekty GenAI?

J.Ł.: Zaczyna się tych projektów pojawiać coraz więcej. Jeden dotyczy dostarczenia narzędzi wspomagających tworzenie kodu źródłowego aplikacji. Zaczynamy pilota tego projektu. Testujemy też narzędzia do przeszukiwania dokumentów dostępnych w publicznym internecie i pozyskiwania z nich informacji.

Czy Generative AI może przyczynić się do personalizacji usług bankowych dla klientów?

A.S.: Jak najbardziej, choć do personalizacji usług w chwili obecnej stosujemy raczej klasyczne metody uczenia maszynowego. Dzięki AI i analizie danych można dostarczać klientom usługi i produkty dostosowane do ich indywidualnych potrzeb. Dlatego już nie tylko klienci korporacyjni, ale również indywidualni, mogą mieć w pełni spersonalizowaną usługę. Ponadto, generatywna AI może wesprzeć spersonalizowaną komunikację z klientami.

J.Ł.: W tego typu zastosowaniach mamy jednak wiele wyzwań – od Customer Experience, po wymogi prawne. Tego typu narzędzia muszą więc zostać – przed udostepnieniem klientom – bardzo dobrze przetestowane. Ewentualna pomyłka wiąże się z ewentualną odpowiedzialnością banku.

Dodatkowo modele GenAI, zwłaszcza te największe, dostępne są głównie w modelu cloud computing. Tu zaś mamy do czynienia z aspektem przekazywania – w trakcie ich używania – przez klientów danych do chmury. Jest to wyzwanie, z którym nasza branża się dziś mierzy.

Jak oceniają Państwo pierwsze efekty pilota Knowledge Chatbot?

A.S.: Nasi eksperci zgodnie podkreślają, że są w mgnieniu oka w stanie dotrzeć do potrzebnych im informacji. Dodatkowo doceniają to, że mogą w pytaniach wykorzystywać język naturalny. Odpowiedzi zaś otrzymują w formie dostosowanej do sytuacji. Jeśli proszą o to, aby GENiusz napisał mail, to zrobi to. Jeśli jego styl ma być formalny, to taki będzie. GENiusz świetnie radzi sobie też z tłumaczeniami czy przygotowaniem streszczenia. Feedback jest bardzo pozytywny.

Widzimy też bardzo wysoką jakoś uzyskiwanych odpowiedzi. Większość jest wręcz idealnych. Choć część z nich to odpowiedzi na razie zbyt ogólne, a minimalna ich liczba to odpowiedzi nieprawidłowe. Na nie też musimy szczególnie zwrócić uwagę.

Zwracamy szczególną uwagę na poprawność odpowiedzi, aby nie dopuścić do żadnych błędów na większą skalę. Jeśli bowiem tak by się stało, efektem mogłoby być spowolnienie adopcji GenAI. Nadszarpnięte zostałoby zaufanie do tego typu narzędzi.

Pilotaż pokazał nam, że zdecydowanie powinniśmy iść w tym kierunku, a aktualnie zapotrzebowanie na rozwiązania GenAI w organizacji jest ogromne. Każdy obszar zgłasza się z własnymi pomysłami na projekty. Nie pozostaje nam nic tylko rozwijać dalej GENiusza.

J.Ł.: Efektem pilotażu było wiele, nowych zgłoszeń od liderów poszczególnych obszarów, którzy też chcieliby korzystać z GenAI. Pierwotnie chcieliśmy ruszyć z pełnoskalową fazą produkcyjną projektu na przełomie II i III kwartału. Ale czujemy coraz większą presję, aby to zdarzyło się szybciej. Widać w organizacji duży entuzjazm.

W tej chwili Wasze rozwiązanie korzysta z modelu OpenAI GPT dostępnego w chmurze Microsoft Azure. Czy to jedyny model LLM, który rozważacie?

J.Ł.: Chcemy, aby docelowo nasze rozwiązanie było hybrydą. W sposób niewidoczny dla użytkowników będziemy mogli używać zarówno modelu językowego, który znajduje się na naszej infrastrukturze, jak i tego chmurowego. Wówczas też będziemy mogli użyć narzędzia GenAI do zadawania pytań w oparciu o dokumenty, które dotyczą danych poufnych, które nie powinny – na ten moment – być przekazywane do chmury.

A.S.: Alternatywny do GPT model LLM został już zainstalowany na naszej infrastrukturze. Testujemy hybrydę wykorzystania tych dostępnych w chmurze i środowisku on-premise. W zależności od rodzaju przetwarzanych danych, będziemy w stanie przepinać się pomiędzy różnymi modelami językowymi.

J.Ł.: Rynek modeli LLM jest dziś nieprawdopodobnie dynamiczny. Liczba pojawiających się nowych tego typu narzędzi jest olbrzymia. Część z nich dostępna jest w modelu open source. Te zaś są w różny sposób doszkalane i trenowane. Powoduje to, że ich liczba szybko rośnie. Efektem jest problem z weryfikacją jakości nowych modeli. My zaś potrzebujemy stabilności, nawet kosztem tego, że model nie byłby w 100 proc. skuteczny.

Czy tym lokalnym modelem jest Mixtral albo Meta LLaMA?

A.S.: Tworzącą naszą hybrydę testujemy różne modele, które przecież zaczynają się specjalizować. Nie wykluczamy sytuacji, że do różnych Use Case’ów będziemy korzystać z różnych modeli. Mamy ten komfort, że możemy – w oparciu o własną infrastrukturę – testować i porównywać odpowiedzi różnych LLM-ów. Trudno prognozować dziś, który z nich będzie wiodącym.

J.Ł.: Mixtral bardzo dobrze się sprawdza. Podobnie jak LLaMA. Poza skutecznością modeli, w przypadku wersji on-premise istotny jest jeszcze jeden jego element, wymagania sprzętowe pod kątem kart graficznych czy pamięci.

A.S.: Mixtral bardzo dobrze zadziałał dla Use Case w IT. Nasze wnioski dotyczą projektu stworzenia autorskiego Copilota do generowania kodu aplikacji. Widać, że jakość jego odpowiedzi jest bardzo wysoka. Mixtral jest wykorzystywany przez nas w różnych projektach Proof of Concept.

J.Ł.: Na modele LLM musimy patrzeć już dziś pod kątem konkretnego zastosowania. Jednym z aspektów jest język, a więc dokumenty źródłowe na jakich był trenowany. Mixtral dobrze radzi sobie z językiem francuskim i angielskim, ale już nie polskim. Jest na poziomie wczesnego tłumaczenia maszynowego.

Natomiast z naszym językiem żadnego problemu nie ma GPT. My w banku mamy zaś dokumenty zarówno w języku polskim, jak i angielskim.

Jak mierzy się sukces, efektywność narzędzi GenAI?

A.S.: Liczy się skrócenie czasu potrzebnego na uzyskanie odpowiedzi i zmniejszona liczba błędów. Ostatecznie to użytkownicy końcowi muszą być zadowoleni.

J.Ł.: Analizujemy wartość z użycia GenAI. Działania te wynikają ze strategii Grupy BNP Paribas, która zadeklarowała konkretną wartość z użycia sztucznej inteligencji do końca roku 2025. Co ciekawe, ta strategia powstała zanim nastąpiła rewolucja związana z generatywną, sztuczną inteligencją.

Realizując te strategię z jednej strony chcemy udzielić wsparcia naszym zespołom, zmniejszając ich obciążenie przy powtarzalnych mechanicznych zadaniach, zwiększając im przestrzeń do zadań kreatywnych czy nowych inicjatyw. Potrzeby na kolejne projekty rosną, a dzięki GenAI możemy te projekty realizować szybciej.

GenAI może nam pomóc również przy wdrożeniu nowych pracowników i szkoleniach w wielu jednostkach.

A.S.: Zysk to też wartość z nowych inicjatyw, na które dotychczas nie było przestrzeni. Kiedy udzielamy dostępu do GENiusza doradcom, oni nie muszą już poświęcać wielu godzin na manualne wyszukiwanie informacji, przeszukując niekiedy różne źródła danych. Dostają odpowiedzi na swoje pytania w kilka sekund. Dzięki temu mogą więcej czasu spędzić na rozmowie z klientem lub pomyśleć kreatywnie nad rozwiązaniem jakiegoś problemu.

Jaki jest cel Grupy BNP Paribas związany z wykorzystaniem narzędzi AI?

J.Ł.: Uzyskanie w latach 2022 – 2025 wartości dodanej w wysokości 500 mln euro. Docelowo też w Grupie chcemy dojść do liczby 1000 przypadków użycia sztucznej inteligencji.

GenAI jest jednak elementem najtrudniejszym w tej chwili do skwantyfikowania wśród wszystkich zastosowań sztucznej inteligencji. Nie wiadomo jak na liczbę podpisanych umów może przełożyć się to, że doradcy pozbędą się części manualnych prac, poświęcając więcej czasu na rozmowy z klientami?

Z korzyściami z wykorzystania GenAI wiąże się dziś najwięcej niewiadomych. Nie ma też jeszcze w sumie tak dużo przypadków użycia Generative AI na świecie. Tymczasem Use Case’y z klasycznej AI potrafimy już zmierzyć.

A.S.: To, co wyróżnia nas na rynku, to fakt, że próbujemy kwantyfikować uzyski z GenAI. Nie skupiamy się na liczbie Use Case’ów, a na ich wartości.

Mamy już zresztą za sobą kilka lat takich eksperymentów. Pierwszy model językowy Bert wdrażaliśmy w roku 2019. Wtedy też podjęliśmy decyzję, że inwestujemy we własne zasoby GPU. Dzięki temu mamy dziś ten komfort, że możemy korzystać z Mixtrala i innych modeli LLM w lokalnej infrastrukturze.

Im bardziej GenAI zadomowi się w naszej organizacji, tym bardziej będziemy widzieć bezpośredni efekt jego wykorzystania. Będzie on wręcz zaszyty w procesach biznesowych. A to one ostatecznie generują wartość.