IBM watsonx: bezpieczna platforma do realizowania pomysłów przy użyciu GenAI

Z Ireneuszem Suszkiem, Chief Sales and Marketing Officer w AZ Frame oraz Andrzejem Bugowskim, Advisory ISV Partner Specialist w IBM Polska rozmawiamy o: innowacjach technologicznych i możliwościach jakie można osiągnąć przy wsparciu generatywnej sztucznej inteligencji oraz platformy IBM watsonx.

Czym jest watsonx?

Ireneusz Suszek (I.S.): Jest to zaawansowana platforma sztucznej inteligencji opracowana przez IBM, która łączy różne technologie, takie jak przetwarzanie języka naturalnego oraz dużych modeli językowych, analizę danych, uczenie maszynowe i inne. Wszystko po to, aby dostarczyć rozwiązania do różnych obszarów biznesowych. Jest to kompleksowe narzędzie, które umożliwia analizę ogromnych zbiorów danych. IBM watsonx to platforma, na której umieszczone zostały, różne modele generatywnego AI. Część jest oczywiście z fabryki IBM. Część pochodzi od innych producentów lub z rynku open source, m.in. od firmy Meta.

Wszystkie z nich zostały zweryfikowane przez firmę IBM, która obsługując ważne procesy biznesowe w dużych organizacjach, np. z sektora prawnego gwarantuje ich bezpieczeństwo. Tego rodzaju organizacje nie zaryzykują udostępnienia poufnych dokumentów narzędziom AI typu ChatGPT.

Andrzej Bugowski (A.B.): Watsonx to platforma składająca się z trzech komponentów. Pierwszy z nich to watsonx.ai, będący narzędziem zarządzającym sztuczną inteligencją, zarówno tą klasyczną, a więc modelami Machine Learning czy Deep Learning, jak i generatywną sztuczną inteligencją oraz modelami GenAI. Komponent ten nazywam mózgiem całego systemu.

Z kolei płucami i sercem naszej platformy jest narzędzie watsonx.data, dzięki któremu dostarczane są dane, które wykorzystywane są następnie przez algorytmy AI. Narzędzie to zbiera dane, kolekcjonuje je, monitoruje i zarządza dostępem do nich. Pod tą nazwą kryje się kilka produktów open source, ale także produkty natywne IBM jak np. bazy DB2 czy Netezza.

Trzecim komponentem jest watsonx.governance. Nazwałbym go systemem immunologicznym całej platformy. Odpowiada za zarządzanie bezpieczeństwem modeli sztucznej inteligencji i GenAI, ich wyjaśnialnością oraz bezpieczeństwem danych. Tu znów mamy kilka komponentów pozwalających monitorować całe środowisko AI, zarówno wykorzystujące technologię IBM, jak i inne rozwiązania.

Co istotne, narzędzia te mogą być dostępne zarówno razem, jak i wykorzystywane oddzielnie.

Jakie modele AI udostępnia watsonx?

A.B.: Udostępniamy łącznie kilkanaście modeli, w tym nasz, natywny Granit. Są one różnych wielkości – największy to Llama 2 firmy Meta, który ma 70 mld parametrów. Pozostałe modele – m.in. firmy Mistral – są dużo mniejsze. Mają po 13, 8, 7 mld parametrów. Uważamy, że nie zawsze jeden, duży model jest tym optymalnym.

Proponując klientom rozwiązanie bierzemy też pod uwagę ślad węglowy i wykorzystanie energii podczas trenowania modelu AI. Często bowiem te same rezultaty można osiągnąć stosując mniejszy, a więc także o dużo mniejszym zapotrzebowaniu energetycznym.

Czy IBM udostępnia modele, których nie trzeba trenować?

A.B.: Udostępniamy również modele wytrenowane. Należy jednak pamiętać, że aby ich poprawnie i efektywnie używać, trzeba korzystać z Prompt Engineeringu, zadawać modelowi dobrze przygotowane, konkretne pytania. Inaczej istnieje ryzyko, że pojawią się halucynacje. Oczywiście halucynacje są też elementem, który pozwala na kreatywność, bo możemy je wykorzystać do innych celów. Wszystko zależy od tego, jaki mamy projekt i do czego chcemy dane rozwiązanie użyć.

I.S.: To pole do kreacji otwiera się nie tylko dla producentów narzędzi AI, ale również ich partnerów. Znając dobrze potrzeby klientów staramy się dopasować do nich optymalne rozwiązanie. Przykładowo, jedna ze spółek w Grupie AZ Frame stworzyła narzędzie bliskie systemom CRM, przeznaczone dla dużych kancelarii i działów prawnych, o nazwie “Casusoft”.

W produkcie tym zauważyliśmy przestrzeń na implementacje IBM watsonx. Podłączyliśmy więc klienta do tej platformy tak, aby mógł m.in. analizować dokumenty prawne, robić ekstrakcję danych i używać ich np. do budowy nowych szablonów dokumentów.

Podobne możliwości widzimy również w działach Compliance. GenAI może wspierać działania związane z przestrzeganiem przepisów prawnych, automatyzować procesy audytowe, identyfikować ryzyka i analizować zgodność działań firmy z obowiązującymi normami.

Jakich danych używacie do trenowania modeli i ile można ich dodać?

A.B.: Modele trenujemy różnymi, specyficznymi danymi dobranymi pod konkretną branżę. Robimy to po to, aby były one ukierunkowane, a nie miały jedynie zasób generalnej wiedzy, która nie będzie przydatna danej organizacji.

Wykorzystujemy też popularną metodę Retrieval-Augmented Generation, czyli technikę zwiększania dokładności i niezawodności modeli GenAI przez wzbogacenie ich o fakty pobrane bezpośrednio ze wskazanych przez nas źródeł informacji. W naszym podejściu RAG jest wzbogacony przez IBM Watson Discovery, który buduje i przeszukuje prywatne repozytorium wiedzy, dostarczając precyzyjnie dopasowane informacje do generowania odpowiedzi. Przeszukujemy więc wybraną bazę danych w poszukiwaniu odpowiedzi na zadane pytania.

Co do ilości dodawanych danych, to może to być plik od 50 do 10 tys. linii. Z kolei maksymalny rozmiar pliku, który możemy wykorzystać do „tuningu” modeli to 200 MB.

Czy mogą Panowie podać przykłady konkretnych wdrożeń i klientów IBM watsonx? Albo podać branże, które najczęściej wykorzystują tę platformę?

A.B.: Jednym z rozwiązań nad którym pracujemy jest rozdysponowanie e-maili w sektorach: energetycznym, telekomunikacyjnym czy bankowym. Nasze narzędzie AI analizuje wiadomości skierowane np. do różnych działów w firmie, identyfikuje właściwych odbiorców i automatycznie przekierowuje do nich dany mail.

Inny przykład to analiza dokumentów wpływających do organizacji i sprawdzanie czy spełniają wymogi formalne. Może to być wniosek do dowolnego urzędu. Algorytm AI sprawdzi np. czy spełnia on wymogi prawa polskiego lub unijnego.

Kolejne zastosowanie to złożenie wniosku do kancelarii obsługującej wnioski patentowe. Takie narzędzie GenAI potrafi automatycznie przeszukać bazy wniosków, znaleźć takie, które zawierają podobne elementy i na ich podstawie stworzyć opinię pomagającą ten wniosek rozpatrzyć. Narzędzia tego typu umożliwiają więc analizę dokumentów, identyfikację powiązań między nimi oraz ekstrakcję kluczowych danych. Przekłada się to na lepsze zrozumienie wewnętrznej struktury organizacji oraz podejmowanie decyzji.

Sami wykorzystujemy w IBM naszą technologię, np. mamy wirtualnego asystenta wspierającego procesy HR dla pracowników i managerów. To nie tylko technologia wykorzystująca bazę wiedzy o procesach, ale zintegrowane środowisko, w którym przykładowo możliwe jest m.in. obsłużenie procesu awansu pracownika w pełni zautomatyzowany sposób czy zweryfikowanie kluczowych informacji pochodzących z wielu zintegrowanych systemów.

I.S.: Dodam, że AZ Frame jest partnerem IBM, który wspiera klientów również w zakresie technologii mainframe. Zajmujemy się także zarządzaniem dużymi zbiorami danych w oparciu o produkty IBM.

Nasi klienci – banki i firmy ubezpieczeniowe – posiadają terabajty danych, z których duża część jest w formie nieustrukturyzowanej i stanowi dla tych organizacji swego rodzaju „terra incognita”. IBM watsonx – do spółki z narzędziami GenAI – potrafią je przeanalizować i uporządkować. Specyficznym zastosowaniem tego typu rozwiązań jest porównywanie dokumentów wychodzących od regulatorów, np. Komisji Nadzoru Finansowego z wewnętrznymi dokumentami. Z tych funkcjonalności korzystają np. audytorzy i kontrolerzy.

GenAI wspiera też proces reklamacji. Potrafi je analizować i klasyfikować według wagi. Algorytm może również określić emocje osoby ją zgłaszającej, ocenić czy jest zdenerwowana czy spokojna i opanowana.

Czy zdarzają się klienci, którzy chcą wytrenować osobistego asystenta będącego swego rodzaju wszystkowiedzącym omnibusem?

I.S.: Całkiem niedawno, duża kancelaria chciała – przy naszej pomocy jako partnera technologicznego – zaimplementować do IBM watsonx duże zbiory prawne wraz z komentarzami.

Celem miało być właśnie wytrenowanie asystenta, który miałby ogromną wiedzę i był w stanie odpowiadać na dowolne pytania w zakresie dziedzin prawa jakich został nauczony. Taki projekt to na pewno duże wyzwanie – choćby ze względu na skłonność modeli do halucynowania – ale technologia pozwala już na realizację takich przedsięwzięć.

Jesteśmy w stanie wytrenować tego typu asystenta, specjalizującego się w danej dziedzinie. Natomiast wspomnianego omnibusa jeszcze nie. Co zresztą widać na przykładzie ChatGPT, który teoretycznie posiada ogromną wiedzę ogólną, a często ma problemy z prostymi faktami.

Jak sobie radzić z wspomnianymi skłonnościami do halucynowania modeli?

A.B.: IBM opracowuje modele LLM, które koncentrują się na jakości i transparentności danych, wykorzystywanych w procesie uczenia oraz specjalizowanych do określonych dziedzin. Wspomniany już wcześniej IBM Granit jest modelem ukierunkowanym na rynek finansowy. Podczas jego tworzenia zaprzęgliśmy do trenowania ponad 6 PB danych, z których do modelu trafiło ostatecznie ok. 2,1 TB. W trakcie trenowania modelu usuwaliśmy m.in. duplikaty danych czy zwroty zawierające język nienawiści.

Oczywiście jesteśmy w stanie wskazać – z imienia nazwiska – osobę, która pracowała nad usuwaniem danych niewłaściwych dla modelu. Informacja ta będzie szczególnie istotna w najbliższych latach, gdy zaczną obowiązywać przepisy AI Act. Wszystkie modele – zarówno klasycznej AI, jak i GenAI – będą zobligowane do bycia zgodnymi z tymi przepisami.

Jak zintegrować i zoptymalizować utworzony model z firmowymi systemami? Z jakimi wyzwaniami może się spotkać klient w tego typu projekcie?

A.B.: W IBM mamy dedykowaną grupę architektów i inżynierów skupionych na rozwoju sztucznej inteligencji, którzy pracują z klientami. Weryfikują i analizują ich pomysły. Odpowiednio przygotowują start projektów. Wspólnie wdrażają je w taki sposób, aby na koniec osiągnąć dokładnie to, czego oczekują klienci.

Bywają bowiem tacy, którzy mają niesamowite wyobrażenia i plany dotyczące tego, co model LLM powinien w ich mniemaniu robić. Po dogłębnej analizie naszego zespołu okazuje się jednak, że na ich potrzeby wystarczy „zwykły” asystent, który potrafi rozwiązać wskazane wyzwania biznesowe.

I.S.: IBM to nie tylko GenAI. Posiadamy wiele narzędzi do integracji i migracji, którymi można obudować w zasadzie dowolną wizję wykorzystania sztucznej inteligencji w organizacji. Jako partner IBM mogę zapewnić, że spięcie systemów lub usług z platformą watsonx nie wymaga szczególnego wysiłku. Wszystko jest spójne, przejrzyste i szybkie do realizacji poprzez API.

Jaki jest średni czas wdrażania tego typu projektów?

A.B.: Zbudowanie prototypu rozwiązania zajmuje nam średnio od 6 do 8 tygodni. Wówczas już możemy pokazać, że technologia spełnia wskazane przez klienta wymagania. Pełne uruchomienie takiego modelu to jest już oddzielna kwestia.

I.S.: Wszystko zależy od skali projektu. Czy współpracujemy np. z dużą firmą i ogromnymi wolumenami danych, czy też z małym przedsiębiorstwem. Do tego dochodzi też kwestia otwarcia samego klienta na wdrożenie narzędzi AI.

Jakie są najważniejsze funkcjonalności, które oferuje IBM watsonx? Co go wyróżnia na tle konkurencji?

A.B.: Po pierwsze, z IBM watsonx można korzystać zarówno w modelu on premise, we własnym centrum danych, jak i wykorzystując chmurę IBM lub dowolnego, innego dostawcy tego typu usług.

Drugim głównym wyznacznikiem tej platformy jest komponent watsonx.governance, który monitoruje model w czasie rzeczywistym, pozwalając zachować wysokie standardy i wiedzę o tym co się w nim dzieje. I to niezależnie od tego czy są to modele oparte o platformę IBM, czy innych firm. Jesteśmy też w stanie zapewnić zgodność audytową z nadchodzącym AI Act, a także regulacjami innych krajów.

Ponadto, w naszym krakowskim Lab-ie, mamy zespół zajmujący się wyłącznie testowaniem, weryfikowaniem i dopuszczaniem różnych modeli GenAI do naszego środowiska. I to pomimo bezpośredniej współpracy z Hugging Face.

Platforma IBM watsonx pozwala również na pracę grupową przy tworzeniu kilku projektów AI jednocześnie, bez problemów z przyznawaniem uprawnień czy kompatybilnością. Zarządzanie odbywa się z jednego, centralnego miejsca.

I.S.:  Oferta IBM watsonx skierowana jest dla klientów premium, którzy chcą realizować własne pomysły biznesowe w oparciu o modele AI, dla których najważniejsza jest kwestia bezpieczeństwa. IBM ma nie tylko własne centra danych na terenie Europy, ale również gwarantuje przygotowanie środowiska zweryfikowanego i dedykowanego pod konkretne potrzeby. Równie istotnymi przewagami IBM watsonx jest skalowalność oraz możliwość implementowania tej technologii we własnych systemach.

Innowacje AI oferowane przez IBM watsonx zapewne wykorzystywane są również w oprogramowaniu IBM i Państwa infrastrukturze chmurowej.

A.B.: Sztuczną inteligencję wykorzystujemy np. w produktach związanych z Observability. Mam tu na myśli rozwiązanie Instana pozwalające na monitorowanie środowisk aplikacyjnych – ich wydajności, wąskich gardeł – oraz wskazywania jak zareagować na pojawiające się zdarzenia.

Inny przykład to produkty związane z cyberbezpieczeństwem, jak IBM QRadar User Behavior Analytics. Pozwala on identyfikować potencjalne ataki, ale też analizować i podejmować decyzje bazując na tym, jak zachowują się użytkownicy w sieci.

Niedawno ukazała się również nowa wersja programu IBM Cognos Analytics, który – właśnie przy wykorzystaniu AI – zwiększa szereg funkcjonalności dla jego użytkowników.

I.S.: Dodam jeszcze przykład z rynku mainframe. Narzędzie IBM watsonx Code Assistant potrafi np. duże aplikacje napisane w języku Cobol tłumaczyć na Javę.

Jaki jest najbardziej „przereklamowany”, a jaki najbardziej niedoceniany aspekt AI?

A.B.: W 2021 roku najbardziej gorącym trendem technologicznym był metaverse. Minęły zaledwie 2 lata, a generatywna sztuczna inteligencja przykryła go i wszelkie inne. Stała się też powszechnie dostępna, a to zainteresowanie nią sprawiło, że ludzie przestali się jej bać. To zastanawiające, bo na dobrą sprawę nic się przecież nie zmieniło. Modele takie, jak ChatGPT to nic innego jak Deep Learning. Ten sam, który jeszcze całkiem niedawno tak przerażał ludzi jako mityczna „czarna skrzynka”, w której nie wiadomo co się dzieje i w jaki sposób podejmuje decyzje. Doszło więc do paradoksu – kwestia innego „opakowania” tej samej technologii, spowodowała zniwelowanie występujących wobec niej obaw.

Bardzo ciekawym i niedocenianym aspektem jest natomiast to, że sztuczna inteligencja pomaga w budowaniu sztucznej inteligencji.

I.S.: Rzeczywiście, zwłaszcza ostatni rok przedefiniował wszystko pod kątem Generatywnej AI. Ale nawet w tym krótkim okresie widać pewną dojrzałość oraz dynamikę zmian dotyczącą kolejnych algorytmów, które coraz dokładniej realizują to czego oczekuje od nich biznes. Przereklamowane jest jednak przekonanie, że algorytmy zrobią za nas wszystko i to w dowolny sposób. Nie do końca tak to wygląda. Aby bowiem osiągnąć finalny, oczekiwany biznesowo efekt – czyli stworzyć jasne, stabilne procesy, które pozwolą nam poczuć, że otrzymujemy to czego naprawdę oczekiwaliśmy i to bez żadnych halucynacji czy bajasów – wciąż wymaga to jeszcze wiele pracy.