IBM AI Factory – kompleksowe środowisko do zarządzania AI

Z Andrzejem Gładyszem, wiceprezesem zarządu firmy Averbit i Andrzejem Bugowskim, IBM Software Leader in Baltics, rozmawiamy o: możliwościach zastosowania sztucznej inteligencji w konkretnych scenariuszach biznesowych, wykorzystaniu rozwiązań opartych na GenAI, agentach AI, szczegółach koncepcji IBM AI Factory i jej elementach, a także roli partnerów w projektach AI.

Jakie są dziś główne możliwości wykorzystania sztucznej inteligencji w realnych scenariuszach biznesowych?

Andrzej Gładysz (A.G.): Główne możliwości zastosowania AI obejmują przede wszystkim analizę danych – zarówno ustrukturyzowanych, jak i nieustrukturyzowanych. Przykładowo, sztuczna inteligencja może wspierać firmy w przetwarzaniu dużych zbiorów danych biznesowych, identyfikując kluczowe wzorce i zależności. Może również analizować dokumenty prawne, porównując umowy i wyszukując istotne klauzule. W tym kontekście klasyczna AI, bazująca na modelach uczenia maszynowego, pozwala na wykrywanie anomalii czy optymalizację procesów, natomiast GenAI może generować podsumowania, raporty czy ułatwiać interpretację skomplikowanych treści. Połączenie tych technologii umożliwia efektywniejsze podejmowanie decyzji i automatyzację skomplikowanych analiz.

Andrzej Bugowski (A.B.): Przez ostatnie dwa lata obserwujemy boom na generatywną AI, ale nie wolno właśnie zapominać o klasycznej sztucznej inteligencji. To kombinacja tych dwóch technologii jest bowiem kluczowym elementem i pewną drogą wykorzystania AI w biznesie z sukcesem.

Inny przykład to zastosowanie GenAI oraz technologii tworzenia danych syntetycznych, co pozwala na zbudowanie skutecznych modeli do detekcji anomalii. Jest to przydatne zwłaszcza w wykrywaniu nadużyć, ale może być wykorzystywane, przykładowo, w medycynie.

Na jakim etapie drogi do rynkowego upowszechnienia GenAI jesteśmy?

A.B.: Dostawcy rozwiązań IT jeszcze niedawno powszechnie znajdowali się w fazie poszukiwania konkretnych rozwiązań AI, którymi warto uzupełnić ofertę, tak aby skutecznie zaadresować konkretne potrzeby rynku. Podobnie IBM. Teraz ta faza powoli mija. Przetestowaliśmy już najróżniejsze modele i mamy gotowe rozwiązania.

Globalnie w IBM mamy sporą grupę klientów stosujących w swoich produktach dostarczaną przez nas sztuczną inteligencję oraz różne funkcjonalności oferowane przez GenAI. Także w Polsce coraz więcej klientów prowadzi obecnie zaawansowane prace nad własnymi rozwiązaniami wykorzystującymi naszą platformę GenAI. Jednym z przykładów mogą być modele do przeszukiwania dużej liczby dokumentów. Znam też kilkanaście firm, w których GenAI razem z klasyczną AI wspomagają obsługę klientów. Takie rozwiązania stosowane są zarówno w sektorze bankowym, ubezpieczeniowym, jak i edukacyjnym.

Rewolucją na rynku mają być w przyszłości agenci AI – czy platforma IBM AI Factory pozwala tworzyć takie rozwiązania? Podobno praca nad nimi jest bardzo wymagająca i czasochłonna.

A.G.: Rzeczywiście jest to jeden z trendów, który zapewne będzie mocno rozwijał się w najbliższych latach. Wynika to z tego, że użytkownicy, którzy korzystają z modeli GenAI zauważyli, iż mają one za zadanie przetwarzanie i generowanie danych, niezależnie od tego, czy są one prawdziwe, czy nie. Efektem są tzw. halucynacje i potrzeba poszukiwania sposobu na ich ograniczenie.

Przede wszystkim istotne są więc dane, będące ważne z punktu widzenia konkretnej organizacji. Stąd powstał pomysł zastosowania agentów AI, którzy będą odwoływać się do konkretnych zasobów danych potrzebnych w danym momencie.

A.B.: Ciekawe jest to, że to GenAI jest wykorzystywana w rozwiązaniach agentowych także do tego, aby stworzyć operacyjny plan realizacji zadań, jakie mają być wykonane. Przykładowo, jeżeli użytkownik z Polski pyta system HR-owy o to, ile ma dni urlopu do wykorzystania w danym roku, to GenAI buduje plan działania, uwzględniający potrzebę odpytania konkretnych systemów i weryfikacji określonych rodzajów danych. Plan taki odwołuje się do poszczególnych API oraz aplikacji odpowiedzialnych za wydobycie i podsumowanie informacji. W IBM mamy szerokie doświadczenia w zakresie rozumienia architektury i tworzenia takich rozwiązań. Te doświadczenia przenosimy na naszą ofertę.

Stworzyliśmy, przykładowo, platformę IBM AI Factory, w której znajduje się tzw. Agent Builder, pozwalający na tworzenie rozwiązań agentowych. Równolegle mamy też środowisko open source, w którym każdy deweloper może pobrać framework, stworzyć swoich agentów i udostępnić ich firmom trzecim – jest to walidowane i ogólnie dostępne na GitHubie.

Do tematu halucynacji jeszcze wrócimy, ale teraz skupmy się na IBM AI Factory – czym dokładnie jest ta koncepcja? Jakie organizacje powinny się nią zainteresować?

A.B.: Zacznijmy od podstaw – mamy trzy metody korzystania z AI. Pierwsza, najprostsza, to korzystanie z gotowych aplikacji mających zaszytą w sobie technologię sztucznej inteligencji. Druga metoda wiąże się z dostawcą, który poprzez API wystawia nam dostęp do swojej sztucznej inteligencji, a my z niej korzystamy. Czemu to robimy? Bo chcemy szybciej wchodzić na rynek, sprawniej docierać do klientów i budować przewagę konkurencyjną.

Trzeba jednak pamiętać o tym, że zdecydowana większość danych, jakimi dysponują i na jakich są szkolone powszechnie dostępne modele AI, pochodzi z internetu. Nie ma tam zwykle szczegółowych danych dotyczących poszczególnych organizacji. Tymczasem, aby zbudować przewagę konkurencyjną i ulepszyć swoje funkcjonowanie, powinniśmy mieć w modelu dane dopasowane do naszego środowiska, specyfiki działania i charakterystyki biznesu. Tylko czy należy przesyłać nasze dane do takiego modelu? Czy bezgranicznie ufamy dostawcy? A może lepiej mieć – z punktu widzenia bezpieczeństwa, ale także budowania przewagi konkurencyjnej – takie środowisko we własnej firmie?

Tu pojawia się trzecia metoda i koncept IBM AI Factory, czyli platformy, która zawiera wszystkie elementy, niezbędne do zbudowania lokalnego środowiska na potrzeby sztucznej inteligencji, w lokalnym data center.

Z jakich komponentów składa się platforma IBM AI Factory?

A.G.: Zaczynając od fundamentów, pierwszym elementem jest infrastruktura, czyli serwery i storage IBM Fusion HCI. Są one wyposażone w konkretną moc obliczeniową – przede wszystkim w odpowiednie karty GPU, umożliwiające funkcjonowanie środowiska AI.

Drugi element to warstwa operacyjna, której funkcję pełni platforma OpenShift, co oznacza, że mówimy o środowisku hybrydowym, które można dostarczyć do dowolnego dostawcy, w dowolnym miejscu. Zarządzanie takimi środowiskami – zarówno tymi u dostawców, jak i tymi opartymi na IBM AI Factory i uruchomionymi wewnątrz firmy – odbywa się za pomocą jednej konsoli.

A.B.: Trzecia warstwa to watsonx.data – platforma do przechowywania i zarządzania danymi firmowymi, zarówno strukturalnych z systemów transakcyjnych jak i nieustrukturyzowanymi, która umożliwia wykorzystanie tych danych przez algorytmy AI. Narzędzie to gromadzi, kolekcjonuje, monitoruje oraz zarządza dostępem do danych, zapewniając ich dostępność w otwartych formatach. W zależności od potrzeb klientów watsonx.data może wspierać zarówno przetwarzanie danych strukturalnych, jak i zastosowania związane z data science.

W ramach platformy dysponujemy także wydajnymi silnikami, takimi jak Presto i Apache Spark, które umożliwiają efektywne przetwarzanie zapytań. Ponadto dysponujemy bazą wektorową Milvus – przydatną szczególnie do rozwiązań bazujących na GenAI. Przechowuje ona zwektoryzowane dane, wykorzystywane w modelach językowych.

Kolejna warstwa to watsonx.ai, odpowiadająca za zarządzanie zarówno klasyczną AI – a więc modelami Machine Learning czy Deep Learning – jak i generatywną sztuczną inteligencją w postaci konkretnych modeli GenAI. Można powiedzieć, że jest to mózg całego systemu. Mamy tu rozwiązania do zarządzania modelami sztucznej inteligencji, a także narzędzia przeznaczone dla konkretnych grup użytkowników końcowych. W ramach watsonx.ai zapewniamy też gotowe modele GenAI, dostarczane „z pudełka” przez IBM, a także modele innych dostawców. Poza naszym autorskim modelem Granite, który występuje w kilku wersjach – np. Granite Code, obsługującej 116 języków programowania – udostępniamy również modele Llama firmy Meta oraz modele Mistral.

Ciekawą funkcjonalnością jest mechanizm „Bring Your Own Model”, czyli możliwość skorzystania z modeli własnych, stworzonych w organizacji, albo niektórych modeli dostępnych na rynku, które możemy uruchomić na naszej platformie. Przykładowo, może to być polski model PLLuM.

Wreszcie, na samym szczycie platformy IBM AI Factory znajduje się element watsonx.governance, który odpowiada za zarządzanie bezpieczeństwem modeli sztucznej inteligencji i GenAI, ich wyjaśnialność oraz bezpieczeństwo danych. Mamy tu kilka komponentów pozwalających monitorować całe środowisko AI – zarówno te wykorzystujące technologię IBM, jak i inne rozwiązania. Jest to szczególnie istotne, jeśli chodzi o europejską regulację EU AI Act. Kraje Unii Europejskiej mają co prawda 2 lata na przygotowanie odpowiedniego prawa lokalnego, ale to europejskie już funkcjonuje i trzeba się do niego stosować. Watsonx.governance pozwala więc na sprawdzenie, w jakim stopniu nasze środowisko sztucznej inteligencji jest dopasowane do wymogów niniejszej regulacji. Rozwiązanie to monitoruje także wszelkie wprowadzane zmiany, co jest szczególnie ważne w kontekście ewentualnego audytu.

Są jednak firmy, które budują same – pewnie nie tak kompleksowe – ale podobne rozwiązania open source…

A.G.: Oczywiście, jednak nakład pracy oraz koszty związane ze wsparciem takiego środowiska zbudowanego własnoręcznie, bywają często dużo wyższe, niż koszty związane z zaimplementowaniem gotowej już platformy.

Poza tym, zbudowanie modelu AI to dopiero połowa sukcesu. Druga część to jego uprodukcyjnienie – a więc spowodowanie, żeby był on dostępny dla naszego środowiska IT. Jak wszystko w nim połączyć? Jak takim środowiskiem zarządzać?

Kluczowy element to właśnie skuteczna integracja modelu AI z poszczególnymi systemami firmowymi, tak aby zapewnić spójność przepływu danych między systemami, a także ich bezpieczeństwo i skalowalność. Projekty AI często kończą się właśnie wskutek braku możliwości wkomponowania środowiska AI w ekosystem informatyczny danej organizacji.

A.B.: Co istotne, AI Factory dostarcza nie tylko rozwiązań GenAI, ale wspiera też klasyczną sztuczną inteligencję oraz środowiska projektowe umożliwiające zaawansowanym użytkownikom budowanie własnych modeli i rozwiązań wewnątrz organizacji. Dla mniej zaawansowanych osób są natomiast konsole Low Code, dzięki którym użytkownicy biznesowi mogą budować swoje przepływy danych i informacji tak, aby były one odpowiednio wykorzystywane dla danego systemu.

Tworząc samemu takie środowisko, musimy pamiętać o tym, żeby je zabezpieczyć -zarządzać modelami, monitorować wszelkiego rodzaju zmiany i inwentaryzować wszystko, co się dzieje w tym środowisku. To też nie jest takie proste.

Wybierając IBM AI Factory, otrzymujemy jedno pudełko z wszystkimi elementami, których biznes potrzebuje w danym momencie. Platforma ta jest dostępna praktycznie od razu, a po uruchomieniu dostajemy pełne środowisko, gotowe do wykonania dowolnych czynności związanych z AI.

Dlaczego warto rozważyć uruchomienie takich rozwiązań w modelu lokalnym, bez użycia zasobów chmurowych? Dla jakich organizacji jest to jedyna droga do skutecznej adaptacji AI?

A.B.: Nie przesadzę, jeśli powiem, że dla każdej organizacji, która ma tylko pomysł na zastosowanie u siebie AI. Choć oczywiście głównymi odbiorcami takich rozwiązań są przedsiębiorstwa posiadające odpowiednie zasoby, zarówno techniczne, jak i finansowe. Wśród nich są takie, które są zobligowane do tego, aby swoich danych w żaden sposób nie udostępniać na zewnątrz. Nasi klienci to więc przede wszystkim firmy z rynków regulowanych.

A.G.: Drugą dużą grupę tworzą firmy i organizacje, które chcą budować i testować różne środowiska AI ad hoc. Platforma lokalna daje tę elastyczność – możemy bowiem zbudować dowolną liczbę aplikacji, podobnie jak w świecie wirtualizacji, gdy na potrzeby danego przypadku powołujemy wirtualne maszyny. Takie środowiska projektowe służą do testowania dowolnych koncepcji i pomysłów za pomocą w zasadzie nieograniczonych zasobów obliczeniowych. Nie wiąże się to też z dodatkowymi kosztami transferu danych do chmury czy korzystania z modelu tokenowego, stosowanego przez dostawców chmurowych.

A.B.: Kluczowym elementem jest oczywiście wspomniane już wcześniej bezpieczeństwo. Przykładowo, jesteśmy w stanie dostarczyć środowiska R-Gap. Oznacza to, że dany system AI nie ma dostępu do świata zewnętrznego – jest w pełni odseparowany i nie wymaga dostępu do internetu. Działa na własne potrzeby. Implementacja tego środowiska oraz dodawanie do niego dodatkowych modułów odbywa się przez narzędzia, które nazywamy stacjami przesiadkowymi. Mamy więc bezpieczny host, który ściąga i pobiera dane do systemu, a następnie implementuje je w naszym środowisku.

Kolejny argument, to fakt, że budowanie i uczenie modeli w środowisku lokalnym jest bardziej bezpieczne. Pozostają one w naszym systemie i nie są w żaden sposób transferowane. Model jest modyfikowany tylko na potrzeby danej organizacji – dzięki czemu potrafi wskazać konkretne wyzwania biznesowe.

Co wyróżnia podejście IBM wśród innych dostawców rozwiązań sprzętowych, jak HPE czy Dell? Jakie są mocne strony Państwa oferty?

A.B.: W naszym podejściu wszystkie komponenty – od infrastruktury po governance – pochodzą od jednego dostawcy. Niewielu dostawców dostarcza też takie środowisko w modelu on-premise.

Z całym szacunkiem dla konkurencji, ale inni dostawcy nie posiadają również takiego doświadczenia jak IBM – mamy tę przewagę, że sztuczną inteligencją zajmujemy się już od lat 50. Cała koncepcja obsługi języka naturalnego powstała w naszych laboratoriach. Faktem jest też, że platformę IBM AI Factory rozwijamy od wielu lat – obsługa GenAI jest tu po prostu kolejnym obszarem funkcjonalności.

A.G.: W kontekście modeli językowych rzeczywiście można powiedzieć, że niektórzy specjalizują się w takich rozwiązaniach i oferują niezbędne narzędzia na wysokim poziomie. W swoich rozwiązaniach niekoniecznie jednak obsługują również klasyczną sztuczną inteligencję. IBM bardzo sprawnie łączy te dwa wątki technologiczne.

A.B.: Istotną kwestią jest także przejrzystość danych zasilających modele AI. Rozwiązanie, które proponujemy na potrzeby gromadzenia takich danych, gwarantuje wysoką transparentność.

Dokładnie wiadomo na jakich danych został wyuczony model, kto zajmował się jego uczeniem, kto czyścił dane, a kto dotrenowywał model. Poza tym, w ramach IBM AI Factory każdy model, zanim zostanie uruchomiony, przechodzi kilka warstw testów. W ten sposób, krok po kroku, sprawdzamy jego funkcjonalność i przydatność.

To dobry moment, żeby wrócić do halucynowania modeli – jak sobie radzicie z tym wyzwaniem?

A.B.: Zacznijmy od tego, że modele wciąż będą halucynowały – taka jest już ich natura i na poziomie samego modelu nie da się tego zmienić. Możemy natomiast zadbać o warstwę wyżej. Będzie to przede wszystkim kwestia zbudowania odpowiedniego środowiska. Mam na myśli cały stos technologiczny, który pozwala właściwie zarządzić modelem, aby wysyłał on poprawne odpowiedzi do użytkowników końcowych. Ważne jest, żeby model nie zmyślał, jeśli nie zna poprawnej odpowiedzi. Ma po prostu informować, że zadanie jest niewykonalne.

Niedawno prowadziłem projekt na Litwie dla tamtejszej instytucji medycznej. Początkowo model, który dla nich budowaliśmy nie dość, że nie chciał z nami rozmawiać po litewsku, to jeszcze zaczął mocno halucynować. Nasz zespół deweloperów musiał nad nim solidnie popracować, przystosowując go do funkcji i zapytań, które miał obsługiwać, aby wypracować odpowiedni sposób odpowiedzi. Trwało to ok. 3 tygodni, ale ostatecznie doprowadziliśmy model do akceptowalnego stanu, ograniczając halucynacje do minimum. Trzeba bowiem pamiętać, że halucynacji nie da się wykluczyć w 100%.

Podstawowa rzecz, od której w ogóle zaczynamy, to wykonanie właściwego promptu. Jedną z metod walki z halucynacjami jest oczywiście strojenie modelu, ale my stosujemy jeszcze inne rozwiązanie – dajemy użytkownikom możliwość wyuczenia modelu w konkretnej taksonomii. Przy zastosowaniu nauki taksonomii pod konkretny język programowania, jesteśmy w stanie zachować wiedzę bazową modelu – która podczas strojenia może zostać ograniczona – i dodatkowo douczyć go o konkretne funkcjonalności. Wykonuje się to również szybciej niż klasyczny fine-tuning.

Jaka jest rola partnerów IBM w kontekście takich projektów? Na jakie wsparcie dotyczące integracji tych rozwiązań z biznesem mogą liczyć klienci?

A.B.: Partnerzy są nieodzowną częścią każdego projektu, a w szczególności tych dotyczących AI. Takie projekty u klientów wspierają specjalne zespoły. Dzieje się tak dlatego, że podjęcie decyzji czy wchodzimy w rozwiązanie AI jest prawdziwym wyzwaniem biznesowym. Świadoma organizacja oczekuje natomiast potwierdzenia, czy warto ten ruch wykonać. Duża część klientów chce więc zrobić projekty POC, MVP, czy innego rodzaju pilotaże. Chodzi o sprawdzenie, czy opracowane koncepcyjnie rozwiązanie faktycznie spełni pokładane w nim oczekiwania. Wspólnie z partnerami pomagamy klientom na tym etapie, definiując zakres takiego pilota, a więc określając warunki, które pozwolą na podjęcie decyzji, czy warto taki projekt realizować na szerszą skalę. Dodatkową zaletą takiego podejścia jest to, że na podstawie procesu uzgodnień jesteśmy w stanie zweryfikować, czego klient naprawdę potrzebuje.

Mogę tu przytoczyć anegdotę dotyczącą sytuacji, w której klient chciał zastosować w swojej firmie AI, ale po określeniu zakresu pożądanych funkcjonalności, okazało się finalnie, że nie potrzebuje AI, a zwykłego Excela.

Co istotne, podczas takich projektów – trwających zazwyczaj 6-8 tygodni – dochodzi też do wzajemnego transferu wiedzy. Klienci i partnerzy otrzymują od nas wiedzę techniczną, za to my otrzymujemy od nich konkretną wiedzę biznesową. Pracujemy bowiem nad określonym wyzwaniem biznesowym i uczymy się realnego środowiska klienta.

A.G.: Trzeba też podkreślić, że to partner ma z klientem codzienny kontakt i na bieżąco wspiera rozwój kolejnych aplikacji. W kontekście AI Factory wygląda to bowiem tak, że nie mówimy wyłącznie o jednym projekcie, a pewnym procesie budowania dojrzałości w wykorzystaniu sztucznej inteligencji na potrzeby realizacji konkretnych celów biznesowych. Posiadając uruchomione środowisko AI, zaczynamy od małego elementu, a następnie dobudowujemy kolejne. W praktyce często to właśnie partner jest siłą napędową dla rozwoju środowiska AI u klienta. On wie najlepiej jakie są jego potrzeby i sugeruje, co można jeszcze z tego AI wyciągnąć. Mając odpowiedniego partnera u swojego boku, każda organizacja jest w stanie skutecznie rozbudowywać środowisko AI oraz rozwijać swój biznes.