W jakim zakresie polskie organizacje wykorzystują algorytmy Artificial Intelligence

W czasie debaty ITwiz na temat realizacji projektów z wykorzystaniem algorytmów AI i wyzwaniach związanych z ich wdrożeniami rozmawialiśmy o: skali zastosowania sztucznej inteligencji; wąskich gardłach, na które się natykają; przygotowaniach do rozpoczęcia przygody ze sztuczną inteligencją; a także sposobach działania modeli AI oraz regulacjach dotyczących sztucznej inteligencji. Partnerem debaty była firma Inetum.

SKALA WYKORZYSTANIA AI W POLSKICH FIRMACH

Na którym miejscu wśród priorytetów w Waszych organizacjach znajduje się sztuczna inteligencja i w jakich projektach jest obecnie wykorzystywana?

Arkadiusz Ćwiek, Head of AI Team w Narodowym Centrum Badań Jądrowych (A.Ć.): W badaniach naukowych AI jest bardzo ważna. Towarzyszy nam już od ponad dwóch dekad pod nazwą głębokiego uczenia maszynowego. Początkowo patrzono na te projekty z pewnym sceptycyzmem ze względu na to, że metody sztucznej inteligencji czy uczenia maszynowego nie pozwalały oszacować stopnia pewności uzyskanego wyniku. Klasyczne metody robiły to znacznie dokładniej. Natomiast w pewnym momencie technologie te zaczęły cieszyć się dużym zainteresowaniem.

Nasz zespół skupia się głównie na wykorzystaniu wszelkiego rodzaju metod analizy obrazu. Są to zarówno klasyczne obrazy, jak i zdjęcia satelitarne, dane multispektralne z tomografii oraz dane geoprzestrzenne. Obecnie Centrum zajmuje się m.in. udostępnianiem dużych mocy obliczeniowych, których sztuczna inteligencja wymaga. Jest to jeden z kluczowych elementów potrzebnych do budowania nowych projektów AI. Tworzymy rozwiązania zarówno na potrzeby konkretnych projektów badawczych, jak i na zlecenie instytucji czy organizacji komercyjnych.

Piotr Sobecki, Head of Innovation Center for Digital Medicine w Ośrodku Przetwarzania Informacji w Państwowym Instytucie Badawczym, szef działu AI w Głównym Urzędzie Miar (P.S.): W obu tych instytucjach sztuczna inteligencja jest wykorzystywana w projektach wewnętrznych. Przykładowo, w Ośrodku Przetwarzania Informacji realizujemy Jednolity System Antyplagiatowy przy użyciu, którego badane są wszystkie pisemne prace dyplomowe. Ostatnia aktualizacja pozwala na zidentyfikowanie fragmentów, które prawdopodobnie zostały wygenerowane przez narzędzia korzystające ze sztucznej inteligencji (np. wygenerowane przez ChatGPT).

Projektów z wykorzystywaniem w sztucznej inteligencji tworzymy zresztą bardzo dużo. To m.in. realizowany na zlecenie UOKiK projekt polegający na wykrywaniu klauzul abuzywnych w umowach. Jednym z dużych projektów realizowanych w tym roku jest też PLLuM, czyli największy, otwarty model języka polskiego, tworzony w ramach konsorcjum z NASK, Politechniką Wrocławską i innymi jednostkami. Niedawno udostępniony został też model Qra, pierwszy tej skali i najlepszy w modelowaniu języka polskiego odpowiednik otwartych narzędzi Mety czy Mistral AI, stworzony we współpracy Ośrodka z Politechniką Gdańską.

Mój zespół realizuje projekty wykorzystujące AI we wspomaganiu diagnostyki medycznej. Wspieramy m.in. diagnostykę raka prostaty. Naszym celem jest stworzenie rozwiązania, które nie tylko wspomaga radiologa w ocenie zmian nowotworowych, ale także automatycznie przygotowuje raport z badania. Na podstawie obrazowania tworzony jest opis, który podlega weryfikacji przez radiologa. To bardzo nowoczesne rozwiązanie, które wspiera lekarza na wielu poziomach – od analizy obrazowania i podpowiedzi przy ocenie zmian do asysty przy przygotowaniu opisu. Obecnie tak dojrzałego rozwiązania nie ma na rynku. Co ważne, robimy to w sposób wyjaśnialny. Radiolog może zweryfikować wszystkie oszacowane parametry, na podstawie których wygenerowany został opis.

Natomiast w Głównym Urzędzie Miar wspomagamy pracę meteorologów dostarczając rozwiązań, które tworząc cyfrowe bliźniaki umożliwiają przeprowadzanie analiz czynników środowiskowych. Tworzymy również nowe metody pomiarów pewnych właściwości obiektów, które wymagają analizy przez algorytmy ML. Jak widać, jest to szerokie spektrum działań. Niewątpliwie AI jest w priorytetem. Jest to obszar, który będzie się teraz bardzo dobrze rozwijał, bo tkwi w nim ogromny potencjał.

Tomasz Gawron, Head of AI, XTB (T.G.): Jeżeli miałbym mówić o priorytetach, to należą do nich zastosowania AI powiązane z uzyskaniem lepszego doświadczenia użytkownika platformy XTB i zwiększeniem efektywności pracy naszych zespołów. Chodzi o szeroko pojęte wsparcie użytkownika przy realizacji różnych procesów, czy to reklamacyjnych, czy też wyjaśnianiu różnych zjawisk, które pojawiają się na rynkach finansowych. Klient może dzięki nim budować strategie inwestycyjne, korzystając z lepszego dostępu do informacji.

Do tej pory, jeżeli chodzi o wskaźniki czy analizy porównawcze różnych spółek, mogliśmy wystawić paletę wskaźników, albo pokazać dane w sposób szablonowy. Teraz możemy pozwolić użytkownikowi kształtować raporty w taki sposób, w jaki chciałby je zobaczyć, pomimo tego, że nie ma on szerszej wiedzy technicznej. Pracujemy zarówno z klasycznymi technologiami Machine Learning, jak i z tym, co oferuje generative AI.

Marek Czachorowski, Head Of Data & AI Solutions, Inetum (M.Cz.): Od blisko 10 lat zajmujemy się w Polsce tworzeniem programowania właśnie w oparciu o Machine Learning. Opracowujemy rozwiązania, które pomagają przewidywać awarię czy zachowanie silników w samolotach, wskazując, kiedy trzeba jakiś element wymienić, aby uniknąć awarii. Mamy też klientów w obszarze przemysłowym, gdzie wspieramy procesy produkcyjne tak, aby zwiększyć ich efektywność oraz kontrolować jakość. Robimy to wykrywając na jak najwcześniejszym etapie potencjalne wady produktu, których normalnie maszyny pomiarowe mogą nie zauważać.

Wspieramy naszych klientów w różnych obszarach, zarówno budując dla nich platformy pod uczenie maszynowe, jak i tworząc same modele. Aktualnie skupiamy się na GenAI, ale nowe rozwiązania najpierw testujemy na sobie. Sprawdzamy m.in. jakie narzędzia pomagają osiągać optymalizację deweloperom, testerom i osobom zajmującym się wsparciem czy wdrożeniami.

Jednocześnie, aby podnieść poziom wiedzy na temat GenAI i Machine Learning, wśród pracowników na wszystkich szczeblach – technicznych i biznesowych – naszej organizacji, wprowadziliśmy własną platformę szkoleniową. Udostępniamy tam zestaw modułów szkoleniowych i quizy potwierdzone zewnętrznymi certyfikatami.

Bartek Roszak, Head of Artificial Intelligence, STX NEXT (B.R.): Sztuczna inteligencja jest dla nas priorytetem w każdym obszarze. W tym momencie realizujemy kilkanaście projektów związanych ze sztuczną inteligencją. Wewnętrznie również stawiamy na wykorzystanie możliwości algorytmów AI. Głównym obszarem naszej specjalizacji jest tworzenie aplikacji, w tym pisanie kodu dla naszych klientów. Mocno inwestujemy w metody autonomicznego generowania kodu przez wirtualnych developerów.

Łukasz Węgrzyn, Partner w kancelarii Osborne Clark (Ł.W.): Przysłuchuję się temu co państwo mówicie i zastanawiam się, czy w waszych organizacjach macie zidentyfikowane tzw. wąskie gardła? Przeprowadziliśmy niedawno badanie na próbce 6000 organizacji na świecie, pytając, gdzie widzą największe wąskie gardła, utrudniające implementację sztucznej inteligencji. Myślę, że wiemy, gdzie należy ich szukać, ale chciałbym z Państwem zweryfikować czy w Waszych organizacjach występują i w jakich obszarach.

Antares Gryczan, Executive Director, Executive Director, PFR Operacje – zdalnie (A.G.): Jesteśmy małą organizacją, która zajmuje się dostarczaniem usług bezpieczeństwa IT na rzecz Grupy Polskiego Funduszu Rozwoju. AI używamy już od jakiegoś czasu. Natomiast to, co zmieniło nasze podejście do sztucznej inteligencji i sposób, w jaki z nią pracujemy, to wybuch konfliktu w Ukrainie.

Jako Polski Fundusz Rozwoju byliśmy zawsze blisko kwestii związanych z pomocą Ukrainie. Nagle okazało się, że będąc spokojną instytucją finansową wylądowaliśmy w samym środku konfliktu, do czego nie byliśmy przygotowani. Wtedy zwróciliśmy się w stronę narzędzi, które z naszej perspektywy zapewniają bezpieczeństwo. Na początku był to Machine Learning, potem oczywiście wkroczył GenAI. Połączenie AI i cyberbezpieczeństwa jest tym, czym się teraz zajmujemy.

Mamy duże, własne modele, które specjalizują się w analizie poszukując anomalii w infrastrukturze IT. We wrześniu 2023 roku uznaliśmy, że już na tyle poznaliśmy tę technologię, że możemy wyjść z nią do biznesu. Teraz realizujemy projekty związane z cyberbezpieczeństwem z GenAI. Trudno wyobrazić sobie wdrażanie w organizacji narzędzi AI, które obsługuje jakiś duży, ważny proces, np. inwestycyjny albo decyzyjny, bez odrobienia lekcji z AI Security.

Krzysztof Rajda, Head of AI w Brand24 – zdalnie (K.R.): Brand24 to świat, który żyje z danych. AI jest u nas od początku istnienia firmy. Używaliśmy w naszej działalności różnych modeli analizy sentymentu. Nadal jest to główny wskaźnik, na który patrzą marketerzy, PR-owcy i klienci. Od momentu pojawienia się rewolucji GenAI – począwszy od ChatGPT – wszystkie, nowe funkcjonalności, które obecnie powstają, są w takiej czy innej formie oparte na sztucznej inteligencji, a ponieważ danych tekstowych mamy ogromne ilości, więc to jest dla nas sprzyjająca sytuacja.

Jakie są największe wyzwania związane z wdrażaniem sztucznej inteligencji? Gdzie istnieją wspomniane już wąskie gardła, utrudniające implementację takich technologii?

Ł.W.: Wracając do mojego pytania o wąskie gardła wdrożeń AI, chcę powiedzieć parę słów o wynikach wspomnianego badania. Sześciu tysiącom spółek na świecie zadano pytanie: jeżeli robicie projekty z obszaru AI, szczególnie GenAI, to czy w którymś momencie, napotykacie wąskie gardło, a jeśli tak, to gdzie tkwi jego źródło?

Aż 75% respondentów wskazało na dział Compliance i dział zakupów. Właśnie tam widzieli największe zapory i to nawet nie ze względu na AI Act, lecz z powodu danych osobowych. Bo my tak naprawdę nie wiemy, co z nimi będzie działo się w silnikach AI. Nie wiemy, jak musielibyśmy zmienić informacje dla potencjalnych podmiotów danych ani nie wiemy, czy mamy ich zgodę. W związku z tym szefowie działów prawnych wolą powiedzieć „nie”, to jest bezpieczniejsza alternatywa. Są świadomi tego, że jeżeli coś się stanie, to odpowiedzialność wróci do nich.

W organizacjach istnieją blokady, które powodują, że wdrożenie AI, to będzie co najwyżej Proof of Concept, albo jakaś próba testu, a nie uruchomienie produkcyjnie. Aby uruchomić rozwiązanie produkcyjnie, musi znaleźć się ktoś odważny, kto powie, że można je odpalić. Chciałbym więc zapytać was, jak to widzicie, bo reprezentujecie bardzo różne sektory, czy wasza perspektywa jest zbieżna, czy może kompletnie inna?

WĄSKIE GARDŁA ZWIĄZANE Z WDROŻENIEM AI

P.S.: Pierwsza rzecz, która się kojarzy z wąskim gardłem, to regulacje. Przykładowo regulacje związane z wytwarzaniem oprogramowania wykorzystujące sztuczną inteligencję do wspomagania opieki zdrowotnej. Regulacje Europejskie Medical Device Regulation (MDR) traktują rozwiązania AI w medycynie. Regulacje związane z wykorzystaniem danych medycznych oraz wdrożeniem rozwiązań na rynek są bardzo trudne do zrozumienia dla osób, które zajmują się AI merytorycznie.

Z drugiej strony, jak przyglądam się pracom nad regulacjami sztucznej inteligencji (jak AI Act), to sądzę, że można spodziewać się audytów oraz certyfikacji rozwiązań z obszaru sztucznej inteligencji poza branżą medyczną. Powstaną firmy, które będą w pewien sposób certyfikowały użycie algorytmów AI.

W Holandii doszło do upadku rządu w wyniku kontrowersji związanych z użyciem algorytmów uczenia maszynowego do wykrywania nadużyć w ubieganiu się o świadczenia socjalne dla dzieci. Algorytm ten, działający przez wiele lat, był obarczony błędem polegającym na nieuzasadnionym profilowaniu etnicznym, przez co rodziny bez holenderskiego pochodzenia były niesłusznie uznawane za próbujące wyłudzić świadczenia. Skutkiem tego była utrata świadczeń przez dziesiątki tysięcy rodzin, a tragedią osiągnięto punkt, w którym kilka osób popełniło samobójstwo. Ostatecznie ujawniono, że model zawierał stronniczość opartą na pochodzeniu etnicznym.

To tylko jeden przypadek, ale takich błędów spowodowanych nieodpowiedzialnym wykorzystywaniem modeli AI może być wiele. Zatem z pewnością powstanie jakaś forma regulacji w Unii Europejskiej i ta forma stanie się jednocześnie hamulcem zmian i postępu. Ryzykiem jest też to, że jeśli zostanie wprowadzony wymóg certyfikacji lub audytów rozwiązań AI to start-upów nie będzie na to stać.

B.R.: Od dłuższego czasu mam wrażenie, że często nakazuje się odgórnie wdrażać AI. Klienci więc przychodzą i pytają się jak mają to zrobić? Oczywiście niektórzy z nich wiedzą, czego dokładnie chcą, a czasami już odbyli wewnątrz organizacji dyskusję na ten temat. Nie wiedzą jednak jaki powinni mieć na to budżet. Wąskie gardło, które najczęściej obserwuję, to po prostu brak świadomości, czym jest tak naprawdę projekt AI.

Wąskie gardło w kontekście zgodności też oczywiście występuje, ale rzadziej się z nim zderzam. Moje osobiste doświadczenie jest takie, że mam teraz problem z każdą, najprostszą aplikacją zainstalowaną na komputerze i używaniem nawet prostych narzędzi, bo one mają wgląd w mój kalendarz, a w związku z czym cały dział prawny musi się zgodzić na jej używanie.

T.G.: Szczerze mówiąc, nie zauważam tak naprawdę dużych wyzwań w obszarze zgodności, bo dane możemy anonimizować. Przede wszystkim widzę aspekt, który nazywam psychologicznym. Jeżeli mamy np. coś, co chcemy zrobić w kontekście wsparcia klienta, to naturalnie od razu myślimy o tym, co się stanie, jeżeli taki ML-owy pipeline się pomyli i jakie mogą być tego konsekwencje.

W szeroko pojętej społeczności specjalistów wdrażających AI, często wyłączamy jeszcze z rozumowania argument, że ludzie też się mylą. Odbiorcy AI mają wysokie oczekiwania co do jakości. Dla modeli LLM-owych – i w ogóle dla AI – powstaje taki benchmark, gdzie mówi się „nie możecie się mylić, musicie być lepsi od ludzi, co znacząco odsuwa AI od wdrożenia na produkcji”.

A.Ć.: Wydaje się, że u nas nie ma znaczących, wąskich gardeł. Może wynika to z faktu, że pracujemy nad projektami typowo badawczymi, a także ze specyfiki danych, które wykorzystujemy. Tam nie ma danych osobowych, danych wrażliwych.

Stosowane przez nas modele są ponadto modelami dedykowanymi. W związku z tym nie istnieje ryzyko wycieku danych. Kluczowe jest natomiast przygotowanie danych. Trzeba dobrze wiedzieć, jak je przygotować, aby były m.in. zrównoważone i pozbawione błędów statystycznych.

A.G.: Mam wrażenie, że wszyscy rzucili się na AI, bez względu na wewnętrzny poziom dojrzałości. Organizacje nie mają procesów, ich właścicieli, uporządkowanej infrastruktury, polityki bezpieczeństwa informacji i nie klasyfikują informacji. Aż tu nagle pojawia się hype na GenAI i każdy chce coś zrobić ze sztuczną inteligencją. To jest droga ku katastrofie.

Jeżeli nasz dział prawny nie przepracował wcześniej ścieżki do chmury, ani ścieżki klasyfikacji informacji i nie mamy wypracowanej polityki bezpieczeństwa informacji, to rzucanie się w kierunku GenAI i modeli – które najczęściej są hostowane w chmurze – jest pewnym rodzajem samobójstwa. Bo jeżeli dział Compliance tego nie zrobił, to ich jedyną odpowiedzią będzie: wybaczcie, ale nie możecie wdrażać PoC. Co najwyżej możecie pobawić się nowymi zabawkami. Ale nic z tego nie przejdzie do produkcji.

Wiele firm ma niepoukładane podstawowe „klocki”, które budują dojrzałość organizacji, środowiska IT oraz cybersecurity. Mimo to rzucają się od razu w kierunku AI, gdzie wyzwania takie, jak przetwarzanie danych osobowych i informacji poufnych w chmurze się zwielokrotniają. W takiej sytuacji dział Compliance czy departament prawny jest po prostu na straconej pozycji. Nie będzie miał nawet sił, zasobów ani wiedzy, by zderzyć się z takim zagadnieniem.

K.R.: Przyznam, że przy tym co tu mówicie, czuję się w bardzo komfortowej sytuacji. Jesteśmy małą firmą, więc droga decyzyjna jest krótka, a dodatkowo sami zarządzamy infrastrukturą IT. Z drugiej strony, przetwarzamy wyłącznie dane dostępne w sieci. Nie mamy więc tego problemu, że posiadamy jakieś informacje, które musimy szczególnie chronić.

Korzystamy z tekstów publicznie dostępnych i możemy je opracowywać na wszystkie sposoby. Naszym głównym, wąskim gardłem jest tak naprawdę to, że szybciej wytwarzamy tę część AI niż front-end. Jest to więc stricte programistyczny problem wdrażania do produkcji rozwiązań, gdy modele są już gotowe.

P.S.: Wydaje mi się, że cyberbezpieczeństwo w kontekście AI to będzie kolejny boom. Będą powstawały nowe metody ataku z użyciem AI. Cyberbersecurity będzie zaś musiało wyszkolić się w zapobieganiu incydentom z wykorzystaniem sztucznej inteligencji. Wydaje mi się też, że istnieje ogromny potencjał, aby stworzyć biznes oparty na audytach.

W przestrzeni publicznej mówi się o zrównoważonym budowaniu rozwiązań AI, aspektach etycznych, ale tak naprawdę ma to też wymiar czysto finansowy, bo ludzie obawiają się korzystania z AI, a strach dobrze się monetyzuje. Jeśli jakaś firma pokaże, że jej rozwiązań nie trzeba się obawiać, bo ma np. certyfikacje wydane przez uwiarygodnione instytuty, to może wtedy uzyskać znaczną przewagę nad konkurencją.

WŁAŚCIWE PODEJŚCIE DO ALGORYTMÓW

Od czego i kiedy zacząć przygodę z AI? Jaki ma to związek z dojrzałością organizacji?

M.Cz.: Na pewno nie od tworzenia modeli AI, bo to jest coś, co, co wychodzi w trakcie. Stworzyliśmy AI Maturity Framework, który definiuje dojrzałość organizacji w 6 kategoriach. Niektóre z nich są podstawowe, jak wiedza ludzi, umiejętności techniczne, to czy musimy zatrudniać ekspertów z zewnątrz, jaki jest poziom ich wiedzy, czy potrafią wytwarzać rozwiązania oparte o algorytmy AI/ML i jak jesteśmy technicznie przygotowani do wykorzystania sztucznej inteligencji. Jest też aspekt danych, które są wszędzie i – co bardzo istotne – czy stosujemy Data Governance.

Druga, bardzo ważna sprawa, która często jest pomijana, to gotowość biznesowa. Czy i w jaki sposób zarząd i kadra menedżerska wspierają innowacje i jak wyznaczają cele organizacji, do których później niższe linie biznesowe się dostosowują, opracowując własne rozwiązania i procesy wraz z ich etycznymi aspektami?

Na koniec jest kwestia finansowania. Wiadomo, że na początku jest globalny budżet innowacyjny, z którego realizowane są pierwsze inicjatywy, ale później poszczególne linie biznesowe muszą przejąć finansowanie rozwiązań, które uznają za wartościowe. Jeżeli tego nie zrobią i powiedzą, że nie chcą ich finansować, to trzeba wyciąć je z budżetu innowacyjnego. Taka odpowiedź oznacza, że biznes nie widzi w danym rozwiązaniu perspektyw. Tak naprawdę największym kosztem jest inwestycja w nieudany projekt. Jeżeli mamy procesy i narzędzia do tego, aby szybko wykryć taki przypadek, to jesteśmy w stanie zaoszczędzić więcej pieniędzy niż w przypadku optymalizacji technologicznej.

A.Ć.: U nas rozpoczęcie korzystania z AI było dość naturalne. Od lat testowaliśmy różne, proste modele AI. Z czasem zaczęliśmy wykorzystywać modele bardziej zaawansowane. Tym, co spotkało się z pewnym oporem przed rozszerzeniem implementacji AI był brak możliwości oszacowania niepewności, z jaką wyniki zwracają modele AI. W pewnym momencie jednak korzyści okazały się wyższe niż powodowane trudności. Zaczęliśmy wykorzystywać szerszej AI. Było to po prostu poszukiwanie lepszego rozwiązania dotychczasowych problemów. Prostszego i tańszego.

P.S.: W sytuacji ograniczonych środków warto wykorzystać mniejsze zbiory danych, aby oszacować potencjał danego rozwiązania, czy zweryfikować pewną hipotezę. Potem naturalnie jest wejście w kolejną fazę, czyli szukanie większych środków na zrobienie docelowego rozwiązania. Prototyp powinien wyjść jak najwcześniej, aby pokazać biznesowi o co w tym chodzi, z czym to się wiąże.

W kolejnym kroku następuje szukanie sponsora lub ucinane projektu i przystąpienie do kolejnego z listy. Warto przy tym dążyć do sytuacji, gdzie linie biznesowe same potrafiły dostarczać przypadki użycia, związane z możliwościami wykorzystania sztucznej inteligencji zarówno w kontekście innowacji produktowych jak optymalizacji wewnętrznych procesów operacyjnych. Dobrze byłoby też, aby miały stworzoną listę priorytetów i komitet, który decyduje o tym, w co inwestować.

T.G.: Firmy powinny zacząć myślenie o AI od budowania kompetencji. Nie należy też działać w ten sposób, aby odgórnie założyć, że np. ciągu roku mamy mieć wdrożone 3 usługi AI. Kompetencje można budować na mniejszych projektach, kilku PoC, na których „przepalimy” niewielkie pieniądze. Nawet jeśli te projekty nie wyjdą, to zyskujemy nowe umiejętności wewnątrz organizacji, zamiast ściągać ludzi z zewnątrz. Tworząc wewnętrzne kompetencje trzeba być oczywiście przygotowanym na to, że coś może się nie udać.

B.R.: Często spotykam się z podejściem typu: teoretycznie te kompetencje są, organizacja ma model, ale chce go poprawić. Przychodzą więc z mówiąc: weźcie nasz model na trzy miesiące i oddajcie nam lepszy. A jaką mogę dać gwarancję, że oddamy lepszy model? To jest coś, czego korporacje, szczególnie większe, nie wiedzą. Podchodzą do projektu AI jak do projektu IT. Czterech deweloperów usiądzie i coś zbuduje. Może to nie będzie idealne, ale będzie działać. Zagrożenia, że projekt IT całkiem się nie uda już nie ma. Za to w projektach AI jest duże i trzeba je zaadresować.

P.S.: Bardziej dojrzała organizacja powinna opierać się na wewnętrznych zasobach. Na początku drogi można oczywiście zatrudnić eksperta, nawet seniora, do tego, by zbudować wymagane kompetencje. Ale cel powinien być jeden – pokrycie tego obszaru kompetencjami wewnętrznymi, szczególnie w zakresie szkoleń, mentoringu i coachingu pracowników po stronie biznesu. Takie podejście bardzo ułatwia wiele rzeczy.

B.R.: Klienci, którzy chcą wdrożyć duży model językowy na potrzeby wybranej usługi najczęściej myślą, że na pewno będzie działać i na pewno sobie z tym poradzą. Zawsze zaczynam rozmowę od propozycji zrobienia próby, bez budowania całej aplikacji, aby zobaczyć, czy efekt będzie wystarczający.

Co warto podkreślić, gdy model jest aktualizowany przez jego dostawcę za każdym razem powstaje pytanie, czy aplikacja nadal będzie działa tak, jak powinna. Jak zbadać o jakość rozwiązania po modyfikacji modelu inaczej już manualnie? Są oczywiście metody automatyczne, ale one w jednym sektorze będą działać, a w innym nie.

Dlatego Proof of Concept, może potwierdzić jaka jest skuteczność rozwiązania na początku drogi. Dopiero mając taką informację organizacja jest w stanie podjąć decyzję, czy idzie w tym kierunku, czy zmienia swoją koncepcję.

SPOSÓB DZIAŁANIA MODELI AI

K.R.: Głównym problemem jest to, że mamy za dużo danych. Dlatego wszelkiego rodzaje podsumowania i streszczenia – coś, co oszczędza czas – są dla nas cenne.

Niedawno testowaliśmy model GPT-4. Działał poprawnie na tych przykładach, na których go testowaliśmy. Ale u klientów w 50% przypadków zwracał błędne odpowiedzi. Nie można więc liczyć, że skoro dany model działa zgodnie z oczekiwaniami na moich 10, 300, czy 1000 przykładach, to będzie działać też na 1 mln pozostałych.

P.S.: Automatyczne testowanie rozwiązań AI w takich przypadkach jest, moim zdaniem, na poziomie filozoficznym niemożliwe. Bo byłoby to jak zautomatyzowanie testu Turinga. Zawsze będzie kwestia manualnej weryfikacji, a koszt tej weryfikacji będzie ogromny.

A.G.: Bez kompetencji – wewnętrznych, czy zewnętrznych lub jakieś ich hybrydy – trudno mówić o jakimkolwiek wdrożeniu AI. Dlatego najważniejsza jest edukacja i budowanie świadomości wśród użytkowników, bez niej nie będziemy mogli prowadzić z nimi dialogu. Często użytkownicy posługują się wiedzą, którą mają z prasy, portali, wyszukiwarek. Podstawą jest zatem jej uporządkowanie i przekazanie odrobiny teorii na rzeczywistych przypadkach użycia, mówiących o tym, do czego inne organizacje z danego sektora wykorzystują GenAI. Bez tego trudno oczekiwać od użytkowników, że sami wymyślą interesujące Use Case’y.

Jednocześnie ważne jest budowanie świadomości wśród użytkowników, zarządzanie ich oczekiwaniami, bo sztuczna inteligencja częściej nie działa niż działa. I w to, aby zaczęła działać, trzeba włożyć dużo pracy. Nawet jeżeli zbudujemy Proof of Concept, w określonym obszarze, dla jednego departamentu, czy kilku departamentów, obsługujących jeden proces, to będą go testować użytkownicy. Trzeba ich zatem nauczyć, co to znaczy testować, czego mają się spodziewać, jaki mają dać feedback.

Strona inżynierska często nie jest w stanie ocenić projektu biznesowego. Jeżeli to jest jakaś specyficzna rzecz, np. czat, który odpowiada za regulacje prawne, unijne, inwestycyjne, to inżynier nie jest w stanie ocenić poprawności odpowiedzi w 100%, a czasem nawet w 10%. Jeżeli nie zbudujemy świadomości wśród użytkowników i nie nauczymy ich, co to znaczy testować, to pierwsza iteracja wyniesie może 30% poprawnych odpowiedzi.

Wyedukowanie użytkowników jest absolutnie kluczowe, szczególnie, że tak jak wcześniej mówiliście, na razie – jeżeli chodzi o automatyzację narzędzi do testowania – jesteśmy w początkowym, raczkującym wręcz obszarze. Ta weryfikacja głównie opiera się na ludziach.

Polecam podcast pod tytułem „Unconfuse Me”, gdzie Bill Gates zadaje Samowi Altmanowi z OpenAI pytanie, czy rozumie modele LLM. I on sam mówi: „Nie rozumiemy ich. Używamy. Działają. Być może kiedyś zrozumiemy. A jak zrozumiemy, to je poprawimy, aby działały jeszcze lepiej”. W kontekście wdrożeń produkcyjnych, oddanie rozwiązań AI w ręce niewyedukowanych użytkowników jest sporym ryzykiem. Oni bardzo szybko się przyzwyczają, że cokolwiek ten model odpowiada, odpowiada mądrze, a w związku z tym, na pewno jest to prawda. Szybko oduczą się weryfikacji odpowiedzi.

Często obserwuję, że w czasie testów jakiegoś rozwiązania, wszyscy poprawią odpowiedzi modelu, bo są niegramatycznie. Po czym, gdy ten sam model – już na produkcji – generuje oczywiste “głupoty”, przysłowiowy użytkownik „łyka to jak żabę”, bo przyzwyczaił się ufać temu rozwiązaniu. Nie ma nieomylnych ludzi. Nie ma też nieomylnych urządzeń czy oprogramowania. Ogromnym problemem jest jednak to, że narzędzia AI z jakiegoś powodu budują duży poziom zaufania wśród użytkowników, którzy decydują się na korzystanie z nich.

Microsoft podchodzi do tego problemu najpoważniej ze wszystkich dużych graczy, dlatego, że wszędzie dodaje dopisek „preview” lub „beta”. Mają świadomość jak duża jest zmienność tej technologii. Użytkownik wyedukowany będzie dużo bezpieczniej posługiwał się takimi narzędziami niż osoba, która nie ma choćby podstawowej wiedzy dotyczącej funkcjonowania modeli AI.

Także my zaczęliśmy od edukacji, organizowania szkoleń, spotkań z ciekawymi ludźmi, którzy biznesowo inspirowali użytkowników, pokazując im do czego można użyć GenAI. Dopiero potem ogłosiliśmy wśród użytkowników konkurs na trzy, najlepsze pomysły, na których to przećwiczymy.

M.Cz.: Wszystko zależy od poziomu dojrzałości organizacji, bo jeżeli ktoś wcześniej stosował algorytmy ML, to jest w zupełnie innym miejscu, niż np. organizacja finansowa, która dopiero wchodzi w GenAI. Natomiast myśmy nie zakładali, że pierwsze trzy projekty – bez względu na to, jak one będą transformatywne dla organizacji czy procesu – skończą się benefitami. Raczej traktujemy to jako naukę tego czym jest model, jakie są jego strony dodatnie i ujemne. W kolejnych etapach ta świadomość będzie już na innym, wyższym poziomie.

REGULACJE DOTYCZĄCE SZTUCZNEJ INTELIGENCJI

Wyjaśnialność, regulacje i bezpieczeństwo użycia AI? Czy coraz częściej będziemy spotykać się z tym zagadnieniami?

Ł.W.: Jakiś czas temu w Wielkiej Brytanii – pod auspicjami Rishi Sunaka, premiera Wielkiej Brytanii – zorganizowano konferencję branżową. Do dostawców dużych modeli AI – a był tam obecny AWS, IBM, Microsoft i Google – wysłano 9 pytań, które sprawdzały się do wyjaśnialności w kontekście bezpieczeństwa. Warto pamiętać, że kontekst wyjaśnialności stał się bardzo interesujący dla regulatorów rynkowych, w tym dla angielskiego FCA.

Z punktu widzenia bezpieczeństwa korzystania z modeli LLM regulatorzy zachodni, którzy byli obecni na konferencji bardzo jasno wskazywali, że dla nich pytanie o wyjaśnialność będzie jednym z podstawowych, jakie będą zadawali podmiotom regulowanym, które kontrolują. Z kolei wszyscy ich dostawcy mówili o tym, że jeżeli dostaną od regulatora pytanie na temat wyjaśnialności, to gdyby nawet chcieli być szczerzy do bólu, to nie wiedzą, jak odpowiedzieć – bo nie wiedzą jak dokładnie ich rozwiązanie działa.

Czy Wy się zderzacie z takim myśleniem? Ktoś powiedział, że będzie z tym jak z chmurą. Jeśli będą pytać czy dane są bezpieczne, to powinni zapytać Microsoft, bo ja tylko korzystam z ich usług, nie pytajcie mnie więc jak to działa. Ja nie mam pojęcia, ja po prostu robię sobie na tym swój biznes.

M.Cz.: Zasadnicza różnica polega na tym, że o ile wcześniej można było szczegółowo wyjaśnić jak działają wszystkie mechanizmy w chmurze, o tyle w przypadku modeli ML/AI może to nie być w ogóle możliwe. Wielkie modele oparte są na sieciach neuronowych, gdzie wagi poszczególnych połączeń dobierane są na podstawie uczenia na ogromnymi zbiorami danych, co skutkuje brakiem możliwości przewidzenia dokładnej odpowiedzi na dane wejściowe. Oznacza to, że nigdy raczej nie da się jednoznacznie wskazać dlaczego AI zareagowało w taki, a nie inny sposób.

Ł.W.: Ale czy jest poziom, kiedy możemy powiedzieć, dobrze, do tego momentu jeszcze mniej więcej wiemy, z czego to wynika, ale w którymś momencie następuje zupełne odcięcie. Pojawia się Sam Altman i mówi – nie wiem, nie rozumiemy do końca tych modeli. Ciężko uwierzyć, że regulatorzy będą akceptować takie sformułowania.

A.Ć.: Myślę, że jest to kwestia tego, co rozumiemy przez wyjaśnialność. Od strony matematycznej szukamy po prostu jakiegoś ekstremum lokalnego licząc, że będzie to jednocześnie ekstremum globalne tej wielowymiarowej funkcji, którą reprezentuje nasz model. Natomiast dlaczego takie, a nie inne współczynniki zostały poustawiane, to zależy od tego, jakie będziemy dostarczać dane.

Generalnie model znajdzie w większości wypadków jakieś najbardziej prawdopodobne statystycznie rozwiązanie i spróbuje dopasować wagi, tak, aby znaleźć ekstremum globalne. Natomiast my do końca nie wiemy, czy to będzie ekstremum globalne, lokalne, czy kompletny błąd, poza tym może się to zmienić z upływem czasu.

Od strony matematycznej rozumiemy zatem, jak przebiega proces, dlaczego zostały takie dane i takie wagi ustawione, bo opracowaliśmy określoną architekturę i wprowadziliśmy określony zestaw danych. Jeżeli wprowadzimy inne, spowoduje to wygenerowanie innych wag.

P.S.: Sam proces uczenia jest deterministyczny, bardziej chodzi o dostarczenie wyjaśnienia przy inferencji: dlaczego dla danego przypadku jest taka predykcja, a nie inna? Dlaczego ktoś ma uzyskać odszkodowanie, a ktoś nie? Dlaczego szkoda była zakwalifikowana? Dlaczego jest to rak? Moim zdaniem tego problemu nie uda się rozwiązać na podstawie samej analizy ustawionych wag w modelu. To analogiczne, gdyby próbować dekodować procesy myślowe na podstawie analizy wyładowań synaptycznych. Opracowanie takich metod będą godne nagrody Nobla.

B.R.: W wielu przypadkach budowałem modele, których celem było zrozumienie czegoś, czego my nie jesteśmy w stanie zrozumieć. Nawet jeżeli byśmy mieli sposób na wyjaśnienie, to nie bylibyśmy w stanie jego zrozumieć. Chodzi o zbudowanie modelu, który działa na takim poziomie abstrakcji i potrafi uwzględnić tyle zmiennych, że nawet gdybyśmy dostali pracę doktorską wyjaśniającą jeden przykład, to byśmy nic z tego nie zrozumieli.

T.G.: Możemy to zrozumieć jakoś podświadomie, ale nie jesteśmy w stanie świadomie tego wyjaśniać. To jest trochę tak, jakby pytać dlaczego ktoś, kto ma duże doświadczenie w jakimś obszarze podejmuje taką, a nie inną decyzję oraz próbować szukać wyjaśnienia, dlaczego akurat tak postąpił. Jego doświadczenie po prostu pozwoliło mu wyrobić sobie intuicję i w pewnym sensie w podobny sposób działają te modele.

P.S.: Myślę, że wyjaśnialność stanie się zagadnieniem, na którym będziemy się skupiać poszukując odpowiedzi na pytanie jak projektować rozwiązania AI, by móc zrozumieć dlaczego podjęły taką, a nie inną decyzję. Czy faktycznie za tym stoi jakaś intuicja?

Pewne rzeczy nie są w pełni wyjaśnialne, np. ocena zmian na obrazowaniu, ponieważ często nie da się tego zrobić bez Deep Learningu. Można natomiast model douczyć tego, co wskazuje na to, czy dana zmiana jest rakowa czy nie według specjalistów. Trzeba zaangażować kilku radiologów, którzy opiszą setki przypadków, aby przygotować taki zbiór danych.

Jakie są najbardziej perspektywiczne rozwiązania, modele, koncepcje AI?

K.R.: Z mojego punktu widzenia warto skupić się na tym, które modele pozwalają obniżać koszty. Obniżając je, zwiększamy zyski organizacji. Duży nacisk w rozwoju AI pójdzie właśnie w stronę tych rozwiązań, które pomagają w obsłudze całych cykli życia produktów oraz automatyzacji procesów w firmie.

M.Cz.: O ile będziemy zmuszeni przez naszą konkurencję – aby nie zostać w tyle – wprowadzać wiele, innowacyjnych rozwiązań do prowadzenia biznesu, to żadna ze stron nie zbuduje dzięki temu znacznej przewagi nad resztą. Natomiast zwiększenie zysków następuje również poprzez obniżenie kosztów i w tym zakresie firmy mają najwięcej do uzyskania poprzez wsparcie AI.

B.R.: Jeżeli firma ma zamiar koncentrować się na wdrażaniu sztucznej inteligencji, to oczywiście może wprowadzać rozwiązania oparte na GenAI. Jednakże, to niekoniecznie zagwarantuje jej zasadniczą przewagę rynkową.

Gdybym miał opracowywać strategię biznesową opartą na AI, doradziłbym, że w kwestii GenAI możemy bez obaw czerpać inspirację z działań innych firm. Nie ma potrzeby, abyśmy wyprzedzali rynek w tym obszarze. Naturalnie, jeśli chcemy bazować na GenAI w budowaniu naszego wizerunku marketingowego, wówczas warto znajdować się na czołowych pozycjach, lecz powinniśmy to robić z pełną świadomością, że samo w sobie to prawdopodobnie nie przekształci znacząco naszego biznesu.

Każda firma ma w modelu biznesowym obszar, w którym zaangażowanie AI może diametralnie zmienić istotę działalności. Na przykładzie naszej firmy, mimo iż dużo inwestujemy w istniejące rozwiązania GenAI, nie uważamy, że zdobędziemy dzięki nim pozycję lidera.

Natomiast tym, co wywróci nasz biznes do góry nogami, będzie wdrożenie wirtualnych developerów. Nagle tę samą pracę, którą dziś wykonuje 400 programistów, za kilka lat będzie wykonywać 20 operatorów AI. Jeżeli będziemy pionierami tej zmiany, to wywrócimy stolik.

Każda firma może zostać w ten sam sposób przetransformowana przez AI.