Avanade: jakość danych decyduje o możliwości wykorzystania potencjału AI

Z Narcyzem Adamusem, dyrektorem działu Analytics Architecture w Avanade rozmawiamy o: oczekiwaniach liderów biznesu i IT względem rozwiązań opartych na sztucznej inteligencji; problematyce Data Governance; skutkach ekscytacji rozwiązaniami typu ChatGPT; korzyściach i wyzwaniach towarzyszących wdrażaniu AI; możliwościach nowego środowiska Microsoft Fabric oraz praktycznych doświadczeniach Avanade związanych z wdrożeniem zaawansowanej analityki.

Za sprawą generatywnej AI mamy do czynienia z wyjątkowym wzrostem zainteresowania wykorzystaniem sztucznej inteligencji. Jakie są oczekiwania liderów biznesu i IT wobec niej? Na ile „hype” utrudnia pragmatyczne, efektywne zaadaptowanie rozwiązań AI?

Fala zainteresowania sztuczną inteligencją wywołana udostępnieniem użytkownikom trzeciej edycji ChatGPT spowodowała ogromny wzrost oczekiwań co do wykorzystania tak pojmowanej, łatwej w obsłudze AI w biznesie. Zresztą wiele osób już teraz na własną rękę używa tego typu narzędzia w pracy.

Trzeba jednak odróżnić generatywną AI od tego, co realnie możemy wykorzystać w organizacjach biznesowych, które działają zgodnie z wewnętrznymi zasadami, ale też podlegają określonym regulacjom zewnętrznym. Dla takiego wdrożenia niezbędny jest tzw. business case, czyli uzasadnienie biznesowe. Inaczej byłaby to mrzonka, a nie efektywne zastosowanie. Oczywiście są ludzie, którzy już mają pomysły na ciekawe wykorzystanie generatywnej AI w realiach biznesowych i dobrze jest pozostawić trochę miejsca na eksperymentowanie – jest to zresztą znakomita przestrzeń do ćwiczenia kreatywności. Ale takie podejście oznacza wówczas także zgodę na dodatkowe koszty.

A zyski?

W sondażu przeprowadzonym na potrzeby raportu Avanade Trendlines, zdecydowana większość – bo aż 85% ankietowanych – liderów biznesu i IT ocenia, że wykorzystanie AI w najbliższych 18–24 miesiącach zwiększy przychody ich firm. Co to jednak oznacza? Trzeba wyraźnie rozgraniczyć obecny „hype” od rozwiązań, które mogą zostać użyte w procesach biznesowych i spełniają kryteria bezpieczeństwa, jakości i odpowiedzialnego zarządzania.

Wspomniany ChatGPT stanowi dziś pewnego rodzaju zabawkę, której wykorzystanie w scenariuszach biznesowych nie jest możliwe ze względu na wymienione kryteria. Skoro ChatGPT nie nadaje się bezpośrednio do wykorzystania w celach biznesowych, to tym samym nie wygeneruje dla firmy realnej wartości biznesowej.

Co więcej, osadzenie OpenAI na platformie Microsoft Azure wprowadza dla użytkownika dodatkowe ograniczenia. Wynik ChatGPT dostępny dla odbiorcy końcowego musi być zweryfikowany przez Microsoft. Pomiędzy wsparciem, które oferuje czat dla użytkowników indywidualnych, a całościową automatyzacją procesu w oparciu o generatywną AI jest duża różnica.

Czego zatem dotyczą te przewidywania 85% optymistów? W jaki sposób AI miałoby podnosić przychody? Mimo wszystko w pierwszej kolejności na myśl przychodzi wykorzystanie przy wytwarzaniu oprogramowania.

Zastosowanie AI w wytwarzaniu oprogramowania to świetny przykład, który pozwala też zobrazować wspomnianą różnicę. GitHub Copilot, czyli narzędzie skonstruowane w oparciu o AI, wspomaga, ale nie zastępuje programisty. To człowiek przygotowuje szablon, ideę rozwiązania, a AI tworzy podstawę kodu aplikacyjnego. Nie jest to jednak gotowe rozwiązanie. Potrzebna jest wiedza programisty, aby ten kod dopracować, uruchomić i dostarczyć odbiorcy gotową aplikację.

Należy podkreślić, że takie wsparcie będzie przydatne szczególnie w nowych dla programisty obszarach, w których brakuje mu doświadczenia. Posiadając ogólną wiedzę o programowaniu, będzie mógł na bazie uzyskanych w ten sposób podstaw kodu zbudować działające rozwiązanie.

Ciekawe, w którą stronę te rozwiązania skierują rozwój programistów? Może taki model wykorzystania AI odwróci obecny trend pogłębiających się specjalizacji? Mając ogólną wiedzę o programowaniu, z Copilotem można wyobrazić sobie płynne wykorzystanie nawet kilku języków czy platform równolegle, stosownie do potrzeb.

Dokładnie. Nawet jeśli zamkniemy się w ramach jednego języka, to mamy wiele różnych zastosowań, niekiedy bardzo odmiennych. Jeśli zatem programista będzie chciał wykorzystać podstawową wiedzę, aby napisać coś z myślą o nowym dla siebie obszarze, to dzięki wsparciu narzędzia typu GitHub Copilot zdecydowanie szybciej nauczy się tworzyć rozwiązania z tego obszaru. Programista rozumie otrzymany kod, widzi, co zostało wygenerowane jako gotowe recepty wykorzystania bibliotek czy frameworków. Może więc wyciągać własne wnioski.

W jaki sposób należałoby przetworzyć półprodukt wytworzony przez generatywną AI, aby uzyskać rozwiązanie działające według standardów przyjętych w firmie?

Potrzebna jest „warstwa filtrująca”, strzegąca tego, co pozostaje wypuszczone do użytkownika końcowego, np. w automatyczny sposób weryfikująca, czy opracowane rozwiązanie jest zgodne z obowiązującym prawem czy wymogami etycznymi. W taki sposób działać będzie „warstwa filtrująca” w Azure OpenAI. W tym celu gromadzona jest wiedza od użytkowników uczestniczących w testach ChatGPT. Wnioski z tych testów posłużą do stworzenia reguł i ram działania. Aby zapewnić ocenę i uruchomienie odpowiednich działań w czasie rzeczywistym narzędzie filtrujące musi być w pełni automatyczne.

Dlatego do oceny odpowiedzi generatywnej sztucznej inteligencji potrzebny jest kolejny model oraz silnik AI, który będzie – trzymając się ustalonych reguł – dopuszczał je lub blokował. Innego wyjścia nie ma. Informacji, które należy wziąć pod uwagę w takim procesie oceny jest zbyt dużo, aby dodatkowo angażować w to ludzi. Nie ma sensu obciążać ich nawet prostym zadaniem zatwierdzenia wyboru AI, byłaby to praca mocno powtarzalna.

Inne podejście będzie niezbędne w przypadku używania wyłącznie danych z własnych zasobów przedsiębiorstwa, np. danych o klientach i transakcjach. W takim wypadku mamy już bardzo silne reguły, które mogą weryfikować poprawność modeli oraz ich zastosowania, a także spójność i jakość danych. To zupełnie inna sytuacja. Wynik pracy AI w takich realiach, ze względu na zakres informacji i architekturę baz danych, zdecydowanie różni się od tego, czego możemy oczekiwać od generatywnej AI.

Abstrahując od tego, jak dalece odbiega dzisiejsza generatywna sztuczna inteligencja od definicji AI, tworzone przez nią odpowiedzi – nawet dla prostych zadań logicznych – często całkowicie podważają jej możliwość zastosowania „na poważnie”.

To prawda. Zdecydowanie idealizujemy – jako użytkownicy indywidualni – to, co dostajemy od generatywnej AI. Upraszczając, w „czarnej skrzynce”, jak dziś zwykliśmy określać generatywną AI, znajduje się algorytm uczenia maszynowego, który dostosowuje swoje odpowiedzi zgodnie z wcześniej zaobserwowanymi, dostarczonymi mu informacjami. W przypadku najprostszych sztucznych sieci neuronowych, jest to aproksymacja jakiejś funkcji. Stosując metodę uczenia się, zmieniając różne parametry, generatywna sztuczna inteligencja dostosowuje wynik do oczekiwań użytkownika. W ten sposób na podstawie wielu iteracji można wyszkolić model, który będzie w stanie przedstawić wynik także dla zestawu danych, których wcześniej nie znał. Dzięki temu wydaje się, że stoi za tym jakaś inteligencja.

Tymczasem jest to zwykła aproksymacja, wielokrotnie powtarzane obliczenia udoskonalające wynik. Jeśli wynik ten różni się od faktycznie zamierzonego w stopniu mniejszym niż założone odchylenie, to twórcy takiego modelu uznają go za poprawny i udostępniają szerokiemu gronu odbiorców.

Z kolei modele oparte na danych numerycznych, np. dotyczące produkcji czy działalności przedsiębiorstwa łatwiej ocenić, ponieważ mniej więcej wiemy, czego można się spodziewać po określonych zestawach danych. Próg akceptowalnego odchylenia może być zatem niższy.

W jaki sposób odnosi się to do możliwości użycia AI w biznesie?

Z punktu widzenia biznesu podstawowe pytanie dotyczy zbiorów danych, w obrębie których możemy się poruszać oraz oczekiwań istotnych z perspektywy prowadzonej działalności. Jeśli więc mamy do dyspozycji np. dane dotyczące zachowań klientów, to ich odpowiednia analiza pozwala odkryć wzorce i prawidłowości, które następnie można wykorzystać do zwiększenia sprzedaży.

Oczywiście jest to po prostu statystyka, metody matematyczne, różne modele zastosowane do wyprodukowania algorytmu, który na podstawie dostępnych danych będzie generował sugestie najbardziej efektywnych działań. Taka zaawansowana analityka istnieje na rynku od dawna, obejmuje metody statystyczne oraz Machine Learning i buduje modele statystyczne do tworzenia prognoz w czasie rzeczywistym. Jest to niezmiennie najbardziej obiecujący i efektywny sposób wykorzystania AI w biznesie.

Które sektory gospodarki są najbardziej zaawansowane w takim zastosowaniu AI?

Dzisiaj podział przebiega wskroś sektorów. W każdej branży działają duże przedsiębiorstwa, które wykorzystują zaawansowaną analitykę do prognozowania, segmentacji klientów czy działań z zakresu Predictive Maintenance.

Ze względu na ogromną liczbę klientów oraz interakcji z nimi, największe osiągnięcia w tej dziedzinie ma sektor finansowy. Organizacje z tej branży posiadają odpowiednią ilość danych, aby nauczyć model przewidywania określonych zdarzeń czy zjawisk. Świetnym przykładem są tu zautomatyzowane działania w zakresie wykrywania nadużyć.

Wiele przykładów zastosowania zaawansowanej analityki znajdziemy także w sektorze telekomunikacyjnym. Przykładem problemu, który tego typu analityka pomaga rozwiązywać są odejścia klientów, określane tzw. wskaźnikiem churn. Pierwsze prognozy przejścia klientów do innego operatora powstawały już ponad dekadę temu. Dziś tego typu zachowania klientów można dokładnie przewidywać, a idąc dalej, zapobiegać im, stosując odpowiednie działania sprzedażowe i marketingowe.

A jak to wygląda w przemyśle?

Zastosowanie sztucznej inteligencji ma kolosalny potencjał w sektorze przemysłowym. Linie produkcyjne wyposażone są w czujniki, które dostarczają ogromne ilości danych. Trzeba tylko umieć stworzyć modele korelujące ich odczyty, a następnie zbierające te dane i przetwarzające je we wnioski istotne pod kątem przebiegu procesów produkcyjnych i rozwoju biznesu. Często występuje tu jednak problem braku korelacji tych danych. Mieliśmy taki przypadek w hucie, w której gromadzono dane w domenach długości wytwarzanych produktów oraz czasu ich produkcji. Dopiero skorelowanie obu wielkości pozwoliło na zbudowanie modelu przewidującego, w którym miejscu linii produkcyjnej pojawia się wada mogąca w efekcie wygenerować koszty reklamacji. Taka wiedza przyniosła duże oszczędności, bo początkowo mieliśmy do czynienia z dwoma autonomicznymi zbiorami danych, z których nie można było wysnuć takiego wniosku.

Czy takie wyszukiwanie korelacji między danymi oraz budowa odpowiednich modeli pozostanie domeną firm technologiczno-doradczych, czy stanie się wewnętrzną kompetencją wielu organizacji?

Ten obszar należy przede wszystkim do domeny Data Science. Bez zobrazowania danych nie sposób dojść do wniosków. Jest to zarazem wiedza specjalistyczna i nie sądzę, aby przedsiębiorstwa były w stanie same ją wewnętrznie zbudować. Jednak projektowanie modeli osadzonych w kontekście firmy, jej biznesu, wymaga także specjalistycznej wiedzy o produkcji czy klientach. Bez tego nie można zweryfikować modelu analitycznego. Niezbędna jest zatem ścisła kooperacja pomiędzy inżynierami danych i użytkownikami biznesowymi. Wówczas pojawia się synergia. Tak właśnie było we wspomnianym przykładzie huty. Zastosowanie wewnętrznej wiedzy tej organizacji w połączeniu z ekspertyzą technologiczną specjalistów z zewnątrz pozwoliło stworzyć wspomniany model.

Oczywiście są już pewne ogólnie znane, uniwersalne zagadnienia, jak prognozy sprzedażowe i segmentacja klientów, w przypadku których dodatkowy kontekst biznesowy nie jest potrzebny. Jednak w wyspecjalizowanych firmach, szczególnie w przemyśle, jest to niezbędne.

Czy takie podejście do wykorzystania danych jest dziś powszechne? Czy firmy decydują się na wybór jakiegoś modelu adaptacji AI? A może jest to jeszcze udziałem grupki pionierów?

Podejście do wykorzystania danych jest pochodną kluczowej kwestii – sposobu ich przechowywania przez firmy. Bez dobrej jakości danych nie jesteśmy w stanie wyszkolić modelu AI. Jeśli znamy jakość danych, potrafimy ją poprawiać i zapanować nad całym procesem. Jeśli możemy zapewnić szybki dostęp do danych oraz możliwość ich przetworzenia, wówczas jesteśmy na dobrej drodze, aby je właściwie wykorzystać.

W przeciwnym wypadku, bez odpowiedniej kultury danych i podejścia Data Driven – projekt nawet nie wystartuje. Dopiero gdy w organizacji istnieje model Data Governance i precyzyjny podział odpowiedzialności za dane – z przypisaną osobą lub zespołem – wówczas możemy przystępować do zasadniczej pracy. Jeśli tych fundamentów brakuje, trzeba taką kulturę zbudować. Bez tego nie będzie szansy na stworzenie wiarygodnych modeli.

Czy Avanade angażuje się we współpracę z klientami także na takich, wstępnych etapach rozwoju, kiedy dopiero trzeba fundamenty takiej kultury danych wprowadzać?

Oczywiście, w naszej praktyce mamy zespoły specjalizujące się w adopcji kultury danych oraz wdrażaniu niezbędnych narzędzi. Niejednokrotnie wspieramy rozwój organizacji w zarządzaniu danymi od podstaw aż do uruchomienia centrów doskonałości. Wiele projektów, w których uczestniczymy, dotyczy po prostu podniesienia dojrzałości cyfrowej na wyższy, ale niekoniecznie najwyższy, poziom. W ramach takich inicjatyw tworzymy m.in. mapy drogowe i scenariusze rozwoju, a także na bieżąco wspieramy klientów w ich realizacji.

Mamy „hype” na ChatGPT, a czy na taką trudną, choć niezbędną zmianę również?

Moim zdaniem tak. Zainteresowanie kwestiami związanymi z uporządkowaniem danych i podejście do nich gwałtownie rośnie zwłaszcza wtedy, kiedy klienci zdają sobie sprawę, że mogą skorzystać z rozwiązania typu Copilot także w kwestiach jakości danych. Użytkownik może np. zapytać AI o metody weryfikacji jakości jego danych, a  Copilot wygeneruje odpowiedź, którą można sprawnie przełożyć na konkretny kod odpowiedniej procedury czy raportu. W tej chwili taki proces (obecnie dostępny jako „private preview”) jest możliwy na przykład przy użyciu rozwiązania Microsoft Fabric Copilot. Na podstawie opisu werbalnego może ono wygenerować od razu kompletny raport oraz propozycje kodu i niezbędnych obliczeń mających na celu poprawę jakości danych. W ten sposób możemy szybko opracować wstępny plan naprawczo-rozwojowy dla firmy rozważającej zaadoptowanie podejścia Data Driven w większym zakresie. Nic zatem dziwnego, że wiele organizacji decyduje się sięgnąć po takie wsparcie.

Czy poszukują Państwo nowych pracowników, którzy mogliby wspierać klientów w realizacji takich projektów?

Cały czas rozbudowujemy nasze zespoły i kompetencje. Rozwijamy też kompetencje w obszarach, które wprost odpowiadają potrzebom klientów. Na rynku widać np. głód wiedzy o tym jak – uwzględniając duże modele językowe (LLM) – planować projekty i budować rozwiązania, które pozwolą uzyskiwać konkretne korzyści biznesowe.

Wracając do kwestii danych, czy możliwe jest przyspieszenie budowy architektury i rozwiązań pozwalających szybciej zanurzyć się w nurt Data Driven? Czy takie nadzieje można wiązać np. ze środowiskiem Microsoft Fabric?

Microsoft Fabric jest przykładem usługi, która pozwala w bardzo efektywny sposób pracować z danymi, zapewniając użytkownikom różnych rozwiązań Microsoftu narzędzia, wykorzystujące mechanizmy dostępne dotąd jedynie w środowisku Microsoft Azure. Za sprawą Microsoft Fabric użytkownicy uzyskują dostęp do wspólnego, zwirtualizowanego jeziora danych Data Lake, łączącego wiele źródeł danych i umożliwiającego posługiwanie się nimi oraz ich przetwarzanie we wspólnym, spójnym standardzie Data Governance, z zachowaniem pełnej widoczności wszystkich operacji. W zależności od potrzeb, w Microsoft Fabric można więc wykreować prosty wykres albo stworzyć cały model uczenia maszynowego. Mamy tu do czynienia z prawdziwą demokratyzacją obszaru IT.

Unikamy w ten sposób istotnego nakładu pracy na obróbkę danych. One są już podpięte do jednego jeziora danych, co automatycznie gwarantuje ich jakość i spójność, dzięki wcześniejszej weryfikacji. Nie trzeba zatem dodatkowego przetwarzania. Co więcej, użytkownicy mają do nich łatwy dostęp. Można szybko stworzyć powiązania pomiędzy poszczególnymi zbiorami danych, aby zbudować model danych do raportowania czy zasilania algorytmów AI i ML.

W efekcie zaangażowanie użytkowników w proces obróbki danych z pomocą Microsoft Fabric sprowadza się do obserwowania spływających raportów, wyników analiz oraz podejmowania na ich podstawie konkretnych działań biznesowych. Jednocześnie Activator – komponent środowiska Microsoft Fabric – pozwala zautomatyzować wskazane działania na podstawie wyników raportu. Podążamy więc w stronę robotyzacji działań, bazując na uzyskanych danych. Platforma Microsoft Fabric jest obecnie dostępna w wersji poglądowej, ale do końca 2023 roku zostanie prawdopodobnie powszechnie udostępniona. Warto zatem śledzić jej możliwości.

Jakie argumenty najlepiej przekonują decydentów do doskonalenia zarządzania danymi?

Z pewnością będą to konkretne korzyści biznesowe. Przykładowo w sektorze produkcyjnym, dzięki zautomatyzowanej detekcji defektów w produktach wyjściowych, zostały osiągnięte wielomilionowe oszczędności miesięczne dla jednego tylko zakładu. Z kolei mechanizmy optymalizacji cenowej wprowadzone w firmie z sektora handlu detalicznego umożliwiły zwiększenie przychodów o miliony euro.

Przykłady te pokazują, że źródła korzyści bywają kosztowe i przychodowe. Wiele zależy od skali i specyfiki prowadzonej działalności. Oczywiście, potencjalne korzyści warto zawczasu szacować.

Z jakimi wyzwaniami w zakresie wiarygodności danych spotykają się Państwo najczęściej?

Podstawowym wyzwaniem jest wspomniana jakość danych. Zazwyczaj jej niski poziom wynika z braku kultury zarządzania danymi lub problemów w jej funkcjonowaniu. W niektórych organizacjach, nawet jeśli istnieją fundamenty Data Governance, to koncentrują się nie tyle na jakości danych, co na kwestiach technicznych i wydajnościowych. A faktem jest to, że kwestie jakości danych powinny pozostać domeną biznesową. Technologia natomiast ma (i potrafi) dostarczyć narzędzia do efektywnego zarządzania tą jakością. Posiadając wgląd w monitorowane problemy w zbiorach danych, biznes może szybko weryfikować i poprawiać przyjęte reguły i ograniczenia, utrzymując jakość danych na odpowiednim poziomie.

Zależnie od rodzaju działalności i struktury organizacji można zastosować różne, odpowiednio dopasowane modele Data Governance. Jednak modele te powinny być wdrożone, a następnie utrzymywane. Z reguły wysiłek włożony w ich wdrożenie dyscyplinuje organizacje. Pilnują one wówczas tego, aby utrzymywać standard działania w tym zakresie.

Newralgicznym momentem dla kwestii Data Governance w każdej firmie są różnego rodzaju zmiany organizacyjne, fuzje oraz integracje systemów. Nawet dołączenie kolejnej platformy raportowej z zachowaniem uporządkowanej łączności z systemami źródłowymi jest ogromnym wyzwaniem. Dla większości organizacji taka praca jest niewykonalna własnymi zasobami.

Jak często w rozmowach o uporządkowaniu danych napotykają Państwo na zdecydowany opór?

Rzadko, chyba że rozmowę rozpoczniemy od tematu ChatGPT (śmiech). Liczba anegdotycznych przykładów konfabulacji i błędów logicznych implementacji OpenAI w najprostszych zadaniach sprawia, że firmy ostrożnie podchodzą do prób zastosowania rozwiązań typu ChatGPT w poważnych inicjatywach biznesowych. Decydenci oczekują dziś konkretnych rozwiązań i kompleksowej koncepcji oswojenia kontekstu danych. Mówiąc o tym nie napotykamy muru, ale wysoko zawieszoną poprzeczkę. Poszukiwane są też dziś przejrzyste, zweryfikowane narzędzia i modele AI, w których od razu wiadomo, w jaki sposób powstaje konkretny wynik.

Mam wrażenie, że moda i ekscytacja ChatGPT staje się coraz węższa i nie dotyczy sfer decyzyjnych. Jest jednak potrzebna, bo zwraca uwagę na dostępne dziś możliwości. Na dużym, zamkniętym i wydzielonym repozytorium poufnych dokumentów firmy można wyuczyć model LLM, który – działając na zasadzie zbliżonej do ChatGPT – może prowadzić sensowny dialog z klientem lub ułatwiać pracownikom wewnętrzne zadania operacyjne. Takie rozwiązania już mamy. Podobnie jak pozytywne doświadczenia umocowane w szerszym kontekście biznesowym, z pełną świadomością celów, ograniczeń i potencjału.