Sztuczna inteligencjaBiznesPREZENTACJA PARTNERA

Bez chmury nie wejdziesz w świat Generative AI

Executive ViewPoint

Z Grzegorzem Chudkiem, Cloud First Leadem oraz Dawidem Osieckim, Head of Data & AI w Accenture w Polsce rozmawiamy o wnioskach z raportu Accenture Technology Vision 2024; projektach związanych z wdrożeniami GenAI; podejściu do nich i wyzwaniach, na jakie można się natknąć; Use Case’ach, w których się sprawdzają; konieczności posiadania doświadczeń chmurowych oraz nowych architekturach, które jedynie część informacji przekazują do LLM-a, obniżając dzięki temu koszty jego użycia.

Bez chmury nie wejdziesz w świat Generative AI
Grzegorz Chudek, Cloud First Lead w Accenture w Polsce Źródło: Accenture

Większość prognoz biznesowych i technologicznych koncentruje się dziś wokół zastosowań AI. Czy to jest bardziej kreowanie trendu, prognozowanie przyszłych, czy aktualna potrzeba klientów?

Grzegorz Chudek (G.Ch.): To, co pokazujemy w swoich raportach – takich jak niedawno opublikowany Accenture Technology Vision 2024 – to prognozy. Niewątpliwie jednak świat oczekuje przyspieszenia użycia rozwiązań AI i Generative AI oraz innowacji w tym zakresie. Jeśli zaś mówimy o polskim rynku, to raczej jesteśmy jeszcze na etapie kreowania trendów. Pokazujemy klientom jak – dzięki AI – mogą przyspieszyć rozwój. W efekcie wspieramy ich innowacyjność.

Gdy klienci przychodzą i mówią, że chcą dokonać usprawnienia jakiegoś procesu na podstawie GenAI, pierwsze pytanie, jakie im zadajemy to, czy mają już subskrypcję chmurową? Często odpowiedź brzmi, nie. Tymczasem jest to niezbędny element tego typu projektów – Grzegorz Chudek, Cloud First Lead w Accenture w Polsce.

Czy stoimy w obliczu przełomu technologicznego, który wesprą narzędzia AI/GenAI? A jeśli tak, to jakie będą jego skutki?

G.Ch.: Raport pokazuje rzeczywistość, która za chwilę będzie nas otaczać. GenAI jest elementem hype’u, z którym mamy dziś do czynienia. Jako Accenture, robimy już jednak setki tego typu projektów generujących realne zyski. Ważne jest, aby firmy zrozumiały, że tego typu projekty stanowić będą ich przewagę konkurencyjną. Im szybciej rozpoczną eksperymentowanie z rozwiązaniami sztucznej inteligencji, a potem zrealizują docelowe projekty, tym mniejsze jest ryzyko, że zostaną w tyle za konkurencją.

Najważniejsze w tym wszystkim jest to, że rozwiązania GenAI znacząco przyspieszają wprowadzanie innowacji w organizacji. Dzieje się tak, bo nie można przypisać tej technologii do konkretnego procesu, miejsca czy człowieka. Zapewnienie pracownikom powszechnego dostępu do takich narzędzi znacząco przyspieszy cyfrową transformację wielu obszarów biznesowych. Wzmocni innowacyjność. Będzie naturalnie wrastać w firmę. Dzięki temu dostanie ona „przyspieszenia”.

GenAI to technologia, która zmieni rzeczywistość, sposób naszego myślenia. Nie jest scentralizowana w jednym miejscu, zakodowana w ramach jednego systemu. Powinna być – w miarę możliwości – powszechnie dostępna w organizacji. Będzie zmieniać bardzo dużą jej część.

W kontekście komunikacji ludzi z „maszynami” jest to zmiana jakościowa, nie ilościowa. Nie znaczy bowiem, że szybciej potrafimy pisać na klawiaturze, ale to, że potrafimy inaczej komunikować się z nimi. A to będzie niosło konsekwencje, jeśli chodzi o obsługę procesów, klientów i wiele, wiele innych aspektów w organizacjach na całym świecie. Zmiany będą wynikały ze zmiany sposobu komunikacji, które zapoczątkował ChatGPT.

Rozwiązania GenAI znacząco przyspieszają wprowadzanie innowacji w organizacji. Dzieje się tak, bo nie można przypisać tej technologii do konkretnego procesu, miejsca czy człowieka. Zapewnienie powszechnego dostępu do takich narzędzi przyspieszy cyfrową transformację – Grzegorz Chudek. 

Czy przełomem był więc listopad roku 2022, kiedy OpenAI udostępnił nam ChatGPT 3.5? Wówczas nastąpił skokowy wzrost zainteresowania i liczby projektów związanych z wdrożeniem AI? Czy też mieliśmy już z nimi do czynienia dużo wcześniej?

G.Ch.: Projekty związane z wykorzystaniem narzędzi AI realizujemy od bardzo dawna. Ich ilość jest mniej więcej stała. Idą one swoim, dotychczasowym torem. Od listopada widać jednak eksponencjalny wzrost zainteresowania i liczby projektów w obszarze GenAI.

Jeden z wniosków w raporcie stwierdza, że AI zacznie myśleć tak, jak my i powstanie jako system podmiotów współpracujących ze sobą, wspierających zarówno nas, jak i nasze organizacje. Co to znaczy?

G.Ch.: Podam przykład, który pozwoli to łatwiej zrozumieć. Dzisiaj, jeśli dwa systemy IT chcą ze sobą wymieniać informację, to trzeba zbudować odpowiednie interfejsy pomiędzy nimi. To wymaga dedykowanego projektu i inwestycji. GenAI upraszcza zaś tę komunikację dzięki zastosowaniu języka naturalnego. To on staje się nowym interfejsem.

Gdyby większość systemów była w stanie wykorzystać GenAI do konwersji danych i zmiany komunikacji na język naturalny, to stałby się on naturalnym interfejsem pomiędzy wszystkimi systemami na świecie. Nie jest obca mi wizja, w której agenci GenAI – przypisani do poszczególnych systemów IT – będą komunikować się ze sobą tak, jak my. On będzie jedynym, wspólnym interfejsem. Nie trzeba będzie budować dedykowanych API.

Jeśli poprosilibyśmy wówczas nasz smartfon, aby załatwił nam jakąś sprawę, to byłby on w stanie skomunikować się – językiem naturalnym – z szeregiem agentów systemów zewnętrznych. W ten sposób mógłby „załatwić” naszą sprawę, np. zarezerwować lot, pokój w hotelu i taksówkę z lotniska. Budowa takiego ekosystemu agentów jest w tej chwili omawiana globalnie. Wbrew pozorom pokazuje to, jak bardzo komunikacja się dziś upraszcza.

Dawid Osiecki (D.O.): Myślę, że jeszcze chwilę zajmie nam to, aby móc zobaczyć to w dużej skali. Dziś działa to wciąż w jedną stronę. Mogę np. zadzwonić do call center i zostanę tam obsłużony w języku naturalnym przez sztuczną inteligencję. Już się to odbywa.

Natomiast nie jest jeszcze możliwe, abym mógł wydać polecenie „osobistej AI”, która zadanie to rozplanuje, podzieli na etapy, skonsultuje się z innymi AI, a następnie wróci do mnie z oczekiwaną odpowiedzią. Dojście do tego poziomu to wciąż wizja przyszłości.

Stworzone w 2017 roku w Laboratorium Facebook Artificial Intelligence Research chatboty miały za zadanie negocjować ze sobą w jak najbardziej efektywny sposób. Wpadły więc na pomysł wytworzenia własnego języka, bardziej skutecznego niż angielski. Może więc ten naturalny nie jest zbyt efektywny?

G.Ch.: Mamy już komputery, które grają same ze sobą w szachy. Dlaczego nie mają ze sobą rozmawiać.

D.O.: To ciekawe zagadnienie. Szczerze mówiąc nie wiemy, co w takiej sytuacji się wydarzy. Myślę, że na razie ten specyficzny scenariusz to dopiero wizja.

Bez chmury nie wejdziesz w świat Generative AI
Dawid Osiecki, Head of Data & AI w Accenture w Polsce Źródło: Accenture

Mamy kod, który autonomicznie dzieli bardziej złożone problemy i dobiera odpowiednie sposoby odpytywania z odpowiednio dobranych źródeł, z których LLM powinien wyciągnąć informacje. Kompiluje najlepsze wyniki, przy okazji optymalizując czas odpowiedzi – Dawid Osiecki, Head of Data & AI w Accenture w Polsce

Co zrobić, aby projekty związane z AI/GenAI wyszły z fazy testów, przestały być zabawką?

G.Ch.: Sami zastanawialiśmy się niedawno, kiedy klienci wyjdą z fazy weryfikacji technologii AI i jej testów. Na świecie wszędzie wygląda to mniej więcej identycznie. W tej chwili są kończone projekty Proof of Concept. Tworzone są scenariusze użycia AI na szerszą skalę. Jesteśmy w momencie, w którym większość – nie tylko bogatych firm – jest po pierwszych pilotach i testach. Teraz przygotowują one scenariusze tego, w jaki sposób i gdzie użyć rozwiązań AI na szerszą skalę w sposób bezpieczny.

Tworzenie regulacji w Unii Europejskiej nie jest jeszcze zakończone. AI Act jest uzgodniony, ale nie ma lokalnych implementacji prawnych. Wiele tematów jest więc jeszcze otwartych. Każda organizacja rozumie jednak, że jak nie zacznie dziś eksperymentów z AI, to potem będzie miała problem. Ich przedstawiciele przechodzą do przygotowania scenariuszy wdrożenia AI, opracowania elementów procesów, które będą chcieli zmienić.

Myślę, że za rok spotkamy się już z pełnowymiarowymi, dużymi projektami GenAI, które będą istotnie modyfikowały procesy w dużych korporacjach. Dzisiaj na masową skalę z narzędzi GenAI korzystają kancelarie prawne, firmy z branż edukacyjnej i kreatywnej. Rynek Enterprise będzie się dopiero do tego przygotowywał.

Use Case oparty na GenAI bardzo szybko ukaże namacalne korzyści. Dzięki temu możemy przekonać organizację, poprawić adaptację tego typu rozwiązań, by zająć się bardziej skomplikowanym projektem AI. A jest nim np. wdrożenie nowoczesnych platform danych – Dawid Osiecki.

Jakiego typu procesów dotykają te zmiany?

G.Ch.: Nasi klienci zaczynają od procesów wewnętrznych, wsparcia własnych pracowników m.in. w zakresie wymiany wiedzy w organizacji czy wsparcia proceduralnego, aby nie musieli oni np. czytać tysięcy stron dokumentacji dotyczących spraw, w których dzwonią klienci.

Firmy zaczynają od wewnętrznych procesów po to, aby nie wystawiać GenAI na kontakt z klientem. Projekty, które teraz rozpoczynamy, będą już obsługiwały klientów końcowych. Za chwilę nastąpi ten moment, w którym nie będziemy wiedzieli, czy rozmawiamy z GenAI, czy z człowiekiem.

D.O.: Najczęstszy Use Case, od którego większość firm zaczyna przygodę z GenAI, to budowa tzw. bazy wiedzy. Często jest ona odłączona od internetu, aby ograniczyć halucynacje publicznych narzędzi GenAI. Ograniczona jest też do kilku długich, zazwyczaj nudnych dokumentów wewnętrznych, które także często nie są jasne i spójne. Rozwiązania GenAI oferują wsparcie w szybkim podejmowaniu decyzji lub dostarczeniu podpowiedzi.

Jakie są najbardziej obiecujące narzędzia AI? Czy warto eksperymentować z publicznie dostępnymi modelami LLM, takimi jak np. Meta Llama2, który pobrało już ok. 30 mln użytkowników?

D.O.: Jak najbardziej tak! Mamy własne, bardzo świeże wyniki eksperymentów z takimi modelami. Mogą być one w pełni lokalne i nieograniczone cenzurą czy określonymi politykami, które są narzucane przez te duże modele.

Na pewno wartym uwagi modelem jest europejski Mixtral. Co prawda nie ma on jeszcze wspomagania dla języka polskiego, ale wspiera już kilka głównych języków europejskich, w tym angielski. Jest zaskakująco skuteczny. Przy niewielkim „douczeniu” jest w stanie dostarczyć wyjątkowo dobre wyniki, konkurujące nawet z dużymi modelami LLM. Na pewno ten kierunek warto rozważyć.

Natomiast trzeba zaznaczyć, że wymaga to na starcie nieco więcej pracy, niż odpytanie najbardziej znanego nam dziś ChatGPT czy Gemini.

Temat kosztów LLM jest bardzo złożony. Zależy, tak jak mówisz, od długości zapytania, ilości tokenów, modelu, którego używasz, a te mogą różnić się od siebie nawet o dwa rzędy wielkości. Kluczem jest więc dobre zaprojektowanie aplikacji – Grzegorz Chudek.

W jakich zastosowaniach sprawdza się Mixtral?

D.O.: Jest w stanie robić te same, typowe Use Case’y, które wspierają duże modele LLM, czyli tworzenie tzw. baz wiedzy, generowanie treści, tłumaczeń, a także syntezy, analizy i przygotowywanie różnego rodzaju podsumowań. Są też w stanie udzielać jakościowych odpowiedzi na pytania potencjalnie groźne. Dlatego ten open source wymaga jeszcze lepszych zabezpieczeń.

G.Ch.: Modele open source, które można ściągnąć i postawić we własnym centrum danych, mają tę zaletę, że nie wystawia się swoich danych do publicznych sieci. A to oznacza, że część rynków regulowanych może mieć pokusę, aby z nich korzystać, bo nie przechodzą przez procesy regulacyjne.

To może być jednak „zabawka” dla bogatych firm. Utrzymywanie i rozwój takiego modelu będą kosztowne. Jeśli chcemy go douczyć, to trzeba będzie wykorzystać do tego bardzo dużą moc obliczeniową. Potrzebny będzie również czas.

Z całą pewnością rynek zastosowań LLM będzie się rozdzielał. Tam gdzie coś musi być wykonane w środowisku on-premise, stosowane będą modele open source. Co ciekawe, ten problem został zrozumiany też przez duże firmy chmurowe. One również sprzedają w tej chwili modele LLM jako rozwiązanie „pudełkowe”, które można wstawić do własnego centrum danych.

Ta gałąź rynku powstaje dla tych organizacji, które nie chcą „otwierać” danych, ale mają pieniądze na rozwój. Inna część firm po prostu na razie nie publikuje danych, czekając, aż rozwiązane zostaną problemy douczania ich w przypadku dużych modeli LLM przez dane publiczne.

W raporcie State of AI znalazłem stwierdzenie, że za kilka lat mogą skończyć się publiczne dane stworzone przez ludzi niezbędne do uczenia modeli LLM. Czy to znaczy, że coraz częściej maszyny będą tworzyć własne dane?

D.O.: To już miało de facto miejsce w przeszłości. Nawet bardziej zaawansowane bazy danych tworzą własne dane testowe.

G.Ch.: Już dziś jednym ze sposobów wykorzystania GenAI jest tworzenie danych do testów GenAI. Nawet na naszych projektach – kiedy chcemy przetestować daną aplikację opartą na generatywnej, sztucznej inteligencji – nie prosimy klienta o przygotowanie danych testowych. Tworzymy je za pomocą innego modelu/aplikacji opartej na GenAI.

Najczęstszy Use Case, od którego większość firm zaczyna przygodę z GenAI, to budowa tzw. bazy wiedzy. Często jest ona odłączona od internetu, aby ograniczyć halucynacje publicznych narzędzi GenAI. Ograniczona jest też do kilku długich, zazwyczaj nudnych dokumentów – Dawid Osiecki.

W jakich obszarach biznesu można oczekiwać najszybszych do osiągnięcia korzyści związanych z wykorzystaniem AI lub GenAI?

D.O.: Jedno z ostatnich, zrealizowanych przez nas wdrożeń, które działa niemalże w czasie rzeczywistym, dotyczyło kwestii podsumowywania i tworzenia sprawozdań ze spotkań zarządu jednego z dużych banków. Wcześniej parę tygodni zajmowało spisywanie przez człowieka transkrypcji nagrań z nich, a następnie analizowanie i tłumaczenie ich na kilka języków.

Teraz, w ciągu kilku minut po spotkaniu jest gotowy kilkudziesięciostronicowy dokument. Może być niemal natychmiast przesyłany do Komisji Nadzoru Finansowego. Jest też lepszej jakości niż to, co wcześniej było robione manualnie. Widzimy zainteresowanie tego typu narzędziem wśród innych banków. Ten Use Case jest przenaszalny na inne sektory.

Innym, ciekawym naszym wdrożeniem jest VeloMarket.pl. Jest to – oparte na GenAI – rozwiązanie, które wspiera bardziej ekologiczne, świadome zakupy. Klasyfikator oznacza tagiem „Velo” produkty zgodne z wartościami promowanymi przez bank i generuje opisy uzasadniające taki wybór na podstawie oferowanych przez producenta certyfikatów, a także wpływu produktu na zdrowie konsumenta i środowisko.

Zrealizowaliśmy także serię wdrożeń bazy wiedzy, takich jak chatbot VeloBanku. Oparty został na generatywnej sztucznej inteligencji. System odpowiada na pytania dotyczące m.in. warunków i procesu wnioskowania o kredyt hipoteczny oferowany w ramach programu „Bezpieczny kredyt 2%”. Inne banki też są w trakcie wdrożeń produkcyjnych GenAI. Naprawdę dużo się dzieje w tym obszarze.

Inny rodzaj Use Case’ów dotyczy firm z sektora FMCG. Tam pracujemy nad automatycznym generowaniem obrazów na potrzeby marketingowe. Jest co najmniej kilka takich wdrożeń, choć dotyczą firm międzynarodowych, a nie polskich.

Są również projekty typu „IT dla IT”. Ich celem jest optymalizacja kosztów wytwarzania oprogramowania, czy to w kontekście tworzenia automatycznej dokumentacji, czy inteligentnego przydzielania ticketów w różnych systemach.

Ostatnia grupa projektów, o której chciałem wspomnieć, to Future Call Center. Prowadzą one do kompletnej zmiany podejścia do operacji prowadzonych w centrach telefonicznej obsługi klienta. Wdrażamy w pełni zdigitalizowane, zautomatyzowane, inteligentne narzędzia pozwalające na przechwytywanie treści rozmów i analizowanie – w czasie rzeczywistym – tzw. sentymentu klienta. Na tej podstawie przekazują one pracownikom call center rekomendacje co do dalszych działań, w celu poprawy satysfakcji klientów. Automatycznie generowane są też podsumowania po rozmowach.

Narzędzia z obszaru Future Call Center wspierają również pracę działów jakości. Kiedyś rozmowy te – prowadzone niekiedy przez setki osób pracujących w call center – analizowane były wyrywkowo pod kątem jakości obsługi. Teraz wszystkie są zdigitalizowane, a ewentualne problemy wyłapywane na bieżąco. Od razu można dokonywać korekt i pracować nad poprawą jakości obsługi w call center.

Rynek zastosowań LLM będzie się rozdzielał. Tam gdzie coś musi być wykonane w środowisku on-premise, stosowane będą modele open source. Problem został zrozumiany również przez duże firmy chmurowe. Sprzedają modele LLM jako rozwiązanie „pudełkowe”, które można wstawić do własnego centrum danych – Grzegorz Chudek.

Od czego zacząć projekty związane z wykorzystaniem narzędzi AI w organizacji? No bo raczej nie od kupna technologii.

D.O.: Zacząć trzeba oczywiście od celu, definicji problemu i zrozumienia procesu, który chcemy poprawić. Tutaj – w porównaniu z innymi projektami – wiele się nie zmienia. Następnie powinniśmy pomyśleć o doborze odpowiednich narzędzi. To od lat było wyzwaniem w „tradycyjnym” AI i w domenie GenAI się to nie zmieniło, a wręcz zostało podniesione o rząd wielkości. Kolejny krok to zgromadzenie odpowiednich specjalistów, którzy potrafią projektować te rozwiązania i umieją wybrać odpowiednie narzędzie.

Jak zaprezentować korzyści i koszty związane z wdrożeniem narzędzi AI? Na jakie wyzwania zwrócić uwagę?

D.O.: Moim zdaniem, korzyści te powinny być szacowane per Use Case przez tych właśnie specjalistów, na podstawie różnych, dostępnych opcji, dobrych praktyk, wytycznych. Ale z pewnymi ograniczeniami wewnętrznymi, czy to związanymi z bezpieczeństwem, sposobem wytwarzania oprogramowania, czy też dostępnością infrastruktury.

Są architektury, które tworzą pewien model problemów do rozwiązania, które ma przedsiębiorstwo i dopiero reprezentatywna próbka idzie do LLM-a. Są to więc daleko bardziej zaawansowane architektury, niż po prostu odpytanie ChatGPT/Gemini – Dawid Osiecki.

Dysponujecie narzędziami, dobrymi praktykami opartymi na zrealizowanych projektach, a które mogą pomóc kolejnemu klientowi oszacować koszty i korzyści z wdrożeń AI?

D.O.: Wiemy dosyć dobrze ile, poszczególne klasy Use Case’ów, zajmują czasu. Zwykle jednak zamykają się w zaledwie kilka tygodni. Wiemy też, w jakim przedziale zamkną się koszty danego projektu. Mówię o przedziale, ponieważ klienci wybierają różnego typu technologie. Jedni w 100% rozwiązania chmurowe, inni zaś hybrydowe. Poza tym często projekty te nie ograniczają się tylko do rozwiązań AI.

G.Ch.: Mamy akceleratory, które znacząco przyspieszają realizację projektów. Trzeba pamiętać, że realizacja projektów GenAI naprawdę nie jest prosta. Każdemu wydaje się, że można napisać 2–3 prompty w ChatGPT i w ten sposób zbudować działający system. Najczęściej przychodzą do nas klienci, którzy przez miesiące eksperymentowali, ale nie osiągali efektów. Pytają, co mają teraz zrobić.

Nadążanie za szybko zmieniającą się wiedzą w tym obszarze i zdobyte doświadczenie naprawdę jest bardzo istotne w tego typu projektach. Projekt nie ogranicza się bowiem do algorytmu. To jest działka, w której nie jest tylko „nauka”, ale też nieco „sztuki”. Zainwestowaliśmy, jako organizacja, sporo czasu i wysiłku, aby te rzeczy dobrze dopracować.

D.O.: Ważne w projektach GenAI jest też to, aby naprawdę dobrze rozumieć, który kawałek procesu chcemy zmienić. Rzadko kiedy zmieniamy go w całości. Musimy również zrozumieć kwestie bezpieczeństwa, ograniczeń, wewnętrznego Compliance, pomóc firmom przejść przez tę zmianę. Musimy doskonale rozumieć technologię, możliwe wybory i konsekwencje w całej architekturze IT klienta.

GenAI jest elementem hype’u, z którym mamy dziś do czynienia. Jako Accenture, robimy już setki tego typu projektów generujących realne zyski. Ważne jest jednak, aby firmy zrozumiały, że tego typu projekty stanowić będą ich przewagę konkurencyjną – Grzegorz Chudek.

Jak wygląda zainteresowanie polskich organizacji i firm projektami AI/GenAI?

G.Ch.: Gdy klienci przychodzą i mówią, że chcą dokonać usprawnienia jakiegoś procesu na podstawie GenAI, pierwsze pytanie, jakie im zadajemy to, czy mają już subskrypcję chmurową? Często odpowiedź brzmi, nie. Tymczasem jest to niezbędny element tego typu projektów. GenAI często więc wyprzedza proces „uchmurowienia” przedsiębiorstw w Polsce. Często jest początkiem drogi do chmury.

W ten sposób regularnie otwieramy nowe subskrypcje dla naszych klientów, aby mogli zacząć od modeli AI, które dostępne są w chmurze. Otwieramy świat chmurowy dla tego klienta. Projekty te zaś „otwierają oczy”. GenAI jest dość łatwą rzeczą do zrozumienia, jeśli chodzi o wyniki jej działania. Dzięki temu widać też natychmiastowy zwrot z tego, że jest się już przedsiębiorstwem chmurowym, że ma się gotowe procesy, ludzi, kompetencje, zbudowaną Landing Zone u hyperscalera itd.

W efekcie firmy zaczynają widzieć, że to, że są opóźnione w uchmurowieniu powoduje, że będą ich „omijać” te narzędzia, które – inne niż chmurowe – już nie będą. A to znaczy, że zostaną w tyle. To zaczyna docierać do tych, którzy dotąd byli sceptykami, którzy uważali, że chmura to fanaberia, a teraz, że jest to narzędzie przyszłości. Identycznie jest na całym świecie.

Wartym uwagi modelem jest europejski Mixtral. Co prawda nie ma on jeszcze wspomagania dla języka polskiego, ale wspiera już kilka głównych języków europejskich, w tym angielski. Jest zaskakująco skuteczny. Przy niewielkim „douczeniu” konkuruje z dużymi modelami LLM – Dawid Osiecki.

Od jakich obszarów zaczynają projekty Wasi klienci?

G.Ch.: Wszyscy od procesów wewnętrznych. Trzeba pamiętać, że wdrożenie GenAI kosztuje. Warto zwracać na to uwagę, bo można się na tym „poślizgnąć”. Czyli nauczymy się wpierw tej technologii, a potem dopiero pójdźmy w procesy masowe i obsługę klienta.

Jak liczone są koszty w tego typu projektach – per użytkownik, zapytanie?

D.O.: Jeśli chodzi o naszych klientów, najczęściej mówimy o modelu licencyjnym. Natomiast koszty, które płaci się z perspektywy wykorzystania poszczególnych modeli LLM, z reguły robione są właśnie per zapytanie, czy paczki zapytań. Ceny jednak bardzo szybko się obniżają i są coraz bardziej przystępne. Przy dobrze zaprojektowanym LLM nie są przeszkodą.

Oczywiście można to źle zrobić i zostać z kosztami bez rezultatów biznesowych. Takie ryzyko istnieje również w innych usługach chmurowych. Źle zaprojektowana usługa chmurowa także przyniesie duże koszty, a mało korzyści.

G.Ch.: Temat kosztów LLM jest bardzo złożony. Zależy, tak jak mówisz, od długości zapytania, ilości tokenów, modelu, którego używasz, a te mogą różnić się od siebie nawet o dwa rzędy wielkości. Kluczem jest więc, jak powiedział Dawid, dobre zaprojektowanie aplikacji.

Pójście strategią tzw. Brute Force, czyli włożenie jako zapytania do LLM dużej ilości informacji, na pewno nie będzie optymalne z perspektywy kosztów. W związku z tym stosuje się bardziej zaawansowane architektury, które wcześniej wyszukują informacje bezkosztowo. Potem jedynie część informacji przekazują do LLM-a, obniżając koszty jego użycia.

Są architektury, które tworzą pewien model problemów do rozwiązania, które ma przedsiębiorstwo i dopiero reprezentatywna próbka idzie do LLM-a. Są to więc daleko bardziej zaawansowane architektury, niż po prostu odpytanie ChatGPT/Gemini. bezpośrednio lub za pomocą API. Dzięki temu można znacząco ograniczyć koszty. Projekt i architektura zastosowanego rozwiązania mogą istotnie wpłynąć na koszty używania.

Co to za architektury?

D.O.: Nasze rozwiązania samodzielnie dzielą problem na mniejsze części, samodzielnie podejmują decyzje, z jakich źródeł i kiedy skorzystać, w celu uzyskania najlepszej jakości przy najmniejszych kosztach.

Mamy kod, który autonomicznie dzieli tego typu bardziej złożone problemy i dobiera odpowiednie sposoby odpytywania z odpowiednio dobranych źródeł, z których LLM powinien wyciągnąć te informacje. Porównuje, kompiluje i w ten sposób prezentuje najlepsze wyniki. Przy okazji optymalizując czas odpowiedzi, bo ci autonomiczni wirtualni agenci (kod) wykonują tę pracę w tle równolegle.

Podsumowując, jesteśmy na etapie, że na polskim rynku wdrożyliśmy jako pierwsi komercyjnie sztuczną inteligencję, która zarządza wykorzystaniem generatywnej sztucznej inteligencji jako swojego narzędzia.

Czyli można powiedzieć, że ta architektura AI tworzy właściwe prompty dla GenAI?

G.Ch.: Tak. Większość z tych architektur potrafi w sposób ustrukturyzowany informacje przekazać do modelu, który potem je przetwarza. To może być wyszukiwanie informacji, jej klasyfikacja i inne elementy, które pozwalają optymalizować użycie modelu LLM lub nie przekazywać niepotrzebnych informacji. Jednym z elementów obejścia problemu regulacyjnego jest anonimizacja informacji przed wysłaniem do LLM-a. Za to musi odpowiadać dodatkowy element oprogramowania.

Wróciłbym do „tradycyjnych” projektów AI. Czy można ocenić, czy będą przynosić większe korzyści niż GenAI?

D.O.: Są to dwie różne kategorie projektów, które – prędzej czy później – powinny zostać ze sobą połączone, aby zmaksymalizować korzyści jednego i drugiego. Możemy zrobić pojedynczy Use Case oparty na GenAI. On bardzo szybko ukaże namacalne korzyści. Dzięki temu możemy przekonać organizację, poprawić adaptację tego typu rozwiązań, by zająć się bardziej skomplikowanym projektem AI.

A jest nim np. wdrożenie nowoczesnych platform danych, gdzie ich jakość – i to też widzimy – ma niejednokrotnie większe znaczenie niż poziom skomplikowania wykorzystywanej metody. Lepiej mieć lepsze dane i prostszy model, niż takie sobie dane i najbardziej zaawansowany, kosztowny i najlepiej wytrenowany model. Lepsze dane i prostszy model da lepsze rezultaty.

Aby zgromadzić te dobre dane, prędzej czy później konieczne będzie przejście na nowoczesne platformy danych oraz zaawansowane, nowoczesne metody zarządzania nimi. Bez tego się nie obędzie. Wydaje mi się, że wiele firm na polskim rynku jest jeszcze przed tą dużą zmianą. Kilka projektów GenAI przekona jednak organizacje do zainwestowania w nowoczesne platformy danych, wymianę starych hurtowni danych, tak aby były gotowe na nowy świat.

G.Ch.: Mówimy klientom, że można się pobawić nowymi narzędziami, ale by „wyciągnąć” z nich realną wartość, trzeba „podciągnąć tabory”. Projekty związane z danymi, organizacją danych, „kuleją” w Polsce. Potrzebne są duże inwestycje w tym obszarze w większości firm.

O jakich innych, niezwiązanych ze sztuczną inteligencją trendach technologicznych warto wspomnieć na początku 2024 roku?

G.Ch.: Tytułem naszego raportu Accenture Technology Vision 2024 jest „Human by Design”. Naszym zdaniem, kolejnym, długoterminowym trendem w technologii na świecie będzie projektowanie komunikacji z maszyną na sposób znacznie bardziej „ludzki”.

Dlatego tak dużą dziś rolę odgrywa GenAI, a także wykorzystanie języka naturalnego, języka mimiki i komunikacji obserwacji wizualnej. To również aspekt przetwarzania przestrzennego oraz powiązania AI z realnym światem. Tu mamy jeszcze problem niewygodnych gogli VR/AR, ale kwestią czasu jest jego rozwiązanie. Czwarty element zaś to śledzenie myśli ludzkich za pomocą impulsów elektromagnetycznych wysłanych przez mózg.

Ludzkość szuka lepszego sposobu komunikacji z maszynami. Widać, że to jest dziś „najwęższe gardło” w rozwoju. Zarówno AI, jak i GenAI będzie rozwijać technologię od strony maszyn. A mamy cały czas problem na tym styku. Aby jednak technologia była dla człowieka, a nie on dla niej, trzeba zmienić interfejs komunikacji. Trzeba też pracować ciągle nad doskonalszymi sposobami połączenia pomiędzy człowiekiem a maszyną.

Raport Accenture wskazuje na to, że dziś wszystkie prace, eksperymenty, projekty mają na celu zbudowanie nowego interfejsu komunikacji między człowiekiem a maszyną. GenAI idealnie się w to wpisuje.

Wiemy dobrze, że rozwój robotyki jest uzależniony od sposobu komunikacji z robotem. Rozwój medycyny i wsparcia człowieka egzoszkieletami czy innymi technologiami jest kwestią komunikacji tych maszyn z naszym mózgiem. Jest wiele takich zastosowań. Jest też mnóstwo kierunków prowadzonych badań.

To nie jest jednak rewolucja, która dokona się w tym, czy przyszłym roku. W tym właśnie kierunku podążają jednak wszelkie badania.

Będziemy komunikować się przez interfejs głosowy z GenAI?

D.O.: Już jesteśmy na tym etapie. Rozwiązania Accenture są gotowe na ten sposób komunikacji.

G.Ch.: Projekty, które dziś realizujemy dla klientów, mają pozwolić na komunikację głosową z GenAI. Zrealizują się już w tym roku.

Tagi

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *