Dzięki rozwiązaniom NLP wykorzystującym algorytmy AI, wyszukiwanie informacji jest dużo bardziej efektywne

Z Pawłem Wróblewskim, Regional Managerem w Findwise (grupa TietoEVRY), rozmawiamy o najpopularniejszych obszarach rozwoju metod sztucznej inteligencji – przetwarzaniu języka naturalnego NLP, grafowych sieciach neuronowych, sieciach typu transformer; możliwościach ich zastosowań; jak dbać o dobrą jakość danych w metodach Artificial Intelligence i Machine Learning; problemie dyskryminacji, powielania stereotypów i biasu w narzędziach korzystających z algorytmów AI, kwestiach etycznych związanych z tą technologią, a także o rozwiązaniach legislacyjnych, które zajęłyby się tymi problemami.

Jakie są obecnie najpopularniejsze obszary rozwoju metod sztucznej inteligencji?

Cały czas postępuje intensywny rozwój w coraz lepszym przetwarzaniu różnego rodzaju danych pochodzących z różnych domen – czyli maszynowego rozumienia obrazu, dźwięku i mowy. Obecnie wiele prac koncentruje się wokół tego, aby sztuczna inteligencja w sposób podobny człowiekowi rozumiała sygnały dopływające do nas przez tego typu bodźce. Mamy więc sieci neuronowe typu transformer, przetwarzanie języka naturalnego (NLP), dziedzinę przetwarzania obrazu np. z odtwarzaniem modeli trójwymiarowych przedmiotów, rozpoznawania obiektów, ruchów, postaci itd.

AI mocno rozwija się także w dziedzinie językowej. Myślę przede wszystkim o wielkich modelach językowych i algorytmach typu GPT3. Powstają one w koncernach dysponujących ogromną mocą obliczeniową. Microsoft jest podobno w stanie wytrenować model nawet do 30 trylionów (10^12) parametrów. Mówimy więc o gigantycznych modelach, wymagających ogromnej ilości danych, tekstów i prac naukowych z różnych dziedzin. Takich, jak choćby ogólny model językowy GPT3 dla języka angielskiego, który ma znamiona General Intelligence. Zresztą rozwój idzie właśnie w kierunku ogólnej inteligencji, która byłaby pomocna człowiekowi.

Co miałaby robić?

Póki co, jest to jeszcze trochę zabawa. Mówimy początek zdania, a sztuczna inteligencja dopowiada dalszą treść – przy zachowaniu jego sensu – i podaje przy tym jakieś ciekawe informacje. Ale gdy modele te wytrenujemy w odpowiednie zbiory, są one w stanie również generować kod, a więc pisać programy, bez konieczności udziału programisty.

Czy programiści powinni się już tym martwić?

Obecnie trwają próby pisania prostych programów, na potrzeby prostych aplikacji. Prace te będą udoskonalane, więc trochę to jeszcze potrwa. Poza tym programiści muszą jednak napisać kod, dzięki któremu taki algorytm będzie odpowiednio funkcjonował. A nawet gdyby takie rozwiązania w jakimś stopniu zastąpiły pewną część pracy programistów, to ich wysiłek zostanie skierowany na wykonywanie bardziej skomplikowanych zadań. Specjaliści od AI i uczenia maszynowego są zresztą obecnie najbardziej poszukiwani na rynku. Kompetencje te będą potrzebne także w przyszłości.

W Findwise zajmujecie się Państwo m.in. dziedziną przetwarzania języka naturalnego NLP. Jakie zastosowanie mają metody przez Was stosowane?

NLP to szeroki obszar, ale warto wspomnieć o najbardziej elementarnej kwestii, jaką jest rozumienie tekstu w takim stopniu, aby „wyjmować” z niego istotne rzeczy, tzw. Named Entity Recognition (NER). A więc rozpoznawać np. imię i nazwisko, nr konta bankowego, kwotę czy adres zamieszkania. Analizując teksty w ten sposób możemy je oczywiście automatycznie tagować.

Zajmujemy się także algorytmami klasyfikacyjnymi. Analizujemy zbiory danych tekstowych – np. raporty, prezentacje czy dokumentacje projektowe – których jest bardzo dużo i których ciągle przybywa. Porządkujemy je według pewnych klasyfikacji do odpowiednich kategorii tematycznych.

Na podstawie danych pochodzących z różnych zbiorów dostępnych w firmie, jak i publicznie, potrafimy sformułować odpowiedź w języku naturalnym na zadane przez użytkownika zapytanie. A to w naturalny sposób prowadzi do utworzenia chatbota, gdy do schematu – pytanie-odpowiedź, pytanie-odpowiedź – dodajemy kontekst. Nasze chatboty nie mają charakteru ogólnego, tylko odpowiadają na konkretne zapytania, na których budujemy modele w oparciu o firmowe dane.

Warto wspomnieć także o różnego rodzaju aspektach wspomagających wyszukiwanie, np. rankingu, który automatycznie uczy się na podstawie zachowań użytkowników, a więc metodzie Learning to Rank. Dzięki tego typu rozwiązaniom wykorzystującym AI, wyszukiwanie informacji jest dużo bardziej efektywne.

Jednym z najgorętszych obszarów badań według autorów raportu „State of AI Report 2021” są grafowe sieci neuronowe (GNN), jakie są możliwości ich zastosowania?

To rzeczywiście duża nowość. Normalna struktura klasycznej sieci neuronowej jest hierarchiczna, połączenia idą w rozgałęziające się struktury drzewiaste, natomiast te grafowe mają strukturę przestrzenną, z połączniami wchodzącymi i wychodzącymi z wielu różnych miejsc. Grafy można zatem wykorzystać przy zastosowaniach sieciowych, tam gdzie jeden obiekt wpływa na drugi, ten na kolejny itd. oraz gdzie istnieje dużo różnych zależności pomiędzy takimi obiektami. Służą one więc do modelowania bezpośredniego ruchu pomiędzy poszczególnymi elementami, a w szerszej skali, graf stara się też wykryć, jaki wpływ ma jeden obiekt na wiele połączonych ze sobą innych. Rozwiązanie to można więc z powodzeniem wykorzystać choćby w sektorze transportu, np. do badania całej siatki połączeń lotniczych – nie tylko lotów krajowych i międzynarodowych w danym państwie, ale we wszystkich krajach Europy.

Ten sam raport zwraca również uwagę na dynamicznie rosnące znaczenie sieci neuronowych typu transformer, o których zresztą już Pan wspominał. Z czego wynika ich fenomen?

Sieci neuronowe typu transformer mają taką przewagę nad poprzednikami – np. nad sieciami wstecznych propagacji – że rozumieją więcej kontekstu. Choćby przy ich podstawowym zastosowaniu, a więc przy przetwarzaniu języka naturalnego. Inaczej mówiąc, transformer potrafi brać do przetwarzania znacznie więcej sygnałów z otoczenia i lepiej je klasyfikuje, biorąc pod uwagę szeroki kontekst danych, które ma. Potrafi też sygnały czy obiekty te odpowiednio separować. I to ma duże znaczenie także przy przetwarzaniu obrazu.

Transformera wykorzystuje się również do przewidywania wyników kuracji medycznych. Jego wspomniany szeroki kontekst oraz umiejętność analizowania sekwencji różnych zdarzeń, pozwala mu wyłapywać i uczyć się, że np. jeśli zdarzył się czynnik A i B, to jest duże prawdopodobieństwo, że w przyszłości zajdzie czynnik C i D. Obecnie to jego największa przewaga nad innymi modelami.

Transformer musi mieć jednak bardzo dokładnie przygotowane, solidne dane treningowe. Przy przetwarzaniu tekstu nie można takiemu modelowi „wrzucić” np. całej encyklopedii, bo się jej zwyczajnie nie nauczy. Powinny to być odrębne zdania, oznaczone paragrafy i niezbyt szeroki kontekst. Bardzo istotna przy wytrenowaniu takich modeli jest więc rola człowieka, który musi takie dane odpowiednio przygotować. Wysoka jakość danych jest bowiem absolutnym warunkiem dla stworzenia dobrego algorytmu sztucznej inteligencji. Często natomiast bywa tak, że firmy z dużymi ambicjami do stworzenia rozwiązań AI, nie mają kompletnie danych do tego, aby te rozwiązania zasilać.

Jak więc zadbać o dobrą jakość danych w metodach AI i ML?

Nie jest to zadanie proste. Na początku chciałbym zaznaczyć, że to co zawsze pomaga, to utrzymywanie pewnego porządku w strukturach danych – trzeba mieć je przede wszystkim odpowiednio sklasyfikowane. W Findwise działamy w sferze szeroko pojętej architektury informacji tworząc modele klasyfikacyjne, służące do odpowiedniego tagowania treści. Opracowujemy różne koncepty, pojęcia wewnątrz przedsiębiorstwa, staramy się je definiować i aplikować do różnych przetwarzanych dokumentów. A im więcej mamy tagów, metadanych opisujących dokumenty w przestrzeni firmy, tym większe możliwości przetwarzania.

Pewnym rozwiązaniem jest także możliwość generowania danych automatycznie. Na podstawie jakiegoś małego zbioru danych uczymy się zależności w nich występujących i próbujemy dorobić ich więcej. Niestety, czasami bywa że algorytmy, które generują te dane, wprowadzają pewien „szum” do modelu.

Z kolei tagowanie – będące czynnością niezbędną i bardzo pracochłonną – jest mocno subiektywne i ta subiektywność przenosi się na model AI. Są zresztą firmy zajmujące się wyłącznie przygotowaniem danych na potrzeby sztucznej inteligencji, które podkreślają właśnie aspekt etyczny. Efekt końcowy, czyli to w jaki sposób model będzie dane przetwarzał, zależy bowiem od tego czy właściwie te dane się otaguje. Stosuje się nawet kilka anotacji tego samego zbioru danych, wykonywanych przez kilku pracowników, aby zobiektywizować taki zbiór.

Znamy też przypadki algorytmów pogłębiających nierówności rasowe czy choćby dyskryminujących kobiety. Czy da się w ogóle uniknąć problemu dyskryminacji, powielania stereotypów i biasu w AI? I czy jest to wyłącznie kwestia kiepskiej jakości danych?

Tego problemu nie da się do końca uniknąć. Czasem bowiem to nie dane są źle przygotowane, tylko taka jest po prostu sama natura danego zjawiska. Weźmy hipotetyczny przypadek, badamy analizę skuteczności danego leku w danej populacji, wyłączając z niej takie wrażliwe cechy jak rasa, wiek itd. Zostają nam jedynie parametry stricte medyczne, z których wychodzi, że lek A jest lepszy dla populacji X, a lek B dla populacji Y. Następnie zupełnie przypadkowo – bo nie było badań genetycznych w tym kierunku – okazuje się, że w populacji X 99% to osoby czarnoskóre. Takich rzeczy nie da się przewidzieć.

Czy wspomniany problem, a także kwestie etyczne związane z wykorzystaniem AI oraz odpowiedzialności – również prawnej – za działanie systemów o nią opartych to obecnie największe wyzwania przed jakimi stoją twórcy rozwiązań AI?

Jest bardzo dużo problemów natury etyczno-moralnej. Weźmy choćby wykorzystanie sztucznej inteligencji w wojsku. Te wszystkie uzbrojone, bezzałogowe samoloty czy drony przystosowane do atakowania i niszczenia danych celów. Pojawia się pytanie czy algorytm przetwarzania obrazu jest w stanie z wielką pewnością zidentyfikować grupę bojowników nie myląc jej z cywilami? Czy życie ludzkie w ogóle należy powierzać sztucznej inteligencji?

Inny dylemat związany jest z funkcjonowaniem w social mediach bardzo silnych i wyrafinowanych algorytmów, wykorzystujących psychologię czy wiedzę na temat działania ludzkiego mózgu po to, aby jak najdłużej angażować nas w scrollowanie i przeglądanie różnych treści. Doprowadzają one już do uzależniania się od social mediów nastolatków. Czy takie działanie algorytmów jest etyczne? Czy ktoś nie powinien się tym się zająć?

No właśnie! Czy ktoś się tym zajmuje?

Obecnie trwają prace nad projektem EU AI Act, przygotowywanym przez Komisję Europejską. Przedstawiciel naszej firmy brał udział w jego konsultacjach i z tego co nam przekazał można wywnioskować, że póki co prace niestety nie idą we właściwym kierunku, a założenia projektu są mało konkretne. Przykładowo jednym z nich jest chęć zakazania działalności systemów, które mogą być wykorzystywane do manipulowania zachowaniami ludzkimi. Pojęcie bardzo szerokie i nieprecyzyjne, bo czy manipulowaniem będzie np. rekomendowanie do sprzedaży w pierwszej kolejności jakiegoś produktu na stronie internetowej z powodu jego promocyjnej ceny? Zablokowane mają być także wszelkie systemy typu social scoring. To jednak nadal tylko projekt, więc jak będzie on wyglądał ostatecznie, zobaczymy.