Responsible Artificial Intelligence jest dla firm, którym zależy na jakości

“MI2 Data Lab to środowisko badaczy modeli uczenia maszynowego (Machine Learning) i algorytmów sztucznej inteligencji (Artificial Intelligence) z Uniwersytetu Warszawskiego i Politechniki Warszawskiej. Główny kierunek badań dotyczy metod Explainable AI i Responsible AI, tworzonych z myślą o bezpiecznych, efektywnych i etycznych zastosowaniach modeli predykcyjnych w nauce i w biznesie. Jest to kluczowa technologia, niezbędna do tego, aby zapobiec głębszemu kryzysowi zaufania do AI/ML, jaki rysuje się po okresie bezkrytycznego wdrażania złożonych algorytmów, czyli tzw. czarnych skrzynek – Black Boxes” – mówi dr hab. inż. Przemysław Biecek, kierownik MI2 Data Lab, prof. uczelni.

Co dzień słyszymy o nowych sukcesach możliwych dzięki algorytmom AI. Skąd więc ten pesymizm i prognozy kryzysu zaufania dotyczącego sztucznej inteligencji wśród naukowców i przedsiębiorców?

dr hab. inż. Przemysław Biecek, kierownik MI2 Data Lab: Dostępność coraz to większych ilości danych, mocy obliczeniowej i nowych algorytmów prowadzi do coraz bardziej niesamowitych wyników w obszarach przetwarzania języka, analizy obrazu, dźwięku i nie tylko. Nie martwi mnie tempo rozwoju nowych modeli, ale raczej sposób ich wdrażania. Jeszcze 20, a nawet 10 lat temu metody AI były używane przez wąską grupę ekspertów. Dzisiaj są one nieporównywalnie bardziej dostępne.

Coraz więcej osób potrafi programować oraz wykonywać proste operacje na danych. Pojawiły się do tego zestawy narzędzi tak łatwo przyswajalnych, że w zasadzie po kilkugodzinnym kursie online można – bez większego przygotowania – stosować gotowe, wytrenowane modele AI. Prostota ich użycia jest niesamowita, choć same modele są bardzo złożone i często traktowane jako tzw. czarne skrzynki (złożoność modeli sprawia bowiem, że logika ich działania jest dla człowieka często niezrozumiała, nie rozumiemy więc także tego, dlaczego algorytm AI „podjął” taką, a nie inną decyzję – przyp. red.). Niestety też często wdrożenie rozwiązań AI nie idzie w parze z wystarczająco szczegółową analizą możliwych konsekwencji.

Twórcy modeli AI często nie wyobrażali sobie, do jakich rzeczy będą one wykorzystywane…

Dokładnie. W popularnych gazetach słyszymy o coraz to nowych sukcesach AI: potrafi lepiej niż lekarz rozpoznawać nowotwór na zdjęciu, wygrywa w go albo lepiej pisze list. Sztuczna inteligencja lepiej niż człowiek robi coraz więcej, coraz bardziej złożonych operacji. Wywołało to poruszenie i wielki, ale niezaspokojony popyt, a raczej zaspokojony w sposób niesatysfakcjonujący. Coraz częściej modele stosuje się do rzeczy, do których nie zostały zaprojektowane. Idealnie do opisu tego zjawiska pasuje cytat z Wiliama Gibsona: ,,The street finds its own uses for things’’.

Modele trenowane na krótkich dokumentach z Facebooka lub Twittera mogą być więc zastosowane do analizy epikryz w szpitalach. Modele wytrenowane na zdjęciach pobranych z Wikipedii są stosowane do rozpoznawania twarzy na ulicy. I mogą nawet nieźle działać, przynajmniej przez jakiś czas. To czarne skrzynki, więc nie wiadomo, dlaczego działają, ale kto by się tym przejmował, skoro działają? Niestety, obserwujemy również coraz więcej udokumentowanych przypadków, że takie algorytmy przestawały działać na długo przed tym, gdy ktokolwiek to zauważył…

Jak to możliwe, że stosowany jest model, który nie działa?

Czasem sam jestem zaskoczony tym, jakim cudem można było wdrożyć pewne rozwiązania bez wystarczającej kontroli ich skuteczności. Przecież nikt nie mógłby tak po prostu zbudować sobie czteropiętrowego domu albo zacząć sprzedawać – wyprodukowane w domu lekarstwo – bez żadnych planów ani uprawnień, aby nie stwarzać ryzyka dla siebie i innych. W innych dziedzinach to się po prostu nie dzieje.

Tymczasem w przypadku Machine Learning powstało bardzo dużo dostępnych narzędzi, ale nie mamy jeszcze wypracowanych procedur gwarantujących bezpieczne ich wdrożenia. Jest np. bardzo dużo, łatwo dostępnych modeli rozpoznawania twarzy, wiele z nich wytrenowanych na zdjęciach aktorów z Wikipedii, zazwyczaj białych mężczyzn. Ale te modele nie mają informacji o tym, jakie są ograniczenia ich zastosowania i nagle się okazuje, że ich skuteczność wśród kobiet o innym kolorze skóry jest znaczenie słabsza, przez co nie mogą skorzystać z pewnych usług. Po niewczasie zaskoczeni użytkownicy odkrywali te wady. Była to swego rodzaju taka cicha dyskryminacja.

Czasem zresztą trudno jest przewidzieć, co może pójść źle. Świetnym przykładem jest projekt Street Bumps, w którym aplikacja na telefonach komórkowych wykrywała drgania wynikające z wjechania kołem samochodu w dziurę w jezdni. Wydawałoby się świetny pomysł na tani monitoring problemów z drogami. Okazuje się jednak, że w dzielnicach zamieszkanych przez zamożniejsze lub młodsze osoby jest więcej modeli nowszych smartfonów, częściej więc informacje o dziurach napływają z tych okolic. Kolejna cicha dyskryminacja.

Z technicznego punktu widzenia nikogo to nie powinno dziwić…

To prawda, po fakcie zazwyczaj łatwo wytłumaczyć, dlaczego jakiś model działa źle. Trudno to jednak zrobić z wyprzedzeniem, ponieważ modele nie mają wskazanych zakresów stosowania, dla których działają dobrze.

Im popularniejszy model, tym częściej jest stosowany na różnych danych, czasem bardzo odległych od danych treningowych. W konsekwencji często prowadzi to do sytuacji, kiedy pojawiać się zaczęły mniejsze, a z czasem coraz większe problemy. Od kamer w smartfonach, które “nie widziały” mrugnięcia oka u osób o skośnych oczach, przez co użytkownik nie mógł sobie zrobić selfie, poprzez podajniki mydła, które nie widziały czarnych dłoni. Kiedy nagle zaczyna to działać w większej skali, kiedy dotyczy kilkuset tysięcy przypadków, urasta do poważnego problemu. Wiele takich przykładów opisała Cathy O’Neil w swojej bestsellerowej książce pt. “Broń matematycznej zagłady”.

I wówczas wiele osób się zdumiało, że oto rynek, który nigdy nie był regulowany, gdzie nie zostało wyznaczone pole gry i reguły – nie działa. Nie miał prawa nigdy działać! Modele budowane często jako interesujące eksperymenty zaczęły trafiać do masowych zastosowań. Dlatego, jak w krzywej Gartnera po entuzjazmie od pierwszych szybkich wdrożeń, czasem przychodziło rozczarowanie.

Może praprzyczyną jest to, że AI “leży” blisko wytwarzania oprogramowania, który to obszar stale zgłasza problemy z jakością procesu, dostarczanych produktów, efektywnością metod w kontekście narzuconych nowych potrzeb, presji szybkości dostarczania? Na wiele z tych wyzwań ma odpowiedzieć dopiero DevOps, ale i jego wdrażanie nie jest spacerkiem.

Dla mnie AI jest młodszą siostrą inżynierii oprogramowania, od której może się wiele nauczyć. W ciągu ostatnich lat obszar wytwarzania oprogramowania okrzepł, jeśli chodzi o metody, standardy i mierniki. Od początków standardów do specyfikacji typu Unified Modelling Language i wzorowania się np. na architekturze i budownictwie upłynęło naprawdę dużo czasu i to widać. Mamy systemy Continuous Integration, unit testy i – wpajane ludziom od lat – reguły SOLID.

Tymczasem obszar AI i ML jest dziś mniej więcej tu, gdzie wytwarzanie oprogramowania było 20 lat temu. Powtarza zatem skrupulatnie wiele ze starych błędów. Ludzie muszą wreszcie przekonać się, że wdrożenie modelu to nie zabawa dla jednego hakera, który szybko coś zaprogramuje, bez projektu i dokumentacji, tylko jest to proces wymagający testów, projektu, procesów. Nie są to więc błędy zapożyczone czy odziedziczone, raczej naturalne grzechy młodości, a doświadczenie starszej siostry, inżynierii oprogramowania, powinno nam pozwolić uniknąć przynajmniej części z nich. Tak jak i inżynieria oprogramowania uczyła się od zasad stosowanych np. w budownictwie.

Czy sposobem poprawy sytuacji od strony organizacyjnej byłoby włączenie do organizacji roli Chief Science Officera, kogoś kto sprofesjonalizowałby zastosowanie AI? Po to, aby mógł on oszacować i zarządzać ryzykiem związanym z AI/ML? Aby umieć w pełni świadomie projektować eksperyment, dobierać albo tworzyć modele?

Z mojej perspektywy AI idzie tą samą drogą co Software Engineering – pojawią się więc role, procesy, standardy, większa specjalizacja. Wśród programistów mamy osobne ścieżki rozwoju dla UX, testerów, back-endu. Podobna specjalizacja powstaje wśród osób zajmujących się budową modeli AI. Chief Data Scientist już niekiedy jest obecny w firmach, na razie tych, gdzie rdzeń biznesu stanowi analityka danych. Coraz częściej też powtarza się, że idealny analityk, Data Scientist, to nie osoba, ale zespół o uzupełniających się kompetencjach.

Gdyby jednak spojrzeć przez pryzmat tego, w jaki sposób upowszechnia się najszybciej AI, z którym zaczynamy mieć do czynienia jako użytkownicy, klienci, pacjenci. Czy to nie jest tak, że przyrasta tych doświadczeń i kontaktu dzięki migracjom firm do publicznych ekosystemów chmurowych? Tam odkrywają gotowe usługi AI, możliwe do komponowania różnych produktów. Wówczas odpowiedzialność za jakość przechodzi na społeczność wytwarzającą i na dostawcę chmury, który akceptuje te rozwiązania. On rozwija u siebie specjalizacje i wspomniane role, w organizacji pozostaje zaś rola na poziomie narzędziowym, a nie strategicznym. Coś za coś. Szybciej dostajemy pewne i stabilne produkty z AI, ale firma nie wyjdzie na wyższy poziom zarządzania technologiami i rozwiązaniami z ML/AI….

Z pewnością dla wielu przedsiębiorstw chmura jest naturalnym wyborem, jeżeli chodzi o sposób przechowywania danych, przez co dostawcy rozwiązań będą tworzyć coraz więcej usług opartych na AI w chmurze, aby zatrzymać firmy na ich platformach. Pytanie brzmi, czy to wystarczy i czy wszystkim. Dużo mówi się o prostym w użyciu AI dla każdego, który łatwo będzie zastosować w najróżniejszych obszarach. To bardzo obiecujący trend.

Trudno mi też ocenić siłę trendu chmurowego i tego, jak wiele AI “idzie” stamtąd właśnie do firm. Na pewno takim rozwiązaniem zainteresowane są niewielkie organizacje, do 50-100 osób, gdzie jest inny Core Business. ML może zautomatyzować część ich działalności. Zatrudnianie zespołu specjalistów od ML zazwyczaj nie wchodzi wówczas w grę. Te firmy raczej skorzystają z gotowych rozwiązań typu autoML, dashboard analityczny itd.

Sytuacja zmienia się z wielkością i profilem firmy. Sądzę, że ze względu na skalę i poufność danych, niektóre organizacje będą musiały sięgać po dedykowane rozwiązania. Proszę też zwrócić uwagę na to, że kiedyś podobnie było z oprogramowaniem. Obok firm, które wytwarzają dedykowane oprogramowanie dla swoich potrzeb, jest też duży rynek oprogramowania, które można wdrożyć w wielu miejscach, np. proste sklepy internetowe.

Po co więc nam “wyjaśnialne AI”, skoro przeważnie będzie ono poza naszym zakresem pojmowania. Jakie są podejścia i metodyki wyjaśniania?

Potrzeba wyjaśniania modeli AI wyrasta z różnych środowisk i dlatego nie jest prosto odpowiedzieć krótko na pytanie ,,po co’’. Zacznijmy od grupy twórców modeli, czyli od środowiska o wysokim zrozumieniu sposobu działania złożonych systemów. Z perspektywy twórcy modelu potrzebujemy narzędzi do wyjaśniania, aby szybciej i łatwiej określać granice możliwości i skuteczności działania modeli oraz wyszukiwać potencjalne problemy.

Kolejny raz dobrą analogię stanowi sposób wytwarzania oprogramowania. Podobnie jak programista potrzebuje narzędzi do debugowania swojego programu, po prostu po to, aby stworzyć lepszy kod, tak my potrzebujemy narzędzi, aby lepiej i dokładniej analizować modele, znajdować i naprawiać ich słabości. Chcemy wiedzieć, jakie są ekstremalne przypadki, jakie są nieciągłości, gdzie są punkty krytyczne. Aby pomóc programistom, powstały debugery, czasem rozbudowane wizualne środowiska. To samo dzieje się w przypadku AI z użyciem narzędzi do generowania wyjaśnień. Pozwalają one „debugować” określony aspekt zachowania modelu.

Potrzeb na wyjaśnialne modele AI jest wiele. Nie da się czasem uniknąć pomieszania tych różnych w istocie pojęć. Zatrzymajmy się na chwilę przy tej na poziomie użytkownika.

Jeśli chodzi o użytkownika końcowego, dostrzegamy przede wszystkim problem transparentności i poprawności. Podejmują go regulowane sektory, np. finansowy czy administracji publicznej oraz organizacje pozarządowe. Modele ML automatyzują coraz więcej aspektów naszego życia, umożliwiając lub uniemożliwiając nam dostęp do kredytu na mieszkanie czy samochód, dostęp do nowej terapii, lepszej szkoły czy wymarzonej pracy. Mówimy o prawie do wyjaśnień, czyli – w przypadku ważnych decyzji podejmowanych w zautomatyzowany sposób – chcemy, aby były one nam wyjaśnione. By można było zakwestionować decyzję lub odwołać się od niej, jeżeli jest oparta na niewłaściwych przesłankach.

To popyt ze strony banków i NGO, które troszczą się o użytkownika. Pan woli się wypowiadać z perspektywy twórców modeli. Czy te różne źródła XAI mają przełożenie na różnorodność metod dochodzenia do wyjaśnialnego AI? Jaka jest wewnętrzna architektura i klasyfikacja narzędzi do wyjaśniania?

Najczęściej wyróżnia się dwa podejścia do budowy modeli. Pierwsze dotyczy stosowania tylko modeli ML o wyjaśnianej strukturze. Jest taka grupa metod, modele liniowe, drzewa, modele regułowe, których struktura powoduje, że łatwo się je analizuje. Mówimy o nich, że są transparent by design, czyli przejrzyste z założenia. Można je łatwo poddać audytowi i zaświadczyć o sposobie działania algorytmu. W ten sposób często tworzone są modele dla banków, instytucji finansowych, obszarów silnie regulowanych.

Ale często chcemy skorzystać z modeli, które z założenia są złożone. To doprowadziło do zainteresowania metodami do wyjaśnień nazywanych Post-hoc Model Agnostic. Takie narzędzia analizy modelu traktują go jak czarną skrzynkę. Nie zakładają nic a priori na temat wewnętrznej reprezentacji modelu. Analiza działania przeprowadzana jest na skutek odpytania modelu, próbkowania dla odpowiednio spreparowanych danych wejściowych. Na takiej obserwacji modelu możemy czasem zrozumieć sposób działania modelu. Bez wątpienia jest to najbardziej ekscytujący kierunek. Tym zajmuje się mój zespół MI2, którego nazwa pochodzi od skrótów nazw wydziałów Matematyki i Nauk Informacyjnych Politechniki Warszawskiej  – MiNI PW oraz Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego – MIM UW.

Jak liczne jest środowisko badające te tematy i pracujące nad koncepcjami rozwiązań? Jakie sobie stawia cele?

Nasza grupa bardzo szybko rośnie. Oficjalnie MI2 Data Lab zaczął działać w czerwcu 2018 roku. W zespole – poza mną – była trójka zdolnych magistrantów tuż przed obroną prac magisterskich. Dzisiaj w zespole czynnie działa kilkunastu studentów, doktorantów, doktorantów wdrożeniowych, współpracowników z biznesu, osoby z doktoratem.

W ramach projektów badawczych tworzymy otwarte oprogramowanie, wymyślamy nowe metody analizy wizualnej modeli, tworzymy modele predykcyjne. W ramach współpracy z biznesem prowadzimy szkolenia, budujemy prototypowe rozwiązania, doradzamy, jak bezpiecznie i odpowiedzialnie wdrażać modele ML i AI. Okazuje się, że tematyka XAI i Responsible AI przemawia do firm, którym zależy na rozwiązaniach dobrej jakości. Wyjaśnialne AI obniża ryzyko wdrożenia. Podsuwamy właściwe wzorce, jest to praca nad wypracowaniem bezpiecznych standardów dla odpowiedzialnego biznesu. Zdajemy sobie sprawę, jaki potencjał do zmiany świata mają narzędzia AI i ML. Działamy wspólnie, by ta zmiana była odpowiedzialna.