Czym są metodyki MLOps odpowiedzialne za integrację rozwiązań opartych o uczenie maszynowe

Potencjał uczenia maszynowego do odwzorowywania złożonych zależności zawartych w danych pozwala tworzyć profile behawioralne poszczególnych użytkowników, personalizować logikę biznesową, treści i kanały komunikacji w sposób dostosowany do indywidualnych potrzeb klienta. W nowym paradygmacie “data-driven”, indywidualny klient zyskuje rolę znacznie większą niż do tej pory. Z końcowego ogniwa procesów biznesowych, klient staje się podstawową jednostką, od której zaczyna się praca analityków.

Najbardziej znane przykłady przedsiębiorstw “data-driven” i “customer-centric” to oczywiście tacy giganci, jak Amazon, Uber czy Netflix. Są niezaprzeczalnymi liderami w swoich dziedzinach. Jednakże zarówno przez rynki finansowe, jak i analityków biznesowych traktowani są jako firmy przede wszystkim technologiczne. Dzięki przytłaczającym sukcesom pionierów, wiele firm, do tej pory budujących tożsamość jako klasyczni sprzedawcy, producenci czy usługodawcy, zaczyna zdawać sobie sprawę z tego, że sercem ich biznesu są dane.

Zmiana w firmę „napędzaną” danymi

Transformacje przedsiębiorstw z klasycznych wzorców do metodyki “data-driven” wiążą się z poważnymi zmianami technologicznymi i kadrowymi. Liderzy o niemal monopolistycznej pozycji mogli pozwolić sobie na zatrudnienie setek naukowców i tysięcy najwyższej klasy inżynierów, aby wypracować narzędzia i technologie niezbędne do operacjonalizacji idei “data-driven”. Bezpośrednie kopiowanie ich podejścia jest niemożliwe z kilku powodów.

Ogromne koszty budowy własnych rozwiązań i czas na to potrzebny są jedną z przeszkód. Największym problemem takiego podejścia jest jednak niedostateczna podaż wykwalifikowanych pracowników naukowych i inżynierów z doświadczeniem w Data Science i uczeniu maszynowym oraz ich niechęć do pracy w spółkach, które nie są utożsamiane z high-tech.

Poziom skomplikowania technicznego systemów modelowania behawioralnego jest bardzo wysoki. Pożądane, choć trudne w realizacji, jest generowanie predykcji w czasie rzeczywistym w oparciu o gigantyczne zbiory danych. Ponadto należy uwzględnić zmienne otoczenie, jak np. sezonowość w przypadku zastosowań e-commerce, które wymaga regularnej modyfikacji pracy modeli poprzez trenowanie na aktualnych zbiorach danych. Nie jest to możliwe bez właściwej integracji wielu komponentów umożliwiających wdrożenie systemu AI oraz rozwiązań pozwalających na monitorowanie jakości produktu, kontrolę wersji.

W przypadku klasycznego oprogramowania procesy związane z jego wdrażaniem opierają się o metodykę DevOps, która pozwala na zintegrowanie wszystkich etapów cyklu życia produktu: jego rozwoju, wdrożenia, utrzymania i obsługi. Kładzie nacisk na automatyzację i optymalizację poszczególnych kroków procesu. W przypadku aplikacji opartych o sztuczną inteligencje cykl życia produktu oraz wymagania dotyczące infrastruktury, która zapewnia jego właściwą integrację i automatyzacje są jednak inne. Metodykę odpowiedzialną za elementy charakterystyczne dla integracji rozwiązań opartych o uczenie maszynowe nazywamy MLOps.

Źródło – Sculley, D & Holt, Gary & Golovin, Daniel & Davydov, Eugene & Phillips, Todd & Ebner, Dietmar & Chaudhary, Vinay & Young, Michael & Dennison, Dan. (2015). Hidden Technical Debt in Machine Learning Systems. NIPS. 2494-2502.

Praca nad budową modelu AI, jego trenowanie i ewaluacja

Rozwiązania Machine Learning wymagają zapewnienia infrastruktury do zbierania dużych ilości danych, często z różnych źródeł, a nawet różnych modalności, jak tekst, obraz czy dane dźwiękowe. Następnie podlegają one weryfikacji ze względu na jakość, właściwy format czy strukturę. Jakość danych bezpośrednio przekłada się na jakość rozwiązania końcowego. Aby mogły stanowić wejście dla modelu, zebrane w ten sposób surowe dane muszą zostać w odpowiedni sposób przetworzone. Proces ten nazywa się inżynierią cech i polega na wyodrębnieniu z danych informacji istotnych w kontekście problemu, który AI ma rozwiązywać oraz przetworzeniu ich do formy zrozumiałej dla algorytmu uczenia maszynowego.

Dopiero kolejny krok stanowi pracę nad samym modelem AI, jego trenowanie i ewaluację. Na tym etapie – na drodze eksperymentów – dobieramy właściwe hiper-parametry modelu oraz sposób trenowania. Jakość modelu oceniamy z wykorzystaniem właściwych dla naszej domeny metryk. Należy również odpowiednio skonfigurować komunikacje i integrację pomiędzy poszczególnymi częściami systemu. “Pipeline” odpowiedzialny za przetwarzanie danych musi być właściwie zintegrowany z bazą danych. Dalej model musi mieć dostęp do przetworzonych cech oraz w określony sposób udostępniać wytrenowany model, w zależności od dalszych zastosowań.

Bardzo istotnym elementem jest również odpowiednie wykorzystanie zasobów sprzętowych, które umożliwią szybkie operacje na dużej ilości danych, trenowanie modelu oraz szybki czas inferencji, czyli odpowiedzi modelu na określone dane wejściowe. Kolejny etap to wdrożenie rozwiązania AI, czyli zbudowanie infrastruktury, w ramach której model będzie udostępniany użytkownikom końcowym. Potrzebne są również rozwiązania, które umożliwią monitorowanie pracy całości systemu, jak i skuteczności samego modelu. Wszystkie te kroki stanowią ogrom pracy. Samodzielne opracowanie takich rozwiązań to koszt mierzony w latach i dziesiątkach etatów.

Narzędzia automatyzujące pracę Data Scientistów

Jednocześnie coraz więcej przedsiębiorstw z klasycznych branż ma pokusę, aby budować wewnątrz organizacji kompetencje i know-how Data Science oraz ML. Jak pogodzić te ambicje z rzeczywistością rynkową? Z pomocą przychodzą rozwiązania ułatwiające pracę i automatyzujące wiele czynności powszechnych w pracy Data Scientista i inżyniera ML.

Istnieje wiele typów rozwiązań wspierających procesy modelowania. Najprostsze w obsłudze są systemy “no-code” i “low-code” – pozwalające użytkownikom nietechnicznym błyskawicznie tworzyć modele ML. Oferowane są przez firmy takie, jak DataRobot czy Abacus.AI. Cieszą się wysoką popularnością, zwłaszcza wśród użytkowników biznesowych. Ich ograniczenia są ściśle powiązane z silnymi stronami. Muszą być odporne na wszelkie błędy, jakie może popełnić użytkownik. Przez to modyfikacja ich działania jest możliwa w ograniczonym zakresie.

Na drugim biegunie leżą ekosystemy i rozwiązania Cloud ML – wspomagające powtarzalne kroki takie, jak przetwarzanie danych, trenowanie i wersjonowanie modeli oraz zarządzanie infrastrukturą. Przykłady takich rozwiązań to Microsoft Azure ML Studio, Google Cloud Vertex AI czy Amazon Web Services Sagemaker. Sprowadzają dziedzinę Data Science i ML do wspólnego mianownika dla wszystkich klientów i oferują podzbiór najczęściej stosowanych dziś wzorców. Dedykowane są dla użytkowników zaawansowanych technicznie. Choć bywają kosztowne w użyciu, to również nakładają pewne ograniczenia na swobodę modelowania.

Czy zastosowanie najnowszych rozwiązań przybliża użytkowników nietechnicznych lub technicznych, lecz nieposiadających zaplecza naukowego ML do możliwości gigantów takich jak Amazon, Uber czy Netflix? Na dziś w ograniczonym zakresie. Rozwiązania “no-code” wciąż wymagają odpowiedniego przygotowania danych wsadowych do modeli. Wedle zasady “garbage in, garbage out”, na właściwym przygotowaniu danych wejściowych spoczywa ciężar jakości modeli.

Rozwiązania Cloud ML z kolei, mimo istotnych ułatwień dla programistów i analityków, które redukują nakład pracy programistycznej i operacyjnej, wciąż wymagają od użytkownika pełnych umiejętności technicznych, analitycznych i naukowych – od przygotowania “pipelines” przetwarzających dane, po trenowanie modeli.

Systemy czasu rzeczywistego i ich ograniczenia

Najbardziej palącą, niezaadresowaną do tej pory kwestią pozostają systemy “real-time”. Podejścia do systemów czasu rzeczywistego stosowane w branżach takich jak ad-tech (np. Google AdSense) są mocno wyspecjalizowane i nie mają generycznych odpowiedników dla masowego odbiorcy. Tymczasem optymalne scenariusze biznesowe to takie, które pozwalają przedsiębiorstwom reagować błyskawicznie na zachowania klienta.

Przykładowo, gdy klient polskiego banku wypłaci pieniądze z bankomatu na lotnisku w Singapurze, fakt ten powinien zostać natychmiast odnotowany przez wszystkie modele predykcyjne. Dzięki czemu klient dostanie spersonalizowaną ofertę na ubezpieczenie podróżne, o ile nie mieszka tam na stałe.

Niespodziewane zdobycie złotego medalu na igrzyskach olimpijskich przez rodzimych zawodników można uczcić błyskawiczną akcją promocyjną dla fanów sportu w lokalnym sklepie spożywczym. Tego typu możliwości są poza zasięgiem większości dzisiejszych platform AI, ze względu na przestarzałe podejście do przetwarzania danych i ograniczenia związane z bardzo ogólnym podejściem “Data Warehouse” (okresowo aktualizowanej hurtowni danych).

Platforma modelowania behawioralnego w czasie rzeczywistym

Przez ostatnie 4 lata pracy w Synerise AI udało nam się stworzyć platformę modelowania behawioralnego w czasie rzeczywistym. W przeciwieństwie do ogólnych rozwiązań ML, koncentrujemy się na przewidywaniu ludzkich zachowań. Takie ograniczenie ambicji w porównaniu do platform ogólnego przeznaczenia, pozwoliło nam wypracować zestaw ultrawydajnych algorytmów, tzw. Uniwersalne Profile Behawioralne, które podlegają aktualizacji natychmiastowo, po każdej nowej obserwacji zachowania klienta.

Zdając sobie sprawę z braku odpowiednich technologii do przetwarzania danych, aby sprostać wymaganiom najbardziej ambitnych klientów, musieliśmy opracować własną bazę danych real-time – dedykowaną zarówno do analityki, jak i modelowania behawioralnego połączonego z egzekucją scenariuszy biznesowych. Paradygmat, w którym pracujemy polega na użyciu surowych danych, bez wcześniejszej agregacji, zaś wszystkie transformacje odbywają się w locie, nawet na zbiorach danych o wielu terabajtach.

Zaczynaliśmy od podejść no-code, umożliwiających m.in. oferowanie personalizacji, rekomendacji, scoringów i segmentacji behawioralnych użytkownikom nietechnicznym. W połączeniu z automatyzacją i kreatorem scenariuszy biznesowych pozwalają one realizować tysiące zastosowań. Ze względu na to, że wielu z naszych klientów używa modeli online lub w aplikacjach mobilnych, w trosce o zadowolenie użytkownika końcowego, modele muszą błyskawicznie reagować na najnowsze informacje.

Dziś nasi najwięksi klienci chcą budować własne kompetencje Data Science. Otwieramy więc dla nich platformę Synerise Monad wraz z algorytmami i modelami real-time. Modelowanie behawioralne odbywa się zupełnie automatycznie na podstawie surowych danych, a zadaniem użytkownika platformy jest odpowiedni dobór zadań predykcyjnych.

Dysponując wytrenowanymi modelami, analitycy mogą “uczyć się od AI” – analizować rozpoznane przez modele ukryte zależności i wzorce zachowań. Dzięki pracy na surowych danych, możliwe staje się zrozumienie, które historyczne interakcje klienta mają wpływ na jego przyszłe decyzje. Tego typu zależności były do tej pory bezpowrotnie tracone w klasycznym podejściu opartym o manualną “inżynierię cech” i transformacje typu “pipelines”.

Kluczowe kompetencje Data Science stanowiące wewnętrzny “know-how”

Wierzymy, że podobnie wyglądać będzie przyszłość zastosowań ML także w innych dziedzinach niż modelowanie behawioralne. Zadaniem sztucznej inteligencji jest przecież dostarczanie informacji biznesowi, a nie na odwrót. Postępująca automatyzacja zadań ML wydaje się stać w sprzeczności z powszechnymi ambicjami budowy wewnętrznych kompetencji Data Science. Jest to jednak sprzeczność tylko pozorna. Niewiele firm IT projektuje dziś przecież własne mikroprocesory, tylko po to, aby wdrażać autorskie systemy informatyczne, co kiedyś było powszechne. Podobna przyszłość czeka rynek Data Science. Coraz bardziej irracjonalne staje się oczekiwanie, że analityk będzie rozumiał jak działa model sztucznej inteligencji lub potrafił go samodzielnie zaprojektować.

Na czym polegać będą kluczowe kompetencje Data Science stanowiące wewnętrzny “know-how” przedsiębiorstw? Najbardziej istotne jest przekuwanie możliwości sztucznej inteligencji w realne scenariusze biznesowe, zastosowania. Do tej pory była to kwestia drugoplanowa. Faza planowania zastosowań trwała kilka dni, a przygotowanie danych i stworzenie pojedynczego modelu zajmowało miesiące lub lata. Dziś, gdy możliwe jest stworzenie kilkunastu różnych modeli każdego dnia, praca analityka staje się bardziej kreatywna. Istotne stają się odpowiedzi na pytania: Jakie modele stworzyć? Jak je zastosować? Jak mierzyć ich wpływ na klientów? Jak oszacować krótko- i długoterminowy wpływ na współczynniki biznesowe?

Nie są to łatwe pytania. Znalezienie dobrych odpowiedzi na nie często wymaga doskonałej znajomości procesów biznesowych przedsiębiorstwa. Niektóre odpowiedzi można uzyskać jedynie empirycznie – przeprowadzając eksperymenty, które zweryfikują postawione hipotezy. Nowym zadaniem, przed którym stoją pracownicy Data Science, staje się interpretacja ukrytych zależności i wzorców zachowań odnalezionych przez modele sztucznej inteligencji i przeobrażenie ich w proaktywne działania biznesowe.

Odkrywanie nowych zastosowań biznesowych AI

Dochodzi do przeniesienia nacisku z wiedzy i umiejętności związanych z wewnętrznym funkcjonowaniem modeli AI na odkrywanie nowych zastosowań biznesowych dla takich rozwiązań. Zespół analityczny zostaje z jednej strony uwolniony od powtarzalnych czynności, a z drugiej strony może odkrywać nowe wzorce w danych, które ujawniają się dzięki implementacji nowych rozwiązań.

Środek ciężkości przesuwa się w stronę pracy bardziej kreatywnej i ściślej związanej z potrzebami biznesowymi, na przykład formułowania nowych założeń i wyszukiwania kolejnych obszarów zastosowania nowych technologii. Jednocześnie znacznemu skróceniu ulega czas upływający od pomysłu do realizacji prac wykorzystujących sztuczną inteligencję.

Motywuje to wszelkiego rodzaju działy biznesowe do aktywnej pracy nad wdrażaniem rozwiązań AI i wykorzystywaniem w środowisku biznesowym. To z kolei nie pozostanie obojętne, jeśli chodzi o rozwój samej technologii, która niewątpliwie skorzysta na silniejszym sprzężeniu zwrotnym z biznesem i eksploracji nowych obszarów zastosowań uczenia maszynowego.

• pożądane, choć trudne w realizacji, generowanie predykcji w czasie rzeczywistym w oparciu o gigantyczne zbiory danych;
• uwzględnianie zmiennych otoczenia, jak np. sezonowość w przypadku zastosowań e-commerce, które wymaga regularnej modyfikacji pracy modeli poprzez trenowanie na aktualnych zbiorach danych;
• integracja wielu komponentów umożliwiających wdrożenie systemu AI oraz rozwiązań pozwalających na monitorowanie jakości produktu, kontrolę wersji.

Jacek Dąbrowski, Chief Artificial Intelligence Officer, Synerise 

Maria Janicka, AI Researcher, Synerise