Postępująca cyfryzacja naszego środowiska prowadzi do wykładniczego wzrostu ilości danych i mnogości ich źródeł. Jednak wykorzystanie pełnego potencjału ukrytego w danych, wciąż generuje wiele wyzwań. Samodzielne budowanie zaawansowanej analityki w organizacji często rozpoczyna się od zatrudnienia kilku specjalistów Data Science.
Bez wątpienia jest to jeden z najbardziej potrzebnych zawodów XXI w., więc i na rynku z każdym rokiem pojawia się coraz więcej wysoko wykwalifikowanych ekspertów. W efekcie ich pracy powstaje wiele, często bardzo wyrafinowanych, rozwiązań. Odwieczną ich bolączką jest jednak brak ustrukturyzowanego podejścia do późniejszego wdrażania.
Data Scientists samodzielnie nie będą w stanie doprowadzić do produkcyjnego uruchomienia modelu w pełnej skali. Samo rozwiązanie nie będzie zaś w stanie działać w sposób ciągły, bez regularnego zaopatrzenia w aktualne i prawidłowe dane. Natomiast bez powszechnego dostępu do nowych źródeł danych z różnych obszarów organizacji, wiele tego typu eksperymentów w ogóle się nie rozpocznie.
W niniejszym artykule przedstawiamy kilka wybranych trendów w zaawansowanej analityce danych, które – choć zyskują lub dawno już zyskały na popularności – często pozostają jednak u naszych klientów zaniedbywane.
Praktyczne podejście do Data Governance, czyli procedury, które ułatwiają życie
Rozpatrując postępy w wykorzystaniu danych, temat ich porządkowania i zarządzania kilka lat temu stał się już trendem. Odpowiednie zaadresowanie Data Governance, mimo wszystko, wciąż nie traci na wartości. Nikt nie ma już wątpliwości, że wraz ze wzrostem skali przetwarzania danych, rośnie potrzeba praktycznego i przemyślanego sposobu zarządzania danymi jako wartością niematerialną. Rośnie świadomość odpowiedniego dopasowania procesu zarządzania danymi do specyfiki prowadzonego biznesu i modelu operacyjnego organizacji.
Katarzyna Gajda, Manager w zespole Data Governance & Architecture, Deloitte
Katalogowanie danych, procesy wspierające utrzymanie aktualnych definicji krytycznych informacji, definiowanie ról i odpowiedzialności zarządzania danymi stały się jedną z bezsprzecznych potrzeb biznesowych. Praktyczny Data Governance to wciąż Święty Graal dla wielu firm. Czynniki, które sprawiają, że brakuje pragmatycznego podejścia do wdrożenia zasad zarządzania danymi, to m.in. problem z jednoznacznym określeniem właścicielstwa biznesowego przetwarzanych danych na różnych etapach ich wykorzystania, brak operacjonalizacji zdefiniowanych zasad, złożoność tworzonych procedur.
Jedną z recept może być skorzystanie z rozwiązań „Data Governance in a box”, w których wykorzystując standard wdrożenia Data Governance, dostosowuje się procesy zarządzania danymi do organizacji, a przy tym korzysta się z dostosowanych technologii. Deloitte jest jedną z organizacji, która w takich inicjatywach pomaga.
Z wyzwaniami wprowadzenia Data Governance w organizacji można sobie jednak bardzo dobrze poradzić, korzystając z dobrych praktyk i wyciągając lekcje z błędów naszych i popełnionych przez innych. Jedną z recept może być skorzystanie z rozwiązań „Data Governance in a box”, w których wykorzystując standard wdrożenia Data Governance, dostosowuje się procesy zarządzania danymi do firmy, a przy tym korzysta się z dostosowanych technologii. Deloitte jest jedną z organizacji, która w takich inicjatywach pomaga. Opisujemy kilka z nich.
Data Vault jako elastyczne podejście do modelowania danych
Rosnąca ilość informacji gromadzonych przez przedsiębiorstwa powoduje, że rewidowane jest podejście do projektowania hurtowni danych. Popularne metodyki, takie jak Inmona czy Kimballa, nie zawsze nadążają za dynamiką firmy, ponieważ nowe źródła danych i zmieniające się reguły biznesowe wymuszają częste przebudowywanie systemów, co jest kosztowne. Alternatywą jest Data Vault, dzięki któremu hurtownia danych jest tworem bardziej elastycznym.
Data Vault świetnie wpisuje się w trendy zwinnego budowania rozwiązań, ponieważ model można rozbudowywać przyrostowo, minimalizując konieczność przepisywania istniejącego kodu. Ponadto transformacje danych wynikające z reguł biznesowych aplikuje się na późnym etapie, już po zapisaniu danych w hurtowni. Dzięki temu wszelkie zmiany do logiki biznesowej są o wiele mniej kosztowne. Dotyczą bowiem jedynie warstwy dystrybucji danych, znajdującej się ponad „rdzeniem” hurtowni (Raw Data Vault).
Piotr Szełemej, Manager Ekspert Data Vault w zespole Data Governance & Architecture, Deloitte
Data Vault nie jest intuicyjny. Aby wyciągnąć z niego maksimum korzyści, potrzebna jest specjalistyczna wiedza, dlatego wybierając tę metodę, warto na etapie projektowania hurtowni skorzystać z doradztwa certyfikowanych konsultantów.
MLOps jako droga do uwolnienia pełnego potencjału AI
Wskazywany przez Deloitte jeszcze rok temu jako trend przyszłości, dziś MLOps (Machine Learning Operations) staje się faktem. Realna wartość rozwiązań opartych o Machine Learning płynie ze skali, w jakiej działają w ramach procesów produkcyjnych. Ponadto, im szybciej dany model zostanie wytrenowany i przeniesiony ze środowiska deweloperskiego na produkcję, tym szybciej ta wartość zaczyna być generowana.
Produkcyjne uruchamianie modeli ML nie jest jednak procedurą prostą i niesie szereg wyzwań, które w dodatku różnią się od tych dobrze już rozpoznanych, adresowanych przez klasyczne podejście DevOps. W zależności od preferencji Data Scientists, modele AI powstają w różnych technologiach. Łączenie ze sobą tego typu komponentów w produkcyjne mechanizmy jest możliwe dzięki architekturze opartej o mikroserwisy oraz integracji poprzez API, które stanowią podstawę MLOps.
Adam Biesiada, Manager w zespole Artificial Intelligence & Data, Deloitte
Coraz częstszą praktyką jest również standaryzacja procesu przygotowania danych oraz trenowania i porównywania modeli ML. Nie należy także zapominać o bardzo istotnym aspekcie ciągłego monitorowania i aktualizacji działających już produkcyjnie rozwiązań. Ze względu na zmieniające się warunki, efekty sezonowe – czy różne anomalie – skuteczność działających modeli ML zazwyczaj spada z czasem i przez to konieczne jest ich cykliczne „douczanie”, wykonywane manualnie lub często nawet w pełni automatycznie. Tego typu wyzwań jest znacznie więcej i tylko ich prawidłowe kompleksowe zaadresowanie umożliwia wykorzystanie właściwych narzędzi. Pozwala to organizacjom osiągać istotne, mierzalne korzyści, które niesie ML.
Wskazywany przez Deloitte jeszcze rok temu jako trend przyszłości, dziś MLOps staje się faktem. Realna wartość rozwiązań opartych o Machine Learning płynie ze skali, w jakiej działają w ramach procesów produkcyjnych. Im szybciej dany model zostanie wytrenowany i przeniesiony ze środowiska deweloperskiego na produkcję, tym szybciej ta wartość zaczyna być generowana.
Data Mesh, czyli demokratyzacja dostępu i wykorzystania danych
W wielu organizacjach spotykamy się ze strukturą, gdzie danymi zarządza duży centralny zespół. Koncentruje się on wyłącznie na zaspokajaniu przekrojowego zapotrzebowania na dane i analizy, aby zapewnić spójność i niezawodność całej firmy. Wraz ze wzrostem danych i związanymi z nimi możliwościami, scentralizowane zespoły danych stają w obliczu rosnącego zapotrzebowania ze strony różnych interesariuszy.
Wyzwania, z którymi mierzą się organizacje, zarządzając danymi centralnie, to m.in.:
- trudna priorytetyzacja obszernej listy wymagań i potrzeb,
- brak jasno zdefiniowanego właścicielstwa danych: od systemu źródłowego po parametry analityczne,
- rozproszona wiedza o domenach biznesowych.
Nowy trend – Data Mesh ma za zadanie stawić czoła wyzwaniom, które pojawiają się przed scentralizowanymi zespołami w obliczu „gorączki złota dla danych”. Wprowadzona przez Zhamak Deghani, koncepcja Data Mesh to prawdziwa zmiana paradygmatu w sposobie zarządzania danymi na dużą skalę. Opiera się to na trzech różnych filarach:
- zarządzalna decentralizacja w kierunku zwiększenia operacjonalizacji,
- infrastruktura samoobsługowa jako ogólnodostępna platforma danych,
- sfederowany model zarządzania oparty na spójności, zgodności i dobrej jakości danych.
Koncepcja Data Mesh to nic innego jak praktyczne podejście do demokratyzacji zarządzania danymi w organizacjach. Jednakże – jak w przypadku każdego, nowego trendu – potrzeba czasu, aby zweryfikować, jak przydatny okaże się w rzeczywistości.
Podsumowanie
Jak na jedne z głównych nurtów XXI w. przystało, zaawansowana analityka, Machine Learning i zarządzanie danymi obfitują we wschodzące co rusz nowe trendy. Na podstawie przytoczonych przez nas przykładów wyraźnie widać, że wzajemnie się one przenikają i uzupełniają. Dlatego też, nie tracą, a wręcz coraz bardziej zyskują na znaczeniu starsze, dobrze znane już trendy, jak wspomniany wcześniej Data Governance.
Kluczem do maksymalizacji wartości płynącej z danych jest właściwe powiązanie ze sobą opisywanych przez nas mechanizmów, zarówno na poziomie technologicznym, procesowym, jak i ludzkim. Dopiero tak zestawiony ze sobą ekosystem pozwoli przełożyć korzyści niesione przez zaawansowaną analitykę i Machine Learning na wzrost o – prognozowanym przez wielu – wykładniczym charakterze.
