Transformacja chmurowa Danone, czyli w jaki sposób stać się firmą data-driven?

Z Patrykiem Hylą, Head of IT & Data Analytics w Danone, rozmawiamy o szczegółach wielkiego projektu dotyczącego transformacji chmurowej i wykorzystania danych w myśl idei data-driven w tej organizacji.

Zostałeś zwycięzcą tegorocznej edycji konkursu IT Manager of Tomorrow z projektem dotyczącym wykorzystywania danych w myśl idei data-driven. Na czym polega bycie data-driven i co to konkretnie oznacza dla Danone?

Być organizacją data-driven to marzenie wielu firm na rynku, nie tylko Danone. W zasadzie każda organizacja dąży do tego, aby w momencie podjęcia jakiejkolwiek decyzji, nie podejmować jej w ciemno, tylko by stały za tym konkretne analizy.

Data-driven oznacza zatem bycie świadomym tego, co się dzieje dookoła nas, na podstawie danych. Aby dzięki nim móc lepiej realizować biznes, poprzez podejmowanie sprawdzonych i trafnych decyzji. Taką organizacją chce być Danone.

Zarówno narzędzia, które tworzymy, jak i transformacja chmurowa, którą przeprowadziliśmy, miały pomóc w osiągnięciu tego celu.

Z jakimi wyzwaniami – przed rozpoczęciem projektu – Danone mierzył się w kontekście zaspokajania “głodu danych”?

Doszliśmy do momentu, w którym uznaliśmy, że chmura jest rozwiązaniem bez którego nie możemy dalej funkcjonować. Nasze poprzednie środowisko on-premise nie dawało już rady w magazynowaniu, utrzymaniu i przetwarzaniu takich wolumenów danych, o których możemy mówić dziś tylko dzięki zastosowaniu chmury obliczeniowej. Na poprzedniej platformie, tylko w naszym regionie, dane zajmowały ok 0.5 TB, a mówimy przecież o transformacji, która objęła swoim zasięgiem cały świat. W naszym starym środowisku, opartym głównie o klasyczne SQL Server i fizyczne maszyny, nie było mowy o optymalnym wykorzystaniu środowiska Data & Analytics.

Doszliśmy do technologicznego szklanego sufitu. A to powodowało codzienne problemy. Przykładowo, gdy chcieliśmy przetworzyć duże wolumeny danych – np. na potrzeby prostych analiz dla działu sprzedaży – automatyczny proces przygotowania wszystkich niezbędnych źródeł danych rozpoczynał się na koniec dnia roboczego, ok. godz. 16-17, a kończył koło godziny 12 dnia następnego.

Ograniczenie techniczne nie pozwalały nam na optymalną pracę. Musieliśmy więc wykonać duży krok do przodu.

Jakie są kluczowe obszary niezbędne do wdrożenia tej koncepcji? Od czego zacząć i jakie powinny być kolejne kroki?

Pierwszą, kluczową kwestią jest zrozumienie sytuacji i miejsca w którym się znajdujemy. W Danone zostało to zidentyfikowane bardzo sprawnie, a następnie szybko podjęto decyzję, aby przetransformować się ze środowiska on-premise do chmury.

Kolejna kwestia to wybranie odpowiedniej technologii. W Danone większość rozwiązań z których korzystamy to technologie Microsoft. Używamy m.in. Power BI, Azure Analysis Services, Azure Data Factory czy Copilota. Wybór chmury Azure był więc oczywisty, aby te systemy płynnie ze sobą „rozmawiały”.

Z kolei rozwiązania Snowflake, jak na przykład możliwość stworzenia hurtowni danych, idealnie odpowiadały na potrzeby związane ze skalowalnością modelu oraz ze sposobami w jaki moglibyśmy wykonać lokalne implementacje tego rozwiązania. Rozwiązania Microsoft i Snowflake były więc fundamentem ścieżki do właściwej migracji.

Jaki był kolejny etap projektu?

Przeszliśmy do bardzo dokładnej analizy narzędzi, które mieliśmy z biznesem zgromadzone w środowisku on-premise. Analizowaliśmy, czy te systemy, które chcemy zmigrować, to jest dokładnie to, czego rzeczywiście potrzebujemy. Czy może należy je w jakiś sposób zmienić, albo w ogóle się z nich wycofać. Pierwszym krokiem była więc solidna inwentaryzacja.

Drugim było podniesienie kompetencji pracowników oraz skompletowanie zespołu, który mógłby taką migrację przeprowadzić. Pozyskaliśmy z rynku osoby doświadczone w przeprowadzaniu takich migracji, które bardzo dobrze znały wspomniany stack technologiczny. Oczywiście mieliśmy w strukturach zespół Data Analitics, ale wiedzieliśmy, że sami nie damy rady zmigrować tak potężnego środowiska. Brakowało nam również kompetencji chmurowych, bo pracowaliśmy dotychczas na technologiach on-premise i klasycznych rozwiązaniach „starego” Business Intelligence.

Pełna migracja zajęła nam 18 miesięcy, co – biorąc pod uwagę skalę – uważam za bardzo dobry wynik. W zależności od fazy projektu pracowało w nim od 25 do 30 osób.

Już po migracji, skład ustabilizował się i zespół tworzy obecnie 25 osób. Są wśród nich analitycy systemów biznesowych, Data Engineers czy architekci. Wszyscy są przygotowani do tego, aby tworzyć, rozwijać i utrzymywać rozwiązania w nowym środowisku.

Integracja danych z wielu systemów, 3 różnych biznesów, w 12 krajach, przy kilkunastu fabrykach nie była chyba łatwym zadaniem. Z jakimi wyzwaniami musieliście się zmierzyć?

Rzeczywiście, zespół którym kieruję wspiera Danone na trzech rynkach. Są to kraje nordyckie, Polska oraz kraje Europy Środkowo-Wschodniej. Trzy zupełnie różne jednostki biznesowe. W ich ramach mamy z kolei podział na 3 główne gałęzie działalności podlegających pod nie firm. Pierwsza to produkty mleczne i pochodzenia roślinnego. Druga to woda i napoje, m.in. Żywiec Zdrój w Polsce. Trzecia zaś to żywność specjalistyczna marki Nutricia, w skład której wchodzą produkty dla najmłodszych jak mleka i kaszki oraz żywność medyczna.

Każdy z tych biznesów wygląda zupełnie inaczej. W ramach każdego z nich mamy różne działy, m.in. sprzedaży, finansów, operacji, zarządzania łańcuchem dostaw, a do tego jeszcze wspomniane fabryki. Każdy z działów i każda z fabryk miała odrębne rozwiązania do analizy danych. Wszystkie razem składały się w wielką całość, którą musieliśmy przenieść do chmury. Ale nie chcieliśmy zrobić tego jeden do jednego.

Zaczynając niejako od zera mogliśmy wszystkie te rozwiązania zharmonizować z punktu widzenia technicznego. Przykładowo, jeśli z takiego samego rozwiązania SAP korzystał w podobny sposób dział sprzedaży w Norwegii, Polsce i Rumunii, to nie utrzymywaliśmy trzech różnych Data Flow tylko łączyliśmy je w całość. To pozwoliło uporządkować i uprościć środowisko, zaoszczędzić czas i obniżyć koszty.

O korzyściach jeszcze porozmawiamy ale najpierw chciałbym zapytać Cię o najpoważniejsze wyzwania z jakimi musieliście się zmierzyć?

Największym wyzwaniem był fakt, że rozwiązania, które musieliśmy zmigrować, były tworzone przez kilkanaście lat. Nie wszystkie miały dokumentację. Czasem, nawet pomimo dokładnej analizy, napotykaliśmy duże przeszkody próbując zrozumieć logikę tych systemów, aby następnie przepisać je na środowisko chmurowe. Bywało, że spędzaliśmy nad tym tygodnie w ramach poszczególnych podprojektów. Cały projekt podzielony był na 63 mniejsze przedsięwzięcia.

Kolejną, trudną kwestią były wspomniane już kompetencje, których – zwłaszcza na samym początku – bardzo nam brakowało. Trzecim wyzwaniem było pogodzenie pracy nad migracją z codzienną opieką nad potrzebami biznesu. Nie mogliśmy przecież nagle „zamknąć” systemów analizy danych na 18 miesięcy. Musieliśmy w odpowiedzialny sposób pogodzić pracę projektową z bieżącą obsługą partnerów biznesowych.

Jakie metodyki stosowaliście podczas projektów?

Danone od paru lat zmierza w stronę agile. Również ten projekt – tam gdzie tylko było to możliwe – realizowaliśmy zgodnie z tą metodyką. Nie wszędzie natomiast było to konieczne i część podprojektów realizowana była w klasycznym waterfall’u.

Wykorzystywaliśmy też metodykę Rapid Application Development, wymyśloną przez IBM w latach 80-tych XX wieku. Doskonale sprawdza się kiedy musimy działać szybko, a mamy ograniczone zasoby. Dzięki niej byliśmy w stanie dynamicznie alokować zasoby w poszczególnych podprojektach.

Przykładowo, deweloper pracujący na rozwiązaniem dla sprzedaży w Polsce, nie musiał robić tego end-to-end. Dzięki Rapid Application Development mógł szybko „przeskoczyć” i zacząć pracować nad innym, ale podobnym rozwiązaniem dla sprzedaży np. w Rumunii, a później wykorzystać dany komponent techniczny w Polsce. Jednym z głównych założeń RAD jest reużywalność komponentów, która – obok możliwości eksperymentowania – była dla nas kluczowa w tym projekcie.

Do tego dodałbym jeszcze szybką pętlę feedback-ową z naszymi partnerami biznesowymi. Nie czekaliśmy – jak w metodyce waterfall – na sprawdzenie efektów po np. 10 miesiącach developmentu. Szybko próbowaliśmy coś stworzyć i od razu przetestować z biznesem. Jeśli jakiś element się sprawdzał, nie czekaliśmy na kolejne interacje. Wykorzystywaliśmy go w poszczególnych podprojektach. To był ten Święty Graal naszego projektu.

Do czego doprowadziło takie dynamiczne i elastyczne podejście?

Reużywalność komponentów i skracanie czasu zredukowało znacząco koszty migracji. Okazało się nawet, że przeprowadzona przez nas migracja była najtańsza we wszystkich, europejskich strukturach Danone. Przeprowadziliśmy ją też sprawnie i szybko biorąc pod uwagę ogromną liczbę różnych funkcji biznesowych.

Muszę natomiast zaznaczyć, że aby RAD się udał, trzeba mieć w zespole bardzo mocne indywidualności. To muszą być ludzie pewni swoich umiejętności, którzy będą w stanie wziąć na siebie ciężar koordynacji w poszczególnych podprojektach. Taki właśnie zespół udało się nam stworzyć.

Co po migracji daje Wam chmura?

Przede wszystkim odciążyła ledwo już działające środowisko on-premise. Dziś nie procesujemy już danych przez 20 godzin tylko przez ok. 4. Uważam to za fantastyczny wynik. Dzięki chmurze, która posiada skalowalne mechanizmy, możemy też używać jeszcze więcej danych i szybko je przeanalizować. Żadne wolumeny nie są dla nas ograniczeniem.

Kwestią kluczową jest to, że chmura jest fundamentem dla organizacji, który pozwala jej iść po więcej, np. po rozwiązania zaawansowanej analityki. Słynne podejście pojedynczego źródła prawdy (Single Source Of Truth – przyp. red.) jest w naszym zasięgu. Nie pytamy już czy w ogóle da się je osiągnąć, tylko kiedy to nastąpi.

W jaki sposób obecnie wykorzystywana jest nowa platforma analityczna i jakie macie plany na wykorzystanie zaawansowanej analityki?

Obecnie platforma jest wykorzystywana przez większość działów biznesowych, z którymi współpracujemy na co dzień. Najwięcej w pełni działających rozwiązań mamy w obszarach takich jak operacje oraz działy sprzedaży. Są to przede wszystkim klasyczne narzędzia analityczne w oparciu o hurtownię danych i raporty Power BI, ale dzięki chmurze nie ma już mowy o niewydolnym środowisku, długim przetwarzaniu danych czy niedostępności środowiska.

Na ten moment mogę powiedzieć o planach wdrożenia rozwiązania z obszaru logistyki. Będziemy w nim przetwarzać i łączyć – w czasie rzeczywistym – duże wolumeny danych produkcyjnych z fabryk z danymi dotyczącymi tego, co się aktualnie dzieje w magazynie.

Chcemy wiedzieć ile mamy produktów, jaki jest ich status czy kiedy ciężarówka pojawi się przed magazynem. Implementując sprytne algorytmy tworzymy system, który znacząco usprawni pracę w magazynie, sugerując pracownikom np. gdzie najlepiej ustawić paletę, która zeszła właśnie z linii produkcyjnej.

Jak reagujecie na najbardziej gorące dziś tematy sztucznej inteligencji i Generative AI?

GenAI to temat mocno przehajpowany, szczególnie po stronie biznesu. Wielu osobom czy firmom wydaje się, że zadając odpowiednie pytania ChatGPT nagle zadzieje się magia i dostaną dobrą receptę na wszystko. A tak niestety nie jest. Dlatego uważam, że należy studzić ten nadmierny, „generatywny” entuzjazm.

Co do klasycznej sztucznej inteligencji, to jak najbardziej mamy na road mapie zaplanowaną pracę nad rozwiązaniami, które wykorzystają tę technologię, aby pomóc nam być organizacją Data Driven.

Czy można powiedzieć, że ta klasyczne AI stało się niezbędne w analizie danych?

Jest zdecydowanie niezbędne tam, gdzie chcemy zdobywać przewagi konkurencyjne. Klasyczne raportowanie, analityka, opisuje nam to, co się stało czy to, co obecnie się dzieje. Na tej podstawie pozwala nam wyciągnąć odpowiednie wnioski. Ale musimy to zrobić my sami – poprzez analizę, pracę nad danymi czy wykorzystanie naszych doświadczeń. To kosztuje nas najcenniejszy zasób jaki mamy czyli czas.

Jeśli chcemy być dwa kroki przed konkurentami, kluczowe jest to, aby te narzędzia analityczne pomogły nam oszczędzić czas i dostarczały wnioski, na które sami byśmy nie wpadli. Chociażby poprzez szukanie korelacji, które na pierwszy rzut oka nie są dla nas oczywiste, ale także poprzez pokazanie nam innej perspektywy. Zatem w obecnym świecie Data Analitics AI jest zdecydowanie kluczową technologią.

Jak po wdrożeniu nowej koncepcji odnaleźli się w niej Wasi pracownicy? Czy musieli/muszą doskonalić swoje umiejętności?

To jest proces, który trwa, będzie trwał i tak naprawdę nigdy się nie skończy. W dodatku ma kilka wymiarów. Pierwszy dotyczy narzędzi i technologii. Dziś to może być Power BI, ale już jutro liderem Gartnera stanie się np. Tablo i cały świat przepnie się na inne rozwiązanie. Umiejętności, aby z tych narzędzi umieć skorzystać są kluczowe.

Jeszcze ważniejsze jest krytyczne myślenie, umiejętność znajdowania powiązań czy przygotowywania trafnych rekomendacji. Tego nie da się zrobić w rok czy dwa lata. Nie da się też znaleźć takiego punktu startu, w którym założymy sobie, że za dwa lata będziemy organizacją Data Driven. To jest długotrwały proces, który polega na coraz lepszy, wykorzystywaniu i ulepszaniu warstwy technologicznej przy jednoczesnym patrzeniu na wyniki biznesowe.

Korelacja tych dwóch rzeczy może przynieść dobre efekty, ale by tak było, organizacja musi być też świadoma tego, w jakim miejscu się znajduje. Kluczowe są więc działania, pozwalające zrozumieć poziom zaawansowania firmy w danych obszarach i to, czego jej jeszcze brakuje.

Jakie efekty przyniósł ten projekt i w jaki sposób je zmierzono?

W on-premise mogliśmy pracować przez zaledwie 3-4 dni w tygodniu. Do tego były jeszcze ograniczenia czasowe, o których już wspominałem. Po migracji dostępność naszego środowiska One Source (nazwa chmury w Danone) określiłbym na 98%. Wcześniej było to ok. 70%. Druga zmiana to czas procesowania danych. Zredukowaliśmy go o blisko 75%.

Kolejny benefit to fakt, że nie musimy już pracować w taki sposób jak wcześniej. Nie musimy nieustannie gasić różnych pożarów, reagując na incydenty i naprawiając coś, co znowu się popsuło. Tego typu działania stanowiły wcześniej ok. 50% zadań zespołu.

Obecnie nawet 70% naszej pracy to wyłącznie dostarczanie wartości dla biznesu. Przestaliśmy zajmować się tym, co się zepsuło, a skupiliśmy na tym, aby rozwijać platformę i dostarczać rozwiązania, które pomagają być Data Driven i podejmować decyzje przynoszące firmie realne zyski.

Następna rzecz, to satysfakcja klienta wewnętrznego. Mamy narzędzia i metodyki, które pozwalają nam to mierzyć. Udało nam się podnieść te statystyki do poziomu 96%. Wcześniej nie było aż tak kolorowo. To są główne, namacalne przykłady tego co dała nam migracja.

Trzeba również dodać dwie kwestie z punktu widzenia finansowego. Pierwsza, to sposób przeprowadzenia migracji. Koszty, które ponieśliśmy były o blisko 50% niższe w porównaniu do innych zespołów w Danone. A to spowodowało, że jesteśmy teraz wskazywani jako przykład tego, jak powinien działać zespół IT Data & Analitics.

Druga rzecz, chyba najważniejsza, to fakt, że dzięki temu, iż mamy nową platformę, możemy realizować projekty bez przeszkód. Tylko w pierwszym roku – i to jeszcze niepełnym, bo migrację zakończyliśmy w IV kwartale 2023 roku – zaplanowaliśmy i wykonaliśmy projekty, których wartość deklarowanych business case wynosi blisko 10 mln zł np. w postaci oszczędności czasu i efektywności biznesu, które te projekty generują.

Był też nieoczekiwany efekt projektu – przynajmniej nie było go w “oficjalnych” KPI – wskaźnik rotacji w zespole spadł z 44% do 8%. Dlaczego tak się stało?

Ten wysoki wskaźnik rotacji wynikał głównie z tego, że praca w poprzednim środowisku była bardzo frustrująca. Nie pomagała w budowaniu przekonania, że to, co robimy rzeczywiście przynosi realną wartość i ma sens. Wciąż skupialiśmy się na naprawianiu błędów. Powodowało to falę odejść i częstą rotację.

Po migracji jesteśmy skoncentrowani na realizacji ciekawych zadań, pracujemy na technologiach, które stanowią rynkowy top. To usprawniło środowisko pracy i niejako automatycznie sprawiło, że chce się nie tylko pracować, ale też podnosić kwalifikacje i zdobywać nowe kompetencje. Dzięki temu cały czas zmierzamy w kierunku stabilnego i optymalnie zorganizowanego zespołu.