Realizacja każdego projektu IT jest wyzwaniem. W przypadku projektów Big Data dodatkowa trudność polega na: umiejętnym wykorzystaniu różnorodnych framework’ów, technologii i oprogramowania open source; gromadzeniu i przetwarzaniu dużych zbiorów danych oraz pracy na styku biznesu, IT i statystyki. W niniejszym artykule przedstawiamy kluczowe zagadnienia związane z wdrożeniem zawansowanej analityki.
Od czego zacząć? Warto znaleźć odpowiedzi na pytania: jakie w moim biznesie dostrzegam szanse i zagrożenia? Czy gdybym miał wiedzę odnośnie zachowania klientów, ich preferencji zakupowych, aktualnej sprzedaży online, skuteczności akcji marketingowych potrafiłbym te szanse wykorzystać a zagrożeniom przeciwdziałać? Doświadczenie pokazuje, że często na tym etapie kluczowa jest rola działów IT. Zwłaszcza w firmach, gdzie IT ma ambicje działać proaktywnie, stymulować biznes i pokazywać możliwości technologiczne. Ważne jest jednak przeprowadzenie warsztatów z przedstawicielami biznesu, aby precyzyjnie zdefiniować Business Cases, którego realizacja miałaby duże przełożenie na wyniki finansowe.
Wybór danych i wizji rozwiązania analitycznego
Zdefiniowanie Business Cases pozwala ukierunkować działania. Możemy wstępnie określić: jakie dane będziemy analizować; jakie są źródła danych; ile ich jest i jakie rozwiązania technologiczne powinny zostać wykorzystane. Już na tym etapie możliwe jest określenie wizji rozwiązania, harmonogramu, budżetu projektu oraz wskazanie osób, które z ramienia biznesu i IT powinny być zaangażowane w projekt.
Siły IT mogą przygotować konektory do wybranych systemów informatycznych, aby możliwa była akwizycja danych. Analitycy mogą wykonać wstępne testy i określić jakość danych oraz ich statystyczną wartość. Działania te często przeprowadzane są w ramach Proof Of Concept. Pozwala to zarządom podjąć decyzję o budowie platformy analitycznej na podstawie zdefiniowanego Business Cases, wizji rozwiązania, kosztu i potencjalnych korzyści.
Platforma analityczna jako podstawa Big Data
Dobrze zaprojektowana platforma analityczna powinna spełniać kilka, często rywalizujących ze sobą, celów. Oczekuje się, że wiedza płynąca z zastosowania analityki dostarczana będzie pracownikom operacyjnym w prosty sposób. Kierownik regionalny powinien otrzymać informację o konkretnym produkcie, kliencie czy kanale sprzedaży, którym powinien się zająć. Bez konieczności analizowania złożonych raportów i bez znajomości statystyki. Jednocześnie, pracownicy podejmujący strategiczne decyzje odnośnie sprzedaży, marketingu czy logistyki powinni mieć dostęp do danych za pośrednictwem narzędzi klasy BI, MS Excel lub generowanych raportów.
Gromadzone na platformie dane mają dużą wartość. Konieczne jest więc zadbanie o ich bezpieczeństwo, nadzór i dobrze określone poziomy dostępu dla poszczególnych użytkowników. Spełnienie tych postulatów wymaga zbudowania zaawansowanej technologicznie platformy, spełniającej wymogi korporacyjne, działającej w pełni automatycznie i zintegrowanej z użytkowanymi systemami IT.
Opracowanie modeli statystycznych dla zdefiniowanych Business Cases możliwe jest w oparciu o próbkę danych, może więc przebiegać równolegle do budowania platformy analitycznej. Zespół Data Science testuje hipotezy i weryfikuje dostępne metody statystyczne tak, aby osiągnąć jak najlepsze rezultaty. Na tym etapie weryfikowana jest statystyczna istotność poszczególnych zmiennych oraz ich wpływ na budowany model.
Zbudowanie platformy analitycznej w oparciu o technologię Hadoop w warstwie danych pozwala na gromadzenie i przetwarzanie danych spełniając korporacyjne wymagania oraz automatyzując obliczenia związane z zaawansowaną analityką, także real time. Dodatkowo, wysoka skalowalność tak zbudowanej platformy umożliwia realizację pojedynczego Business Cases wraz z produkcyjnym uruchomieniem, a następnie pracę nad kolejnymi. Skracamy dzięki temu czas wprowadzenia produktu na rynek – Time-To-Market. Pozwalamy także na osiągnięcie korzyści tak szybko, jak to tylko możliwe.
Analityka podstawą do wykorzystania posiadanej wiedzy
Opracowanie modeli statystycznych dla zdefiniowanych Business Cases możliwe jest w oparciu o próbkę danych, może więc przebiegać równolegle do budowania platformy analitycznej. Zespół Data Science testuje hipotezy i weryfikuje dostępne metody statystyczne tak, aby osiągnąć jak najlepsze rezultaty. Na tym etapie weryfikowana jest statystyczna istotność poszczególnych zmiennych oraz ich wpływ na budowany model.
Osiągnięte rezultaty prezentowane są biznesowi w celu potwierdzenia korzyści i możliwości produkcyjnego wdrożenia, także w kontekście procesów biznesowych. Kluczowe jest bowiem, aby w bieżącej działalności wykorzystać wiedzę pozyskaną dzięki zastosowaniu zaawansowanej analityki. Wymaga to często dostosowania procesów sprzedażowych, zakupowych i działań marketingowych, a co się z tym wiąże systemów IT je wspierających.
Podejście projektowe do budowy platformy analitycznej
Zagadnienia związane z Big Data są relatywnie młode. Oznacza to, że na rynku nie ma produktu, który spełniałby postulat platformy analitycznej. Oczywiście dostępne jest oprogramowanie – często jako uzupełnienie systemów klasy ERP – w obszarach: antychurn, antyfroud, prognozujące zamówienia na poziomie magazynu, itp. Jednak są to rozwiązania zamknięte, realizujące poszczególne zadania i często bardzo drogie.
Projekty Big Data wymagają specyficznego podejścia. Wynika to z faktu, iż konieczne jest połączenie wielu różnych technologii a wszystko przy dużej ilości gromadzonych danych i przy zapewnieniu wysokiej wydajności wykonywanych obliczeń. W obszarze akwizycji danych konieczne jest zbudowanie konektorów do systemów źródłowych. Ekosystem Hadoop wymaga od specjalistów rozumienia równoległego przetwarzania danych przy ich niestrukturalnym i nierelacyjnym charakterze.
Opracowanie i uruchomienie platformy analitycznej w oparciu o technologię Hadoop wymaga podejścia projektowego. Na podstawie analizy „as is” – celów biznesowych, ilości danych, wymagań odnośnie bezpieczeństwa i innych czynników – możliwe jest zaprojektowanie i uruchomienie indywidualnie dopasowanego, dobrze zintegrowanego środowiska analitycznego. Takie podejście pozwala na realizację wielu różnych Business Cases, zdefiniowanych przez różne działy od sprzedaży i marketingu, przez finanse i kontroling po logistykę i produkcję. A wszystko na jednej spójnej platformie.
Specyfika projektów Big Data
Projekty Big Data wymagają specyficznego podejścia. Wynika to z faktu, iż konieczne jest połączenie wielu różnych technologii a wszystko przy dużej ilości gromadzonych danych i przy zapewnieniu wysokiej wydajności wykonywanych obliczeń. W obszarze akwizycji danych konieczne jest zbudowanie konektorów do systemów źródłowych. Ekosystem Hadoop wymaga od specjalistów rozumienia równoległego przetwarzania danych przy ich niestrukturalnym i nierelacyjnym charakterze. Modele analityczne tworzone są w oparciu o dedykowane środowiska statystyczne wymagające posiadania wysoko wyspecjalizowanych niszowych kompetencji. Z kolei dostarczenie osiągniętych rezultatów odbiorcom wymaga wiedzy i doświadczenia w obszarze integracji systemów IT, hurtowni danych i systemów BI.
Zespół projektowy rozwiązań Big Data składa się często z kilkunastu osób, z dobrze określonym zakresem kompetencji i odpowiedzialności. Kluczowymi osobami są: eksperci w zakresie Data Science – odpowiedzialni za budowane modele analityczne; Data Stewardzi – dbający o jakość danych i ich interpretację oraz architekci IT – odpowiedzialni za opracowanie i uruchomienie platformy analitycznej przy spełnieniu korporacyjnych standardów.
W skład zespołu projektowego wchodzą również przedstawiciele klienta – zarówno z ramienia biznesu, jak i IT. Jest to kluczowe, aby osiągnięte rezultaty miały wysoką wartość biznesową i były wykorzystywane w codziennym biznesie.
Michał Koziara jest Big Data Evangelist w Silmine.
W kolejnych – publikowanych na łamach magazynu ITwiz – artykułach cyklu – Odczarowując Big Data – przedstawimy przykłady zastosowania w handlu detalicznym, finansach, przemyśle, e-commerce, medycynie i wszędzie tam, gdzie nasze doświadczenia pokazują, że Big Data ma sens! W niektórych artykułach skupimy się na technologii, w innych na aspektach biznesowych. Zapraszam do lektury!
