Transformujemy IT w Inter Cars w wymiarze organizacyjnym i technologicznym

Z zespołem odpowiadającym za utrzymanie i wizję rozwoju technologii w Inter Cars rozmawiamy o zarządzaniu projektami; budowie Agile Center of Competence; transformacji współpracy IT z biznesem; zmieniającej się roli pionu IT; wykorzystaniu narzędzi cloud computing, kontenerów i mikroserwisów oraz ich reużywalności; zaawansowanych narzędziach analitycznych; budowie Core Data Platform; zastosowaniu algorytmów Machine Learning oraz budowie własnego Security Operation Center.

WSPÓŁPRACA IT Z BIZNESEM

W jaki sposób transformuje się pion IT w Inter Cars? W jakim kierunku ewoluuje współpraca IT z biznesem?

Robert Kucharczyk, CIO w Inter Cars

R.K.: Chcemy, aby nasza relacja z biznesem stawała się coraz bliższa. Tym bardziej, że wcześniejsze doświadczenia ze współpracy nie zawsze były korzystne. Zmiany zaczęliśmy wprowadzać 3 lata temu, gdy podejście do IT w Inter Cars było jeszcze mocno tradycyjne. Pion IT odpowiadał wówczas za część techniczną, ale jednocześnie przyjmowaliśmy do siebie ludzi z biznesu, którzy pomagali nam zrozumieć procesy. W 2019 roku postanowiono jednak niejako „podzielić się” tymi kartami między IT a biznesem. Zaczęliśmy tworzyć zespoły produktowe. Pojawili się Business Ownerzy.

Bartłomiej Wydro, zastępca dyrektora ds. projektów w Inter Cars

B.W.: Przez ostatnie 2–3 lata bardzo dużo wysiłku wnieśliśmy w zburzenie ściany między IT a biznesem. Centra kompetencyjne zmieniliśmy w mieszane zespoły produktowe, którymi kierują Product Ownerzy z biznesu. Powstały one wokół każdej, wiodącej aplikacji. Osoby w tych zespołach muszą mieć odpowiedni zestaw kompetencji, rozumieć zarówno biznes, jak i IT. Dlatego zaczęliśmy przekazywać część kompetencji IT do biznesu. To jeden z aspektów współpracy.

W najważniejszych dla Inter Cars obszarach – takich jak platformy e-commerce i sklepy internetowe, logistyka czy marketplace z używanymi częściami – chcemy, by zespoły te były w 100% samowystarczalne. Aby ich członkowie nie musieli nikogo prosić o pomoc, bo posiadają wszelkie, niezbędne kompetencje do realizacji projektu czy rozwoju produktu. Naszym zdaniem, jest to najlepsze rozwiązanie. Najwięcej wyzwań, dyskusji co do zakresu projektu, ustalania terminów realizacji powstaje bowiem we współpracy pomiędzy różnymi zespołami.

Pierwsze zmiany w organizacji zespołów wprowadziliśmy w IV kwartale 2021 roku. Zrealizowaliśmy Proof of Concept w obszarze rozwoju aplikacji e-commerce dla segmentu B2B. Przeanalizowaliśmy, jak tego typu zespoły się sprawdzają. Nie chodzi tylko o funkcjonowanie w modelu Continuous Delivery/Continuous Integration, ale też poprawę sposobu pracy. Od początku tego roku kontynuujemy zapoczątkowane zmiany.

R.K.: Mamy też w biurze zespoły DevOps, które łączą światy technologiczny i programistów.

Ile osób pracuje w pionie IT Inter Cars?

R.K.: Jest to już 261 osób. Do tego dochodzą body leasing oraz umowy serwisowe z firmami, które pracują tylko dla nas. Mamy również 18 specjalistów w Dziale Bezpieczeństwa IT. Szybko rośniemy m.in. dlatego, że w połowie pandemii nastąpił zwrot w podejściu do działu developmentu. Dostaliśmy od zarządu zezwolenie na jego znaczną rozbudowę. Decyzje o tym przyspieszyły braki programistów oraz konieczność wzrostu rozwoju platform e-commerce. Stworzyliśmy wówczas Centrum Kompetencji Wspólnych, w którym pracują już 73 osoby. Jednocześnie chcieliśmy uwspólnić narzędzia, którymi rozwijamy nasze oprogramowanie – zarówno na poziomie kodu w GitHubie, jak i kontenerów czy narzędzi zarządzania kodem.

Czy zmienia się również podejście do realizacji projektów, na bardziej zwinne?

B.W.: Oczywiście. Choć, niezależnie od tego, jak byśmy się starali, to jeszcze przez lata pozostaną projekty, które musimy realizować w modelu waterfall. Związane są np. z otwarciem oddziału na nowym rynku czy z dostosowaniem się do zmian, jak ten dotyczący integracji z Krajowym Systemem e-Faktur.

R.K.: Rozwijamy kompetencje wspierające zwinny model pracy i myślenia w procesie wytwarzania oprogramowania wspierającego biznes. Zatrudniamy czterech Scrum Masterów i Agile Coacha. Mają oni dostarczać wiedzę i kompetencje wspomagające zespoły w procesie ciągłego doskonalenia się, aby efektywniej tworzyć wartościowe produkty. Szukamy specjalistów, którzy przeszli przez różne instytucje, mają za sobą wiele, różnorodnych doświadczeń. Inter Cars dorósł do tego, aby stworzyć Agile Center of Expertise. Chcemy tę komórkę rozbudowywać we własnym zakresie.

Sylwia Karaś-Cicholska, Leader Agile Center of Expertise w Inter Cars

S.K.: Pozwolę sobie jeszcze wrócić do początku wywiadu i nawiązać do pytania o to, w jaki sposób się transformujemy. Przede wszystkim doszliśmy do wniosku, że nie da się usprawniać IT bez biznesu i odwrotnie. Musimy mieć wspólne cele. Za dług technologiczny czy wydajność aplikacji odpowiada nie tylko IT. Wspólnie tworzymy wartość, dbamy o doświadczenia klienta. IT i biznes dziś to rozumieją.

Teraz oczywiście nasze wnioski należy przełożyć na praktykę. Z zespołem Scrum Masterów pracujemy nad tym, aby pokazywać jak – na co dzień – korzystać z empirii, wyciągać wnioski z doświadczeń, działać w pętli zwrotnej. Coraz częściej mówimy o adopcyjności i zwinności. To pozwala unikać paraliżu oczekiwania na decyzje. Skracamy ścieżki decyzyjne poprzez samoorganizację zespołów. Ważna jest komunikacja bezpośrednia, gdzie biznes i IT pracują wspólnie, znają swoje potrzeby i wyzwania. Teraz chcemy pracować na wielu poziomach.

Obserwuję też coraz większą skłonność do eksperymentowania. Widać to np. po zespole odpowiedzialnym za rozwój platformy e-commerce B2B.

R.K.: W Inter Cars jest zgoda na eksperymentowanie. Wyraźnie komunikujemy, że zgadzamy się na nie, a nasi pracownicy mogą się mylić w swoich próbach, byleby wyciągali z tego wnioski. Chcemy doprowadzić do tego, aby nie tylko menedżerowie, ale wszyscy pracownicy mieli wpływ na projekty, na wprowadzane zmiany.

S.K.: Takie podejście wspiera realizację zasad manifestu programowanie zwinnego – Manifest Agile – ciągłego dostrajania się i dostosowywania działań oraz zachowań do wyciągniętych wniosków ze zgromadzonych doświadczeń i danych.

B.W.: Biznes i IT muszą działać wspólnie dla dobra firmy. Zrozumieliśmy to razem. W zależności od projektu, produktu, musimy pozwolić zespołom pracować tak, jak chcą i jak potrzebują, zarówno w metodologii agile, jak i waterfall, w oparciu o Scrum czy Kanban. Scrum jest najlepszy przy rozwoju platform e-commerce, waterfall zaś przy zmianach dotyczących systemów ERP. Chcemy zespołom pozwolić na znalezienie najlepszej metody. Musimy też zadbać o odpowiednią decyzyjność i komunikację. Nie możemy realizować jednocześnie 50 projektów naraz. Biznes musi wybrać te priorytetowe.

Jakie narzędzia wspierają realizację projektów i ich utrzymanie, rozliczenia z biznesem, zgodność z podejściem do zarządzania usługami IT wg zasad ITSM?

Beata Marszałkowska, zastępca dyrektora ds. HelpDesk i wsparcia w Inter Cars

B.M.: Wdrożyliśmy – w kontekście zarządzania projektami – narzędzie Jira Atlassian. W kolejnym kroku uruchomiliśmy dodatki do niego, m.in. Jira Service Management na potrzeby Service Desk i tzw. Insight. Obecnie rozszerzamy wykorzystanie Jira na biuro prawne.

B.W.: Inicjatorem wdrożenia Jira było – 5–6 lat temu – Biuro Zarządzania Projektami. Wcześniej korzystaliśmy z serwerowej wersji Microsoft Project, ale 90% funkcjonalności tego pakietu nie było nam potrzebne. Potrzebowaliśmy czegoś, co lepiej działa niż e-mail, a jednocześnie nie wymaga dużej pracy administracyjnej, jak w Microsoft Project. Tak pojawiła się Jira. Obecnie organizacja nauczyła się pracy z tym narzędziem i osoby odpowiedzialne za realizację projektów oczekują tego, że otrzymają wszelkie informacje w jednym miejscu, a nie w kilkunastu e-mailach.

W jaki sposób Jira usprawniła Waszą pracę?

B.M.: Zespoły projektowe działały w Jira. Zastanawialiśmy się jednak, jak przenieść zadania z systemu ticketowego – w zgodzie z ITIL – do Jira. Udało się to i teraz chcemy wyłączyć stary system ticketowy. Ale wcześniej analizujemy i weryfikujemy cały katalog usług IT. Układamy transparentne procesy. Dzięki temu projekty i incydenty znajdują się w jednym miejscu, możemy łączyć wspólne prace, weryfikować ile ticketów i jakie błędy pojawiały się po kolejnym wdrożeniu. Wiemy, ile pracy w dany projekt włożyły poszczególne zespoły.

W efekcie, gdy biznes zleca nam np. przygotowanie do otwarcia nowego oddziału – oczywiście tylko aspekty informatyczne – znając jego oczekiwania i mając wypracowane standardy, wiemy ile potrzebujemy czasu. Możemy więc podpisać np. umowy telekomunikacyjne i zobowiązujemy się do realizacji przedsięwzięcia w zakładanym czasie. Biznes zaś jest w stanie zweryfikować – w oparciu o dashboardy – czy się wywiązujemy z naszych zobowiązań, a jeśli nie, to wiemy dlaczego.

B.W.: Dzięki temu mamy środowisko, które wszyscy znają i jest ono elastyczne. Mamy też projektowe zespoły zarówno w Scrum, jak i Kanban. Kiedy jednak potrzebujemy zsynchronizować się pod kątem portfolio projektów – aby działać do jednej bramki i współdzielić zasoby np. architektów – to Jira pozwala nam uniknąć generowania dodatkowej pracy. Oczywiście ma ona pewne wady i ograniczenia, ale nie stanowią one istotnego problemu.

B.M.: Wiele firm korzysta z Jira. Dzięki temu – poprzez zewnętrzne API – jesteśmy w stanie zintegrować prace nasze i kilku dostawców, monitorować także postępy po ich stronie. Wszystkie integracje mamy w jednym miejscu. Uzyskaliśmy też w pełni transparentną komunikację.

Staramy się, aby statusy projektowe i helpdeskowe były takie same. Mówimy więc tym samym językiem. Przy układaniu procesów w Jira daje nam to dodatkową wartość. Wszystko mamy w jednym miejscu. Szybciej możemy dostarczyć i łatwiej powiązać prace różnych zespołów. Do tego mamy pełny workflow. Możemy – w tym samym czasie – współpracować z wieloma zespołami. Tworzyć wnioski, procesy akceptacyjne, wykorzystywać też informacje zwiększające bezpieczeństwo realizacji projektów.

Większość działów pracuje na Jira?

B.W.: W dziale rozwoju oprogramowania tak. Wspomniany Dział Prawny jest jednym z ostatnich. Budujemy w Jira wspólną bazę wiedzy. Mamy również bazę projektów, które pokazujemy, gdy biznes przychodzi z nowym. Na ekranie od razu widać co robimy i ile nam to jeszcze zajmie, a więc także to, kiedy będziemy mogli zająć się czymś nowym.

B.M.: Dążymy do tego, aby uruchamiać na Jira komunikację z innymi zespołami w Inter Cars. Niedawno logistyka zgłosiła prośbę, aby swoje procesy uruchamiać na tej platformie. Pozostałe zespoły też zgłaszają takie zapotrzebowanie. Widzą, że Jira pozwala usystematyzować realizację projektów, niezależnie od wybranej metodologii pracy.

KLUCZOWE PROJEKTY IT W INTER CARS

Jakie są najważniejsze projekty, które są obecnie realizowane w Inter Cars?

B.W.: Najważniejszy to wdrożenie rozwiązań związanych z integracją z Krajowym Systemem e-Faktur. Za jego pośrednictwem wszystkie firmy w Polsce już w 2023 roku będą musiały przez tę platformę przekazywać kontrahentom faktury. My wystawiamy ich każdego dnia dziesiątki tysięcy. Na razie trwa analiza biznesowa i funkcjonalna, w ilu systemach trzeba dokonać zmian, ile procesów trzeba zmienić. Jest to jedno z większych przedsięwzięć, jeśli nie największe, w mojej 8-letniej karierze w Inter Cars.

Drugi ważny projekt – Proxy User – ma charakter bardzo techniczny. Ma związek z coraz większą liczbą użytkowników i wykonywanych przez nich operacji w naszych systemach. Znacząco wzrosła ilość zapytań jednoczesnych do naszego systemu ERP, także poprzez kanał e-commerce. Może to stać się coraz bardziej problematyczne. Pragniemy zapobiec ewentualnej awarii. Chcemy więc, aby 1000 podobnych zapytań wyglądało dla systemu jak jedno. Będziemy je batchować. Tworzony jest zatem dodatkowy, techniczny użytkownik Proxy.

Inne projekty mają zwiększać przychody. Zamierzamy skoncentrować wysiłki na mniej oczywistych kanałach sprzedażowych, takich jak dropshiping, magazyny depozytowe czy działalność flotowa. To pokłosie pandemii. Bardzo dużo handlu przenosi się do internetu. Z kolei wielu klientów przerzuca się na wynajem długoterminowy, dotyczy to także kontraktów flotowych, które obsługuje też Inter Cars. Wdrażamy narzędzia do automatyzacji tych procesów.

Inter Cars stale otwiera również nowe rynki. Niedługo ruszy sprzedaż przez nową filię w Norwegii. Do tej pory działaliśmy tam w ramach oferty e-commerce. Za tym idą zmiany w systemie ERP, konfiguracji sieci WLAN, a w kolejce czeka Belgia.

Jednym z tematów, który chcemy uruchomić w 2022 roku, jest wymiana systemu ERP wspierającego działanie Inter Cars za granicą. Na razie jesteśmy na etapie analiz.

Ostatnia grupa projektów ma związek z Quality of Life naszych pracowników. Pierwszy to przejście na nowy system CRM. Dwa dotychczas wykorzystywane rozwiązania zastąpi Dynamics 365 Business Central CRM Online. Ułatwi i poprawi on pracę naszych przedstawicieli handlowych. Drugi projekt dotyczy wymiany systemu HR, pozwoli łatwiej obsługiwać procesy przez samych pracowników, znacznie skracając czas na to potrzebny.

Innym tego rodzaju projektem jest nasze autorskie rozwiązanie IC Driver. Wdrożyliśmy je pod koniec 2020 roku. Wykorzystują je kierowcy na tzw. ostatniej mili. Do tej pory konieczne było stosowanie papierowych dokumentów i odręczne ich podpisanie. Teraz kierowcy mają urządzenia z ekranem dotykowym. W pełni wdrożyliśmy też proces elektronicznego obiegu dokumentów. Elektronicznie obsługiwane są także zwroty. Nikt nie wypełnia już odręcznie stosownego formularza. Kurier jedynie odznacza w aplikacji zwrot, a sam formularz klient wypełnia już w naszej aplikacji. Znacznie przyspiesza i poprawia to obsługę klientów. Przynosi też znaczące oszczędności. Na razie IC Driver objął Polskę. Teraz rozszerzamy projekt na filie w innych krajach. Efektem będzie kilkaset tysięcy stron wydruków mniej rocznie.

Dużo mówi się dziś o zrównoważonym rozwoju i ochronie klimatu. Czy te dwa elementy stają się też częścią projektów? W jaki sposób do tego podchodzi Inter Cars? Wspomina się m.in. o elektrycznych samochodach rozwożących części do warsztatów, a także dystrybucji samochodów elektrycznych.

Wojciech Gembalczyk, zastępca dyrektora ds. aplikacji biznesowych w Inter Cars

W.G.: To prawda, eksperymentujemy z dowożeniem części towarów samochodami elektrycznymi. Rozważamy też dystrybucję pojazdów elektrycznych. Widzimy również pojawiający się nowy rynek napraw tego typu samochodów.

ZWINNE METODYKI PRACY, MIKROSERWISY, KONTENERY

Robert wspomniał, że szybko rozrasta się Wasz zespół deweloperów. Jakich specjalistów poszukujecie? Do jakich projektów?

W.G.: Szukamy architektów IT oraz DevOpsów w dwóch głównych technologiach Java po stronie back-end i React na frond-endzie, a także specjalistów od analizy dużych zbiorów danych Big Data. Większość projektów w moim dziale, które realizujemy – lub planujemy zrealizować – ma związek z dotarciem do klienta na rynkach B2B i B2C w sposób omnikanałowy. Dotyczy więc rozbudowy systemów sprzedażowych, w tym e-commerce. Przykładowo niedawno w naszym systemie B2B dodaliśmy funkcjonalność obsługi sprzedawcy w imieniu klienta końcowego, również w kanale e-commerce.

Jednocześnie zaczynamy proces wychodzenia z rozwiązań monolitycznych. Wyciągamy ich fragmenty i budujemy mikroserwisy np. dotyczące funkcjonalności związanej z czasem dotarcia towaru do klienta. Nowa usługa pozwala obliczyć go z uwzględnieniem czasu dostaw pomiędzy naszymi magazynami oraz na tzw. ostatniej mili. Kiedyś co prawda znaliśmy stany magazynowe, ale mogliśmy jedynie domyślać się, kiedy towar dotrze do zamawiającego.

Budując kolejne mikroserwisy, szukamy rozwiązań, które są wspólne dla rynków B2B i B2C. Chcemy tworzyć jak najwięcej komponentów reużywalnych. Za tym idzie oczywiście też konteneryzacja i wykorzystanie Kubernetesa do zarządzania nimi. Budujemy więc Cloud Native Applications, choć opieramy je o infrastrukturę on-premise.

Marek Kwietniewski, zastępca dyrektora ds. rozwoju oprogramowania w Inter Cars

M.K.: Jako Inter Cars weszliśmy, choć w ograniczonym zakresie, w mikrousługi już w 2014 roku. Teraz przerabiamy na nie kolejne elementy systemów e-commerce i ERP.

Dotyczy to również platformy logistycznej. Jest ona rozwijana w spółce córce Inter Cars odpowiadającej za ten obszar. Rozpoczęliśmy jednak prace nad mikrousługą, która odpowiada za śledzenie paczek. Dzięki niej będzie można zidentyfikować, w której filii lub magazynie dany pojemnik wielkogabarytowy palox jest, gdzie był ostatnio i jak dawno temu. Jesteśmy na początku drogi, niemniej daliśmy już biznesowi pierwsze narzędzia, które ograniczą skalę „zaginięć”.

Rozwijamy także kastomową platformę e-commerce, również opartą na mikroserwisach. Część z nich będzie współdzielona pomiędzy narzędziami stosowanymi w kanałach B2B i B2C. W wielu miejscach pewne funkcjonalności są bowiem tożsame. Rozbijamy więc, jak wspomniał Wojtek, dotychczasowy monolit na mikrousługi.

Marcin Jasiński, architekt systemowy w Inter Cars

M.J.: Dzięki temu, że budowana przez nas platforma będzie składała się z wielu mikroserwisów, będziemy mogli ją w dowolny sposób skalować, szybciej odpowiadając na bieżące potrzeby biznesu.

M.K.: Chcemy dzięki temu skalować też prędkość rozwoju oprogramowania w Inter Cars. Rozproszona architektura łatwiej pozwala zaangażować w projekt większe zespoły programistów.

Sebastian Mękal, Technical Lead w Inter Cars

S.M.: Dziś mamy rozwiązania monolityczne oparte na licencjach. W przyszłości będą to mikrousługi. Wymusza to jednak stosowanie innych technik budowania i deploymentu. Początkowo w mikrousługach pojawiają się core’owe usługi platform e-commerce dla kanału B2B.

Wspominacie o zastosowaniu innych technik budowania i deploymentu, a także reużywalności mikrousług. Czy wprowadzacie również rozwiązania przyspieszające ich powstawanie?

S.M.: Stworzyliśmy Template do wytwarzania mikroserwisów. Obejmuje on wszystkie niezbędne elementy potrzebne do szybkiego uruchomienia nowego projektu: dostępy do systemów korporacyjnych, monitoring, open tracing, Continuous Integration / Continuous Deployment. Celem jest wypracowanie jednolitego standardu tworzenia mikrousług. Chcemy dać programistom komplet narzędzi, które pozwolą im pracować bezproblemowo przy starcie takiego projektu. Mając je do dyspozycji, będą mogli skupić się jedynie na wdrożeniu wymagań biznesowych.

Bartłomiej Jędrzejewski, menedżer Centrum Kompetencji IT w Inter Cars

B.J.: Tak naprawdę potrzeba wyjmowania poszczególnych funkcjonalności z systemów IT pojawiła się już kilka lat temu, gdy chcieliśmy – w sposób jednolity i niezawodny – zaprezentować stany magazynowe w całej Grupie. Trudność polegała na tym, że każda spółka ma swój system ERP, a wolumen danych to miliony produktów pomnożone przez liczbę filii i magazynów w danym kraju. To, przy bardzo ogromnej liczbie zapytań, generowało duże obciążenie w systemach transakcyjnych.

Zaczęliśmy więc synchronizować  te dane  w zewnętrznej bazie Redis, która posłużyła nam jako źródło danych dla usługi zwracającej stany magazynowe. Teraz możemy je serwować różnym aplikacjom i serwisom zachowując bardzo małe czasy odpowiedzi i bez negatywnego wpływu na systemy ERP.

Pozwoliło to przetrzeć pierwsze szlaki. Dziś staramy się, aby każdy serwis  budować w ten sam sposób. Do tej pory mamy ok. 10. niezależnych mikroserwisów z danymi wyniesionymi poza główne systemy.

Dlaczego zdecydowaliście się na ten krok?

B.J.: Wyciągamy dane, aby zwiększyć niezawodność w momencie, gdy konkretny system IT będzie niedostępny lub wystąpią problemy sieciowe. Dzięki temu, jesteśmy w stanie nadal serwować dane. Wcześniej – w przypadku problemów ze źródłem danych – cały proces biznesowy był przerywany. Kolejne argumenty przemawiające za zmianą architektury to zmniejszenie obciążenia systemów źródłowych ciągłymi zapytaniami o dane ze strony usług oraz zmniejszenie czasu odpowiedzi serwisów. Po zmianie architektury szybkość dostarczania informacji wzrosła nawet kilkaset razy.

M.J.: Dzieje się tak, ponieważ mikrousługi znacznie łatwiej powielać i skalować niż olbrzymie systemy ERP. Wyciągnięcie danych na dedykowaną platformę znacznie ułatwia również dostęp do nich. W systemach źródłowych ich wyciąganie i porządkowanie wymaga dużej wiedzy. Mikroserwisy nie muszą wiedzieć, gdzie są dane i jak się do nich dostać. Dodatkowa korzyść to jedno źródło danych.

Jakie są kluczowe technologie wykorzystywane w rozwoju oprogramowania w Inter Cars?

M.J.: Aktualnie mamy zainstalowane mikroserwisy na Kubernetesie w Azure. Mamy też w tej chmurze kilka maszyn wirtualnych. Dużo wysiłku wkładamy jednak w przeniesienie do nas Kubernetesa. Bolą nas opóźnienia sieciowe, które – mimo dedykowanych łączy Express Route – są duże. Przy rosnącej skali operacji ma to ogromne znaczenie. Uważamy też, że na własnych maszynach osiągniemy większą elastyczność. Jeśli chodzi o warstwę logiczną architektury IT, do zbierania logów wykorzystujemy Prometheusa i Grafana Cloud.

Ostatnie tygodnie to także koniec budowy PoC z Dynatrace. Zamierzamy wdrożyć to rozwiązanie do monitorowania i zbierania danych o funkcjonowaniu naszych usług. W PoC spięliśmy to narzędzie z systemami Navision ERP, Oracle Service Bus, SAP Hybris i Kubernetes. Wszystko mogliśmy monitorować za pomocą jednego narzędzia. Dynatrace potrafi szybko wskazać źródło awarii. Nie będziemy już musieli – po objawach, jak po nitce do kłębka – dochodzić co się stało. Zastosujemy koncepcję DevOps i monitorowanie wielu systemów naraz, zamiast poprawiania poszczególnych usług.

S.M.: W kontekście mikroserwisów, z ciekawszych rzeczy, stosujemy Dynatrace do ciągłego monitoringu aplikacji. Natomiast do przechowywania i rotowania haseł używamy HashiCorp Vault. W systemach monolitycznych, pod SAP Hybris są Java, Spring Boot Framework i baza Oracle.

M.J.: Wszystko chcemy mieć w języku Java, do analizy jakości kodu zastosowaliśmy SonarQube.

M.K.: Mamy też zdefiniowane standardy w kontekście architektury – zarówno pod kątem technologii, jak i sposobu wytwarzania oprogramowania. Standaryzacja ogranicza nasze nakłady pracy.

M.J.: Nasze pryncypia określają sposób, w jaki chcemy, aby były realizowane dla nas projekty. Po pierwsze są to wspomniane już Java i React oraz dwa frameworki: Spring Boot i Micronaut. Cały kod jest w jednym, naszym repozytorium w GitLab, a nie porozrzucany w różnych miejscach. Zależy nam na tym, aby programiści i dostawcy używali naszych narzędzi deweloperskich. Określiliśmy także to, jak ma wyglądać wynikowy obraz aplikacji w Dockerze. W sumie standardów zebrało się ok. 17.

M.K.: Mamy też listę technologii wykorzystywanych w systemach storage. Należą do nich: baza SQL Postgres, system zarządzania bazą danych Scylla, baza do przetrzymywania ogromnych ilości danych – HBase, system kolejkowy – Kafka, baza in-memory – Redis, wyszukiwarka – Elasticsearch.

Deweloperzy lub partnerzy muszą użyć bardzo silnych argumentów, jeśli ktoś chce zastosować technologie spoza naszego zestawu narzędzi. Celowo ograniczamy ich liczbę.

M.J.: Każda nowa technologia musi być też zaaprobowana przez Dział Architektury Korporacyjnej i dyrektora ds. rozwoju oprogramowania. Chcemy świadomie wybierać technologie, aby nie łapać 10 srok za ogon i doprowadzić do zdefragmentowania naszych kompetencji. Powoduje to bowiem problemy z ich zastępowalnością.

M.K.: Do dziś ponosimy spore koszty związane z tego typu projektami w przeszłości.

M.J.: Jednym z naszych pryncypiów jest to, że jeśli deweloper ma czegoś użyć, to tego, co już jest, a nie pisać danej funkcjonalności od nowa. Ewentualnie istnieje możliwość rozwinięcia tego, co istnieje, jeśli brakuje czegoś w zastanym rozwiązaniu.

M.K.: Dlatego elementem naszej strategii IT jest tworzenie nie tylko reużywalnych mikroserwisów, ale i danych. Dzięki temu następny projekt nie musi się doktoryzować z tych struktur. Product i Business Ownerzy też muszą mieć tego świadomość.

M.J.: Oni akurat są szczęśliwi, jak coś czego chcą jest dostępne od ręki.

ANALITYKA I BIG DATA

Jeden z najnowszych projektów w Inter Cars dotyczy budowy rozwiązań Big Data. Na czym on polega?

M.K.: Stworzyliśmy Core Data Platform na potrzeby analizy danych referencyjnych i transakcyjnych – faktów sprzedażowych, dostępności towarów, katalogów produktów, ceny i cenników. CDP ma być pierwszym miejscem, do którego skieruje się Product Owner przed rozpoczęciem projektu, w którym zidentyfikuje, czy potrzebne mu dane tam się znajdują. Chcemy dzięki temu też odciążyć systemy dziedzinowe. Będziemy je zaciągać raz i publikować na CDP. Tam zamierzamy przenieść wszystkie obciążenia.

W tle stosujemy takie technologie, jak Apache Hadoop, w tym YARNA i HDFS oparty na klastrze fizycznych serwerów. Z kolei do uruchamiania zadań MapReduce stosujemy Spark, a do przepływu danych i ich strumieniowego przesyłania w czasie rzeczywistym Apache NiFi. Jest to platforma low-code, pozwalająca w sposób graficzny tworzyć przepływy danych. Do przesyłania ich z systemów frond-end do CDP wykorzystujemy Clickstream. Tam będą także analizowane i streamowane do zewnętrznych narzędzi, m.in. wykorzystujących algorytmy AI. Rozglądamy się np. za narzędziami do Marketing Automation. Programujemy w języku Scala, a do dostępu ad hoc do danych i prototypowania przez analityków stosujemy Zeppelina. Natomiast Druida i Superset używamy w projekcie Clickstream.

Do czego jest wykorzystywana Core Data Platform?

M.K.: U podłoża pojawienia się Core Data Platform leży idea stworzenia Data Hubu. Ma on realizować trzy funkcje: procesu ETL, klastra obliczeniowego, który obsługuje pracę nad dużymi zbiorami danych oraz narzędzia Data Science. Platformę Data Science dopiero zamierzamy udostępnić analitykom i Data Scientistom, aby mogli w nietypowy sposób analizować i próbować korelować ze sobą różne dane. Będzie to dla nich nowa przestrzeń do pracy.

Core Data Platform działa od 2 lat. Wcześniej aplikacje, które potrzebowały danych, jakoś sobie z ich analizą radziły, np. za pomocą zapytań SQL. Ale musieliśmy sięgać do danych źródłowych zapisywanych w różnych formatach. Teraz mają być dostępne w sposób bardziej zrozumiały. Tak budujemy nowe w naszej organizacji kompetencje Big Data i rozwijamy stojące za tym technologie, których wcześniej w Inter Cars nie było.

Platforma CDP służy też do realizacji usługi Change Data Capture. Dzięki niej skracamy czas, w którym zmiana w danych jest propagowana do innych systemów. Wcześniej był to duży problem. CDP pozwala na podejście całościowe. Bez ingerencji w struktury danych PIM i TecDoc stworzyliśmy narzędzie, które liczy setki milionów obiektów.

Na bieżąco rejestrujemy jedynie te obiekty, które się zmieniły i tylko je publikujemy. Dotyczy to np. streamów na temat dostępności towarów. Informacje te zmieniają się kilkadziesiąt razy na minutę. My możemy to pokazywać w czasie rzeczywistym i propagować każdą zmianę do systemów sprzedażowych. Zdejmuje to z nas ogrom pracy, którą trzeba było wcześniej wykonać. Zmniejsza się też ilość potrzebnej mocy obliczeniowej. Wcześniej trzeba było aktualizować całą bazę albo spróbować samodzielnie wyszukać różnice.

Obecnie mamy w planach projekt, który pozwoli nam wiedzieć nie tylko to, jaki jest stan towarów na dziś, ale także to, jak zmienia się ich dostępność w czasie. Są to bezcenne dane np. dla optymalizacji procesów logistycznych.

Inter Cars od kilku lat wykorzystuje już narzędzia analityczne do optymalizacji zamówień, bazując m.in. na prognozowanym popycie, analizie kosztów magazynowania, zamrożonego kapitału czy transportu. W jakim kierunku ten projekt się rozwija?

Dariusz Łukiewicz, zastępca dyrektora ds. informatyki w Inter Cars

D.Ł.: Od ponad 10 lat korzystamy z rozwiązań firmy SAS Institute do analizy popytu na towary na podstawie zachowań klientów oraz historii sprzedaży i ruchów magazynowych. Analizę popytu przeprowadzamy w cyklach miesięcznych. Na jej podstawie prognozujemy minimalny i maksymalny zapas magazynowy oraz zapotrzebowanie dotyczące uzupełnienia stanów magazynowych od dostawców. Czas więc na odświeżenie rozwiązania.

Mamy w ofercie ok. 500 mln produktów. Narzędzia analityczne muszą wiedzieć, jakie powinny być optymalne zapasy w poszczególnych magazynach, żeby zabezpieczyć najpilniejsze potrzeby naszych klientów. Powinny dysponować również informacją jak kierować ich przemieszczaniem się i z jakiego „kierunku” – od dostawcy, czy z jednego z naszych 21 magazynów.

Na czym będzie polegał wspomniany refresh?

D.Ł.: Nie zmieniamy platformy, bardziej narzędzia i algorytmy. Chcemy m.in. wyprowadzić mechanizmy rozróżniające zapotrzebowanie na części w zależności od przewidywanych warunków atmosferycznych. Zamierzamy dzięki temu zwiększać trafność naszych prognoz. Można powiedzieć, że zapotrzebowanie na nasz asortyment, m.in. opony i akumulatory, jest uzależnione właśnie od warunków pogodowych.  Z naszego doświadczenia wynika, że dotyczy to większości towarów  w naszych magazynach. Naszym wyzwaniem jest wcześniejsze kontraktowanie produkcji oraz dostaw towarów do magazynów aby utrzymać optymalną dostępność towarów. Partnerzy z rynków azjatyckich potrzebują kilku miesięcy na produkcję i dostawy. W przypadku partnerów z Europy jest to ok. miesiąc.

W naszych rozwiązaniach stosujemy już algorytmy Machine Learning. W tym roku chcemy dołożyć kilka kolejnych, m.in. związanych z pogodą czy analizą podobieństw towarów. Algorytmy uczenia maszynowego powinny brać pod uwagę prawdopodobieństwo zakupu towarów z podobnego koszyka i prognozować ich wspólną dostępność. Algorytmy ML powinny ̨ też uczyć się nietypowych zachowań.

Dziś jak pojawiają się niestandardowe piki sprzedaży, musimy obsługiwać te wyjątki manualnie, a następnie uczyć algorytm, aby takie anomalie wyłączać z prognozowania, jako działania niestandardowe. W efekcie, musimy dopisywać wiele dodatkowych warunków, co komplikuje pierwotny algorytm. Chcemy, aby algorytmy ML same się tego uczyły. Chcemy też, aby system potrafił reagować na anomalie samodzielnie. Jednocześnie powinien raportować warunki brzegowe oraz mechanizm prowadzący do podjęcia decyzji w zakresie prognozy zapasów. W konsekwencji algorytmy ML będą przez nas nadzorowane tak, aby jakość prognoz była sukcesywnie coraz bardziej efektywna, a osoba nadzorująca mogła trenować algorytmy oraz uzyskać wiedzę do poprawnego zarządzania danym obszarem.

Dzięki nowym funkcjom w SAS zamierzamy poprawić rotację zapasów w magazynie, zbliżyć ją do terminów dostaw od producentów. Drugim celem jest zmniejszenie liczby tzw. złogów magazynowych, czyli towarów dla których zapotrzebowanie rynku się zmniejsza, a zapasy są wystarczające, aby zabezpieczyć popyt w dłuższym okresie. Kluczowym czynnikiem sukcesu projektu włączenia algorytmów ML do prognozowania zapasów jest optymalizacja kosztów zapewnienia dostępności towarów dla naszych klientów. Koniec tego projektu zaplanowaliśmy na kwiecień–maj 2022 roku.

CLOUD COMPUTING

Jaką rolę w środowisku IT Inter Cars odgrywają rozwiązania cloud computing?

Artur Szczepański, zastępca dyrektora ds. technologii w Inter Cars

A.S.: Coraz większą, ponieważ coraz więcej naszych usług korzysta z rozwiązań chmurowych. Obecnie jest to wspomniany już Azure Kubernetes Services. W chmurze Microsoft dostarczamy także nasze aplikacje do wielu krajów, w których działa Inter Cars. Choć sama prezentacja danych odbywa się już lokalnie.

R.K.: Dodatkowo jedno z naszych rozwiązań e-commerce mamy też w chmurze. Na razie wykorzystywane jest na potrzeby oddziałów zagranicznych, ale wkrótce zacznie z niego korzystać również Polska. Drugi e-commerce, ten dla Polski, korzysta zaś z chmury jako ośrodka Disaster Recovery. Trzeci obszar to oczywiście Microsoft 365, od Active Directory, po pocztę i aplikację Teams. Znaczącym naszym obszarem działalności w chmurze staje się też Microsoft Dynamics 365 CRM. Natomiast od początku roku korzystamy z chmurowego systemu do analizy łańcuchów dostaw – SAS Machine Learning – odpowiadającego za predykcję dostaw.

A.S.: Podsumowując, mamy wiele obszarów i kluczowych systemów, które albo replikujemy do chmury, albo korzystamy z nich wyłącznie w tym modelu. Dla nas chmura to niekiedy trzecie data center. Usługi chmurowe zabezpieczyć mają nas przed brakiem dostępności w podstawowych centrach danych. Dzięki temu zapewniamy ciągłość działania naszych głównych systemów. Warto również wspomnieć, że w chmurze Azure korzystamy z dedykowanych maszyn, z dodatkowymi akceleratorami graficznymi.

Szybkość, z jaką jesteśmy w stanie udostępnić biznesowi lub deweloperom zasoby w chmurze, jest nieoceniona. Dzieje się to tego samego dnia, najpóźniej na drugi dzień. W środowisku on-premise jest to dużo bardziej skomplikowane i znacznie wolniejsze. Projekt może rozciągnąć się na tygodnie.

Dużo mówi się o kosztach rozwiązań cloud computing, zwłaszcza tych nieoczywistych.

A.S.: W moim zespole jest dedykowana osoba, która trzyma rękę na pulsie jeśli chodzi o koszty i ich raportowanie, gdy dochodzimy do granicy zaaprobowanych kosztów. Zajmuje się też utylizacją zbędnych zasobów, gdy już nie są potrzebne. Jest to o tyle ważne, że często spotykam się z osobami, które dopiero zaczynają przygodę z chmurą i nie zdają sobie sprawy, że każde kliknięcie w konsoli do zarządzania infrastrukturą w chmurze publicznej może generować dodatkowe koszty.

R.K.: W przeszłości ta elastyczność w tworzeniu nowych zasobów generowała nieprzyjemne niespodzianki. Nauczyliśmy się to kontrolować, zarówno w zespole IT, jak i w finansach.

W jakim kierunku rozwijać się będzie infrastruktura data center w Inter Cars?

R.K.: Rozmawiamy m.in. o zbudowaniu architektury wysokiej dostępności HA. Na razie mamy dwa centra danych w Polsce, oddalone od siebie o kilkadziesiąt kilometrów. Ale wojenna sytuacja w Ukrainie zmusza nas do myślenia, aby zbudować centrum kolokacyjne także poza Polską. Zastanawiamy się, czy jeśli jesteśmy w stanie prowadzić działania bez oddziału w Ukrainie, to może w ten sam sposób zabezpieczyć działanie innych krajów bez Polski? Rozważamy różne rozwiązania, np. replikację na bazie wirtualizatorów VMware. Biznes się już nad tym zastanawia. Za tym musiałaby pójść też logistyka, bo w Polsce mamy nasze magazyny centralne.

INFRASTRUKTURA I TECHNOLOGIE

Jeśli się nie mylę, Inter Cars kupił w styczniu 2022 roku najmocniejszą maszynę IBM Power 10 i aktywował najwięcej, bo wszystkie, 384, zawarte w niej procesory. Po co Wam tak mocna maszyna?

Paweł Pasiński, ekspert IT ds. baz danych i systemów Unix w Inter Cars

P.P.: Z tego, co wiemy od IBM to prawda. Posiadając tak „zasobożerne” środowiska, jak nasz system ERP, potrzebujemy sprzętu wydajnego, niezawodnego i przy tym bardzo elastycznego. Musimy też mieć „gruby” serwer, bo nie da się naszych systemów „podzielić” pomiędzy mniejsze maszyny.

Pod koniec 2021 roku podjęliśmy decyzję o wymianie większości naszych serwerów IBM Power 7+/8, które pracowały z nami przez ostatnie 8 lat. W to miejsce zakupiliśmy najświeższą linię IBM Power 10. Są to dwa serwery IBM E1080, czteromodułowe, z aktywnymi 384 procesorami i 16 TB RAM. Aż 2/3 mocy obliczeniowej każdego pojedynczego serwera zostanie przypisane do naszego systemu ERP. Reszta obsłuży ok. 45 mniejszych instalacji bazodanowych.

Tak mocne jednostki jak IBM E1080 idealnie nadają się do konsolidacji i równoważenia obciążeń. Dzięki dynamicznemu przydzielaniu zasobów i technologii PowerVM możemy dowolnie sterować mocą obliczeniową, współdzielić te same zasoby pomiędzy różne systemy operacyjne. Dlatego będziemy w stanie wymienić ok. 8 sztuk wysłużonych serwerów na dwie nowe jednostki i jednocześnie dysponować jeszcze sporym zapasem mocy. Liczymy na ok. 40-proc. wzrost wydajności na nowej platformie, która posłuży nam przez kolejnych kilka lat. Dodatkowym atutem tej konfiguracji będzie możliwość ograniczenia kosztów związanych z licencjonowaniem oprogramowania bazodanowego.

Przed nami teraz analiza procesu migracji. Nie będzie to proces łatwy, bo w przypadku pracujących na nich systemach właściwie nie ma okienek serwisowych. Serwery już są w serwerowni, a migracja ma się zakończyć w tym roku.

Niedawno zmodernizowaliście także systemy pamięci masowej…

P.P.: W 2021 roku kupiliśmy nowe macierze klasy Enterprise – IBM v9200 All Flash. Zastąpiły one rozwiązania hybrydowe – mix macierzy flash z dyskami talerzowymi przykrytymi witalizatorem SVC. Rosnące potrzeby biznesowe niosą coraz większe zapotrzebowanie na moc obliczeniową i coraz większą pojemność. To ciągły proces optymalizacji, szukania innych, lepszych rozwiązań. Jednocześnie nasz ERP to najbardziej wymagające środowisko IT łamiące wszystkie możliwe bariery – zarówno oprogramowania, jak i hardware. Mówimy tu o 35 tys. sesji użytkowników i 300 tys. zapytań SQL na sekundę.

Trwa tu ciągła walka o pojedyncze milisekundy. Nowy storage, o którym wspomniano na początku, to czasy dostępu do bloku na poziomie poniżej 1 ms. Dziś jesteśmy też w stanie znacznie szybciej robić kopie migawkowe. W 15 minut powstają środowiska testowe dla systemu ERP z 50 TB danych. Narzędziami IBM – za pomocą grup konsystentnych – robimy nawet backupy baz danych Oracle.

Dzięki dużej elastyczności, jaką dają rozwiązania IBM – firma jest dostawcą sprzętu i oprogramowania – w ciągu jednego kwartału zmigrowaliśmy całe nasze środowisko bazodanowe na nowy storage. Warto podkreślić, że było to ponad 1500 wolumenów dyskowych i 1,3 PB danych. Migrowane były dane i systemy operacyjne. Wszytko bez żadnego przestoju.

BEZPIECZEŃSTWO

Ostatnie moje pytanie będzie dotyczyło cyberbezpieczeństwa. W 2017 roku – jako jedna z nielicznych firm – Inter Cars przyznał się, że dotknął go atak wirusem Petya. Jak od tamtej pory zmieniło się Wasze podejście do cyberbezpieczeństwa? Wiem, że powstały m.in. centra Security Operation Center i Network Operation Center…

Bartosz Świderski, CSO w Inter Cars

B.Ś.: W 2017 roku Petya przyszła z Ukrainy, choć nie byliśmy celem ataku. Dostaliśmy przez przypadek, bo nasi pracownicy korzystali z udostępnianego przez tamtejszą administrację narzędzia. Podejrzewano, że malware roznosił odpowiednik naszego systemu Płatnik.

Od tamtej pory nastąpiło bardzo dużo zmian w samej organizacji, wielkości zespołu CyberSec, zbudowanych kompetencjach i osadzaniu Działu Bezpieczeństwa IT w organizacji. Wcześniej obszar ten był rozproszony po wielu działach. Ktoś pełnił swoją rolę i dodatkowo odpowiadał za cyberbezpieczeństwo. Teraz zostało ono scentralizowane. Zaczęły powstawać obszary kompetencyjne w ramach Działu Bezpieczeństwa IT, funkcjonujące w zgodzie z najlepszymi praktykami.

Zarząd zdecydował, że mój dział będzie realizował politykę bezpieczeństwa dla całej Grupy. Dziś pracuje w nim 18 osób. Mam na ten rok zgodę na uzupełnianie składu osobowego. Szukamy osób do SOC, a także takich, które pomogą realizować projekty związane z zarządzaniem tożsamością. Potrzebujemy też architekta systemów bezpieczeństwa. Korzystamy z najnowszych technologii. Jedyne, na co brakuje czasu to, by wdrożyć je w odpowiedni sposób (śmiech). Korzystamy m.in. z Zero Trust Network, aby nasi pracownicy zdalni mogli mieć dostęp do zasobów firmowych pracując z domu.

Jak więc od wewnątrz wygląda współpraca Działu Bezpieczeństwa IT z pozostałymi pionami w Inter Cars?

B.Ś.: Trzeba pamiętać, że działamy w modelu franczyzowym. Filia jest niezależną organizacją i korzysta z własnych zasobów. Trzeba było więc przekonywać ich do tego, że bezpieczeństwo IT będzie odgrywało coraz większą rolę. Ta dyskusja opiera się jednak na partnerstwie. Nie mogę narzucić swojej woli. Mimo wszystko, idziemy do przodu.

Proces zmiany po stronie użytkowników jest trudny i trwa do dziś. Jedną z form ich edukacji są szkolenia. Przygotowujemy też dokumenty na temat tego, jak będzie zmieniał się pewien proces w związku z nowymi wymogami cyberbezpieczeństwa. Współpracujemy również z działami HR. Nasza transformacja służy temu, aby firma mogła szybciej rosnąć. Bez wewnętrznej transformacji nie sprostamy planom biznesu.

Czym zajmuje się Security Operation Center?

B.Ś.: Jest to pierwsza linia wsparcia, która monitoruje bezpieczeństwo IT. Pracuje dla całej Grupy. W czasie przemian SOC miał też zadanie prowadzenia nowych projektów. Na podstawie obserwacji mógł wpływać na to, jak funkcjonuje bezpieczeństwo w organizacji. Ale to się zmienia. Dziś koncentruje się na podstawowej działalności.