Rys indywidualny. Utrzymanie ciągłości działania w produkcji

Czy branża produkcyjna jest pod względem zarządzania ciągłością działania odmienna od innych? Czy ta odmienność się utrzyma w perspektywie 2-5-10 lat, biorąc pod uwagę główne trendy technologiczne i rynkowe?

Zmiany liczone w okresie 2, 5, 10 czy nawet 15 lat, dotykają całych gałęzi przemysłu i zakładów produkcyjnych. Pojawiają się nowe i zmodernizowane urządzenia, sterowniki i elementy, a także wymagania, które są związane z samym procesem sterowania produkcją. Następują zmiany w kontekście specyficznych wyzwań przemysłu, w tym w obszarze utrzymania ciągłości działania.

Pojawiły się też oczywiście nowe zmienne – chodzi o sytuację geopolityczną, o wojnę na Ukrainie i inne konflikty zbrojne. Chociaż, trzeba podkreślić, ten wątek był obecny w polu zainteresowań specjalistów planów ciągłości działania od lat. Przede wszystkim – w postaci refleksji na temat strategicznego ulokowania dostawców i partnerów, grup serwisowych, bezpieczeństwa łańcucha dostaw oraz lokalizacji produkcyjnych.

Geostrategiczna perspektywa ciągłości działania

Mamy wiele przykładów produkcji krytycznych elementów podzespołów elektronicznych bądź całych urządzeń, które wymagają oceny z punktu widzenia kraju pochodzenia. Zdarzało się, że trafiały one na rynek już zmodyfikowane w taki sposób, że instalowane i użyte w infrastrukturze krytycznej stanowiły komponent podatny na różnego rodzaju zagrożenia – lub co najmniej niepewny w kontekście ciągłości działania kluczowych procesów. Firmy z obszaru cyberbezpieczeństwa wychwytywały takie przykłady, kiedy od producenta przychodziły zmodyfikowane płyty główne do zamontowania w komputerach infrastruktury rządowej Stanów Zjednoczonych. Nie są to sytuacje ograniczone do uwarunkowań Stanów Zjednoczonych, czy Europy Zachodniej, ale potencjalnie możliwe także na naszym rynku – nie tylko w kontekście administracji państwowej. Powinny być zatem odpowiednio zaadresowane w planach mających na celu zapewnienie nieprzerwanego funkcjonowania istotnych procesów.

W ramach działań zmierzających do stworzenia skutecznego planu ciągłości działania i – co nie mniej ważne – procesów odtworzenia tejże ciągłości po awarii lub ataku – sektor przemysłowy powinien brać pod uwagę zarówno własne lokalizacje produkcyjne, ale też lokalizacje partnerów w łańcuchu dostaw.

Te zagadnienia nie są nowe, powinny być w dojrzałej firmie zaadresowane. W dzisiejszych realiach te same metody, kompetencje i doświadczenie należy przykładać do problemu logistyczno-geostrategicznego związanego z trwającą za naszą granicą wojną.

Starzenie się systemów już przestarzałych

W wielu rozmowach przewija się temat długu technologicznego i jego wpływu na zdolność do zapewnienia ciągłości działania. W kontekście produkcji trzeba mieć świadomość istnienia dodatkowego zjawiska – starzenie się systemów automatyki – często już dość leciwych – oznacza pogłębianie się całego długu technologicznego.
Trzeba jasno zaznaczyć, że istnieje obiektywny dług technologiczny, który nie wynika z zaniedbań czy fałszywie pojętych oszczędności. Wynika on z różnic w cyklu życia rozwiązań OT/ICS oraz IT. Wymiana generacji technologicznej w automatyce to wydarzenie większe i rzadsze, niż w przypadku technologii o bardziej uniwersalnym charakterze, nawet jeśli chodzi o rozwiązania klasy enterprise. W DNA rozwiązań dla przemysłu jest zapisana ich długowieczność – 15, 20, ,30 lat to skale czasowe niezbyt rozległe w pojęciu automatyki przemysłowej. Jest to ponadto połączone z inną perspektywą i pewnym charakterystycznym dla sektora produkcji rozumieniem biznesu. Obecnie dług technologiczny charakterystyczny dla branży przemysłowej nabiera szczególnego znaczenia i niezbędnie powinien zostać uwzględniony podczas planowania ciągłości działania czy procesów odtwarzania po awarii.

Jednocześnie trzeba zaznaczyć, że nie wszystkie starsze technologie są złe. Podam przykład z dziedziny, która jest pokrewna działaniom na rzecz bezpieczeństwa i utrzymania działania – w innym jednak wymiarze. Jednostki Ochotnicznej Straży Pożarnej, której działania od dekad obsługuje Star 266, pojazd z lat dziewięćdziesiątych. Z jednej strony są to przecież pojazdy już wiekowe, ale z drugiej, odpowiednio serwisowane ciągle sprawdzają się doskonale. Dwóch moich synów jest strażakami ochotnikami, więc dyskusje o samochodach strażackich, ich wyposażeniu i podobnych kwestiach są u nas na porządku dziennym. Sam również interesuję się motoryzacją, dlatego ważąc argumenty – wcale nie dziwię się strażakom OSP. Rzeczywiście, Star 266 to dziś już stary pojazd, ale jego napęd 6×6 w czasie, kiedy powstawał nie ma wielu konkurentów, zwłaszcza biorąc pod uwagę trudne warunki, w jakich często musi pracować – tereny podmokłe czy zgoła bagna, piaski, offroad. Nie inaczej powinniśmy patrzeć na niektóre technologie w produkcji…

Co więcej, można powiedzieć, że gdyby nie cyberbezpieczeństwo, prawdopodobnie nie dyskutowalibyśmy dzisiaj w takim zakresie o planach ciągłości działania w instalacjach mających 15, 20 czy 30 lat, bo nie byłoby takiej potrzeby. Nowe realia świata cybersecurity wymusiły te dyskusje i określone podejście nie tylko do planów ciągłości działania. O ile więc to, co stare, nie zawsze jest złe, to z drugiej strony następuje naturalny rozwój wiedzy i umiejętności. W sposób naturalny pojawiają się ryzyka, o których wcześniej nie myśleliśmy.

Czy te cykle rozwojowe – długie w przypadku technologii produkcji i automatyki oraz krótkie w przypadku technologii IT mają szansę w najbliższym czasie jakoś się zsynchronizować? Widać intensyfikację zjawisk cybersec, które wpływają na dostępność – czy właściwie niedostępność – systemów produkcyjnych. To oznacza, że musimy budować plany ciągłości działania, aby ją minimalizować. Musimy patrzeć szerzej niż 5, 10 czy 15 lat temu i brać pod uwagę większą liczbę aspektów wpływających na dostępność i ciągłość działania.

W tym kontekście planowanie ciągłości działania jest remedium na potencjalne przerwy w działaniu czy zakłócenia pracy ważnych systemów, w tym produkcyjnych. Jest to naturalny proces z punktu widzenia rozwoju pracowników, nauki, technologii i urządzeń oraz regulacji.

Procesowy charakter produkcji dyktuje podejście do ciągłości działania

Czy to warunkowanie utrzymuje się i pogłębia czy może ulec defragmentacji, wraz ze zmianą technologii produkcyjnych? W organizacjach, które wyspecjalizowały się w produkcji procesowej zatrzymanie lub zakłócenie procesu najczęściej wymaga jego powtórzenia od początku.

Jest to istotna różnica w porównaniu do innych rodzajów produkcji, gdzie wytwarzane są odrębne towary w określonych ilościach. W produkcji procesowej nie można zatrzymać procesu i później go wznowić od tego samego momentu. W przypadku zakłócenia konieczne jest uruchomienie planu ciągłości działania. Plan ten jest specyficzny, ponieważ dotyczy nie tylko technologii IT, ale przede wszystkim zabezpieczenia pracowników pracujących na linii produkcyjnej. Dopiero w kolejnych krokach można myśleć o odtworzeniu niedostępnych elementów, uwzględniając możliwości i konsekwencje ekonomiczne.

W produkcji procesowej stalowej znane są przypadki, takie jak doświadczenia huty w Niemczech, w której atak hakerów spowodował niekontrolowany przebieg zakończenia pracy pieca stanowiąc zagrożenie dla załogi i powodując fizyczne zniszczenie infrastruktury produkcyjnej.

Proces produkcyjny trzeba było przerwać z powodu utraty sterowalności, a odtworzenie wymagało fizycznej odbudowy infrastruktury i przywrócenia całego sterowania procesem.

W zależności od specyfiki firm prowadzących produkcję procesową, tworzone są różne scenariusze na wypadek przerwania działania na różnych etapach. Wybór scenariusza w zakresie planu ciągłości działania i scenariusze jest determinowany momentem przerwania przebiegu procesu. Stąd też, różne zakłady i wydziały produkcyjne mają swoje specyficzne plany ciągłości działania, które obejmują różne kroki, także w kontekście systemów informatycznych wspierających procesy produkcyjne.

Spójność odtwarzanych rozwiązań warunkująca przywrócenie produkcji

Rozmowy z biznesem często koncentrują się na czasie odtworzenia (Recovery Time Objective, RTO) i punkcie odtworzenia (Recovery Point Objective, RPO), ale należy przede wszystkim uwzględnić czas potrzebny na przywrócenie integralności danych (Work Recovery Time, WRT). W każdym sektorze, ale być może w przemysłowym jest to szczególnie istotne, trzeba myśleć nie tylko o czasie potrzebnym do odtworzenia poszczególnych elementów czy systemów wspierających produkcję, ale o całym procesie. Może się okazać, że czas potrzebny na zsynchronizowanie danych między systemami będzie znacznie dłuższy niż przywrócenia dostępności zasobów produkcyjnych. W efekcie, wskaźnik WRT może wielokrotnie przekraczać czas potrzebny na odtworzenie systemów.

Biorąc pod uwagę typowe techniczne recovery, trzeba o tym rozmawiać i budować wiedzę również wśród partnerów biznesowych.

Nawet jeśli powiemy, że RTO wynosi dwie czy trzy godziny, to nie oznacza, że jest to pełne i zakończone przywrócenie działania. Trzeba jeszcze włożyć pracę i wysiłek, aby ujednolicić dane między systemami, których brakuje lub są niekompletne, w zależności od momentu przerwania procesu.

To bardzo interesujące zagadnienie, które wiąże się z potencjałem jaki przynosi automatyzacja oraz narzędzia do symulacji. Jeśli mamy dostępną historię danych, możemy symulować brakujące dane i sprawdzić, z jakim błędem dopuszczalnym można je uzupełnić.

Nowe wyzwania – cyfrowe bliźniaki

Stąd już tylko krok do przymierzenia się do koncepcji cyfrowych bliźniaków, czyli cyfrowej repliki fizycznego obiektu czy procesu. Należy ją rozpatrywać przez pryzmat dojrzałości technologicznej i użyteczności use-case’ów. Przykładem może tu być ograniczenie wykorzystania cyfrowych bliźniaków do testów, czyli działanie pomocnicze przy formułowaniu lub aktualizowaniu planów ciągłości albo do obszarów, gdzie testy end-to-end są niemożliwe do wykonania odpowiednio często lub wcale.

Temat cyfrowego bliźniaka to moim zdaniem kierunek, w którym powinniśmy podążać. Jest odpowiedzią na szereg wyzwań ciągłości działania. Wspominałem już wątek długu technologicznego, ale presja na obszar ciągłości wynika także z erozji wiedzy i starzenia się personelu obsługującego systemy. Firmy pracują nad dokumentowaniem i przekazywaniem wiedzy, ale trzeba brać pod uwagę, że często jest ona w głowach niewielkiej liczby osób. W tej sytuacji cyfrowy bliźniak jest odpowiedzią na wyzwanie i może być pomocny.

Rozpatrując dziś miejsce i perspektywy zastosowania cyfrowego bliźniaka w przemyśle trzeba zarazem uznać, że nie jesteśmy w stanie zbudować pełnego środowiska testowego end-to-end z wielu powodów natury technicznej i finansowej. Możemy jednak budować użyteczne fragmenty, które da się wykorzystać to monitorowania i analizy procesów.

Wątek zastępowania fizycznych urządzeń wirtualnymi, jest już dzisiaj obecny m.in. w zastępowaniu sterowników, które pracują na naszych liniach w postaci fizycznej, wersjami wirtualnymi sterownikami PLC. Aby podążać w tym kierunku niezbędna jest współpraca między producentami urządzeń i systemów a firmami produkcyjnymi. Nie da się zbudować takiego rozwiązania w jednym kroku, trzeba decydować o podziale i segmentacji procesów oraz urządzeń.

Elementem uzupełniającym do koncepcji cyfrowego bliźniaka jest koncept Edge Computing czyli przetwarzanie danych na brzegu sieci, a dokładniej jak najbliżej miejsca w procesie, gdzie te dane powstają. W kontekście planów ciągłości działania, przetwarzanie brzegowe jest technologią, którą warto rozważyć w przyszłości.
Wątki takie jak wirtualizacja, cyfrowy bliźniak, przetwarzanie brzegowe, czy sieci definiowane programowo (Software Defined Network, SDN) wchodzą w szeroką domenę utrzymania ruchu i ciągłości działania.
Plan ciągłości działania jest budowany na moment zakłócenia, kryzysu, przerwy czy niedostępności. Elementy, o których rozmawiamy, mają jednak taki sam wpływ na utrzymanie ruchu i normalną produkcję. Technologie wspomniane wcześniej już dziś są stosowane w obszarze OT/ICS, nie tylko w kontekście planów ciągłości działania. Ważne, żebyśmy jako zespoły IT i bezpieczeństwa skutecznie przedstawiali wyzwania z perspektywy biznesowej, aby ułatwić komunikację z decydentami.

Przedstawienie cyfrowego bliźniaka jako narzędzia do monitorowania, analizowania i optymalizacji procesów biznesowych może przekonać zarządy firm do alokacji środków finansowych na ten cel. Ważne jest, abyśmy potrafili wyjaśnić, jakie cyfrowy bliźniak może przynieść konkretnie korzyści biznesowe, na przykład poprzez zwiększenie efektywności operacyjnej, redukcję kosztów czy lepsze zarządzanie ryzykiem. Inwestycja w cyfrowego bliźniaka to nie tylko kwestia technologiczna, ale przede wszystkim strategiczna decyzja biznesowa, która może przynieść realne korzyści dla organizacji.

Chmura w strategii ciągłości działania

Odrębnym zagadnieniem w kontekście planów ciągłości działania jest wykorzystanie modelu chmury obliczeniowej. Faktem jest, że sposób w jaki firmy korzystają z rozwiązań chmurowych zależy m.in. od ich strategii, możliwości i podejścia. Z jednej strony mamy firmy produkcyjne, które uważają, że dane dotyczące obszaru produkcyjnego, stanowią know-how i mogą być przechowywane tylko w środowiskach on-premise. Wykorzystanie chmury jest dopuszczalne, ale ściśle kontrolowane i akceptowane na poziomie ryzyka biznesowego.

Z drugiej, są firmy, które dopuszczają wykorzystanie rozwiązań chmurowych do pewnych zastosowań, takich jak ciągłość działania, np. całe rozwiązania DR w chmurze czy przechowywanie kopii bezpieczeństwa.
Istotne jest budowanie dobrego zrozumienia istoty koncepcji chmury obliczeniowej po stronie biznesowej. Przedstawienie zalet i wad oraz różnic, pomiędzy chmurą publiczną i prywatną. Czasami, mówiąc o rozwiązaniach chmurowych bez dodatkowych informacji, budzimy demony, które podpowiadają decydentom: “Nie, absolutnie nie będziemy z tego korzystać”.

Mam przekonanie, że gdybyśmy dokładniej wyjaśnili na czym w istocie polega model chmurowy, to skala wdrożeń tej koncepcji byłaby większa. Zmiana środowiska on-premise na chmurowe, powinna być jasno opisana w kategoriach ryzyka i korzyści.

To kwestia istotna w kontekście budowania relacji z partnerami biznesowymi i zarządem. Ważne jest też, aby osoby pracujące w cyberbezpieczeństwie potrafiły wytłumaczyć, jakie są korzyści i ryzyka związane z tymi rozwiązaniami dla danej firmy produkcyjnej. Na podstawie tej wiedzy i dialogu można pracować nad definicją ryzyka i procedurami jego akceptacji.

Jako osoby techniczne CISO powinni pracować nad tym, aby partnerom biznesowym wyjaśniać różnice między rozwiązaniami chmurowymi i wskazywać, które z tych różnic są istotne dla konkretnej organizacji.

Nowe i stare problemy z zarządzaniem wiedzą

To również element zarządzania wiedzą. Ważne jest utrzymanie, odnawianie i aktualizowanie tej wiedzy oraz przekazywanie jej kolejnym pokoleniom pracowników.

W kontekście projektów zakładających wykorzystanie cyfrowych bliźniaków, naturalnymi partnerami dla organizacji stają się m.in. firmy technologiczne produkujące urządzenia, oprogramowanie i systemy związane z automatyką. Słowniki pojęć i wiedza płynąca od tych firm są istotne, ponieważ one budują rozumienie wdrażanej technologii. Ich językiem, klasyfikacją będziemy posługiwać się rozważając własne implementacje cyfrowego bliźniaka czy przetwarzania brzegowego.

Budowa sektorowego słownika wiedzy dla zakładów przemysłowych, uwzględniającego elementy cyberbezpieczeństwa jest kolejnym brakującym ogniwem dla realizacji projektów wdrożeniowych. Taki słownik powinien być współdzielony pomiędzy dostawcami, partnerami biznesowymi, osobami z utrzymania ruchu i automatyki, wydziałów wspierających produkcję, zarządami i IT. Ta wiedza powinna krążyć.

Byłoby świetnie, gdyby udało się zbudować również pewną odporność sektorową, włączając w to wymianę informacji między firmami. Gdzie szukać platform wspierających tego rodzaju kumunikację? Istnieje szereg przykładów: grupy stworzone wokół organizacji branżowych związane z cyberbezpieczeństwem, niezależne organizacje i jednostki wspierające jako platformy wymiany informacji i dobrych praktyk, centra wymiany i analiz informacji czy wreszcie konferencje branżowe.

Podobna wymiana informacji pomiędzy firmami na temat realizacji działań i kroków wynikających z budowy planów BCP i DR byłaby wartością dodaną, jeśli chodzi o odporność sektorową czy grup stworzonych przez firmy produkcyjne. Nie wiem na ile udałoby się tworzyć coś na wzór ISAC w obszarze prywatnych firm produkcyjnych, ale myślę, że byłby to ważny element odporności także w kontekście ciągłości działania.
Odporność firm można budować, dzieląc się doświadczeniami i stosując rozwiązania, które inni już wdrożyli, lub przynajmniej rozpatrując je w swoim kontekście biznesowym. Ważne jest, aby dzielić się tym, co zrobiliśmy i gdzie jesteśmy, aby inni mogli skorzystać z tych doświadczeń.

Aleksander Surma, IT & Cybersecurity Director, CMC Poland
Współpraca redakcyjna: Szymon Augustyniak