„Intelligent Era”. Jak odpowiednie przechowywanie i zarządzanie danymi dostarcza wartości biznesowych?

Nowe technologie są główną siłą napędową wspierającą obserwowany przez nas nagły oraz gwałtowny przyrost i przepływ danych. Jak zatem przygotować infrastrukturę IT do przechowywania danych w dobie transformacji cyfrowej?

Część 1: Trendy w zarządzaniu danymi: możliwości i wyzwania stojące przed biznesem w okresie „Intelligent Era”.

Coraz bardziej rozpowszechniane wdrożenia sieci 5G, rozwiązań sztucznej inteligencji (Artificial Intelligence, AI) oraz rosnące zasoby rozwiązań chmurowych (Cloud Data) prowadzą do ogromnego wzrostu wolumenu przesyłanych danych. Na przykład format danych wideo wykorzystywanych obecnie rozwija się z 1080p do 4K, a kolejnym krokiem jest format 8K. W związku z tym spodziewany jest również 40x przyrost wolumenu danych. Podobnie sytuacja wygląda, jeśli chodzi o technologie wirtualnej rzeczywistości (Virtual Reality, VR), w których obszarze spodziewany jest przyrost 6x. Przewidywania na najbliższe lata mówią o wzroście danych cyfrowych z 33 zettabytes w roku 2018 do 180 zettabytes w 2025 roku. Jednocześnie w obecnej rzeczywistości wspieranej przez wdrożone technologie mniej niż 2% generowanych danych jest prawidłowo przechowywanych a mniej niż 10% danych jest w pełni wykorzystywanych.

Spróbujmy zdefiniować infrastrukturę do przechowywania danych w dobie transformacji cyfrowej. W tym celu, zamiast dostarczać rozwiązania w postaci silosów infrastruktury dedykowanych do poszczególnych systemów czy aplikacji, integrujemy funkcjonalnie komponenty IT (serwery, procesy, przestrzeń dyskową), które będą dedykowane dla baz danych, Big Data i rozwiązań AI. Taki model pomaga nam zdecydowanie szybciej wydobyć wartość z przechowywanych danych a jednocześnie staje się w wielu aspektach zdefiniowanym, podstawowym komponentem dla infrastruktury sprzętowej i oprogramowania, potrzebnym w dostarczaniu przestrzeni dyskowych, systemów zarządzania czy procesowania oraz silników wspierających wirtualizacje.

Transformacja cyfrowa (Digital Transformation, DX) już obecnie jest wdrażana i wykorzystywana jako przewaga biznesowa w wielu gałęziach przemysłu. Tradycyjne biznesy jak przemysł wydobywczy, transport czy energetyka oraz te nowoczesne, takie jak zapewnianie dostępu do Internetu, sektor telekomunikacyjny czy rozrywkowy dzięki procesom oraz rozwiązaniom wykorzystującym DX na nowo definiują swoją wartość rynkową i dostarczają innowacyjne usługi czy produkty. Takie podejście oraz ogromna ilość dostępnych źródeł informacji daje możliwość sklasyfikowania trzech podstawowych kategorii danych:

a) Po pierwsze, dane produkcyjne oraz transakcyjne – ten typ danych cechuje się wysoką wydajnością wykonywanych transakcji oraz wysokimi wymaganiami dotyczącymi szybkości operacji odczytu i zapisu.

b) Po drugie, Big Data, Data Lake – obecne stosowane technologie oznaczają, że przechowywanie masowego wolumenu danych jest ograniczone, co oznacza, że klienci nie mogą wydobywać ani wykorzystywać jego wartości. Tego typu aplikacje mają duże ilości danych i wymagają wysokiej wydajności pamięci masowej oraz skalowalności wraz z optymalnym kosztem przechowywania danych.

c) Po trzecie tzw. dane brzegowe (Edge Data) – wraz z pojawieniem się 5G, AI i urządzeń Internetu Rzeczy (Internet of Things, IoT), istnieje ogromny przyrost danych w dowolnym miejscu i czasie. Dane są generowane zawsze i wszędzie. Infrastruktura IT musi znajdować się blisko danych w celu jak najsprawniejszego przechowywania i przetwarzania danych, aby oferować szybsze oraz adekwatne odpowiedzi do pojawiających się zapytań.

Część 2: Rozwiązania do przechowywania danych przygotowane do wymagań w dobie „Intelligent Era”.

Jako lider infrastruktury danych Huawei nieustannie wprowadza innowacje i przełomowe rozwiązania w zakresie infrastruktury danych, aby pomóc klientom z łatwością poradzić sobie z cyfrową transformacją. Huawei koncentruje się na tworzeniu konwergentnych, inteligentnych i otwartych produktów pamięci masowej oraz tworzeniu solidnych podstaw pamięci masowej dla infrastruktury danych o otwartej architekturze i ekosystemie.

Dane produkcyjne oraz transakcyjne. Główny system produkcyjny i transakcyjny zawiera najważniejsze i najistotniejsze dane korporacyjne, dlatego istnieją kluczowe i ostre wymagania dotyczące niezawodności systemu pamięci masowej. Inne bardzo istotne kwestie dotyczą wiedzy i doświadczenia użytkowników, całkowitego kosztu posiadania (Total Cost of Ownership, TCO), wydajności przy dużym obciążeniu i zarządzania systemami. W rezultacie większość przedsiębiorstw poszukuje wysokiej klasy kompleksowego rozwiązania pamięci masowej typu flash do systemów produkcyjnych i transakcyjnych, ponieważ charakterystyka tych rozwiązań zwykle odpowiada najwyższym wymaganiom.

OceanStor Dorado to wprowadzony przez Huawei produkt all-flash nowej generacji, zaprojektowany z myślą o krytycznych obciążeniach każdego klienta. Dzięki ciągłym innowacjom w zakresie: układów, algorytmów i architektur, OceanStor Dorado korzysta z najnowocześniejszych technologii, aby zapewnić, że podstawowe usługi przedsiębiorstw są zawsze online a dane zawsze dostarczane w sposób bezpieczny na czas i w odpowiednie miejsce. Pamięć masowa all-flash Huawei OceanStor Dorado ustanawia nowy punkt odniesienia w materii wydajności i niezawodności pamięci masowej w obszarze systemów produkcyjnych i transakcyjnych, zapewniając przedsiębiorstwom doskonałą obsługę danych. Dzięki wyposażeniu w opracowane przez Huawei inteligentne układy scalone, inteligentny algorytm FlashLink® i kompleksową architekturę NVMe, pamięć masowa OceanStor Dorado osiąga do 20 milionów IOPS. Platforma sprzętowa nowej generacji i wysoce stabilna architektura w pełni redundantnego rozwiązania SmartMatrix zapewnia 99,9999% niezawodność systemu. Pierwszy w branży układ AI umożliwia inteligentniejsze i łatwiejsze korzystanie z pamięci masowej.

a) Wykorzystując opracowane przez Huawei układy Kunpeng 920, innowacyjne algorytmy planowania i kompleksową architekturę NVMe, pamięć flash OceanStor Dorado zapewnia wiodące w branży 20 milionów IOPS i opóźnienie do 0,1 ms, co skutkuje znacznym zwiększeniem wydajności. Zorientowana na flash technologia Flash-Link® implementuje dogłębną optymalizację danych na dyskach SSD oraz optymalizację zapisów i odczytów danych skutkujących zminimalizowanie opóźnień, zapewniając stałą, wysoką wydajność w godzinach szczytu.

b) Usługi always-on dzięki 5-warstwowej niezawodności opartej na SmartMatrix. Pamięć masowa OceanStor Dorado all-flash korzysta z pełnego połączenia SmartMatrix i architektury o wysokiej niezawodności, aby zapewnić, że pojedynczy system będzie tolerować awarie nawet siedmiu kontrolerów z ośmiu dostępnych. Dzięki temu krytyczne oraz podstawowe usługi dla przedsiębiorstw są zawsze dostępne online. Za sprawą swojej architektury OceanStor Dorado zapewnia utrzymania pełnego i nieprzerwanego dostępu do przyłączonych zasobów dyskowych, jak i interfejsów połączeniowych z infrastrukturą danych w centrum danych.

c) Wydajny system O&M (Operation & Maintenance) z synergią AI w chmurze. Wszystkie pamięci flash OceanStor Dorado wdrażają inteligentne narzędzia O&M w całym cyklu życia danych przy użyciu układów AI i algorytmów AI. Innowacyjny model biznesowy FlashEver eliminuje potrzebę migracji danych i potrafi zapewnić, w ciągu wielu lat, bezproblemową obsługę wraz z ochroną inwestycji klientów.

Dowiedz się, dlaczego Huawei OceanStor Dorado jest wyjątkowym rozwiązaniem dla biznesu. Weź udział w webinarium z serii #HuaweiTalksIT: Co sprawia, że OceanStor jest wyjątkowym rozwiązaniem dla biznesu?

Więcej informacji na stronie #HuaweiTalksIT.

Rozwiązania Big Data, Data Lake. OceanStor Distributed Storage to produkt nowej generacji rozproszonej pamięci masowej opracowany przez Huawei w celu dostosowania go do infrastruktury danych i scenariuszy Big Data, Data Lake. OceanStor Distributed Storage to samodzielnie opracowany, nowoczesny system pamięci masowej, który zapewnia elastyczne i dostępne na żądanie usługi oparte na infrastrukturze chmurowej i spełnia wymagania krytycznych usług klasy korporacyjnej i innowacyjnych usług przechowywania oraz dostarczania danych. Rozwiązanie to wykorzystuje oprogramowanie do integracji pamięci masowej z lokalnych węzłów sprzętowych klastra w pełni rozproszoną pulę pamięci, aby spełnić wymagania klientów dotyczące wyższej warstwy aplikacji w zakresie bloków danych, plików, systemów wspierających HDFS, danych obiektowych oraz zbiorów danych Big Data. Dzięki rozproszonej pamięci masowej OceanStor Ditributed Storage klienci mogą uzyskać ekonomiczną pamięć masową dla danych masowych, maksymalną wydajność dla różnorodnych danych i uproszczone zarządzanie cyklem życia informacji.

a) Inowacyjne algorytmy: Algorytmy redundancji i redukcji danych bezpośrednio określają ilości danych, które mogą być przechowywane. Nasza pamięć ma najbardziej wydajny algorytm Erasure Coding (EC), co oznacza, że może poprawić wykorzystanie dysku nawet 1,6 razy bez obniżania wydajności. Dzięki jedynym w branży algorytmom deduplikacji i kompresji w trybie online i post adaptive możemy wykorzystać zalety wydajności oparte na mocy obliczeniowej procesorów Kunpeng, aby uzyskać podwójną efektywną wydajność.

b) Innowacje w architekturze: Przedsiębiorstwa korzystają z różnych pamięci do przechowywania danych aplikacji i serwisów. Aby uprościć zarządzanie danymi, zapewniamy pierwszą w branży pamięć 4-w-1, która łączy blok, plik, obiekt i HDFS. Obsługuje różne dane, takie jak obrazy, audio, wideo i Big Data, które mogą być przechowywane w jednym zestawie urządzeń. Ponadto współpraca protokołów umożliwia przechowywanie i analizowanie danych w jednym systemie pamięci masowej bez migracji, co poprawia wydajność analityczną danych ponad dwukrotnie.

c) Innowacyjny sprzęt o wysokiej gęstości przechowywania danych: OceanStor Distributed Storage organizuje nośniki pamięci, w tym dyski twarde i dyski SSD, w duże pule zasobów przy użyciu technologii rozproszonych i zapewnia standardowe interfejsy dla aplikacji i klientów wyższych warstw. Eliminuje to wąskie gardła tradycyjnych centrów danych i pokonuje przeszkody w wydajności systemu, takie jak niezrównoważone wykorzystanie zasobów sprzętowych powodowane przez silosowe systemy pamięci masowej. OceanStor Distributed Storage obsługuje skalowalne wdrożenia z możliwością rozpoczęcia od małej skali do tysięcy węzłów, co chroni inwestycje klientów dzięki precyzyjnemu skalowaniu rozwiązania, zapewniającego liniowy wzrostu wydajności wraz ze wzrostem pojemności. Zgodnie z trendem integracji oprogramowania i sprzętu dla rozproszonej pamięci masowej Huawei wprowadza na rynek dedykowany sprzęt o wysokiej gęstości danych w obudowie 5U, 120 dyskach, który zmniejsza koszt na GB o 20%.

Dane brzegowe, rozwiązania Edge data. Huawei FusionCube to platforma informatyczna zorientowana na scenariusze brzegowej infrastruktury danych. Zgodnie z otwartymi standardami architektury zestaw urządzeń FusionCube łączy serwery i pamięć masową oraz wstępnie integruje silnik pamięci rozproszonej, platformę wirtualizacji, i oprogramowanie do zarządzania chmurą. Obsługuje harmonogramowanie zasobów na żądanie i skalowanie liniowe. FusionCube może spełniać elastyczne wymagania konfiguracyjne dotyczące zasobów obliczeniowych, zasobów pamięci i operacji wejścia / wyjścia. Ma zastosowanie do aplikacji i analizy danych w scenariuszach zdalnych, rozproszonych źródeł danych.

a) Plug & Play: W jednej szafie rackowej FusionCube integruje zasoby obliczeniowe, pamięć masową, sieć, wirtualizację i UPS wymagane przez oddziały. Modułowa konstrukcja umożliwia elastyczną konfigurację zasobów. Kable można wstępnie, fabrycznie podłączyć, a zasoby skonfigurować w oparciu o ustalenia z klientem. Konstrukcja szafy została wzmocniona, aby zapewnić bezpieczną dostawę. FusionCube może być używany natychmiast po włączeniu bez potrzeby wdrażania w profesjonalnej serwerowni oraz prac konfiguracyjnych urządzeń w lokalizacji docelowej, co minimalizuje czas i koszty inicjalizacji oddziałów.

b) Zdalny O&M (Operation & Management): System zarządzania obsługuje zunifikowane monitorowanie środowisk, urządzeń, maszyn wirtualnych i aplikacji oraz elastyczny przydział zasobów w maksymalnie 20 000 oddziałów. Administratorzy mogą uzyskać informacje o stanie i alarmach w każdej lokalizacji w dowolnym momencie za pomocą centralnej konsoli lub aplikacji mobilnej. FusionCube obsługuje automatyczną i okresową kontrolę, zdalną aktualizację urządzenia i zdalne rozwiązywanie problemów w oddziałach firmy. Oddziały nie potrzebują profesjonalnego personelu IT, co znacznie zmniejsza koszty O&M.

c) Synergia pomiędzy poszczególnymi lokalizacjami, chmurą i lokalizacją centralną: Szablony usług lub aplikacji są tworzone i edytowane w ujednolicony sposób centralnie, aby zbudować ekosystem aplikacji korporacyjnych. Szablony usług lub aplikacji można dystrybuować do oddziałów partiami, aby spełnić wymagania szybkich wdrożeń usług w oddziałach przedsiębiorstwa, poprawić efektywność działania aplikacji w oddziałach, zmniejszyć zużycie przepustowości sieci i przyspieszyć innowacje w zakresie obsługi klienta. Operatorzy infrastruktury mogą być informowani w czasie rzeczywistym o jej statusie oraz usprawniać jej działanie dzięki analizie procesowanej, wykorzystującej samouczące się systemy AI w chmurze oraz lokalnie dostępnych specjalizowanych procesach lub komponentach. Jeśli implementacja infrastruktury lokalnego oddziału jest wadliwa, istnieje możliwość szybkiego odzyskania usług z centralnego repozytorium.

Część 3: Zarządzanie cyklem życia danych oraz wykorzystanie AI spełniające wymagania „Intelligent Era”

Infrastruktura danych zapewnia coraz więcej funkcji i obsługuje coraz bardziej złożone aplikacje. Może to jednak zwiększyć koszty eksploatacji i utrzymania. Aby rozwiązać ten dylemat, zapewniamy rozwiązania wspierające autonomicznie zarządzaną infrastrukturę w całym cyklu życia danych, co powoduje obniżenie kosztów operacyjnych oraz przyspiesza O&M. Architektura trójwarstwowa wspierającego produktu, którym jest DMS (Data Management System) jest następująca:

a) Warstwa AI w chmurze: platforma O&M, eService, może pomóc klientom we wdrożeniu O&M 24/7. eService przeprowadza analizę dużych zbiorów danych w ponad 200 000 bibliotek oraz trybów błędów urządzeń na całym świecie i wykorzystuje technologie AI do trenowania modeli w celu dokładnego prognozowania online wydajności, pojemności i żywotności.

b) Centralna warstwa AI: warstwa centralna okresowo uzyskuje modele predykcyjne AI z chmury i nieustannie optymalizuje silnik analizy prognoz i silnik strategii za pomocą algorytmów AI i uczenia maszynowego. Silnik automatyzacji kontroluje urządzenia i wdraża automatyczne zarządzanie infrastrukturą danych przez cały cykl życia (obejmujący planowanie, budowę, obsługę i optymalizację) oraz optymalizuje procesy, pomagając klientom poprawić efektywność zarządzania i zmniejszyć koszty obsługi i utrzymania.

c) Warstwa AI urządzenia: Dzięki wbudowanym układom Ascend i algorytmom warstwa AI urządzenia umożliwia pojedynczemu urządzeniu przeprowadzenie samokształcenia i optymalizacji w oparciu o nawyki użytkownika lub typy usług, upraszczając konfigurację urządzenia i czyniąc pamięć bardziej przyjazną dla użytkownika.

Huawei współpracuje z partnerami, aby budować ekosystem technologii ICT, dostarczać otwartych rozwiązań i dokonywać przełomów, wykorzystujące najnowsze technologie oraz promując rozwój całej branży. Wspieramy i liczymy na współpracę z naukowcami i społecznościami akademickimi, partnerami, i klientami w celu budowy lepszej infrastruktury danych oraz wykorzystania potencjału gromadzonych danych. „Inteligent Era” stawia wiele wyzwań dla konwencjonalnych technologii, takich jak między innymi rozproszone międzyregionalne systemy operacyjne, zarządzanie za pomocą AI ogromnymi ilościami węzłów, multirdzeniowa heterogeniczna moc obliczeniowa i nowe nośniki pamięci. Huawei ze swoją wiedzą, patentami, doświadczeniem globalnym oraz inwestycjami w R&D (Research & Development) razem ze swoimi partnerami i klientami chce zmieniać świat i być częścią cyfrowej ewolucji w ulepszaniu naszej rzeczywistości oraz budowaniu lepszego jutra.
Jeśli chcesz dowiedzieć się co sprawia, że OceanStor Dorado jest wyjątkowym rozwiązaniem dla biznesu, to zapraszam Cię do obejrzenia webinaru z serii #HuaweiTalksIT ze mną w roli prelegenta.

Bartek Brzeski, Solutions Architect in Huawei Enterprise Business Group for Nordics and CEE Region