centra danych / data centerInfrastrukturaSztuczna inteligencja

3 wyzwania w utrzymaniu infrastruktury IT wysokiej gęstości

Możliwość szerokiego wykorzystania danych jako podstawy do podejmowania decyzji i automatyzacji procesów stwarza nowe perspektywy optymalizacji biznesu oraz jego rozwoju we wszystkich branżach. Problemem staje się jednak utrzymanie odpowiednio wydajnej infrastruktury IT koniecznej do obsługi danych, szczególnie w kontekście zastosowania rozwiązań AI.

3 wyzwania w utrzymaniu infrastruktury IT wysokiej gęstości

W miarę jak na rynku upowszechnia się wiedza na temat możliwości wykorzystania nowych technologii analitycznych, na czele ze sztuczną inteligencją, pojawiają się nowe pomysły na ich zastosowanie. Oczekiwania w zakresie szybkiej dostępności złożonych analiz opartych na rozległych zbiorach danych, także nieustrukturyzowanych, przekłada się na radykalny wzrost mocy obliczeniowej wymaganej do obsłużenia tych procesów. Niezależnie od rozwoju technologii i rosnącej efektywności przetwarzania, zwiększone zapotrzebowanie na moc obliczeniową powoduje, że środowiska IT stają się coraz bardziej energochłonne. To z kolei oznacza zupełnie nową skalę wyzwań towarzyszących utrzymaniu nowego typu infrastruktury IT.

1. wyzwanie: modernizacja systemów chłodzenia

Na przestrzeni ostatnich lat obserwujemy systematyczny wzrost mocy obliczeniowej, skoncentrowanej w szczególności w serwerowniach firmowych i komercyjnych centrach danych. Serwery wyposażone w coraz potężniejsze procesory wymagają coraz większych ilości energii. W skali szaf serwerowych przekłada się to na kilkukrotny wzrost gęstości mocy. Standardem są dziś rozwiązania 20 kW na szafę, podczas gdy dekadę temu było to 2—5 kW.

W przypadku zastosowań związanych ze sztuczną inteligencją czy wysoce wydajnych systemów HPC powszechnie wykorzystywane są już rozwiązania o gęstości mocy na poziomie kilkudziesięciu kW. Do użytku trafiają też wyspecjalizowane pod kątem AI szafy serwerowe o mocach liczonych w setkach kW.

W warunkach tak wysokiej gęstości mocy tradycyjne systemy chłodzenia powietrzem mają ograniczoną efektywność, co czyni je niewystarczającymi dla rozbudowanych konfiguracji serwerowych. Infrastruktura IT wyspecjalizowana na potrzeby AI wymaga zastosowania zupełnie innych metod chłodzenia. W odpowiedzi na te potrzeby już dziś, na coraz szerszą skalę, wdrażane są systemy chłodzenia z wykorzystaniem cieczy. Ciecz ma lepsze właściwości termiczne niż powietrze, co sprawia, że tego typu systemy chłodzenia mogą obsłużyć większe ilości ciepła.

Zastosowanie systemów chłodzenia cieczą umożliwia również poprawę efektywności odbierania ciepła z infrastruktury IT, ogranicza wymagania w zakresie wentylacji i klimatyzacji, ale też pozwala na bardziej punktowe chłodzenie najbardziej newralgicznych komponentów. W efekcie, systemy chłodzenia cieczą charakteryzują się wyższą efektywnością energetyczną, zaś ich wykorzystanie pozwala ograniczyć globalne zużycie energii w centrum danych.

Redefinicja modelu chłodzenia w istniejących serwerowniach wymaga najczęściej znaczących nakładów finansowych, ale równolegle może przynieść realne oszczędności. Duże znaczenie ma tu oczywiście efekt skali. Według szacunków Hewlett Packard Enterprise, zastosowanie systemów chłodzenia cieczą w centrum danych obsługującym 10 tys. serwerów pozwala na zmniejszenie kosztów nawet o 86% rocznie (w porównaniu z konfiguracją opartą na chłodzeniu powietrzem). W ten sposób możliwe jest zmniejszenie śladu węglowego nawet o 87%. Poprawny dobór modelu chłodzenia jest kluczowy, ponieważ bez odpowiednio wydajnych systemów schładzania zaawansowana infrastruktura IT nie będzie prawidłowo działać i może zagrozić ciągłości działania procesów biznesowych. Zbyt wysoka temperatura to bowiem wciąż jeden z najważniejszych czynników ryzyka awarii w serwerowni.

2. wyzwanie: koszty energetyczne

Uruchomienie infrastruktury IT na potrzeby AI ma bezpośrednie przełożenie na wzrost konsumpcji energii, a więc także kosztów prądu. Ponadto, w przypadku, gdy na etapie projektowania firmowej serwerowni nie przykładano należytej wagi do kwestii efektywności energetycznej, wspomniany wzrost kosztów może okazać się znaczący. Przy infrastrukturze wysokiej gęstości wzrasta bowiem zapotrzebowanie energetyczne całego ekosystemu rozwiązań istniejących w serwerowni, a nie tylko sprzętu IT.

W ślad za zwiększeniem potrzeb energetycznych firmowej serwerowni pojawia się m.in. konieczność zweryfikowania, czy lokalny dostawca prądu będzie w stanie sprostać tym rosnącym wymaganiom. W przypadku typowych serwerowni skala wzrostów nie powinna być tak duża, by było to realnym problemem. Jest to jednak obszar wymagający uwagi. Należy też pamiętać, że organizacje, których infrastruktura nie została uznana za krytyczną, mogą mieć do czynienia z ryzykiem wstrzymania dostaw energii. Pod kątem takiego scenariusza — lub po prostu, aby zabezpieczyć się przed awarią zasilania podstawowego — konieczne jest zbudowanie odpowiedniego zaplecza w postaci zasilania awaryjnego. W tym obszarze nowa infrastruktura wysokiej gęstości również generuje konieczność rozbudowy lub wymiany obecnej instalacji.

Wzrost mocy firmowej serwerowni może mieć też implikacje w zakresie obowiązków raportowania i optymalizacji efektywności energetycznej. Dyrektywa EED (Energy Efficiency Directive), której przepisy weszły w życie 10 października 2023 roku, obejmuje obowiązkiem raportowania wszystkie serwerownie o mocy przekraczającej 500 kW, również niekomercyjne. Zalecenia obejmują np. raportowanie zainstalowanej mocy, ilości danych, zużycia energii, PUE, wykorzystania ciepła odpadowego, zużycia wody i wykorzystania energii odnawialnej. Poza tym, zgodnie z jej wytycznymi, istniejące centra danych od 1 lipca 2026 roku, pod rygorem znaczących kar, muszą dysponować wskaźnikiem PUE sięgającym maksymalnie 1,5. Cztery lata później obligatoryjna stanie się efektywność zużycia energii na poziomie mniejszym lub równym 1,3.

3. wyzwanie: ciepło odpadowe

Efektem dużych potrzeb energetycznych nowoczesnego sprzętu IT, w tym m.in. układów GPU, jest produkcja znacznych ilości ciepła odpadowego, a więc energii, którą można ponownie wykorzystać. Trudno oczekiwać, aby wszystkie firmowe serwerownie zostały wyposażone w technologie odzysku energii cieplnej na dużą skalę. Niewykluczone są jednak mniejsze projekty, zakładające, przykładowo, wykorzystanie ciepła odpadowego do ogrzewania firmowych budynków. Największe wyzwanie w tym obszarze stoi natomiast przed operatorami centrów danych, które wraz ze wzrostem mocy będą generować gigantyczne wręcz ilości ciepła. W takich ośrodkach kluczowa staje się kwestia zagospodarowania ciepła odpadowego, która wymaga wdrożenia dodatkowych rozwiązań technologicznych.

Outsourcing i kolokacja dodatkowymi alternatywami

Zagwarantowanie odpowiednich poziomów energii, optymalizacja efektywności energetycznej, modernizacja systemów chłodzenia oznaczają zdecydowany wzrost wymagań wobec możliwości firmowych serwerowni. Nie bez powodu widać w tym obszarze postępującą specjalizację – coraz więcej organizacji decyduje się na rezygnację z samodzielnego utrzymania infrastruktury IT, wybierając różnego rodzaju outsourcing, kolokację do profesjonalnych centrów danych lub przeniesienie obciążeń do chmury obliczeniowej. Zapewnienie właściwych warunków do działania systemów wysokiej gęstości, w tym infrastruktury dedykowanej AI, winduje poziom skomplikowania na jeszcze wyższy poziom. Niewykluczone zatem, że dla firm zainteresowanych uruchomieniem większych projektów AI, skorzystanie z usług profesjonalnych centrów danych będzie najbardziej efektywnym rozwiązaniem.

Nowe obciążenia wymagają efektywnego chłodzenia

Rozwój technologii chłodzenia cieczą koncentruje się dziś głównie wokół dwóch koncepcji – odprowadzania ciepła bezpośrednio z jego źródeł, a więc procesorów i innych komponentów poprzez dedykowane wymienniki ciepła lub chłodzenia zanurzeniowego.

Pierwsza koncepcja
Pierwszy ze scenariuszy zakłada wpompowanie płynu dielektrycznego do serwera tak, aby za pośrednictwem precyzyjnego systemu hydraulicznego krążył on między wymiennikami ciepła zainstalowanymi na chłodzonych komponentach a znajdującą się poza serwerem jednostką dystrybucyjną, gdzie ulega ochłodzeniu.

Druga koncepcja
Z kolei chłodzenie zanurzeniowe (immersyjne) idzie o krok dalej. Zakłada, że cały serwer lub jedynie procesory pracują zanurzone w płynie chłodzącym. Takie podejście pozwala na zapewnienie jeszcze wyższej efektywności odprowadzania ciepła. W obu przypadkach ciepło odpadowe jest odprowadzane poza przestrzeń serwerową.

Podsumowanie
Dedykowane dla centrów danych rozwiązania chłodzenia cieczą nie różnią się w istocie od rozwiązań spotykanych we wspomnianych systemach klasy HPC, rozwiązań dla przemysłu czy chłodzenia zaawansowanego sprzętu dla graczy. Inna jest oczywiście skala i zakres działania.[/box]

KOMENTARZ EKSPERTA

Piotr Kowalski, Head of Innovation w Beyond.pl

3 wyzwania w utrzymaniu infrastruktury IT wysokiej gęstości

Lokalne utrzymywanie infrastruktur wysokiej gęstości nie jest niemożliwe, ale dla osób odpowiedzialnych za infrastrukturę IT w organizacjach będzie z pewnością dużym wyzwaniem. Wszystkie kwestie sprowadzają się do kluczowego zagadnienia, jakim są koszty związane z modernizacją lokalnych serwerowni. Jako bezpośrednio zaangażowany w te procesy, doskonale znam poziom wymaganych inwestycji. Zupełnie nieracjonalne wydaje się ponoszenie takich kosztów inwestycyjnych przez pojedyncze organizacje. Outsourcing w tym obszarze jest decyzją uzasadnioną zarówno biznesowo, jak i finansowo.

Jesteśmy gotowi na utrzymanie środowisk wysokiej gęstości

W Beyond.pl od wielu miesięcy pracujemy nad przygotowaniem własnej infrastruktury centrodanowej do obsługi obciążeń AI. Nowe komory będą technologicznie przygotowane do utrzymania infrastruktur IT o wysokiej gęstości mocy na poziomie 140+ kW na szafę rack, co jest kluczowe przy kolokacji środowisk sztucznej inteligencji. Wśród technologii chłodzenia cieczą, które mogą znaleźć u nas zastosowanie, znajduje się m.in. bezpośrednie chłodzenie procesorów, chłodzenie zanurzeniowe — w zależności od specyfikacji klienta. Mamy możliwość aranżacji zarówno całych budynków, jak i pojedynczych komór zgodnie z wymogami klientów. Jesteśmy gotowi udostępnić nowe przestrzenie w terminie do 12 miesięcy od podpisania zamówienia z klientem. Mamy zabezpieczone grunty, energię elektryczną i wszelkie zasoby wymagane do szybkiego uruchomienia przestrzeni pod najbardziej wymagające zapotrzebowania projektów kolokacyjnych.

Pionierska w Polsce inicjatywa odzysku ciepła z data center

Z uwagi na plan rozbudowy kampusu Beyond.pl i zwiększenia jego mocy nawet do 150 MW pod infrastrukturę IT najnowszej generacji adresujemy również wyzwanie związane z zarządzaniem dużą ilością ciepła odpadowego pochodzącego z serwerów ekstremalnej gęstości. Z tego powodu uruchomiony został projekt z firmą Veolia Energia Poznań, którego celem jest uruchomienie na terenie naszego kampusu instalacji odzysku ciepła. Stworzone w ramach naszego partnerstwa rozwiązanie będzie źródłem niskoemisyjnego ciepła dla mieszkańców Poznania, zmniejszy wykorzystanie paliw kopalnych i poprawi efektywność energetyczną miejskiego systemu ciepłowniczego. To pierwsza inicjatywa odzysku ciepła w Polsce z data center na potrzeby spółki ciepłowniczej o takiej skali.

Konkurencyjna propozycja rynkowa

Podsumowując, zastosowanie optymalnych technologii chłodzenia i odzysku ciepła odpadowego doprowadzi do osiągnięcia efektywności energetycznej kampusu Beyond.pl poniżej wskaźnika 1.2 w ujęciu średniorocznym. W połączeniu z kontraktacją 100% energii odnawialnej, przy wykorzystaniu optymalnie dobranych modeli PPA, zapewniamy bardzo konkurencyjną ofertę utrzymania infrastruktury IT wysokiej gęstości mocy.

KOMENTARZ EKSPERTA

Krzysztof Chibowski, Business Development Manager & Digital Transformation Advisory – Hybrid Cloud/AI/ML /Analytics, Hewlett Packard Enterprise

3 wyzwania w utrzymaniu infrastruktury IT wysokiej gęstości

W Hewlett Packard Enterprise od lat obserwujemy rosnące znaczenie nowoczesnych rozwiązań chłodzących, szczególnie w kontekście centrów danych obsługujących coraz bardziej wymagające obciążenia – od zaawansowanej analityki, przez sztuczną inteligencję, aż po superkomputery. Nasze doświadczenia wskazują, że chłodzenie cieczą nie jest już wyłącznie eksperymentalną alternatywą dla tradycyjnych metod opartych na powietrzu, ale coraz częściej staje się kluczowym elementem długofalowej strategii optymalizacji środowisk IT.

Przepływy powietrzne wymagają wysokiego zużycia energii do napędzania wentylatorów oraz klimatyzacji precyzyjnej, co ogranicza skalowalność i wymusza rosnące koszty operacyjne. W przeciwieństwie do tego, chłodzenie cieczą umożliwia dostarczenie chłodziwa bezpośrednio do najbardziej rozgrzanych komponentów, minimalizując opór termiczny i poprawiając wydajność termiczną całego systemu. W efekcie, możliwe jest odprowadzenie większych ilości ciepła przy mniejszym zużyciu energii i mniejszej przestrzeni. Przy rosnących kosztach energii oraz nacisku na zrównoważony rozwój, ta efektywność stanowi realną przewagę konkurencyjną.

Doświadczenie HPE w dziedzinie chłodzenia cieczą

HPE ma bogatą historię w projektowaniu oraz wdrażaniu innowacyjnych rozwiązań dla centrów danych i systemów HPC. W naszych laboratoriach R&D od lat prowadzone są intensywne prace nad technologiami chłodzenia. Współpracujemy z czołowymi ośrodkami badawczymi, producentami komponentów oraz instytucjami naukowymi, aby stale podnosić efektywność i niezawodność naszych rozwiązań. Przykładem takiego zaangażowania są wdrożenia w superkomputerach exaskalowych, gdzie techniki chłodzenia cieczą pełnią istotną rolę w utrzymaniu stabilności oraz długotrwałej wysokiej wydajności.

Nie skupiamy się jednak wyłącznie na światowej skali superkomputerach. HPE oferuje wiele rozwiązań dla różnych branż — od mniejszych centrów danych przedsiębiorstw, po wielkoskalowe instalacje chmurowe. Nasza oferta obejmuje zarówno systemy zaprojektowane od podstaw z myślą o chłodzeniu cieczą, jak i rozwiązania hybrydowe, pozwalające na stopniowe wdrażanie tej technologii tam, gdzie przynosi największe korzyści. Trzy główne podejścia do chłodzenia serwerów i infrastruktury IT, które stosujemy w swoich rozwiązaniach to: Liquid to Air Cooling (chłodzenie cieczą pośrednio wymieniane z powietrzem), 70% Direct Liquid Cooling (częściowe — ok. 70% – chłodzenie bezpośrednio cieczą), a także 100% Direct Liquid Cooling (całkowite chłodzenie bezpośrednio cieczą).

Przyszłościowa inwestycja w infrastrukturę

Warto podkreślić, że chłodzenie cieczą przestaje być postrzegane jako egzotyczna alternatywa i staje się kluczowym elementem strategii modernizacji centrów danych. Dzięki możliwościom utrzymania wyższej gęstości obliczeniowej, obniżenia zużycia energii oraz poprawy niezawodności, technologia ta stanowi przyszłościową inwestycję.

HPE, dzięki swojemu wieloletniemu doświadczeniu, licznym akwizycjom firm, takich jak Cray czy Silicon Graphics International, i szerokiej współpracy z liderami branży, jest gotowe wspierać organizacje na każdym etapie wdrażania chłodzenia cieczą — od konsultacji i koncepcji, po kompleksową implementację i utrzymanie systemów. To nie tylko kolejny krok w rozwoju infrastruktury IT, ale realna szansa na zwiększenie konkurencyjności, elastyczności oraz zrównoważonego rozwoju każdego przedsiębiorstwa.

 

Artykuł ukazał się na łamach: Magazyn ITwiz 9-10/2024. Zamów poniżej:

Tagi

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *