HPE przyspiesza trenowanie sztucznej inteligencji wykorzystując “superczipy” NVIDIA

HPE zaprezentowało superkomputerowe rozwiązanie dla generatywnej sztucznej inteligencji przeznaczone dla dużych przedsiębiorstw, instytucji badawczych i organizacji rządowych, które pozwala na skrócenie procesu trenowania i dostrajania modeli AI przy użyciu prywatnych zbiorów danych. Składa się ono z pakietu oprogramowania – umożliwiającego trenowanie, dostrajanie modeli oraz opracowywanie aplikacji korzystających z AI – a także z rozwiązań superkomputerowych, sieciowych, pamięci masowej i usług. Pierwszy system wyposażono w poczwórną konfigurację bazującą na ”superczipach” NVIDIA Grace Hopper GH200. Rozwiązanie to będzie dostępne za pośrednictwem HPE w ponad 30 krajach od grudnia tego roku.

Wiodące firmy i ośrodki badawcze szkolą oraz dostrajają modele sztucznej inteligencji, aby zwiększać innowacyjność i osiągać przełomowe rezultaty w prowadzonych badaniach. Jednak aby robić to skutecznie i wydajnie, potrzebują specjalnie zaprojektowanych rozwiązań, uważają przedstawiciele HPE.

„Aby korzystać z generatywnej sztucznej inteligencji, organizacje potrzebują zrównoważonych rozwiązań zapewniających wydajność i skalowalność superkomputera, pozwalających skutecznie szkolić modele sztucznej inteligencji. Cieszymy się z rozszerzenia naszej współpracy z firmą NVIDIA i oferujemy rozwiązanie „pod klucz” oparte na sztucznej inteligencji, które pomoże naszym klientom znacznie przyspieszyć trenowanie modeli i uzyskiwanie wyników z wykorzystaniem sztucznej inteligencji” – powiedział Justin Hotard, wiceprezes i dyrektor generalny ds. HPC, AI & Labs w HPE.

Narzędzia programistyczne do budowania aplikacji AI, dostrajania gotowych modeli oraz opracowywania i modyfikowania kodu są kluczowymi elementami superkomputerowego rozwiązania HPE dla generatywnej sztucznej inteligencji. Oprogramowanie to jest zintegrowane z technologią superkomputerową HPE Cray, która bazuje na potężnej architekturze używanej w najszybszym superkomputerze świata i wykorzystuje „superczipy” NVIDIA Grace Hopper GH200. Rozwiązanie to oferuje organizacjom bezprecedensową skalę i wydajność wymagane dla dużych obciążeń związanych ze sztuczną inteligencją, takich jak trenowanie dużych modeli językowych (LLM) czy modeli rekomendacji bazujących na głębokim uczeniu (DLRM). Korzystając ze środowiska programistycznego HPE Machine Learning Development Environment w tym systemie, działający na open source model Llama 2 o 70 miliardach parametrów został dostrojony w mniej niż 3 minuty[1], co bezpośrednio przełożyło się na krótszy czas uzyskania wartości dla klientów. Zaawansowane możliwości superkomputerów HPE wspierane przez technologię NVIDIA przekładają się na 2-3-krotne zwiększenie wydajności systemu, zapewniają przedstawiciele HPE.

“Współpraca firmy NVIDIA z HPE nad tym gotowym rozwiązaniem do szkolenia i symulacji sztucznej inteligencji, opartym na superczipach NVIDIA GH200 Grace Hopper, zapewni klientom wydajność niezbędną do osiągnięcia prawdziwych przełomów w działalności związanej z generatywną sztuczną inteligencją” – stwierdził Ian Buck, wiceprezes ds. Hyperscale i HPC w NVIDIA.

Zaawansowane i zintegrowane rozwiązanie dla Generatywnej AI

Wspomniane superkomputerowe rozwiązanie dla generatywnej sztucznej inteligencji zaprojektowano jako zintegrowany, natywny dla AI system obejmujący:

• Oprogramowanie do akceleracji AI/ML – zestaw trzech narzędzi do trenowania i dostrajania modeli AI i tworzenia własnych aplikacji AI.

o HPE Machine Learning Development Environment to platforma software’owa do uczenia maszynowego, która umożliwia szybsze opracowywanie i wdrażanie modeli sztucznej inteligencji poprzez integrację z popularnymi frameworkami ML i uproszczenie przygotowywania danych.

o NVIDIA AI Enterprise pomaga organizacjom na drodze do najnowocześniejszej sztucznej inteligencji z zachowaniem bezpieczeństwa, stabilności, łatwością zarządzania i pełnym wsparciem. Oferuje rozbudowane struktury, wstępnie wytrenowane modele i narzędzia, które usprawniają opracowywanie i wdrażanie produkcyjnej sztucznej inteligencji.

o Pakiet HPE Cray Programming Environment daje programistom kompletny zestaw narzędzi do projektowania, portowania, debugowania i dopracowywania kodu.

• Zaprojektowane z myślą o skalowaniu – rozwiązanie oparte jest na eksaskalowym systemie HPE Cray EX2500 i wyposażone w wiodące układy NVIDIA GH200 Grace Hopper Superchip. Dzięki temu możliwe jest skalowanie nawet do poziomu wielu tysięcy procesorów graficznych (GPU) z możliwością dedykowania pełnej pojemności węzłów do obsługi pojedynczego obciążenia AI, co przyspiesza uzyskiwanie rezultatów. Jest to pierwszy system wyposażony w poczwórną konfigurację węzłów „superczipów” GH200.
• Rozwiązanie sieciowe dla sztucznej inteligencji wykorzystywanej w czasie rzeczywistym – HPE Slingshot Interconnect oferuje otwartą, opartą na sieci Ethernet, wysokowydajną sieć zaprojektowaną do obsługi eksaskalowych obciążeń roboczych. Rozwiązanie to bazuje na technologii HPE Cray, co zwiększa wydajność całego systemu, umożliwiając niezwykle szybką pracę w sieci.
• Prostota dzięki rozwiązaniu „pod klucz” – oferowane rozwiązanie uzupełniają usługi HPE Complete Care Services, które zapewniają specjalistyczną pomoc w zakresie konfiguracji, instalacji i wsparcia przez cały cykl życia, co ułatwia wdrożenie rozwiązań AI.

Bardziej ekologiczna przyszłość superkomputerów

Szacuje się, że do 2028 roku wzrost obciążeń związanych ze sztuczną inteligencją będzie oznaczał zapotrzebowanie w centrach danych na około 20 gigawatów mocy. Klienci będą potrzebować rozwiązań zapewniających wyższą efektywność energetyczną, aby zminimalizować emisję CO2.

Jak zapewniają przedstawiciele HPE, ich rozwiązania obliczeniowe są efektywne energetycznie, m.in. dzięki zastosowaniu chłodzenia cieczą, co pozwala zwiększyć wydajność nawet o 20% w porównaniu do rozwiązań chłodzonych powietrzem i zużyć o 15% mniej energii.

Obecnie większość spośród 10 najbardziej wydajnych superkomputerów na świecie wykorzystujących bezpośrednie chłodzenie cieczą (DLC) to systemy firmy HPE. Ten rodzaj układu chłodzenia jest również stosowany w opisywanym superkomputerowym rozwiązaniu dla generatywnej sztucznej inteligencji. Pozwala on na wydajne chłodzenie systemu przy jednoczesnym obniżeniu zużycia energii w zastosowaniach wymagających dużej mocy obliczeniowej.