Prometheus: najszybszy superkomputer w Polsce

Maszyna ta – oparta na HP Apollo 8000 – ma ponad 41 tys. rdzeni procesorów Intel Haswell, 216 TB pamięci RAM i dyski twarde o łącznej pojemności 12 PB. Znajduje się w krakowskim Cyfronecie. To jeden z 50 najlepszych komputerów na świecie, a po zakończonej właśnie rozbudowie jest jeszcze szybszy.

W kwietniu 2015 roku Prometheusa uruchomiono w Akademickim Centrum Komputerowym Cyfronet należącym do krakowskiej AGH. Jest to obecnie najpotężniejszy superkomputer w Polsce. Jego moc obliczeniowa szacowana jest na 1,658 PFlopsów, czyli 1 658 880 000 000 000 operacji zmiennoprzecinkowych na sekundę.

W październiku Prometheus doczekał się rozbudowy. W kolejnych szafach znalazły się dodatkowe serwery. Tym razem wyposażone także w dedykowane procesory graficzne Nvidia. Ich rolą jest dokonywanie specjalistycznych obliczeń. Po tych zmianach komputer Cyfronetu stał się jeszcze szybszy. Jak szybki, dowiemy się wkrótce. Podczas naszej wizyty w Krakowie Prometheus – w ulepszonej konfiguracji – był dopiero przygotowywany do testu LINPACK. To na podstawie jego wyników ustalana jest lista TOP500 superkomputerów na świecie. Koszt jego budowy to ok. 40 mln zł.

Prometheus działa na bazie systemu Linux CentOS 7. Jest to specjalna – rozwijana przez jednostki naukowe – wersja dystrybucji RedHat. Cyfronet wykorzystuje standardową jego wersję, z dodanymi modułami niezbędnymi do jego działania.

Unikatowy system chłodzenia cieczą

Miniaturyzacja dopadła także superkomputery. Wydawałoby się, że takie urządzenia potrzebują olbrzymich hal i zajmują gigantyczną przestrzeń. W rzeczywistości Prometheus zajmuje 15 szaf stelażowych na ok. 13 metrach kwadratowych. „Gdyby podzespoły Prometheusa były upakowane w technologii naszego starszego superkomputera, Zeusa, to zajmowałyby 120 szaf. Natomiast w przypadku Baribala – komputera uruchomionego w 2006 roku i już wycofanego z użytku – byłoby to 8000 szaf” – mówi Karol Krawentek, zastępca dyrektora ds. infrastruktury informatycznej w Cyfronet.

Na potrzeby Prometheusa przystosowano spore pomieszczenie, zakładając przy tym, że komputer będzie jeszcze rozbudowywany. Superkomputer krakowskiego Cyfronetu można bowiem powiększać o kolejne procesory, i to bez jego wyłączania. Tak było zresztą przy okazji ostatniej rozbudowy tej jesieni. W tym samym pomieszczeniu ulokowany jest też system pamięci masowej, czyli macierze dyskowe, z których korzysta komputer. To dwa systemy plików o łącznej pojemności 12 PB. Do tego są połączone z Prometheusem siecią kabli zapewniających przepustowość na poziomie 180 GB/s.

Na 15 szafach Prometheusa i potężnej wiązce kabli do systemów pamięci masowych kończy się to, co widzimy w pomieszczeniu. Dodatkowa infrastruktura kryje się pod podłogą i w innych częściach budynku. Mowa tu o dwóch niezależnych liniach energetycznych, systemie zasilaczy UPS oraz agregacie prądotwórczym. Te elementy zapewniają, że superkomputer będzie działał bez przerwy.

Pod spodem znajduje się także instalacja systemu chłodzenia. Małe gabaryty Prometheus zawdzięcza właśnie jemu. W tym superkomputerze zastosowano bowiem innowacyjne chłodzenie ciepłą wodą. To znacznie efektywniejsze i tańsze rozwiązanie, niż w przypadku zimnej wody czy powietrza. Nie ma drogich i energochłonnych klimatyzatorów, nie ma też sprężarek. Obieg wody realizowany jest za pomocą pomp. Na dachu budynku Cyfronetu zamontowany jest dry-cooler, czyli wymiennik ciepła wyposażony w zraszacze. W minione, upalne lato woda chłodząca komputer miała maksymalnie 37 stopni Celsjusza, a i tak pozwalała na pełne schłodzenie Prometheusa. Co ważne, w konstrukcji nie ma żadnych zaworów, poszczególne serwery chłodzone są za pomocą rurek cieplnych. Dzięki zastosowaniu podciśnienia w pętli pierwotnej oraz stałemu monitoringowi systemu superkomputer jest chłodzony w sposób w pełni bezpieczny.

Technologia chłodzenia ciepłą wodą znacząco wpływa na energooszczędność komputera. „Współczynnik efektywności energetycznej PEU w przypadku Prometheusa wynosi 1,06. Tymczasem w przypadku standardowych, choć i tak nowoczesnych centrów danych, jest to zazwyczaj 1,6. Oznacza to, że krakowski superkomputer potrzebuje jedynie dodatkowe 6% energii na schłodzenie, podcza, gdy inne systemy wymagają aż 60% dodatkowej mocy. Jest to niezwykle istotne, biorąc pod uwagę nie tylko ekologię, ale przede wszystkim oszczędności” – opowiada Karol Krawentek. „Nasze miesięczne rachunki za energie liczone są w dziesiątkach tysięcy złotych. Bez tego innowacyjnego systemu chłodzenia byłyby znacznie większe, tak samo jak gabaryty  Prometheusa” – dodaje.

Zeus i Prometheus duet do zadań specjalnych

Gigantyczna moc obliczeniowa, jaką posiada Prometheus, powstała w konkretnym celu. Nowy superkomputer ma uczestniczyć w badaniach naukowców nie tylko z AGH, ale z całej Polski, a nawet świata. Już wcześniej w taki sposób wykorzystywany był Zeus. Zmodyfikowany w 2013 roku Zeus ma 25 468 rdzeni procesorów, o łącznej mocy obliczeniowej wynoszącej 374 Tflopsów, i  60 TB pamięci operacyjnej RAM.

Oba komputery podzielą się zadaniami. Na Zeusie będą wykonywane obliczenia mniej czasochłonne, niewymagające tak dużej mocy, jaką posiada Prometheus. Kolejny powód takiego podziału to fakt, że część oprogramowania, z jakiego korzystają naukowcy, wymagałaby przekompilowania na nową platformę, tak aby w pełni wykorzystywać możliwości Prometheusa. W przypadku niektórych badań nie jest to potrzebne. Dlatego wielu naukowców będzie korzystać z Zeusa.

Zapotrzebowanie na superkomputery Cyfronetu jest duże. Prometheus jest dopiero wdrażany i jego wynikami jeszcze pochwalić się nie można. Jednak Zeus tylko w 2014 roku wykonał prawie 8 mln zadań, których łączny czas jest szacowany na prawie 13 tys. lat. Dziennie na Zeusie kończy się 22 tys. zadań, a aktywnych zadań na tym superkomputerze jest stale ok. 3 tys. „Na superkomputerze Prometheus mają być wykonywane obliczenia, do których niezbędne jest 10, a nawet 20 tys. rdzeni” – mówi dr Mariusz Strzel, specjalista ds. informatyki w Cyfronecie.

Prometheus powstał dla PLGrid

Zadania wykonywane na superkomputerach Cyfronetu tworzone są przez naukowców z PLGrid. To dedykowane środowisko do badań dla naukowców z różnych dziedzin z całej Polski. Naukowcy w łatwy sposób mogą wykorzystać Prometheusa i Zeusa – oraz inne superkomputery w kraju – do rozwiązywania złożonych problemów obliczeniowych.

Z Prometheusa w ramach PLGrid będzie mógł skorzystać nieodpłatnie praktycznie każdy naukowiec, a nawet student mający opiekuna naukowego i potrzebujący mocy obliczeniowej np. na potrzeby swojej pracy inżynierskiej, magisterskiej czy doktorskiej. W ramach platformy PLGrid, badacze mają dostęp do gotowych modułów i pakietów usług. Pozwala to na pracę na tych supermaszynach nawet mniej zaawansowanym użytkownikom, bez konieczności używania wiersza poleceń.

W ramach PLGrid istnieje 27 grup użytkowników ze strategicznych dziedzin naukowych. Przykładowo: biolodzy mogą korzystać z usługi VECTOR NTI. Pozwala ona wykorzystać superkomputery do analizy sekwencji DNA, RNA i białek. Natomiast w ramach gridu dziedzinowego „Energetyka jądrowa i CDF” prowadzone są prace nad zagadnieniami modelowania numerycznego złożonych systemów jądrowych, takich jak detektory promieniowania czy reaktory jądrowe. Z kolei dzięki Prognocean Plus naukowcy mogą w czasie rzeczywistym prognozować anomalie poziomu oceanów. W Cyfronecie zaś modelowane są cząstki chemiczne. Znajdujące się tam superkomputery odpowiadały także za 1% obliczeń niezbędnych do odkrycia Bozonu Higgsa w czasie doświadczeń przeprowadzanych w Wielkim Zderzaczu Hadronów w CERN. Coraz częściej do naukowców z dziedzin ścisłych dołączają także humaniści. Ostatnio np. archeolodzy wykorzystali Zeusa do obliczeń mających na celu stworzenie modelu pieca, którego części udało im się odnaleźć.

Konsorcjum PLGrid ma ciągłą kontrolę nad badaniami prowadzonymi na superkomputerach. Aby móc korzystać z Prometheusa, naukowcy muszą złożyć wniosek o grant, w którym uzasadniają swoją potrzebę, a także określają, jakich zasobów mocy obliczeniowej i na jak długo będą potrzebować. Taki grant jest recenzowany i konsultowany, chodzi o to, aby zasoby rzeczywiście służyły nauce. Po zakończeniu badań naukowcy muszą rozliczyć się także z publikacji.

Krakowska tradycja superkomputerów

Do Akademickiego Centrum Komputerowego Cyfronet pierwszy, potężny superkomputer CDC Cyber 72 trafił 40 lat temu. Od tego czasu Cyfronet cały czas służy społeczności naukowej. Uruchomienie Prometheusa jest kolejnym tego etapem. Obecnie badania naukowe potrzebują olbrzymiej mocy obliczeniowej.

Na Prometheusie zadanie, które Zeus realizuje w 2-3 dni, może zostać wykonane w ciągu kilku godzin. Tylko pozornie badania te mogą wydawać się dla nas nieistotne. W rzeczywistości prace te związane są z zagadnieniami, z którymi borykamy się na co dzień. Naukowcy pracujący nad zrozumieniem procesu fałdowania białka pozwolą w przyszłości skutecznie leczyć takie choroby, jak Alzheimer. Natomiast opracowanie metody efektywnego magazynowania wodoru umożliwi masowe wprowadzenie samochodów o takim zasilaniu. To w mocy Prometheusa może kryć się przyszłość polskiej nauki.

• ·      1728 serwerów platformy HP Apollo 8000, każdy z 2 procesorami Intel Haswell;
• ·      łącznie Prometheus ma do dyspozycji 41 472 rdzenie;
• ·      wszystkie serwery połączone są siecią InfiniBand o przepustowości 56 Gb/s;
• ·      superkomputer ten połączony jest z systemem plików DataDirect o pojemności 12 PB z szybkością dostępu wynoszącą 180 GB/s.

Procesory Intel Core czwartej generacji noszą kodową nazwę Haswell. Wykonane w 22-nanometrowym procesie produkcyjnym są wyposażone w znacznie wydajniejszą zintegrowaną grafikę niż poprzednia generacja Ivy Bridge. Parametry Intel Haswell to m.in.: 12 rdzeni; 2,5 GHz; 30 MB Intel Smart Cache; 9.6 GT/s Intel QPI Speed. Procesory Intel Haswell pozwalają na jednoczesne wykonywanie operacji przetwarzania na wielu zbiorach danych. Mając do wykonania np. operację mnożenia 4000 rekordów z bazy, bez optymalizacji in-memory będziemy zmuszeni wykonać co najmniej 12 000 operacji. Każdą liczbę musimy bowiem wprowadzić do pamięci procesora, wykonać operację mnożenia i zapisać rezultat. Przy użyciu wektoryzacji wprowadzonej w procesorach Intel Haswell jesteśmy w stanie wprowadzić nasze 4000 zmiennych do pamięci procesora, a następnie w jednym cyklu jego pracy wykonać mnożenie i zapis wyników.