Nowa, szybsza infrastruktura IT wspiera badania przy użyciu Wielkiego Zderzacza Hadronów

Rosnąca skala badań prowadzonych przy użyciu największego na świecie akceleratora cząstek spowodowała konieczność modernizacji platformy informatycznej CERN. Zdecydowano się na infrastrukturę wykorzystującą najnowsze procesory rodziny Intel Xeon, wirtualizację i szybkie dyski SSD. Dlaczego?

Źródło: CERN

Na początku czerwca 2015 roku, po dwóch latach przerwy związanej z pracami konserwacyjnymi i rozbudową, Europejska Organizacja Badań Jądrowych ponownie uruchomiła Wielki Zderzacz Hadronów (LHC, Large Hadron Collider). Podczas pierwszego uruchomienia LHC był dostrojony w celu wykrycia jednej konkretnej cząsteczki – Bozonu Higgsa. Obecnie społeczność naukowców zaczyna bardziej zróżnicowane prace badawcze, co wymaga dostępu do większej mocy obliczeniowej i wykorzystania bardziej elastycznej infrastruktury IT. Przerwę w funkcjonowaniu LHC wykorzystano więc także na zmodernizowanie platformy przetwarzania danych.

Unikalne zastosowania

Zderzenia cząsteczek w LHC następują w czterech punktach. Każdy z nich to niezależny eksperyment, który jest obsługiwany przez dedykowane centrum danych, przy czym dane dla każdego punktu zderzeń analizuje odrębne centrum danych. Jest to konieczne, aby zebrać gigantyczną ilość danych rejestrowanych przez zaawansowane czujniki. Po przefiltrowaniu zgromadzone dane są przesyłane do funkcjonującego w obrębie CERN departamentu IT, który udostępnia je badaczom z całego świata.

Specyfika badań wymaga jednak wdrożenia infrastruktury technicznej, którą będzie można łatwo dostosowywać do zmieniających się zastosowań oraz ciągłej optymalizacji czujników LHC na potrzeby badań różnych cząsteczek materii. Co więcej, ze względu na rosnącą liczbę analizowanych kolizji cząstek badacze muszą zmierzyć się z systematycznie rosnącą ilością danych – wszystkie, nawet najbardziej cząstkowe dane potencjalnie mogą być bowiem przyczynkiem do nowych odkryć.

„Potrzebujemy większej mocy obliczeniowej i przestrzeni dyskowej, a także większej wydajności i elastyczność od infrastruktury IT odpowiadającej za filtrowanie danych” – mówi dr. Olof Bärring, kierownik sekcji Facility Planning and Procurement w departamencie CERN IT. Skalę gromadzonych danych dobrze oddaje fakt, że podczas pierwszych trzech lat pracy Zderzacza Hadronów CERN zebrał ok. 75 petabajtów danych z eksperymentów. To ekwiwalent 3 milionów płyt Blu-ray. Warto wspomnieć, że CERN archiwizuje obecnie ok. 100 PB danych na taśmach magnetycznych, a są to jedynie dane, które zostały uznane za istotne. Ilość danych zapisanych po filtrowaniu jest jedynie niewielką częścią zbioru danych gromadzonych podczas badań.

Dodatkowo, ogromna ilość danych zbieranych podczas eksperymentów w LHC – ok. 1 PB na sekundę – wymaga znacznej mocy obliczeniowej do filtrowania oraz rekonstrukcji. „Aby zmierzyć się z jeszcze większą ilością fizycznie rejestrowanych, filtrowanych i zapisywanych danych, musieliśmy znaleźć ekstremalnie niezawodną i bardzo wydajną platformę” – podkreśla dr. Olof Bärring. „Zwiększając wydajność i moc obliczeniową, musieliśmy zmieścić się w dotychczasowym budżecie” – dodaje.

Wnikliwa analiza potrzeb i rozwiązań

Przygotowując się do ponownego uruchomienia Wielkiego Zderzacza Hadronów, zespół IT CERN poszukiwał nowej platformy sprzętowej, która służyłaby w wielu projektach. Jednocześnie, w odpowiedzi na prognozowany przyrost ilości analizowanych informacji, celem wdrożenia nowych rozwiązań sprzętowych było co najmniej dwukrotne zwiększenie skali obsługiwanych danych.

W ramach przeprowadzonej analizy uwzględniającej specyficzne potrzeby CERN porównano różne konfiguracje sprzętowe. Testy pokazały, że wykorzystanie serwerów opartych na płytach głównych Intel S2600KP i wyposażonych w układy Intel Xeon E5-2630 v3 pozwoli na podniesienie wydajności o ok. 20% względem poprzedniej, zbudowanej z wykorzystaniem płyt głównych Intel S2600JP oraz procesorów Intel Xeon E5-2650 v2.

Co ważne, pracownicy departamentu IT CERN oraz zespół prowadzący eksperymenty LHC mieli możliwość przetestowania procesorów Intel Xeon E5-2680 v3 jeszcze przed uruchomieniem Zderzacza. Podczas testów odnotowano znaczną poprawę wydajności zarówno od strony szybkości obliczeń, jak i poboru energii w przeliczeniu na jeden wat. Łączna ilość pobieranej mocy przez system była jednym z kluczowych czynników branych pod uwagę w postępowaniu przetargowym. Rezultaty wewnętrznej oceny kosztów całkowitych, które uwzględniały charakterystykę poboru mocy, przyczyniły się do wybrania platformy firmy Intel. Kluczowe znaczenie miała jednak wyższa wydajność, dzięki której naukowcy są w stanie przeanalizować większą ilość danych w krótszym okresie.

CERN używa również nośników SSD firmy Intel, aby przyspieszyć działanie rozproszonego systemu pamięci masowych działającego na bazie platformy Ceph. „Ilość danych jest tak duża, że nie możemy przechowywać ich na nośnikach SSD” – podkreśla Tim Bell, kierownik zespołu IT Operating Systems and Infrastructure Services Group w CERN. „Dlatego pamięci SSD nie używamy do przechowywania fizycznych danych z LHC, ale jako wydajną metodę do przyspieszenia możliwości zapisu i odczytu dziennika Ceph, naszego blokowego systemu pamięci masowych. Wykorzystując tą metodę, możemy liczyć na podwojenie liczby operacji wejścia/wyjścia i potencjalnie pięciokrotnie zwiększyć dotychczasową wydajność” – dodaje. CERN używa nośników Intel SSD z funkcją bcache, aby zwiększyć liczbę obsługiwanych operacji I/O na sekundę dla określonych maszyn wirtualnych, w przypadku których zapis na tradycyjnych dyskach twardych powodowałby powstanie wąskiego gardła.

Zoptymalizowane rozwiązanie

Europejska Organizacja Badań Jądrowych jest unikalnym na skalę świata ośrodkiem badawczym. Nie zmienia to jednak faktu, że departament IT CERN preferuje korzystanie ze standardowej, zoptymalizowanej infrastruktury. Takie podejście ma zapewniać możliwość maksymalizacji elastyczności środowiska IT. „Nie musimy polegać na budowanych na zamówienie wysokiej klasy rozwiązaniach, ale możemy korzystać ze standardowych serwerów w 64-bitowej architekturze x86, jak procesory Intel Xeon. Korzystanie ze standardowych rozwiązań obniża koszty oraz umożliwia szybsze i łatwiejsze regularne odświeżanie systemu, dzięki czemu możemy korzystać z lepszych pamięci czy zbudować wydajniejszą sieć. Dodatkowo, zespół IT ma dostęp do najlepszych, komercyjnych technologii Intela, dzięki czemu platforma jest zoptymalizowana” – mówi dr. Olof Bärring.

CERN jest zobowiązany prowadzenia przetargów, w których preferowani są dostawcy technologii z Europy. Ostatecznie, projekt modernizacji infrastruktury IT CERN zrealizowały trzy firmy: Megware, Transtec oraz Bios-IT. Pierwsza z nich wdrożyła najnowszą platformę serwerową Intel PCSD z procesorami Intel Xeon E5-2630 v3 oraz E5-2680 v3, druga – serwery Quanta z procesorami Intel Xeon E5-2650 v2. Natomiast firma Bios-IT dostarczyła serwery Supermicro z procesorami Intel Xeon E5-2650 v2. „Dzięki technologiom Intela możemy używać mieszanki różnych rozwiązań i nie stanowi to problemu. Przeciwnie, daje elastyczność, która jest ogromną zaletą” – kwituje Olof Bärring. Obecnie CERN wykorzystuje zbudowane na platformie OpenStack środowisko chmury prywatnej oparte na ponad 120 tys. rdzeni procesora, niemal 12 tys. maszyn wirtualnych obsługiwanych przez dwa centra danych.