Polski superkomputer - wyścig na teraflopy nie jest najważniejszy

Jeśli sądzicie, że Polacy odpuszczają inwestowanie w najnowsze technologie, to jesteście w dużym błędzie. Polacy już niedługo znajdą się w posiadaniu superkomputera za 100 mln zł, plasującego się pod względem szybkości na 60 miejscu na świecie. Jednak jego twórcy nie przejmują się wyścigiem na teraflopy, a bardziej skupiają na możliwości sprawdzania firm budujących elektrownie jądrowe i pomocy innym ośrodkom badawczym, w tym CERNowi!

Jakimi najszybszymi komputerami mogła dotąd pochwalić się nasza ojczyzna?

Najszybsze dotychczas superkomputery w Polsce były instalowane głównie w uniwersyteckich centrach obliczeniowych, takich jak gdański TASK (superkomputer Galera, dawny polski numer 1) czy krakowski Cyfronet (superkomputer Zeus, obecny numer 1 w Polsce i 145 na świecie). Ale zdarzało się też, że swoje maszyny na listę Top500 (czyli 500 najszybszych superkomputerów świata) wprowadzały polskie firmy prywatne, takie jak znany wszystkim portal aukcyjny albo popularny serwis społecznościowy.

Jakie zadania były przed nimi stawiane?

Zastosowanie superkomputerów w naszym kraju nie odbiega znacząco od trendów obserwowanych na świecie. Patrząc z perspektywy nauki, głównymi konsumentami mocy obliczeniowej są takie dziedziny jak fizyka cząstek elementarnych, chemia kwantowa czy biologia molekularna.  Maszyn tych używają zarówno naukowcy zaangażowani w rodzime projekty badawcze, jak i ci którzy uczestniczą w szerokich międzynarodowych przedsięwzięciach. Jako przykład tego ostatniego można podać niedawne odkrycie bozonu Higgsa, które dokonane zostało przy współudziale polskich naukowców z wykorzystaniem polskich superkomputerów. Ale są i bardziej „codzienne” zastosowania, jak choćby inżynieria materiałowa, medycyna czy wreszcie numeryczna prognoza pogody. W ogóle trudno dziś wymienić dziedzinę nauki czy techniki, która nie wykorzystywałaby superkomputerów.

Naprawdę, Polacy pomogli w odkryciu bozony Higgsa?! Czy to właśnie Zeus miał tam swój udział?

Odkrycie cząstki Higgsa było wspomagane obliczeniowo przez kilka ośrodków superkomputerowych w Polsce. Wszystkie one posiadają w "Worldwide LHC Computing Grid" status Tier-2, czyli ośrodków drugiego poziomu wsparcia. Ich zasoby obliczeniowe używane są zarówno do tzw. produkcji dużych ilości danych, jak i do indywidualnych analiz fizycznych. Warto również zaznaczyć, że do indywidualnych analiz prowadzonych przez osoby pracujące w eksperymentach LHC wykorzystywany był też wspomniany już 20-teraflopowy zalążek naszego superkomputera.

Czytaj dalej poniżej

Wikipedia od kuchni Karol Kopańko

Obama nie jest najpotężniejszym człowiekiem na świecie. To szef NSA! Karol Kopańko

Komputer osiągnie moc 500 TFLOPS. Czy to dużo jak na polskie i światowe warunki, skoro to 60 maszyna na świecie?

Na polskie warunki bardzo dużo, ponieważ najpotężniejszy dziś w naszym kraju Zeus dysponuje mocą ok. 300 TFLOPS. Jednak patrząc na najlepsze rezultaty na wspomnianej liście Top 500, np. chiński Tianhe 2 – zajmujący obecnie pierwszą lokatę i dysponujący teoretyczną mocą ok. 50 tys. TFLOPS –  taka wydajność nie robi już tak wielkiego wrażenia.

Należy jednak pamiętać, że superkomputery ze wspomnianej wcześniej listy znacząco różnią się od siebie i porównując je ze sobą nie powinniśmy patrzeć jedynie na wydajność. Na najwyższych lokatach na Top 500 bardzo powszechne jest masowe wspieranie się akceleratorami, takimi jak NVIDIA Tesla, Xeon PHI, czy AMD FireStream. Jest to typowe „podkręcanie wyniku”, bo taka architektura – pomimo ogromnej teoretycznej mocy obliczeniowej – posiada liczne ograniczenia sprzętowe i w rezultacie zakres jest zastosowań jest bardzo wąski.

Co więcej, znacznie bardziej pracochłonne niż w przypadku tradycyjnych procesorów jest także pisanie oprogramowania na tego typu infrastrukturę. Znacznie lepsza pod tymi względami jest dobrze wszystkim znana architektura x86-64. Pomimo mniej imponujących teoretycznych osiągów jest ona nie do pobicia pod względem ilości kompatybilnego z nią oprogramowania. Priorytetem przy tworzeniu naszego komputera jest jego użyteczność, a sam „wyścig” na teraflopy traktujemy trochę z przymrużeniem oka. Oczywiście, obecność we wszelakich rankingach „Top” zawsze mile łechce dumę, ale nie to jest naszym celem. Charakterystyczną cechą naszego projektu jest duża liczba zespołów badawczych korzystających z bardzo specyficznego niekiedy oprogramowania. Dlatego ważniejsza jest dla nas kompatybilność, niż sama moc obliczeniowa.

Czy nie uważa Pan, że aby dotrzymać kroku gospodarkom G20, powinniśmy zainwestować więcej pieniędzy, aby stworzyć komputer z TOP10, dający większą przewagę na polu technologicznym?

I tak, i nie. Jak już wspomniałem wcześniej, są różne aspekty obliczeń wielkoskalowych. Na pewno, inwestycje w infrastrukturę są konieczne, aby dotrzymać kroku światowej gospodarce, ale na rozwój ośrodków superkomputerowych patrzyłbym szerzej, nie tylko przez pryzmat najszybszego komputera w kraju czy w Europie. Równie ważne, co utrzymywanie wysokiej pozycji kraju na Top500, jest zapewnienie możliwości stabilnego rozwoju grupom badawczym korzystającym z superkomputerów.

Z tym, niestety, mamy często problem, nie tylko dlatego że wielu zdolnych młodych naukowców wyjeżdża z Polski, ale też dlatego, że nierzadko brakuje przemyślanej, długofalowej strategii rozwoju pewnych dziedzin nauki. Szczerze mówiąc zamiast jednego wielkiego superkomputera wolałbym mieć w Polsce kilka mniejszych, ale intensywnie wykorzystywanych przez naukowców robiących ciekawe i użyteczne badania. Tylko w ten sposób możemy dorównać najbardziej rozwiniętym gospodarkom świata. Sprzęt informatyczny szybko się starzeje, natomiast budowa potencjału naukowego ośrodków badawczych trwa latami.

A teraz uczelnie mogą korzystać z superkomputera w Świerku? Czy np. mogą dzierżawić część czasu na własne obliczenia?

Tak, mogą. W tym celu muszą zwrócić się do Centrum Informatycznego Świerk z prośbą o grant obliczeniowy (szablony wniosków są dostępne na stronie www.cis.gov.pl) i po weryfikacji takiego wniosku otrzymują dostęp do zasobów. Już teraz wspieramy w ten sposób kilkanaście mniejszych i większych grup badawczych.

A jak konkretnie komputer pomoże przy pracy centrum?

Przede wszystkim pozwoli na znacznie szybsze wykonywanie symulacji i analizy danych w dziedzinach takich jak energetyka, ochrona środowiska, fizyka czy medycyna. Dysponując szybszym komputerem będziemy w stanie przykładowo robić znacznie dokładniejsze symulacje reaktorów jądrowych, co pozwoli na znacznie skuteczniejsze „patrzenie na ręce” firmom chcącym budować u nas takie instalacje.

Oznacza to też szybszą i dokładniejszą reakcję na sytuacje kryzysowe polegające na pojawieniu się nad naszym krajem szkodliwych zanieczyszczeń (nie tylko promieniotwórczych, ale też np. chemicznych), zarówno mających źródło w Polsce, jak i pochodzących z zewnątrz. Zyskane tutaj godziny mogą mieć krytyczne znaczenie przy podejmowaniu decyzji o ewakuacji ludności albo sposobach neutralizacji zagrożenia.  W dziedzinie fizyki cząstek elementarnych duża moc obliczeniowa pozwoli zwiększyć nasz udział i znaczenie w światowych zespołach badawczych zajmujących się tą dziedziną.

Taki komputer to koszt idący w dziesiątki milionów złotych – kto finansuje zakup?

Wartość całego projektu CIŚ to prawie 98 mln zł. Środki na jego realizację pochodzą z Europejskiego Funduszu Rozwoju Regionalnego (Program Operacyjny Innowacyjna Gospodarka) – 83 mln zł – oraz z dotacji celowej Ministerstwa Nauki i Szkolnictwa Wyższego – 14,5 mln zł. Kwota inwestycji w sprzęt IT to ok. 42 mln zł, reszta przypada m.in. na niezbędne inwestycje infrastrukturalne oraz koszty osobowe wiążące się z kilkuletnim funkcjonowaniem Centrum.

Z czego właściwie składa się taki superkomputer?

Patrząc z zewnątrz, praktycznie każdy superkomputer wygląda tak samo. Jest to jeden lub kilka rzędów standardowych, dziewiętnastocalowych szaf teleinformatycznych. Różnice pojawiają się w komponentach wypełniających te szafy.  W naszym przypadku znajdują się w nich serwery kasetowe (tzw. blades). Każda kaseta zawiera od 2 do 4 wielordzeniowych procesorów, ok. 100-300 GB pamięci operacyjnej i niskoopóźnieniowe interfejsy komunikacyjne (np. Infiniband) pozwalające połączyć superkomputer w całość. Do tego dochodzi cała masa sprzętu towarzyszącego, czyli przełączniki sieciowe, dyski, zasilacze, system zarządzania oraz układy chłodzenia i odprowadzania ciepła.

Domyślam się, że skompletowanie współgrającego zestawu był nie lada sztuką.

Dobór komponentów nie jest rzeczą łatwą, ponieważ jak wspomniałem wcześniej, nie ma superkomputera uniwersalnego. Dlatego konieczne są drobiazgowe testy różnych architektur pod kątem ich przydatności dla naszego oprogramowania. Dodatkową trudnością jest szybkie starzenie się sprzętu teleinformatycznego, wynikające z tzw. prawa Moore’a. Dlatego u nas – inaczej niż w innych dziedzinach – nie kupuje się „rozwiązań sprawdzonych”, gdyż te byłyby przestarzałe już momencie instalacji, tylko rynkowe nowości, najlepiej jeszcze przed ich oficjalną premierą.

Czy został on po prostu zamówiony za granicą, a może „polska myśl techniczna” też ma jakiś wpływ na jego kształt?

Ma, i to niemały! Wprawdzie podstawowe komponenty (procesory, pamięci czy układy komunikacyjne) są wytwarzane przez kilku wielkich, światowych producentów, ale już ich dobór do konkretnych zastosowań, połączenie, instalacja, uruchomienie i późniejszy serwis to dziedziny, w których nasze rodzime firmy bardzo dobrze sobie radzą. Użytkownikowi przyzwyczajonemu do samodzielnego montowania własnego peceta może się to wydawać prostym zadaniem, jednakże „złożenie” superkomputera to operacja znacznie bardziej skomplikowana. Pomijając nawet część elektroniczną i informatyczną, samo zaprojektowanie i zbudowanie instalacji chłodzenia, zasilania czy systemu przeciwpożarowego jest bardzo wymagającym zadaniem inżynieryjnym.

O jakich to „wielkich, światowych producentów” chodzi?

Obecna infrastruktura obliczeniowa jest zbudowana głównie w oparciu o sprzęt HP. Rozbudowywać komputer będą równolegle dwie wyłonione w osobnych postępowaniach przetargowych firmy - w części chłodzonej wodą lodową będzie to polska firma Format (używająca komponentów produkowanych przez Supermicro), natomiast w części chłodzonej wodą gorącą będzie to francuska grupa Bull, posiadająca bardzo duże doświadczenie w tego typu instalacjach. Pamięć masową dostarczały nam firmy HP i NetApp.

Wiem już jak wygląda nasz superkomputer i co planuje się za jego pomocą wyliczać, a co konkretnie w tym momencie najbardziej go zajmuje?

W tej chwili zainstalowana jest jedynie drobna część docelowej mocy obliczeniowej, ok. 20 TFLOPS. Komputer ten służy przede wszystkim do prac badawczych i testowania prototypów aplikacji, które wkrótce będą uruchamiane na większych zasobach. Rozstrzygnęliśmy już rozpoczęte latem tego roku postępowania na dostawę podzespołów, a pierwsza duża rozbudowa naszej instalacji przewidywana jest na styczeń 2014. Zostanie ona doposażona tak, aby osiągnęła sumaryczną moc obliczeniową 100 TFLOPS. Docelową wartość 500 TFLOPS przewidujemy osiągnąć pod koniec 2014 roku.

Posiadanie tak potężnego sprzętu to także duża odpowiedzialność, trzeba go chronić przed nieautoryzowanym dostępem.

Są dwa, a nawet trzy aspekty ochrony takiego sprzętu. Po pierwsze, ochrona przed zdarzeniami losowymi, takimi jak wyłączenia zasilania albo pożar. Tutaj system zabezpieczeń obejmuje dwie niezależne linie zasilające, kilka jednostek UPS, własny generator prądotwórczy, urządzenia do wczesnej detekcji dymu czy wreszcie system gaszenia gazem obojętnym.

Po drugie, ochrona fizyczna – przed kradzieżą, zniszczeniem lub nieautoryzowanymi modyfikacjami. W tym zakresie pozycja naszego Centrum jest w pewnym sensie unikalna w porównaniu z innym tego typu placówkami w Polsce –funkcjonując na terenie zamkniętego i strzeżonego ośrodka jądrowego w pobliżu Otwocka, mamy zapewnione najwyższe standardy bezpieczeństwa wiążące się z fizyczną ochroną obiektów. Dlatego od tej strony zagrożenie jest raczej niewielkie.

I wreszcie trzeci aspekt, który czytelników pewnie najbardziej interesuje, a mianowicie ochrona przed zdalnymi atakami hakerskimi. Szczegółów rzecz jasna podawać nie mogę, ale jest to kilka poziomów zabezpieczeń kryptologicznych, a kluczowe dla zarządzania superkomputerem segmenty sieci znajdują się dodatkowo w fizycznie wydzielonych podsieciach, niedostępnych dla użytkowników.

Co jest takiego pionierskiego w chłodzeniu komputera wodą, o której niedawno było dość głośno?

Takie rozwiązanie ma aspekty zarówno pozytywne, jaki i negatywne. Do tych ostatnich należy przede wszystkim niebezpieczeństwo wycieku i zalania elementów znajdujących się pod napięciem, co grozi ich zniszczeniem. Natomiast po stronie pozytywów znajduje się wydajność takiego systemu. Woda odprowadza ciepło około 4000 razy bardziej skutecznie niż powietrze, dlatego może mieć znacznie wyższą temperaturę i dalej skutecznie chłodzić, w dodatku przy znacznie mniejszym przepływie. Pozwala to na znaczącą oszczędność energii zużywanej na klimatyzację.

W porównaniu do klasycznych rozwiązań bazującymi na chłodzeniu powietrzem, nasz system pozwoli zaoszczędzić nawet 80% prądu zużywanego do schładzania infrastruktury, nie wspominając już o różnicach w stopniu komplikacji urządzeń oraz ich rozmiarach. Drugą korzyścią jest możliwość zwiększenia gęstości upakowania zasobów obliczeniowych. Skuteczniejsze odprowadzanie ciepła przez wodę powoduje, że w jednej szafie możemy umieścić sprzęt zużywający np. 70kW, podczas gdy stosując tradycyjny system  klimatyzacji już przy kilkunastu kW pojawiają się problemy z przegrzewaniem. Większa gęstość upakowania to nie tylko oszczędność miejsca zajmowanego przez superkomputer, ale też redukcja opóźnień w sieci łączącej poszczególne jego elementy, co ma ogromny wpływ na szybkość pracy zadań równoległych.

Czy nie myśleliście o nieco innym rozwiązaniu polecającym na wypożyczaniu mocy obliczeniowej od użytkowników, którzy ściągnęliby na swoje komputery odpowiedni program?

Z uwagi na relatywnie niskie koszty byłby to rzeczywiście bardzo atrakcyjny model budowania infrastruktury obliczeniowej, niestety nieadekwatny  do wszystkich zadań stawianych przed superkomputerami. Tego typu rozwiązanie sprawdza się tam, gdzie możemy podzielić dane wejściowe na dużo niezależnych kawałków, z których każdy może być opracowywany osobno.  Dlatego architekturę taką z powodzeniem stosować mogą projekty typu SETI@home.

W naszym przypadku jest inaczej. Przykładowo, przy modelowaniu przepływów procesory reprezentujące sąsiednie fragmenty przestrzeni muszą bez przerwy komunikować się między sobą w celu uzgadniania warunków brzegowych. Opóźnienia rzędu kilkudziesięciu lub nawet kilkuset milisekund występujące w sieciach publicznych czynią taką architekturę kompletnie bezużyteczną w tym zastosowaniu. Dla porównania sieć Infiniband charakteryzuje się opóźnieniami rzędu nanosekund, a więc około miliona razy mniejszymi. Ale to nie wszystko. Dodatkowym powodem są tutaj kwestie prawne i aspekty bezpieczeństwa, związane m.in. z tym, że niektóre wykorzystywane przez nas kody (m.in. reaktorowe) nie mogą wydostać się poza nasz instytut. Dlatego wykorzystywanie komputerów internautów jest w tym zastosowaniu wykluczone.

dr Adam Padée jest kierownikiem Działu Infrastruktury Obliczeniowej Centrum Informatycznego Świerk