[Superkomputery 2019]. Magazynowanie w wielu chmurach jako obszar zastosowań nowych dysków Kingston DC1000M

Wyobraź sobie, że otwierasz innowacyjny biznes medyczny – indywidualny dobór leków na podstawie analizy ludzkiego genomu. Każdy pacjent ma 3 miliardy par genów, a obliczenia w przypadku zwykłego serwera na procesorach x86 zajmą kilka dni. Wiesz, że możesz przyspieszyć proces na serwerze dzięki procesorowi FPGA, który równolegle wykonuje obliczenia w tysiącach wątków. Zakończy obliczenia genomu za około godzinę. Takie serwery można wypożyczyć od Amazon Web Services (AWS). Rzecz jednak w tym, że klient, czyli szpital, kategorycznie sprzeciwia się umieszczaniu danych genetycznych w chmurze usługodawcy. Co powinienem zrobić? Kingston i startup chmurowy pokazały architekturę na wystawie Supercomputing-2019 Prywatna pamięć masowa MultiCloud (PMCS), co rozwiązuje ten problem.

Trzy warunki obliczeń o wysokiej wydajności

Obliczanie ludzkiego genomu to nie jedyne zadanie z zakresu obliczeń wielkiej skali (HPC, High Performance Computing). Naukowcy obliczają pola fizyczne, inżynierowie obliczają części samolotów, finansiści obliczają modele ekonomiczne i wspólnie analizują duże zbiory danych, budują sieci neuronowe i wykonują wiele innych skomplikowanych obliczeń.

Trzy warunki HPC to ogromna moc obliczeniowa, bardzo duża i szybka pamięć masowa oraz wysoka przepustowość sieci. Dlatego standardową praktyką przeprowadzania obliczeń LPC jest we własnym centrum danych firmy (on-premise) lub u dostawcy w chmurze.

Jednak nie wszystkie firmy posiadają własne centra danych, a te, które je posiadają, często ustępują komercyjnym centrom danych pod względem efektywności wykorzystania zasobów (wymagane są nakłady inwestycyjne na zakup i aktualizację sprzętu i oprogramowania, opłacenie wysoko wykwalifikowanego personelu itp.). Dostawcy usług chmurowych natomiast oferują zasoby IT w modelu kosztów operacyjnych „Pay-as-you-go”, czyli tzw. czynsz pobierany jest wyłącznie za okres użytkowania. Po zakończeniu obliczeń serwery można usunąć z konta, oszczędzając w ten sposób budżety IT. Jeśli jednak istnieje prawny lub korporacyjny zakaz przesyłania danych do dostawcy, przetwarzanie HPC w chmurze nie jest dostępne.

Prywatna pamięć masowa MultiCloud

Architektura Private MultiCloud Storage została zaprojektowana w celu zapewnienia dostępu do usług w chmurze przy jednoczesnym fizycznym pozostawieniu samych danych w siedzibie przedsiębiorstwa lub w oddzielnym bezpiecznym przedziale centrum danych przy użyciu usługi kolokacji. Zasadniczo jest to model przetwarzania rozproszonego skoncentrowany na danych, w którym serwery w chmurze współpracują ze zdalnymi systemami pamięci masowej z chmury prywatnej. W związku z tym, korzystając z tego samego lokalnego magazynu danych, możesz współpracować z usługami chmurowymi największych dostawców: AWS, MS Azure, Google Cloud Platform‎ itp.

Pokazując przykład wdrożenia PMCS na wystawie Supercomputing-2019, firma Kingston zaprezentowała próbkę wysokowydajnego systemu przechowywania danych (SSD) opartego na dyskach SSD DC1000M, a jeden ze start-upów chmurowych zaprezentował oprogramowanie zarządzające StorOne S1 dla oprogramowania- zdefiniowane przechowywanie i dedykowane kanały komunikacji z głównymi dostawcami rozwiązań chmurowych.

Należy zaznaczyć, że PMCS, jako działający model chmury obliczeniowej z prywatną pamięcią masową, przeznaczony jest na rynek północnoamerykański z rozwiniętą łącznością sieciową pomiędzy centrami danych, obsługiwaną na infrastrukturze AT&T i Equinix. Zatem ping między kolokacyjnym systemem przechowywania w dowolnym węźle Equinix Cloud Exchange a chmurą AWS jest krótszy niż 1 milisekunda (źródło: ITProDzisiaj).

W demonstracji architektury PMCS pokazanej na wystawie system przechowywania danych na dyskach DC1000M NVMe został zlokalizowany w kolokacji, a w chmurach AWS, MS Azure i Google Cloud Platform zainstalowano maszyny wirtualne, które wzajemnie pingowały. Aplikacja klient-serwer zdalnie współpracowała z systemem pamięci masowej Kingston i serwerami HP DL380 w centrum danych oraz poprzez infrastrukturę kanału komunikacyjnego Equinix uzyskiwała dostęp do platform chmurowych wyżej wymienionych głównych dostawców.

Slajd z prezentacji Private MultiCloud Storage na wystawie Supercomputing-2019. źródło: Kingston

Różne firmy oferują oprogramowanie o podobnej funkcjonalności do zarządzania architekturą prywatnego magazynu wielochmurowego. Terminy dotyczące tej architektury mogą również brzmieć inaczej – Private MultiCloud Storage lub Private Storage for Cloud.

„Współczesne superkomputery obsługują różnorodne aplikacje HPC, które stanowią awangardę postępu, od poszukiwań ropy i gazu po prognozowanie pogody, rynki finansowe i rozwój nowych technologii” – powiedział Keith Schimmenti, menedżer ds. zarządzania dyskami SSD dla przedsiębiorstw w firmie Kingston. „Te aplikacje HPC wymagają znacznie lepszego dopasowania wydajności procesora do szybkości operacji we/wy. Z dumą dzielimy się tym, jak rozwiązania firmy Kingston pomagają wprowadzać przełomy w informatyce, zapewniając wydajność potrzebną w najbardziej ekstremalnych środowiskach i aplikacjach komputerowych na świecie”.

Dysk DC1000M i przykład bazującego na nim systemu pamięci masowej

Dysk SSD DC1000M U.2 NVMe został zaprojektowany przez firmę Kingston z myślą o centrach danych i specjalnie zaprojektowany do zastosowań wymagających dużej ilości danych i zastosowań HPC, takich jak sztuczna inteligencja (AI) i uczenie maszynowe (ML).

Dysk DC1000M U.2 NVMe 3.84 TB. źródło: Kingston

Dyski DC1000M U.2 oparte są na 96-warstwowej pamięci Intel 3D NAND, sterowanej za pomocą kontrolera Silicon Motion SM2270 (PCIe 3.0 i NVMe 3.0). Silicon Motion SM2270 to 16-liniowy kontroler NVMe dla przedsiębiorstw z interfejsem PCIe 3.0 x8, podwójną 32-bitową magistralą danych DRAM i trzema podwójnymi procesorami ARM Cortex R5.

Do wydania oferowane są dyski DC1000M o różnych pojemnościach: od 0.96 do 7.68 TB (za najpopularniejsze uważa się pojemności 3.84 i 7.68 TB). Wydajność dysku szacowana jest na 800 tys. IOPS.

System pamięci masowej z 10 dyskami DC1000M U.2 NVMe 7.68 TB. źródło: Kingston

Jako przykład systemu pamięci masowej do zastosowań HPC firma Kingston zaprezentowała na targach Supercomputing 2019 rozwiązanie stelażowe z 10 dyskami DC1000M U.2 NVMe, każdy o pojemności 7.68 TB. System pamięci masowej oparty jest na SB122A-PH, platformie o rozmiarze 1U firmy AIC. Procesory: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (numer części: KSM24RS4/16HAI). Zainstalowany system operacyjny to Ubuntu 18.04.3 LTS, jądro Linux w wersji 5.0.0-31. Test gfio v3.13 (elastyczny tester we/wy) wykazał wydajność odczytu na poziomie 5.8 miliona IOPS przy przepustowości 23.8 Gb/s.

Zaprezentowany system pamięci masowej wykazał się imponującą charakterystyką w zakresie stabilnego odczytu na poziomie 5,8 miliona IOPS (operacji wejścia-wyjścia na sekundę). To o dwa rzędy wielkości szybsze niż dyski SSD do systemów przeznaczonych na rynek masowy. Taka prędkość odczytu jest wymagana w przypadku aplikacji HPC działających na wyspecjalizowanych procesorach.

Przetwarzanie w chmurze HPC z prywatną pamięcią masową w Rosji

Zadanie polegające na wykonywaniu obliczeń o wysokiej wydajności u dostawcy, ale fizycznym przechowywaniu danych lokalnie, jest również istotne dla rosyjskich firm. Innym częstym przypadkiem w biznesie krajowym jest sytuacja, gdy korzystając z zagranicznych usług chmurowych, dane muszą znajdować się na terytorium Federacji Rosyjskiej. O komentarz w tej sprawie poprosiliśmy w imieniu dostawcy usług w chmurze Selectel, będącego wieloletnim partnerem firmy Kingston.

„W Rosji istnieje możliwość zbudowania podobnej architektury, z obsługą w języku rosyjskim i wszystkimi dokumentami sprawozdawczymi dla działu księgowego klienta. Jeśli firma potrzebuje wykonywać obliczenia o dużej wydajności z wykorzystaniem lokalnych systemów pamięci masowej, w Selectel wynajmujemy serwery z procesorami różnego typu, m.in. FPGA, GPU lub procesory wielordzeniowe. Dodatkowo za pośrednictwem partnerów organizujemy ułożenie dedykowanego kanału optycznego pomiędzy biurem klienta a naszym centrum danych” – komentuje Alexander Tugov, dyrektor ds. rozwoju usług w Selectel. — Klient może także umieścić swój system Storage na kolokacji w sali komputerowej ze specjalnym trybem dostępu i uruchamiać aplikacje zarówno na naszych serwerach, jak i w chmurach globalnych dostawców AWS, MS Azure, Google Cloud. Oczywiście opóźnienie sygnału w tym drugim przypadku będzie większe, niż gdyby system przechowywania klienta znajdował się w USA, ale zapewnione zostanie szerokopasmowe połączenie multicloud.”

W kolejnym artykule porozmawiamy o kolejnym rozwiązaniu firmy Kingston, które zostało zaprezentowane na wystawie Supercomputing 2019 (Denver, Kolorado, USA) i przeznaczone jest do aplikacji uczenia maszynowego oraz analizy dużych zbiorów danych z wykorzystaniem procesorów graficznych. Jest to technologia GPUDirect Storage, która zapewnia bezpośredni transfer danych pomiędzy pamięcią masową NVMe a pamięcią procesora GPU. A dodatkowo wyjaśnimy, jak udało nam się osiągnąć prędkość odczytu danych na poziomie 5.8 mln IOPS w systemie rackowym na dyskach NVMe.

Aby uzyskać więcej informacji na temat produktów firmy Kingston Technology, należy skontaktować się z: Strona firmy.

Źródło: www.habr.com