[Supercomputing 2019]. Multi-cloudové úložisko ako oblasť použitia pre nové disky Kingston DC1000M

Predstavte si, že rozbiehate inovatívny medicínsky biznis – individuálny výber liekov na základe analýzy ľudského genómu. Každý pacient má 3 miliardy génových párov a výpočet bežného servera na procesoroch x86 bude trvať niekoľko dní. Viete, že môžete urýchliť proces na serveri s procesorom FPGA, ktorý paralelizuje výpočty naprieč tisíckami vlákien. Výpočet genómu dokončí približne za hodinu. Takéto servery si možno prenajať od Amazon Web Services (AWS). Ale ide o to: zákazník, nemocnica, je kategoricky proti umiestneniu genetických údajov do cloudu poskytovateľa. Čo mám robiť? Kingston a cloudový startup ukázali architektúru na výstave Supercomputing-2019 Súkromné ​​úložisko MultiCloud (PMCS), ktorá tento problém rieši.

Tri podmienky pre vysokovýkonné výpočty

Výpočet ľudského genómu nie je jedinou úlohou v oblasti vysokovýkonných výpočtov (HPC, High Performance Computing). Vedci počítajú fyzikálne polia, inžinieri počítajú časti lietadiel, finančníci počítajú ekonomické modely a spoločne analyzujú veľké dáta, budujú neurónové siete a robia mnoho ďalších zložitých výpočtov.

Tri podmienky HPC sú obrovský výpočtový výkon, veľmi veľké a rýchle úložisko a vysoká priepustnosť siete. Preto je štandardná prax vykonávania výpočtov LPC vo vlastnom dátovom centre spoločnosti (on-premises) alebo u poskytovateľa v cloude.

Nie všetky spoločnosti však majú svoje vlastné dátové centrá a tie, ktoré ich majú, sú často horšie ako komerčné dátové centrá z hľadiska efektívnosti zdrojov (kapitálové výdavky sú potrebné na nákup a aktualizáciu hardvéru a softvéru, zaplatenie vysokokvalifikovaného personálu atď.). Cloud poskytovatelia, naopak, ponúkajú IT zdroje podľa modelu prevádzkových nákladov „Pay-as-you-go“, t.j. nájomné sa účtuje len za dobu používania. Po dokončení výpočtov je možné servery z účtu odstrániť, čím sa ušetrí rozpočet na IT. Ale ak existuje legislatívny alebo firemný zákaz prenosu dát poskytovateľovi, HPC computing v cloude nie je k dispozícii.

Súkromné ​​úložisko MultiCloud

Architektúra Private MultiCloud Storage je navrhnutá tak, aby poskytovala prístup ku cloudovým službám, pričom samotné údaje fyzicky ponecháva na podnikovom webe alebo v samostatnom zabezpečenom oddelení dátového centra pomocou kolokačnej služby. V podstate ide o dátovo-centrický distribuovaný výpočtový model, kde cloudové servery spolupracujú so vzdialenými úložnými systémami zo súkromného cloudu. V súlade s tým môžete pomocou rovnakého lokálneho úložiska údajov pracovať s cloudovými službami od najväčších poskytovateľov: AWS, MS Azure, Google Cloud Platform‎ atď.

Na príklade implementácie PMCS na výstave Supercomputing-2019 spoločnosť Kingston predstavila vzorku vysokovýkonného systému na ukladanie údajov (SSD) založeného na jednotkách SSD DC1000M a jeden z cloudových startupov predstavil softvér na správu softvéru StorOne S1. definované úložisko a vyhradené komunikačné kanály s hlavnými poskytovateľmi cloudu.

Treba poznamenať, že PMCS ako pracovný model cloud computingu so súkromným úložiskom je určený pre severoamerický trh s rozvinutou sieťovou konektivitou medzi dátovými centrami, ktorá je podporovaná na infraštruktúre AT&T a Equinix. Ping medzi kolokačným úložným systémom v akomkoľvek uzle Equinix Cloud Exchange a cloudom AWS je teda menší ako 1 milisekunda (zdroj: ITProToday).

V ukážke architektúry PMCS zobrazenej na výstave bol úložný systém na diskoch DC1000M NVMe umiestnený v kolokacii a virtuálne stroje boli nainštalované v cloudoch AWS, MS Azure a Google Cloud Platform, ktoré sa navzájom pingovali. Aplikácia klient-server vzdialene spolupracovala s úložným systémom Kingston a servermi HP DL380 v dátovom centre a prostredníctvom infraštruktúry komunikačných kanálov Equinix pristupovala ku cloudovým platformám vyššie uvedených veľkých poskytovateľov.

Snímka z prezentácie Private MultiCloud Storage na výstave Supercomputing-2019. Zdroj: Kingston

Softvér s podobnou funkcionalitou na správu architektúry súkromného multicloudového úložiska ponúkajú rôzne spoločnosti. Pojmy pre túto architektúru môžu znieť aj inak – Private MultiCloud Storage alebo Private Storage for Cloud.

„Dnešné superpočítače prevádzkujú rôzne aplikácie HPC, ktoré sú v popredí pokroku, od prieskumu ropy a zemného plynu po predpovede počasia, finančné trhy a vývoj nových technológií,“ povedal Keith Schimmenti, manažér podnikovej správy SSD v Kingstone. „Tieto aplikácie HPC vyžadujú oveľa väčší súlad medzi výkonom procesora a rýchlosťou I/O. Sme hrdí na to, že sa môžeme podeliť o to, ako riešenia Kingston pomáhajú pri prevratoch v oblasti výpočtovej techniky a poskytujú výkon potrebný v najextrémnejších počítačových prostrediach a aplikáciách na svete.

Jednotka DC1000M a príklad úložného systému na nej založenom

DC1000M U.2 NVMe SSD je navrhnutý spoločnosťou Kingston pre dátové centrum a je špeciálne navrhnutý pre dátovo náročné a HPC aplikácie, ako sú aplikácie umelej inteligencie (AI) a strojového učenia (ML).

Disk DC1000M U.2 NVMe 3.84 TB. Zdroj: Kingston

Disky DC1000M U.2 sú založené na 96-vrstvovej pamäti Intel 3D NAND, riadenej radičom Silicon Motion SM2270 (PCIe 3.0 a NVMe 3.0). Silicon Motion SM2270 je 16-prúdový podnikový NVMe radič s rozhraním PCIe 3.0 x8, duálnou 32-bitovou dátovou zbernicou DRAM a tromi duálnymi procesormi ARM Cortex R5.

Na uvoľnenie sa ponúka DC1000M s rôznymi kapacitami: od 0.96 do 7.68 TB (najpopulárnejšie kapacity sú považované za 3.84 a 7.68 TB). Výkon disku sa odhaduje na 800 tisíc IOPS.

Úložný systém s 10x DC1000M U.2 NVMe 7.68 TB. Zdroj: Kingston

Ako príklad úložného systému pre aplikácie HPC predstavila spoločnosť Kingston na veľtrhu Supercomputing 2019 rackové riešenie s 10 jednotkami DC1000M U.2 NVMe, každý s kapacitou 7.68 TB. Úložný systém je založený na SB122A-PH, platforme formátu 1U od spoločnosti AIC. Procesory: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Číslo dielu: KSM24RS4/16HAI). Nainštalovaný OS je Ubuntu 18.04.3 LTS, jadro Linuxu ver. 5.0.0-31. Test gfio v3.13 (Flexible I/O tester) ukázal výkon čítania 5.8 milióna IOPS s priepustnosťou 23.8 Gbps.

Prezentovaný úložný systém vykazoval pôsobivé vlastnosti z hľadiska stabilného čítania 5,8 milióna IOPS (vstupno-výstupných operácií za sekundu). To je o dva rády rýchlejšie ako SSD pre systémy masového trhu. Táto rýchlosť čítania je potrebná pre aplikácie HPC bežiace na špecializovaných procesoroch.

Cloud computing HPC so súkromným úložiskom v Rusku

Úloha vykonávať vysokovýkonnú výpočtovú techniku ​​u poskytovateľa, ale fyzicky uchovávať lokálne údaje, je dôležitá aj pre ruské spoločnosti. Ďalším bežným prípadom v domácom podnikaní je, keď sa pri využívaní zahraničných cloudových služieb musia údaje nachádzať na území Ruskej federácie. O vyjadrenie k týmto situáciám sme požiadali v mene cloudového poskytovateľa Selectel ako dlhoročného partnera Kingstonu.

„V Rusku je možné vybudovať podobnú architektúru so servisom v ruštine a všetkými reportovacími dokumentmi pre účtovné oddelenie klienta. Ak spoločnosť potrebuje vykonávať vysokovýkonné výpočty pomocou lokálnych úložných systémov, v spoločnosti Selectel si prenajmeme servery s procesormi rôznych typov, vrátane FPGA, GPU alebo viacjadrové CPU. Okrem toho prostredníctvom partnerov organizujeme položenie vyhradeného optického kanála medzi kanceláriou klienta a našim dátovým centrom,“ komentuje Alexander Tugov, riaditeľ rozvoja služieb spoločnosti Selectel. — Klient môže umiestniť svoj úložný systém aj na kolokáciu v počítačovej učebni so špeciálnym prístupovým režimom a spúšťať aplikácie tak na našich serveroch, ako aj v cloudoch globálnych poskytovateľov AWS, MS Azure, Google Cloud. Samozrejme, oneskorenie signálu v druhom prípade bude vyššie, ako keby bol úložný systém klienta umiestnený v USA, ale bude zabezpečené širokopásmové multi-cloudové pripojenie.“

V ďalšom článku si povieme niečo o ďalšom riešení Kingston, ktoré bolo predstavené na výstave Supercomputing 2019 (Denver, Colorado, USA) a je určené pre aplikácie strojového učenia a analýzu veľkých dát pomocou GPU. Ide o technológiu GPUDirect Storage, ktorá zabezpečuje priamy prenos dát medzi úložiskom NVMe a pamäťou procesora GPU. A okrem toho si vysvetlíme, ako sa nám podarilo dosiahnuť rýchlosť čítania dát 5.8 milióna IOPS v rackovom úložnom systéme na NVMe diskoch.

Pre viac informácií o produktoch Kingston Technology kontaktujte: Stránka spoločnosti.

Zdroj: hab.com