[Supercomputing 2019]. Multicloudové úložiště jako oblast použití pro nové disky Kingston DC1000M

Představte si, že rozjíždíte inovativní medicínský byznys – individuální výběr léků na základě analýzy lidského genomu. Každý pacient má 3 miliardy genových párů a výpočet běžného serveru na procesorech x86 zabere několik dní. Víte, že můžete urychlit proces na serveru s procesorem FPGA, který paralelizuje výpočty napříč tisíci vlákny. Výpočet genomu dokončí asi za hodinu. Takové servery si lze pronajmout od Amazon Web Services (AWS). Ale jde o to: zákazník, nemocnice, je kategoricky proti umístění genetických dat do cloudu poskytovatele. Co bych měl dělat? Kingston a cloudový startup ukázaly architekturu na výstavě Supercomputing-2019 Private MultiCloud Storage (PMCS), která tento problém řeší.

Tři podmínky pro vysoce výkonné výpočty

Výpočet lidského genomu není jediným úkolem v oblasti vysoce výkonných počítačů (HPC, High Performance Computing). Vědci počítají fyzikální pole, inženýři počítají části letadla, finančníci počítají ekonomické modely a společně analyzují velká data, budují neuronové sítě a provádějí mnoho dalších složitých výpočtů.

Tři podmínky HPC jsou obrovský výpočetní výkon, velmi velké a rychlé úložiště a vysoká propustnost sítě. Proto je standardní praxí provádění výpočtů LPC ve vlastním datovém centru společnosti (on-premises) nebo u poskytovatele v cloudu.

Ale ne všechny společnosti mají svá vlastní datová centra a ty, které je mají, jsou často horší než komerční datová centra, pokud jde o efektivitu zdrojů (vyžadují se kapitálové výdaje na nákup a aktualizaci hardwaru a softwaru, zaplacení vysoce kvalifikovaného personálu atd.). Cloud poskytovatelé naopak nabízejí IT zdroje podle modelu provozních nákladů „Pay-as-you-go“, tzn. nájemné se účtuje pouze za dobu užívání. Po dokončení výpočtů lze servery z účtu odebrat, čímž se ušetří rozpočty IT. Ale pokud existuje právní nebo firemní zákaz přenosu dat poskytovateli, HPC computing v cloudu není k dispozici.

Soukromé úložiště MultiCloud

Architektura Private MultiCloud Storage je navržena tak, aby poskytovala přístup ke cloudovým službám a zároveň fyzicky ponechala samotná data na podnikovém místě nebo v samostatném zabezpečeném prostoru datového centra pomocí kolokační služby. V podstatě se jedná o datově orientovaný distribuovaný výpočetní model, kde cloudové servery spolupracují se vzdálenými úložnými systémy ze soukromého cloudu. Při použití stejného místního úložiště dat tedy můžete pracovat s cloudovými službami od největších poskytovatelů: AWS, MS Azure, Google Cloud Platform‎ atd.

Jako příklad implementace PMCS na výstavě Supercomputing-2019 společnost Kingston představila vzorek vysoce výkonného systému ukládání dat (SSD) založeného na jednotkách DC1000M SSD a jeden z cloudových startupů představil software pro správu StorOne S1 pro software- definované úložiště a vyhrazené komunikační kanály s hlavními poskytovateli cloudu.

Je třeba poznamenat, že PMCS, jako pracovní model cloud computingu s privátním úložištěm, je navržen pro severoamerický trh s rozvinutou síťovou konektivitou mezi datovými centry, která je podporována na infrastruktuře AT&T a Equinix. Ping mezi kolokačním úložným systémem v libovolném uzlu Equinix Cloud Exchange a cloudem AWS je tedy menší než 1 milisekunda (zdroj: ITProToday).

V ukázce architektury PMCS zobrazené na výstavě byl úložný systém na discích DC1000M NVMe umístěn v kolokaci a virtuální stroje byly nainstalovány v cloudech AWS, MS Azure a Google Cloud Platform, které se navzájem pingovaly. Aplikace klient-server vzdáleně spolupracovala s úložným systémem Kingston a servery HP DL380 v datovém centru a prostřednictvím infrastruktury komunikačních kanálů Equinix přistupovala ke cloudovým platformám výše zmíněných významných poskytovatelů.

Snímek z prezentace Private MultiCloud Storage na výstavě Supercomputing-2019. Zdroj: Kingston

Software podobné funkcionality pro správu architektury privátního multicloudového úložiště nabízejí různé společnosti. Termíny pro tuto architekturu mohou také znít jinak – Private MultiCloud Storage nebo Private Storage for Cloud.

„Současné superpočítače provozují řadu aplikací HPC, které jsou v popředí pokroku, od průzkumu ropy a zemního plynu po předpovědi počasí, finanční trhy a vývoj nových technologií,“ řekl Keith Schimmenti, manažer správy podnikových SSD ve společnosti Kingston. „Tyto aplikace HPC vyžadují mnohem větší shodu mezi výkonem procesoru a rychlostí I/O. Jsme hrdí na to, že můžeme sdílet, jak řešení Kingston pomáhají prosazovat průlomy v oblasti výpočetní techniky a poskytují výkon potřebný v nejextrémnějších počítačových prostředích a aplikacích na světě.

Jednotka DC1000M a příklad úložného systému na jejím základě

SSD DC1000M U.2 NVMe je navrženo společností Kingston pro datová centra a je speciálně navrženo pro datově náročné a HPC aplikace, jako jsou aplikace umělé inteligence (AI) a strojové učení (ML).

Disk DC1000M U.2 NVMe 3.84 TB. Zdroj: Kingston

Disky DC1000M U.2 jsou založeny na 96vrstvé paměti Intel 3D NAND, řízené řadičem Silicon Motion SM2270 (PCIe 3.0 a NVMe 3.0). Silicon Motion SM2270 je 16pruhový podnikový NVMe řadič s rozhraním PCIe 3.0 x8, duální 32bitovou datovou sběrnicí DRAM a třemi duálními procesory ARM Cortex R5.

K vydání je nabízen DC1000M s různými kapacitami: od 0.96 do 7.68 TB (nejpopulárnější kapacity jsou považovány za 3.84 a 7.68 TB). Výkon disku se odhaduje na 800 tisíc IOPS.

Úložný systém s 10x DC1000M U.2 NVMe 7.68 TB. Zdroj: Kingston

Jako příklad úložného systému pro aplikace HPC představil Kingston na veletrhu Supercomputing 2019 rackové řešení s 10 jednotkami DC1000M U.2 NVMe, každý s kapacitou 7.68 TB. Úložný systém je založen na SB122A-PH, platformě formátu 1U od společnosti AIC. Procesory: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Číslo dílu: KSM24RS4/16HAI). Nainstalovaný OS je Ubuntu 18.04.3 LTS, Linux kernel ver 5.0.0-31. Test gfio v3.13 (Flexible I/O tester) ukázal výkon čtení 5.8 milionu IOPS s propustností 23.8 Gbps.

Prezentovaný úložný systém vykazoval působivé vlastnosti ve smyslu stabilního čtení 5,8 milionů IOPS (vstupně-výstupních operací za sekundu). To je o dva řády rychlejší než SSD pro systémy masového trhu. Tato rychlost čtení je potřebná pro aplikace HPC běžící na specializovaných procesorech.

Cloud computing HPC se soukromým úložištěm v Rusku

Úkol provádět vysoce výkonné výpočty u poskytovatele, ale fyzicky ukládat data na místě, je také relevantní pro ruské společnosti. Dalším častým případem v tuzemském podnikání je, když se při využívání zahraničních cloudových služeb musí data nacházet na území Ruské federace. O vyjádření k těmto situacím jsme požádali jménem cloudového poskytovatele Selectel jako dlouholetého partnera Kingston.

„V Rusku je možné vybudovat podobnou architekturu se službou v ruštině a všemi reportovacími dokumenty pro účetní oddělení klienta. Pokud společnost potřebuje provádět vysoce výkonné výpočty pomocí on-premise storage systémů, my v Selectel pronajímáme servery s procesory různých typů, včetně FPGA, GPU nebo vícejádrové CPU. Kromě toho prostřednictvím partnerů organizujeme položení vyhrazeného optického kanálu mezi kanceláří klienta a naším datovým centrem,“ komentuje Alexander Tugov, ředitel vývoje služeb společnosti Selectel. — Klient může také umístit svůj úložný systém na kolokaci v počítačové učebně se speciálním přístupovým režimem a provozovat aplikace jak na našich serverech, tak v cloudech globálních poskytovatelů AWS, MS Azure, Google Cloud. Samozřejmě, že zpoždění signálu v druhém případě bude vyšší, než kdyby byl klientský úložný systém umístěn v USA, ale bude zajištěno širokopásmové multi-cloudové připojení.“

V příštím článku si povíme o dalším řešení Kingston, které bylo představeno na výstavě Supercomputing 2019 (Denver, Colorado, USA) a je určeno pro aplikace strojového učení a analýzu velkých dat pomocí GPU. Jedná se o technologii GPUDirect Storage, která zajišťuje přímý přenos dat mezi úložištěm NVMe a pamětí procesoru GPU. A kromě toho si vysvětlíme, jak se nám podařilo dosáhnout rychlosti čtení dat 5.8 milionu IOPS v rackovém úložném systému na NVMe discích.

Další informace o produktech Kingston Technology naleznete na adrese webové stránky společnosti.

Zdroj: www.habr.com