[Superkomputado 2019]. Plurnuba stokado kiel areo de apliko por la novaj Kingston DC1000M-diskoj

Imagu, ke vi lanĉas novigan medicinan entreprenon — personigitan medikamentselektadon bazitan sur analizo de homa genaro. Ĉiu paciento havas 3 miliardojn da genparoj, kaj tipa servilo funkcianta per x86-procesoroj bezonus plurajn tagojn por kalkuli ilin. Vi scias, ke vi povas rapidigi la procezon per servilo kun FPGA-procesoro, kiu paraleligas kalkulojn trans miloj da fadenoj. Ĝi kompletigus la genaran kalkulon en ĉirkaŭ unu horo. Tiaj serviloj estas lueblaj de Amazon Web Services (AWS). Sed jen la problemo: la hospitala kliento kategorie kontraŭas la stokadon de la genetikaj datumoj en la nubo de la provizanto. Kion fari? Kingston kaj nuba noventrepreno montris la arkitekturon ĉe Supercomputing 2019. Privata Multnuba Stokado (PMCS), kiu solvas tian problemon.

Tri kondiĉoj por alt-efikeca komputado

Kalkuli la homan genaron ne estas la sola tasko en la kampo de alt-efikeca komputado (HPC). Sciencistoj kalkulas fizikajn kampojn, inĝenieroj kalkulas aviadilajn komponantojn, financistoj kalkulas ekonomiajn modelojn, kaj kune ili analizas grandajn datumojn, konstruas neŭralajn retojn kaj plenumas multajn aliajn kompleksajn kalkulojn.

La tri postuloj por HPC estas grandega komputila povo, altkapacita kaj rapida stokado, kaj alta retlarĝo. Tial, la norma praktiko estas fari HPC-kalkulojn en la propra datumcentro de kompanio (surloke) aŭ ĉe nuba provizanto.

Tamen, ne ĉiuj kompanioj havas proprajn datumcentrojn, kaj tiuj, kiuj havas ilin, ofte maltrafas kompare kun komercaj datumcentroj rilate al rimeda efikeco (kapitalelspezoj necesas por aĉeti kaj ĝisdatigi aparataron kaj programaron, pagi altkvalifikitan personaron, ktp.). Nubprovizantoj, aliflanke, ofertas IT-rimedojn laŭ modelo de funkciaj elspezoj laŭ uzo, kio signifas, ke lupago estas ŝargita nur por la tempo de uzo. Post kiam la komputado finiĝas, serviloj povas esti forigitaj de la konto, tiel ŝparante IT-buĝetojn. Tamen, se ekzistas juraj aŭ entreprenaj limigoj pri datumtransigo al la provizanto, HPC-komputado en la nubo ne haveblas.

Privata Multnuba Stokado

La arkitekturo de Privata Multnuba Stokado estas desegnita por provizi aliron al nubaj servoj dum fizike stokado de la datumoj surloke aŭ en aparta, sekura fako de kunloka datencentro. Esence, ĝi estas datencentra distribuita komputika modelo, kie nubaj serviloj funkcias kun malproksimaj stokadsistemoj en privata nubo. Sekve, uzante la saman lokan datenstokadon, vi povas aliri nubajn servojn de gravaj provizantoj kiel AWS, MS Azure, Google Cloud Platform kaj aliaj.

Prezentante ekzemplon de PMCS-implementado ĉe Supercomputing 2019, Kingston prezentis alt-efikecan datumstokan sistemon (DSS) bazitan sur DC1000M SSD-oj, dum nuba noventrepreno prezentis StorOne S1-administradan programaron por softvar-difinita stokado kaj dediĉitaj komunikaj kanaloj kun gravaj nubaj provizantoj.

Indas rimarki, ke PMCS, kiel funkcianta modelo por nuba komputado kun privata stokado, estas desegnita por la nordamerika merkato, kun la altnivela retkonektebleco inter datumcentroj subtenata de la infrastrukturo de AT&T kaj Equinix. Ekzemple, la pingtempo inter la kunlokiga stokada sistemo ĉe iu ajn nodo de Equinix Cloud Exchange kaj la AWS-nubo estas malpli ol 1 milisekundo (fonto: ITProHodiaŭ).

En la demonstraĵo de PMCS-arkitekturo montrita ĉe la ekspozicio, stokada sistemo DC1000M NVMe estis kunlokita, kun virtualaj maŝinoj funkciantaj en nuboj de AWS, MS Azure kaj Google Cloud Platform, kiuj pingis unu la alian. Klient-servila aplikaĵo malproksime aliris la stokadan sistemon de Kingston kaj la servilojn HP DL380 en la datencentro, kaj aliris la nubajn platformojn de la supre menciitaj gravaj provizantoj per la komunikada infrastrukturo de Equinix.

Diapozitivo el la prezento pri Privata Multnuba Stokado ĉe Supercomputing 2019. Fonto: Kingston

Programaron por administri privatajn plurnubajn stokadarkitekturojn kun simila funkcieco ofertas diversaj kompanioj. La terminologio por ĉi tiu arkitekturo ankaŭ varias — Privata Plurnuba Stokado aŭ Privata Stokado por Nubo.

"Hodiaŭaj superkomputiloj funkciigas vastan gamon da HPC-aplikaĵoj, kiuj estas ĉe la avangardo de progresoj — de nafto-kaj-gaso-esplorado ĝis veterprognozado, financaj merkatoj kaj nova teknologia disvolviĝo," rimarkigis Keith Schimmenti, Enterprise SSD-administrada manaĝero ĉe Kingston. "Ĉi tiuj HPC-aplikaĵoj postulas multe pli grandan ekvilibron inter procesora rendimento kaj I/O-rapido. Ni fieras dividi kiel Kingston-solvoj helpas antaŭenigi sukcesojn en komputado, liverante la rendimenton bezonatan por la plej ekstremaj komputilaj medioj kaj aplikaĵoj de la mondo."

La disko DC1000M kaj ekzemplo de stokadosistemo bazita sur ĝi

La DC1000M U.2 NVMe SSD estas desegnita de Kingston por datumcentroj kaj estas specife celita por datenintensaj kaj HPC-laborŝarĝoj kiel artefarita inteligenteco (AI) kaj maŝinlernadaj (ML) aplikoj.

DC1000M U.2 NVMe 3.84TB SSD. Fonto: Kingston

La diskoj DC1000M U.2 estas konstruitaj sur 96-tavola Intel 3D NAND-memoro, kontrolita de Silicon Motion SM2270-regilo (PCIe 3.0 kaj NVMe 3.0). La Silicon Motion SM2270 estas 16-kanala entreprena NVMe-regilo kun PCIe 3.0 x8-interfaco, duoblaj 32-bitaj DRAM-datenbusoj, kaj tri duoblaj ARM Cortex R5-procesoroj.

La DC1000M estas havebla en kapacitoj variantaj de 0.96 ĝis 7.68 TB (3.84 kaj 7.68 TB estas atendataj esti la plej popularaj). La rendimento estas taksita je 800 000 IOPS.

Stokadosistemo kun 10x DC1000M U.2 NVMe 7.68 TB. Fonto: Kingston

Kiel ekzemplon de stokada sistemo por HPC-aplikaĵoj, Kingston prezentis ĉe Supercomputing 2019 rak-munteblan solvon kun 10 DC1000M U.2 NVMe-diskoj, ĉiu kun kapacito de 7.68 TB. La stokada sistemo baziĝas sur la SB122A-PH, 1U-forma platformo de AIC. Procesoroj: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Parta Numero: KSM24RS4/16HAI). La operaciumo estas Ubuntu 18.04.3 LTS, Linux kerno versio 5.0.0-31. La testo gfio v3.13 (Flexible I/O tester) montris legkapablon de 5.8 milionoj da IOPS kun trairo de 23.8 Gbps.

La prezentita stoka sistemo montris imponan daŭran legrapidecon de 5,8 milionoj da IOPS (enigo/eligo-operacioj po sekundo). Ĉi tio estas du grandordoj pli rapida ol amasmerkataj SSD-oj. Ĉi tiu legrapideco estas esenca por alt-efikecaj komputilaj aplikaĵoj funkciantaj per specialigitaj procesoroj.

HPC Nuba Komputado kun Privata Stokado en Rusio

La defio funkciigi alt-efikecan komputadon surloke dum fizike stoki datumojn surloke ankaŭ gravas por rusaj kompanioj. Alia ofta situacio en rusaj entreprenoj estas kiam, uzante eksterlandajn nubservojn, datumoj devas esti stokitaj ene de Rusio. Ni petis la nubprovizanton Selectel, delongan partneron de Kingston, komenti pri ĉi tiuj situacioj.

"En Rusio, simila arkitekturo povas esti konstruita, kun ruslingva subteno kaj ĉiuj raportaj dokumentoj por la kontada fako de la kliento. Se kompanio bezonas plenumi alt-efikecan komputadon uzante surlokajn stokadsistemojn, ni ĉe Selectel luas servilojn kun diversaj procesortipoj, inkluzive de..." FPGA, GPU "Ni ankaŭ ofertas dediĉitan optikan fibran kanalon inter la oficejo de la kliento kaj nia datumcentro pere de niaj partneroj," komentas Aleksandro Tugov, Direktoro de Servo-Disvolviĝo ĉe Selectel. "La kliento ankaŭ povas kunlokigi sian stokadsistemon en sekura maŝinejo kaj ruli aplikaĵojn sur niaj serviloj kaj en la nuboj de tutmondaj provizantoj AWS, MS Azure kaj Google Cloud. Kompreneble, la signala latenteco en ĉi-lasta kazo estos pli alta ol se la stokadsistemo de la kliento situus en Usono, sed larĝbenda multnuba konekto estos provizita."

En nia sekva artikolo, ni diskutos alian solvon de Kingston, prezentitan ĉe Supercomputing 2019 (Denver, Kolorado, Usono), desegnita por maŝinlernado kaj analizo de grandaj datumoj uzante GPU-ojn. Ĉi tiu teknologio, GPUDirect Storage, ebligas rektan datumtransigon inter NVMe-stokado kaj GPU-procesora memoro. Ni ankaŭ klarigos kiel ni atingis 5.8 milionojn da IOPS-legadan rendimenton sur rako-muntita NVMe-stokada sistemo.

Por pliaj informoj pri Kingston Technology-produktoj, bonvolu viziti kompania retejo.

fonto: www.habr.com