[Superračunalništvo 2019]. Shramba v več oblakih kot področje uporabe novih pogonov Kingston DC1000M

Predstavljajte si, da začenjate inovativno medicinsko dejavnost - individualno izbiro zdravil na podlagi analize človeškega genoma. Vsak bolnik ima 3 milijarde genskih parov in običajni strežnik na procesorjih x86 bo za izračun potreboval nekaj dni. Veste, da lahko pospešite proces na strežniku s procesorjem FPGA, ki vzporedno izvaja izračune na tisoče niti. Izračun genoma bo dokončal v približno eni uri. Takšne strežnike je mogoče najeti pri Amazon Web Services (AWS). Ampak tukaj je stvar: stranka, bolnišnica, je kategorično proti umeščanju genetskih podatkov v ponudnikov oblak. Kaj naj naredim? Kingston in zagon v oblaku sta predstavila arhitekturo na razstavi Supercomputing-2019 Zasebna shramba v več oblakih (PMCS), ki rešuje ta problem.

Trije pogoji za visoko zmogljivo računalništvo

Izračun človeškega genoma ni edina naloga na področju visokozmogljivega računalništva (HPC, High Performance Computing). Znanstveniki izračunavajo fizična polja, inženirji izračunavajo dele letal, finančniki izračunavajo ekonomske modele in skupaj analizirajo velike podatke, gradijo nevronske mreže in delajo številne druge zapletene izračune.

Trije pogoji za HPC so ogromna računalniška moč, zelo veliko in hitro shranjevanje ter visoka prepustnost omrežja. Zato je standardna praksa za izvajanje izračunov LPC v lastnem podatkovnem centru podjetja (na mestu uporabe) ali pri ponudniku v oblaku.

Toda vsa podjetja nimajo svojih lastnih podatkovnih centrov in tista, ki jih imajo, so pogosto slabša od komercialnih podatkovnih centrov v smislu učinkovitosti virov (potrebni so kapitalski izdatki za nakup in posodobitev strojne in programske opreme, plačilo za visoko usposobljeno osebje itd.). Ponudniki v oblaku, nasprotno, ponujajo IT vire po modelu stroškov poslovanja »Pay-as-you-go«, tj. najemnina se zaračuna samo za čas uporabe. Ko so izračuni končani, lahko strežnike odstranite iz računa in s tem prihranite proračun IT. Če pa obstaja zakonodajna ali korporativna prepoved prenosa podatkov do ponudnika, HPC računalništvo v oblaku ni na voljo.

Zasebna shramba MultiCloud

Arhitektura Private MultiCloud Storage je zasnovana tako, da omogoča dostop do storitev v oblaku, medtem ko same podatke fizično pusti na spletnem mestu podjetja ali v ločenem varnem predelu podatkovnega centra z uporabo storitve kolokacije. V bistvu gre za model porazdeljenega računalništva, osredotočen na podatke, kjer strežniki v oblaku delujejo z oddaljenimi sistemi za shranjevanje iz zasebnega oblaka. Skladno s tem lahko z isto lokalno shrambo podatkov delate s storitvami v oblaku največjih ponudnikov: AWS, MS Azure, Google Cloud Platform‎ itd.

S prikazom primera implementacije PMCS na razstavi Supercomputing-2019 je Kingston predstavil vzorec visoko zmogljivega sistema za shranjevanje podatkov (SSD), ki temelji na pogonih SSD DC1000M, eden od startupov v oblaku pa je predstavil programsko opremo za upravljanje StorOne S1 za programsko opremo. definiran prostor za shranjevanje in namenski komunikacijski kanali z večjimi ponudniki oblakov.

Opozoriti je treba, da je PMCS kot delujoč model računalništva v oblaku z zasebnim pomnilnikom zasnovan za severnoameriški trg z razvito omrežno povezljivostjo med podatkovnimi centri, ki je podprta na infrastrukturi AT&T in Equinix. Tako je ping med kolokacijskim sistemom za shranjevanje v katerem koli vozlišču Equinix Cloud Exchange in oblakom AWS krajši od 1 milisekunde (vir: ITProToday).

V demonstraciji arhitekture PMCS, prikazani na razstavi, je bil sistem za shranjevanje na diskih DC1000M NVMe lociran v kolokaciji, virtualni stroji pa so bili nameščeni v oblakih AWS, MS Azure in Google Cloud Platform, ki so pingali drug drugega. Aplikacija odjemalec-strežnik je na daljavo delovala s pomnilniškim sistemom Kingston in strežniki HP DL380 v podatkovnem centru ter prek infrastrukture komunikacijskega kanala Equinix dostopala do oblačnih platform zgoraj omenjenih večjih ponudnikov.

Diapozitiv s predstavitve Private MultiCloud Storage na razstavi Supercomputing-2019. Vir: Kingston

Programsko opremo s podobno funkcionalnostjo za upravljanje arhitekture zasebnih multicloud shramb ponujajo različna podjetja. Izrazi za to arhitekturo se lahko slišijo tudi drugače – Private MultiCloud Storage ali Private Storage for Cloud.

"Današnji superračunalniki poganjajo različne aplikacije HPC, ki so v ospredju napredka, od raziskovanja nafte in plina do vremenske napovedi, finančnih trgov in razvoja novih tehnologij," je povedal Keith Schimmenti, vodja upravljanja SSD v podjetju Kingston. »Te aplikacije HPC zahtevajo veliko večjo usklajenost med zmogljivostjo procesorja in hitrostjo V/I. Ponosni smo, da lahko delimo, kako rešitve Kingston pomagajo doseči preboj v računalništvu, saj zagotavljajo zmogljivost, ki je potrebna v najbolj ekstremnih računalniških okoljih in aplikacijah na svetu.”

Pogon DC1000M in primer pomnilniškega sistema na njegovi osnovi

DC1000M U.2 NVMe SSD je zasnoval Kingston za podatkovne centre in je posebej zasnovan za aplikacije z veliko podatkov in HPC, kot so aplikacije umetne inteligence (AI) in strojnega učenja (ML).

Pogon DC1000M U.2 NVMe 3.84 TB. Vir: Kingston

Pogoni DC1000M U.2 temeljijo na 96-slojnem pomnilniku Intel 3D NAND, ki ga krmili krmilnik Silicon Motion SM2270 (PCIe 3.0 in NVMe 3.0). Silicon Motion SM2270 je 16-pasovni krmilnik NVMe za podjetja z vmesnikom PCIe 3.0 x8, dvojnim 32-bitnim podatkovnim vodilom DRAM in tremi dvojnimi procesorji ARM Cortex R5.

Za izdajo so na voljo DC1000M različnih zmogljivosti: od 0.96 do 7.68 TB (najbolj priljubljeni zmogljivosti naj bi bili 3.84 in 7.68 TB). Zmogljivost pogona je ocenjena na 800 tisoč IOPS.

Sistem za shranjevanje z 10x DC1000M U.2 NVMe 7.68 TB. Vir: Kingston

Kot primer pomnilniškega sistema za aplikacije HPC je Kingston na Supercomputing 2019 predstavil omare z 10 diski DC1000M U.2 NVMe, vsak s kapaciteto 7.68 TB. Sistem za shranjevanje temelji na SB122A-PH, platformi oblike 1U podjetja AIC. Procesorji: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Številka dela: KSM24RS4/16HAI). Nameščen operacijski sistem je Ubuntu 18.04.3 LTS, različica jedra Linuxa 5.0.0-31. Test gfio v3.13 (Flexible I/O tester) je pokazal zmogljivost branja 5.8 milijona IOPS s prepustnostjo 23.8 Gbps.

Predstavljeni sistem za shranjevanje je pokazal impresivne lastnosti v smislu stabilnega branja 5,8 milijona IOPS (vhodno-izhodnih operacij na sekundo). To je dva reda velikosti hitreje kot SSD-ji za sisteme množičnega trga. Ta hitrost branja je potrebna za aplikacije HPC, ki se izvajajo na specializiranih procesorjih.

Računalništvo v oblaku HPC z zasebno shrambo v Rusiji

Naloga izvajanja visoko zmogljivega računalništva pri ponudniku, vendar fizičnega shranjevanja podatkov na mestu uporabe, je pomembna tudi za ruska podjetja. Drug pogost primer v domačem poslovanju je, ko se morajo podatki pri uporabi tujih storitev v oblaku nahajati na ozemlju Ruske federacije. Za komentar teh situacij smo zaprosili v imenu ponudnika oblakov Selectel kot dolgoletnega partnerja Kingstona.

»V Rusiji je možno zgraditi podobno arhitekturo, s servisom v ruščini in vsemi poročili za naročnikov računovodski oddelek. Če mora podjetje izvajati visoko zmogljivo računalništvo z uporabo lokalnih pomnilniških sistemov, Selectel najema strežnike s procesorji različnih tipov, vključno z FPGA, GPU ali večjedrni procesorji. Poleg tega preko partnerjev organiziramo postavitev namenskega optičnega kanala med naročnikovo pisarno in našim podatkovnim centrom,« komentira Alexander Tugov, direktor razvoja storitev pri Selectel. — Naročnik lahko svoj pomnilniški sistem postavi tudi na kolokacijo v računalniški sobi s posebnim načinom dostopa in poganja aplikacije tako na naših strežnikih kot v oblakih globalnih ponudnikov AWS, MS Azure, Google Cloud. Seveda bo zakasnitev signala v slednjem primeru večja, kot če bi bil odjemalčev sistem za shranjevanje v ZDA, vendar bo zagotovljena širokopasovna povezava v več oblakih.«

V naslednjem članku bomo govorili o še eni Kingstonovi rešitvi, ki je bila predstavljena na razstavi Supercomputing 2019 (Denver, Kolorado, ZDA) in je namenjena aplikacijam za strojno učenje in analizi velikih podatkov z uporabo GPE. To je tehnologija GPUDirect Storage, ki omogoča neposreden prenos podatkov med shrambo NVMe in pomnilnikom procesorja GPU. In poleg tega bomo razložili, kako nam je uspelo doseči hitrost branja podatkov 5.8 milijona IOPS v omarenem sistemu za shranjevanje na diskih NVMe.

Za več informacij o izdelkih Kingston Technology se obrnite na: Spletna stran podjetja.

Vir: www.habr.com