[Supercomputing 2019]. Opslach foar meardere wolken as in gebiet fan tapassing foar de nije Kingston DC1000M-skiven

Stel jo foar dat jo in ynnovatyf medysk bedriuw lansearje - yndividuele seleksje fan medisinen basearre op analyze fan it minsklik genoom. Elke pasjint hat 3 miljard gen-pearen, en in gewoane server op x86-processors sil ferskate dagen nimme om te berekkenjen. Jo witte dat jo it proses kinne fersnelle op in tsjinner mei in FPGA-prosessor dy't berekkeningen paralleleart oer tûzenen triedden. It sil de genomeberekkening yn sawat in oere foltôgje. Sokke tsjinners kinne wurde ferhierd fan Amazon Web Services (AWS). Mar hjir is it ding: de klant, it sikehûs, is kategoarysk tsjin it pleatsen fan genetyske gegevens yn 'e wolk fan' e provider. Wat moat ik dwaan? Kingston en wolk opstarten lieten arsjitektuer sjen by Supercomputing-2019-eksposysje Private MultiCloud Storage (PMCS), dy't dit probleem oplost.

Trije betingsten foar hege prestaasjes Computing

It berekkenjen fan it minsklik genoom is net de iennichste taak op it mêd fan high-performance computing (HPC, High Performance Computing). Wittenskippers berekkenje fysike fjilden, yngenieurs berekkenje fleantúchdielen, finansiers berekkenje ekonomyske modellen, en tegearre analysearje se grutte gegevens, bouwe neurale netwurken en meitsje in protte oare komplekse berekkeningen.

De trije betingsten fan HPC binne enoarme kompjûterkrêft, heul grutte en snelle opslach, en hege netwurktrochput. Dêrom is de standertpraktyk foar it útfieren fan LPC-berekkeningen yn it eigen datasintrum fan it bedriuw (on-premises) of by in provider yn 'e wolk.

Mar net alle bedriuwen hawwe har eigen datasintra, en dejingen dy't faaks dogge binne ynferior foar kommersjele datasintra yn termen fan boarne-effisjinsje (haadstêden binne ferplicht om hardware en software te keapjen en te aktualisearjen, te beteljen foar heech kwalifisearre personiel, ensfh.). Wolke-oanbieders, krekt oarsom, biede IT-boarnen oan neffens it bedriuwskostenmodel "Pay-as-you-go", d.w.s. hier wurdt allinich yn rekken brocht foar de perioade fan gebrûk. As de berekkeningen foltôge binne, kinne servers fan it akkount fuortsmiten wurde, sadat IT-budzjetten besparje. Mar as d'r in wetjouwing of bedriuwsferbod is op gegevensferfier nei de provider, is HPC-komputer yn 'e wolk net beskikber.

Privee MultiCloud Storage

De Private MultiCloud Storage-arsjitektuer is ûntworpen om tagong te jaan ta wolktsjinsten, wylst de gegevens sels fysyk litte op 'e ûndernimmingsside of yn in apart feilige fak fan it datasintrum mei in colocation-tsjinst. Yn essinsje is it in data-sintraal ferspraat komputermodel wêr't wolkservers wurkje mei opslachsystemen op ôfstân fan in privee wolk. Dêrtroch kinne jo mei deselde lokale gegevensopslach wurkje mei wolktsjinsten fan 'e grutste providers: AWS, MS Azure, Google Cloud Platform, ensfh.

Kingston toant in foarbyld fan 'e ymplemintaasje fan PMCS op' e Supercomputing-2019-tentoanstelling, Kingston presintearre in stekproef fan in hege prestaasjes data-opslachsysteem (SSD) basearre op DC1000M SSD-skiven, en ien fan 'e wolkstartups presintearre StorOne S1-behearsoftware foar software- definieare opslach en tawijde kommunikaasjekanalen mei grutte wolkproviders.

It moat opmurken wurde dat PMCS, as in wurkjend model fan cloud computing mei privee opslach, is ûntworpen foar de Noardamerikaanske merk mei de ûntwikkele netwurkferbining tusken datasintra dy't stipe wurdt op 'e AT&T- en Equinix-ynfrastruktuer. Sa is de ping tusken in colocation-opslachsysteem yn elke Equinix Cloud Exchange-knooppunt en de AWS-wolk minder dan 1 millisekonde (boarne: ITProToday).

Yn 'e demonstraasje fan' e PMCS-arsjitektuer te sjen op 'e tentoanstelling, waard it opslachsysteem op DC1000M NVMe-skiven yn kolokaasje pleatst, en firtuele masines waarden ynstalleare yn' e wolken AWS, MS Azure en Google Cloud Platform, dy't inoar pingelen. De client-server-applikaasje wurke op ôfstân mei it Kingston-opslachsysteem en HP DL380-tsjinners yn it datasintrum en, fia de Equinix-kommunikaasjekanaalynfrastruktuer, tagong ta de wolkplatfoarms fan 'e boppeneamde grutte providers.

Slide fan 'e presintaasje fan Private MultiCloud Storage op' e Supercomputing-2019-eksposysje. Boarne: Kingston

Software fan ferlykbere funksjonaliteit foar it behearen fan de arsjitektuer fan privee multicloud-opslach wurdt oanbean troch ferskate bedriuwen. De betingsten foar dizze arsjitektuer kinne ek oars klinke - Private MultiCloud Storage of Private Storage for Cloud.

"De hjoeddeistige supercomputers rinne in ferskaat oan HPC-applikaasjes dy't op 'e foargrûn binne fan foarútgong, fan oalje- en gasferkenning oant waarberjocht, finansjele merken en nije technologyûntwikkeling," sei Keith Schimmenti, manager fan Enterprise SSD-behear by Kingston. "Dizze HPC-applikaasjes fereaskje in folle gruttere oerienkomst tusken prosessorprestaasjes en I/O-snelheid. Wy binne grutsk om te dielen hoe't Kingston-oplossingen helpe trochbraken yn komputer te riden, en leverje de prestaasjes dy't nedich binne yn 'e meast ekstreme komputeromjouwings en applikaasjes fan 'e wrâld.

DC1000M drive en in foarbyld fan in opslach systeem basearre op it

De DC1000M U.2 NVMe SSD is ûntwurpen troch Kingston foar it datasintrum en is spesifyk ûntworpen foar data-yntinsive en HPC-applikaasjes lykas keunstmjittige yntelliginsje (AI) en masine learen (ML) applikaasjes.

DC1000M U.2 NVMe 3.84TB drive. Boarne: Kingston

DC1000M U.2-skiven binne basearre op 96-laach Intel 3D NAND-ûnthâld, regele troch in Silicon Motion SM2270-controller (PCIe 3.0 en NVMe 3.0). De Silicon Motion SM2270 is in 16-lane enterprise NVMe-controller mei PCIe 3.0 x8-ynterface, dual 32-bit DRAM-databus en trije ARM Cortex R5 dual processors.

DC1000M fan ferskate kapasiteiten wurde oanbean foar frijlitting: fan 0.96 oant 7.68 TB (de populêrste kapasiteiten wurde leaud dat 3.84 en 7.68 TB binne). De prestaasjes fan it stasjon wurde rûsd op 800 tûzen IOPS.

Opslach systeem mei 10x DC1000M U.2 NVMe 7.68 TB. Boarne: Kingston

As foarbyld fan in opslachsysteem foar HPC-applikaasjes presintearre Kingston by Supercomputing 2019 in rack-oplossing mei 10 DC1000M U.2 NVMe-skiven, elk mei in kapasiteit fan 7.68 TB. It opslachsysteem is basearre op de SB122A-PH, in 1U-foarmfaktorplatfoarm fan AIC. Prozessoren: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (dielnûmer: KSM24RS4/16HAI). It ynstalleare OS is Ubuntu 18.04.3 LTS, Linux kernel fer 5.0.0-31. De gfio v3.13-test (Fleksibele I/O-tester) toande lêsprestaasjes fan 5.8 miljoen IOPS mei in trochfier fan 23.8 Gbps.

It presintearre opslachsysteem toande yndrukwekkende skaaimerken yn termen fan stabile lêzing fan 5,8 miljoen IOPS (ynput-útfier operaasjes per sekonde). Dit is twa oarders fan grutte flugger dan SSD's foar massamerksystemen. Dizze lêssnelheid is nedich foar HPC-applikaasjes dy't rinne op spesjalisearre processors.

Cloud computing HPC mei privee opslach yn Ruslân

De taak fan it útfieren fan hege-optreden computing by de provider, mar fysyk opslaan gegevens op it terrein, is ek relevant foar Russyske bedriuwen. In oar gewoan gefal yn binnenlânsk bedriuw is wannear't, by it brûken fan bûtenlânske wolktsjinsten, gegevens moatte lizze op it grûngebiet fan 'e Russyske Federaasje. Wy fregen om kommentaar oer dizze situaasjes út namme fan 'e wolkprovider Selectel as in lange tiid partner fan Kingston.

"Yn Ruslân is it mooglik om in ferlykbere arsjitektuer te bouwen, mei tsjinst yn it Russysk en alle rapportaazjedokuminten foar de boekhâldingsôfdieling fan 'e kliïnt. As in bedriuw heechprestaasjeberekkenjen moat útfiere mei opslachsystemen op it terrein, hiere wy by Selectel servers mei processors fan ferskate soarten, ynklusyf FPGA, GPU of multi-core CPUs. Derneist organisearje wy fia partners it lizzen fan in tawijd optysk kanaal tusken it kantoar fan 'e kliïnt en ús datasintrum, "kommentearret Alexander Tugov, direkteur fan tsjinstenûntwikkeling by Selectel. - De kliïnt kin syn opslachsysteem ek pleatse op colocation yn in kompjûterkeamer mei in spesjale tagongsmodus en applikaasjes útfiere sawol op ús servers as yn 'e wolken fan globale providers AWS, MS Azure, Google Cloud. Fansels sil de sinjaalfertraging yn it lêste gefal heger wêze as as it opslachsysteem fan 'e kliïnt yn' e FS wie, mar in breedbân-multy-wolkferbining sil wurde levere.

Yn it folgjende artikel sille wy prate oer in oare Kingston-oplossing, dy't waard presintearre op 'e Supercomputing 2019-eksposysje (Denver, Colorado, FS) en is bedoeld foar masine-learapplikaasjes en grutte data-analyse mei GPU's. Dit is GPUDirect Storage-technology, dy't direkte gegevensferfier leveret tusken NVMe-opslach en GPU-prosessorûnthâld. En boppedat sille wy útlizze hoe't wy it slagge om in gegevenslêssnelheid fan 5.8 miljoen IOPS te berikken yn in rack-opslachsysteem op NVMe-skiven.

Foar mear ynformaasje oer Kingston Technology-produkten, besykje asjebleaft De side fan it bedriuw.

Boarne: www.habr.com