[Superarvuti 2019]. Uute Kingstoni DC1000M draivide kasutusvaldkond on mitme pilvesalvestus

Kujutage ette, et käivitate uuendusliku meditsiiniettevõtte – ravimite individuaalse valiku, mis põhineb inimese genoomi analüüsil. Igal patsiendil on 3 miljardit geenipaari ja tavalise x86 protsessoriga serveri arvutamiseks kulub mitu päeva. Teate, et saate protsessi kiirendada serveris FPGA-protsessoriga, mis paralleelstab arvutused tuhandetes lõimedes. See lõpetab genoomi arvutamise umbes tunniga. Selliseid servereid saab rentida Amazon Web Services'ist (AWS). Kuid siin on asi: klient, haigla, on kategooriliselt vastu geneetiliste andmete paigutamisele teenusepakkuja pilve. Mida ma peaksin tegema? Kingston ja pilve startup näitasid Supercomputing-2019 näitusel arhitektuuri Privaatne MultiCloud Storage (PMCS), mis lahendab selle probleemi.

Kolm tingimust suure jõudlusega andmetöötluseks

Inimese genoomi arvutamine ei ole kõrgjõudlusega andmetöötluse (HPC, High Performance Computing) valdkonnas ainus ülesanne. Teadlased arvutavad füüsilisi välju, insenerid lennukiosi, rahastajad majandusmudeleid ning koos analüüsivad suurandmeid, ehitavad närvivõrke ja teevad palju muid keerulisi arvutusi.

HPC kolm tingimust on tohutu arvutusvõimsus, väga suur ja kiire salvestusruum ning suur võrgu läbilaskevõime. Seetõttu on LPC-arvutuste tavapärane praktika ettevõtte enda andmekeskuses (kohapeal) või teenusepakkuja juures pilves.

Kuid mitte kõigil ettevõtetel ei ole oma andmekeskusi ja need, millel on, on ressursitõhususe poolest kommertsandmekeskustest sageli madalamad (riist- ja tarkvara ostmiseks ja värskendamiseks, kõrgelt kvalifitseeritud töötajate eest tasumiseks jne on vaja kapitalikulutusi). Pilvepakkujad, vastupidi, pakuvad IT-ressursse “Pay-as-you-go” tegevuskulude mudeli järgi, s.o. üür tuleb tasuda ainult kasutusaja eest. Kui arvutused on tehtud, saab serverid kontolt eemaldada, säästes sellega IT-eelarvet. Kuid kui teenusepakkujale andmete edastamiseks on seadusandlik või ettevõtte keeld, pole HPC-andmetöötlus pilves saadaval.

Privaatne MultiCloudi salvestusruum

Privaatne MultiCloud Storage arhitektuur on loodud pakkuma juurdepääsu pilveteenustele, jättes samal ajal andmed füüsiliselt ettevõtte saidile või andmekeskuse eraldi turvalisse sektsiooni, kasutades kolokatsiooniteenust. Põhimõtteliselt on see andmekeskne hajutatud andmetöötlusmudel, kus pilveserverid töötavad kaugsalvestussüsteemidega privaatpilvest. Sellest tulenevalt saate sama kohalikku andmesalvestust kasutades töötada suurimate pakkujate pilveteenustega: AWS, MS Azure, Google Cloud Platform jne.

Näidates Supercomputing-2019 näitusel näidet PMCS-i rakendamisest, esitles Kingston näidist DC1000M SSD-draividel põhinevat suure jõudlusega andmesalvestussüsteemi (SSD) ja üks pilve idufirmadest esitles StorOne S1 haldustarkvara tarkvara- määratletud salvestusruum ja spetsiaalsed sidekanalid suuremate pilveteenuse pakkujatega.

Tuleb märkida, et PMCS kui privaatsalvestusega pilvandmetöötluse töömudel on mõeldud Põhja-Ameerika turule, kus andmekeskuste vahel on arenenud võrguühendus, mida toetab AT&T ja Equinixi infrastruktuur. Seega on mis tahes Equinix Cloud Exchange'i sõlme kolokatsioonisalvestussüsteemi ja AWS-i pilve vaheline ping alla 1 millisekundi (allikas: ITProToday).

Näitusel näidatud PMCS-i arhitektuuri demonstratsioonil asus DC1000M NVMe ketastel salvestussüsteem kolokatsioonis ning AWS-i, MS Azure'i ja Google Cloud Platformi pilvedesse paigaldati virtuaalmasinad, mis üksteist pingestasid. Klient-server rakendus töötas kaugjuhtimise teel Kingstoni salvestussüsteemi ja HP ​​DL380 serveritega andmekeskuses ning pääses Equinixi sidekanalite infrastruktuuri kaudu ligi eelnimetatud suuremate pakkujate pilveplatvormidele.

Slaid Private MultiCloud Storage esitluselt Supercomputing-2019 näitusel. Allikas: Kingston

Sarnase funktsionaalsusega tarkvara eraviisilise multipilvesalvestuse arhitektuuri haldamiseks pakuvad erinevad ettevõtted. Selle arhitektuuri tingimused võivad kõlada ka erinevalt – privaatne MultiCloud Storage või Private Storage for Cloud.

"Tänapäeva superarvutid kasutavad mitmesuguseid HPC rakendusi, mis on edusammude esirinnas, alates nafta ja gaasi uurimisest kuni ilmaennustuse, finantsturgude ja uute tehnoloogiate arendamiseni," ütles Keith Schimmenti, Kingstoni ettevõtte SSD juhtimise juht. "Need HPC-rakendused nõuavad protsessori jõudluse ja sisend-väljundkiiruse vahel palju paremat vastavust. Meil on hea meel jagada, kuidas Kingstoni lahendused aitavad saavutada läbimurdeid andmetöötluses, pakkudes vajalikku jõudlust maailma kõige ekstreemsemates andmetöötluskeskkondades ja -rakendustes.

DC1000M draiv ja sellel põhineva salvestussüsteemi näide

DC1000M U.2 NVMe SSD on Kingstoni välja töötatud andmekeskuse jaoks ning see on spetsiaalselt loodud andmemahukate ja HPC rakenduste jaoks, nagu tehisintellekti (AI) ja masinõppe (ML) rakendused.

DC1000M U.2 NVMe 3.84TB draiv. Allikas: Kingston

DC1000M U.2 draivid põhinevad 96-kihilisel Inteli 3D NAND-mälul, mida juhib Silicon Motion SM2270 kontroller (PCIe 3.0 ja NVMe 3.0). Silicon Motion SM2270 on 16-rajaline ettevõtte NVMe kontroller, millel on PCIe 3.0 x8 liides, kaks 32-bitist DRAM-andmesiini ja kolm ARM Cortex R5 topeltprotsessorit.

Väljalaskmiseks pakutakse erineva mahutavusega DC1000M: 0.96–7.68 TB (kõige populaarsemad mahud on arvatavasti 3.84 ja 7.68 TB). Draivi jõudlus on hinnanguliselt 800 tuhat IOPS-i.

Salvestussüsteem 10x DC1000M U.2 NVMe 7.68 TB-ga. Allikas: Kingston

Näitena HPC-rakenduste salvestussüsteemist esitles Kingston Supercomputing 2019-l rack-lahendust 10 DC1000M U.2 NVMe draiviga, millest igaühe maht on 7.68 TB. Salvestussüsteem põhineb SB122A-PH-l, AIC-i 1U vorminguplatvormil. Protsessorid: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (osa number: KSM24RS4/16HAI). Installitud OS on Ubuntu 18.04.3 LTS, Linuxi kerneli versioon 5.0.0-31. Gfio v3.13 test (paindlik I/O tester) näitas lugemisjõudlust 5.8 miljonit IOPS-i läbilaskevõimega 23.8 Gbps.

Esitatud salvestussüsteem näitas muljetavaldavaid omadusi stabiilse lugemise osas 5,8 miljonit IOPS-i (sisend-väljundtoimingud sekundis). See on kaks suurusjärku kiirem kui massturusüsteemide SSD-d. Seda lugemiskiirust on vaja spetsiaalsetes protsessorites töötavate HPC rakenduste jaoks.

Pilvandmetöötlus HPC erasalvestusega Venemaal

Ülesanne teostada suure jõudlusega andmetöötlust pakkuja juures, kuid füüsiliselt salvestada kohapealseid andmeid on oluline ka Venemaa ettevõtete jaoks. Teine levinud juhtum kodumaises äris on see, kui välismaiste pilveteenuste kasutamisel peavad andmed asuma Vene Föderatsiooni territooriumil. Palusime nende olukordade kohta kommentaari pilvepakkuja Selecteli kui Kingstoni kauaaegse partneri nimel.

“Venemaal on võimalik ehitada sarnane arhitektuur, kus on venekeelne teenindus ja kõik aruandlusdokumendid kliendi raamatupidamisosakonnale. Kui ettevõttel on vaja teostada suure jõudlusega andmetöötlust kohapealsete salvestussüsteemide abil, rendime Selectelis servereid erinevat tüüpi protsessoritega, sh. FPGA, GPU või mitmetuumalised protsessorid. Lisaks korraldame partnerite kaudu spetsiaalse optilise kanali rajamise kliendi kontori ja meie andmekeskuse vahele,“ kommenteerib Selecteli teenuste arenduse direktor Alexander Tugov. — Samuti saab klient paigutada oma salvestussüsteemi kolokatsioonile spetsiaalse juurdepääsurežiimiga arvutiruumi ja käivitada rakendusi nii meie serverites kui ka globaalsete pakkujate AWS, MS Azure, Google Cloud pilvedes. Muidugi on signaali viivitus viimasel juhul suurem kui siis, kui kliendi salvestussüsteem asuks USA-s, kuid lairiba mitme pilveühendus on tagatud.

Järgmises artiklis räägime veel ühest Kingstoni lahendusest, mida esitleti Supercomputing 2019 näitusel (Denver, Colorado, USA) ja mis on mõeldud masinõppe rakendusteks ja GPU-de abil suurandmete analüüsiks. See on GPUDirect Storage tehnoloogia, mis pakub otsest andmeedastust NVMe salvestusruumi ja GPU protsessori mälu vahel. Ja lisaks selgitame, kuidas õnnestus NVMe ketastel rack-salvestussüsteemis saavutada andmete lugemise kiirus 5.8 miljonit IOPS-i.

Kingston Technology toodete kohta lisateabe saamiseks külastage Ettevõtte sait.

Allikas: www.habr.com