[Superarvuti 2019]. Uute Kingstoni DC1000M draivide kasutusvaldkond on mitme pilvesalvestus

Kujutage ette, et käivitate uuendusliku meditsiiniäri – isikupärastatud ravimite valiku, mis põhineb inimese genoomi analüüsil. Igal patsiendil on 3 miljardit geenipaari ja tüüpilisel x86 protsessoritega serveril kuluks nende arvutamiseks mitu päeva. Te teate, et saate protsessi kiirendada serveriga, millel on FPGA protsessor, mis paralleelselt arvutab tuhandete lõimede vahel. See lõpetaks genoomi arvutamise umbes tunniga. Selliseid servereid saab rentida Amazon Web Servicesilt (AWS). Kuid siin on probleem: haigla klient on kategooriliselt vastu geneetiliste andmete salvestamisele teenusepakkuja pilve. Mida teha? Kingston ja pilveteenuste idufirma demonstreerisid arhitektuuri Supercomputing 2019-l. Privaatne mitmepilveline salvestusruum (PMCS), mis lahendab sellise probleemi.

Kolm tingimust suure jõudlusega andmetöötluse jaoks

Inimese genoomi arvutamine pole ainus ülesanne kõrgjõudlusega andmetöötluse (HPC) valdkonnas. Teadlased arvutavad füüsikalisi välju, insenerid lennukikomponente, rahastajad majandusmudeleid ning koos analüüsivad nad suurandmeid, ehitavad närvivõrke ja teevad palju muid keerulisi arvutusi.

HPC kolm nõuet on tohutu arvutusvõimsus, suure mahutavusega ja kiire salvestusruum ning suur võrgu ribalaius. Seetõttu on standardpraktikaks HPC arvutuste tegemine ettevõtte enda andmekeskuses (kohapeal) või pilveteenuse pakkuja juures.

Kuid mitte kõigil ettevõtetel pole oma andmekeskusi ja need, kellel on, jäävad ressursitõhususe osas kommertsandmekeskustele sageli alla (riist- ja tarkvara ostmiseks ja uuendamiseks, kõrgelt kvalifitseeritud töötajate palkamiseks jne on vaja kapitaliinvesteeringuid). Pilveteenuse pakkujad seevastu pakuvad IT-ressursse vastavalt kasutuskuludele, mis tähendab, et renti võetakse ainult kasutusaja eest. Kui arvutus on lõppenud, saab serverid kontolt eemaldada, säästes seeläbi IT-eelarvet. Kui aga teenusepakkujale andmete edastamisel on seadusest või ettevõttest tulenevad piirangud, pole kõrgjõudlusega arvutus pilves saadaval.

Privaatne mitmepilveline salvestusruum

Privaatse mitmepilvelise salvestusruumi arhitektuur on loodud pakkuma juurdepääsu pilveteenustele, samal ajal kui andmeid füüsiliselt kohapeal või eraldi turvalises kolokeerimisandmekeskuse sektsioonis talletatakse. Põhimõtteliselt on see andmekeskne hajusarvutuse mudel, kus pilveserverid töötavad privaatses pilves kaugsalvestussüsteemidega. Seega, kasutades sama kohalikku andmesalvestusruumi, saate juurde pääseda selliste suurte pakkujate pilveteenustele nagu AWS, MS Azure, Google Cloud Platform ja teised.

Kingston esitles Supercomputing 2019-l PMCS-i rakenduse näidet, kus ta esitles DC1000M SSD-del põhinevat suure jõudlusega andmesalvestussüsteemi (DSS), samas kui pilveteenuse idufirma esitles StorOne S1 haldustarkvara tarkvaraliselt määratletud salvestuse ja spetsiaalsete suhtluskanalite jaoks suurte pilveteenuse pakkujatega.

Tasub märkida, et PMCS kui privaatsalvestusega pilvandmetöötluse toimiv mudel on loodud Põhja-Ameerika turule, kus AT&T ja Equinixi infrastruktuur toetab andmekeskuste vahelist täiustatud võrguühendust. Näiteks on pingiaeg mis tahes Equinixi pilvevahetussõlme kolokeerimissalvestussüsteemi ja AWS-pilve vahel alla 1 millisekundi (allikas: ITProTäna).

Näitusel näidatud PMCS-i arhitektuuri demonstratsioonis paigutati kolokaliseeritult DC1000M NVMe salvestussüsteem, kus virtuaalmasinad töötasid AWS-i, MS Azure'i ja Google Cloud Platformi pilvedes, mis üksteist pingisid. Klient-server rakendus pääses kaugjuurdepääsuga Kingstoni salvestussüsteemile ja HP ​​DL380 serveritele andmekeskuses ning pääses Equinixi sideinfrastruktuuri kaudu ligi eelmainitud suuremate pakkujate pilveplatvormidele.

Slaid privaatselt mitmepilvesalvestuse esitluselt Supercomputing 2019-l. Allikas: Kingston

Sarnase funktsionaalsusega privaatsete mitmepilvesalvestusarhitektuuride haldamise tarkvara pakuvad mitmed ettevõtted. Ka selle arhitektuuri terminoloogia on erinev – privaatne mitmepilvesalvestus või privaatne pilvesalvestus.

„Tänapäeva superarvutid käitavad laia valikut HPC-rakendusi, mis on edusammude esirinnas – alates nafta- ja gaasiuuringutest kuni ilmaennustuste, finantsturgude ja uute tehnoloogiate arendamiseni,“ märkis Keith Schimmenti, Kingstoni ettevõtte SSD haldusjuht. „Need HPC-rakendused nõuavad palju paremat tasakaalu protsessori jõudluse ja sisend-/väljundkiiruse vahel. Meil ​​on hea meel jagada, kuidas Kingstoni lahendused aitavad kaasa läbimurretele andmetöötluses, pakkudes jõudlust, mida on vaja maailma kõige äärmuslikumates arvutuskeskkondades ja rakendustes.“

DC1000M draiv ja sellel põhineva salvestussüsteemi näide

Kingstoni DC1000M U.2 NVMe SSD on loodud andmekeskuste jaoks ning see on spetsiaalselt suunatud andmemahukatele ja HPC töökoormustele, näiteks tehisintellekti (AI) ja masinõppe (ML) rakendustele.

DC1000M U.2 NVMe 3.84 TB SSD. Allikas: Kingston

DC1000M U.2 kettad on ehitatud 96-kihilisele Intel 3D NAND mälule, mida juhib Silicon Motion SM2270 kontroller (PCIe 3.0 ja NVMe 3.0). Silicon Motion SM2270 on 16-kanaliline ettevõtte NVMe kontroller, millel on PCIe 3.0 x8 liides, kaks 32-bitist DRAM-andmesiini ja kolm ARM Cortex R5 kaheprotsessorilist protsessorit.

DC1000M on saadaval mahutavusega 0.96 kuni 7.68 TB (kõige populaarsemad on eeldatavasti 3.84 ja 7.68 TB). Jõudluseks hinnatakse 800 000 IOPS-i.

Salvestussüsteem 10x DC1000M U.2 NVMe 7.68 TB kõvakettaga. Allikas: Kingston

Näitena HPC-rakenduste salvestussüsteemist esitles Kingston Supercomputing 2019-l rack-mount lahendust 10 DC1000M U.2 NVMe-kettaga, igaühe mahutavusega 7.68 TB. Salvestussüsteem põhineb AIC 1U vormiteguriga platvormil SB122A-PH. Protsessorid: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (tootenumber: KSM24RS4/16HAI). Operatsioonisüsteem on Ubuntu 18.04.3 LTS, Linux kernel versioon 5.0.0-31. gfio v3.13 (paindliku sisend-/väljundtesti) test näitas lugemisjõudlust 5.8 miljonit IOPS-i ja läbilaskevõimet 23.8 Gbps.

Esitletud salvestussüsteem näitas muljetavaldavat püsivat lugemiskiirust 5,8 miljonit IOPS-i (sisend-/väljundoperatsiooni sekundis). See on kaks suurusjärku kiirem kui massturu SSD-del. See lugemiskiirus on oluline spetsiaalsete protsessoritega töötavate HPC-rakenduste jaoks.

HPC pilvandmetöötlus koos privaatse salvestusruumiga Venemaal

Venemaa ettevõtete jaoks on oluline ka väljakutse käitada kõrgjõudlusega andmetöötlust kohapeal, samal ajal andmeid füüsiliselt kohapeal talletades. Teine levinud olukord Venemaa ettevõtetes on see, et välismaiste pilveteenuste kasutamisel tuleb andmeid salvestada Venemaal. Palusime pilveteenuse pakkujal Selectel, kes on Kingstoni pikaajaline partner, neid olukordi kommenteerida.

„Venemaal saab luua sarnase arhitektuuri, millel on venekeelne tugi ja kõik kliendi raamatupidamisosakonna aruandlusdokumendid. Kui ettevõte peab teostama suure jõudlusega andmetöötlust kohapealsete salvestussüsteemide abil, rendime Selectelis servereid erinevat tüüpi protsessoritega, sealhulgas…“ FPGA, GPU „Pakume oma partnerite kaudu ka kliendi kontori ja meie andmekeskuse vahel spetsiaalset optilise kiu kanalit,“ kommenteerib Selecteli teenuste arendusdirektor Alexander Tugov. „Klient saab oma salvestussüsteemi paigutada ka turvalisse masinaruumi ja käitada rakendusi nii meie serverites kui ka globaalsete pakkujate AWS, MS Azure ja Google Cloud pilvedes. Loomulikult on signaali latentsus viimasel juhul suurem kui kliendi salvestussüsteemi asumisel USA-s, kuid pakutakse lairibaühendust mitme pilve jaoks.“

Järgmises artiklis arutame veel ühte Kingstoni lahendust, mis esitleti Supercomputing 2019-l (Denver, Colorado, USA) ja mis on loodud masinõppe ja suurandmete analüüsi rakenduste jaoks, mis kasutavad GPU-sid. See tehnoloogia, GPUDirect Storage, võimaldab otsest andmeedastust NVMe-salvestusruumi ja GPU-protsessori mälu vahel. Samuti selgitame, kuidas saavutasime racki paigaldatud NVMe-salvestussüsteemil 5.8 miljoni IOPS-i lugemisjõudluse.

Kingston Technology toodete kohta lisateabe saamiseks külastage ettevõtte veebisait.

Allikas: www.habr.com