[Superkompjuteri 2019]. Ruajtja me shumë re si një zonë aplikimi për disqet e reja Kingston DC1000M

Imagjinoni që po filloni një biznes inovativ mjekësor - përzgjedhje individuale të barnave bazuar në analizën e gjenomit njerëzor. Çdo pacient ka 3 miliardë çifte gjenesh dhe një server i rregullt në procesorët x86 do të duhen disa ditë për t'u llogaritur. Ju e dini që mund ta shpejtoni procesin në një server me një procesor FPGA që paralelizon llogaritjet në mijëra tema. Ai do të përfundojë llogaritjen e gjenomit për rreth një orë. Serverë të tillë mund të merren me qira nga Shërbimet e Uebit të Amazon (AWS). Por këtu është gjëja: klienti, spitali, është kategorikisht kundër vendosjes së të dhënave gjenetike në renë e ofruesit. Cfare duhet te bej? Kingston dhe startup cloud treguan arkitekturën në ekspozitën Supercomputing-2019 Ruajtja private në MultiCloud (PMCS), e cila zgjidh këtë problem.

Tre kushte për llogaritje me performancë të lartë

Llogaritja e gjenomit njerëzor nuk është detyra e vetme në fushën e llogaritjes me performancë të lartë (HPC, High Performance Computing). Shkencëtarët llogaritin fushat fizike, inxhinierët llogaritin pjesët e aeroplanit, financuesit llogaritin modelet ekonomike dhe së bashku ata analizojnë të dhëna të mëdha, ndërtojnë rrjete nervore dhe bëjnë shumë llogaritje të tjera komplekse.

Tre kushtet e HPC janë fuqia e madhe kompjuterike, ruajtja shumë e madhe dhe e shpejtë dhe xhiroja e lartë e rrjetit. Prandaj, praktika standarde për kryerjen e llogaritjeve LPC është në qendrën e të dhënave të vetë kompanisë (në ambient) ose në një ofrues në cloud.

Por jo të gjitha kompanitë kanë qendrat e tyre të të dhënave, dhe ato që kanë shpesh janë inferiore ndaj qendrave komerciale të të dhënave për sa i përket efikasitetit të burimeve (shpenzimet kapitale kërkohen për të blerë dhe përditësuar harduerin dhe softuerin, për të paguar për personel të kualifikuar, etj.). Përkundrazi, ofruesit e cloud ofrojnë burime të TI-së sipas modelit të kostos operative “Pay-as-you-go”, d.m.th. qiraja paguhet vetëm për periudhën e përdorimit. Kur të përfundojnë llogaritjet, serverët mund të hiqen nga llogaria, duke kursyer kështu buxhetet e IT. Por nëse ka një ndalim legjislativ ose të korporatës për transferimin e të dhënave te ofruesi, kompjuteri HPC në cloud nuk është i disponueshëm.

Ruajtja private në MultiCloud

Arkitektura Private MultiCloud Storage është projektuar për të ofruar akses në shërbimet cloud ndërkohë që fizikisht i lë vetë të dhënat në sitin e ndërmarrjes ose në një ndarje të veçantë të sigurt të qendrës së të dhënave duke përdorur një shërbim bashkëlokimi. Në thelb, është një model informatik i shpërndarë me të dhëna në qendër, ku serverët cloud punojnë me sistemet e ruajtjes në distancë nga një re private. Prandaj, duke përdorur të njëjtin ruajtje të të dhënave lokale, mund të punoni me shërbimet cloud nga ofruesit më të mëdhenj: AWS, MS Azure, Google Cloud Platform, etj.

Duke treguar një shembull të zbatimit të PMCS në ekspozitën Supercomputing-2019, Kingston prezantoi një mostër të një sistemi të ruajtjes së të dhënave me performancë të lartë (SSD) bazuar në disqet SSD DC1000M, dhe një nga startup-et e cloud prezantoi softuerin e menaxhimit StorOne S1 për softuerin- ruajtje të përcaktuar dhe kanale komunikimi të dedikuara me ofruesit kryesorë të cloud.

Duhet të theksohet se PMCS, si një model pune i kompjuterit cloud me ruajtje private, është projektuar për tregun e Amerikës së Veriut me lidhjen e zhvilluar të rrjetit midis qendrave të të dhënave që mbështetet në infrastrukturën AT&T dhe Equinix. Kështu, ping-u midis një sistemi të ruajtjes së bashkëlokacionit në çdo nyje Equinix Cloud Exchange dhe cloud AWS është më pak se 1 milisekonda (burimi: ITProToday).

Në demonstrimin e arkitekturës PMCS të paraqitur në ekspozitë, sistemi i ruajtjes në disqet DC1000M NVMe u vendos në kolokacion dhe makinat virtuale u instaluan në retë AWS, MS Azure dhe Google Cloud Platform, të cilat pingonin njëra-tjetrën. Aplikacioni klient-server ka punuar në distancë me sistemin e ruajtjes Kingston dhe serverët HP DL380 në qendrën e të dhënave dhe, përmes infrastrukturës së kanalit të komunikimit Equinix, ka akses në platformat cloud të ofruesve kryesorë të lartpërmendur.

Slide nga prezantimi i Ruajtjes Private MultiCloud në ekspozitën Supercomputing-2019. Burimi: Kingston

Softuer me funksionalitet të ngjashëm për menaxhimin e arkitekturës së ruajtjes private në multicloud ofrohet nga kompani të ndryshme. Kushtet për këtë arkitekturë mund të tingëllojnë gjithashtu ndryshe - Ruajtja private në MultiCloud ose Ruajtja private për renë kompjuterike.

"Superkompjuterët e sotëm ekzekutojnë një sërë aplikacionesh HPC që janë në ballë të përparimeve, nga kërkimi i naftës dhe gazit te parashikimi i motit, tregjet financiare dhe zhvillimi i teknologjisë së re," tha Keith Schimmenti, menaxher i menaxhimit të SSD-ve të ndërmarrjeve në Kingston. “Këto aplikacione HPC kërkojnë një përputhje shumë më të madhe midis performancës së procesorit dhe shpejtësisë I/O. Jemi krenarë të ndajmë se si zgjidhjet e Kingston po ndihmojnë në arritjen e përparimeve në informatikë, duke ofruar performancën e nevojshme në mjediset dhe aplikacionet më ekstreme kompjuterike në botë.”

Disku DC1000M dhe një shembull i një sistemi ruajtjeje të bazuar në të

SSD DC1000M U.2 NVMe është projektuar nga Kingston për qendrën e të dhënave dhe është projektuar posaçërisht për aplikacionet me të dhëna intensive dhe HPC si inteligjenca artificiale (AI) dhe aplikacionet e mësimit të makinerive (ML).

Disk DC1000M U.2 NVMe 3.84 TB. Burimi: Kingston

Disqet DC1000M U.2 bazohen në memorien Intel 96D NAND me 3 shtresa, të kontrolluara nga një kontrollues Silicon Motion SM2270 (PCIe 3.0 dhe NVMe 3.0). Silicon Motion SM2270 është një kontrollues NVMe i ndërmarrjeve me 16 korsi me ndërfaqe PCIe 3.0 x8, autobus të dyfishtë të të dhënave DRAM 32-bit dhe tre procesorë të dyfishtë ARM Cortex R5.

DC1000M me kapacitete të ndryshme ofrohen për lëshim: nga 0.96 në 7.68 TB (kapacitetet më të njohura besohet të jenë 3.84 dhe 7.68 TB). Performanca e makinës vlerësohet në 800 mijë IOPS.

Sistemi i ruajtjes me 10x DC1000M U.2 NVMe 7.68 TB. Burimi: Kingston

Si shembull i një sistemi ruajtjeje për aplikacionet HPC, Kingston prezantoi në Supercomputing 2019 një zgjidhje rafti me 10 disqe DC1000M U.2 NVMe, secila me një kapacitet prej 7.68 TB. Sistemi i ruajtjes bazohet në SB122A-PH, një platformë me faktor formë 1U nga AIC. Procesorët: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Numri i pjesës: KSM24RS4/16HAI). Sistemi operativ i instaluar është Ubuntu 18.04.3 LTS, kernel Linux ver 5.0.0-31. Testi gfio v3.13 (Tester Flexible I/O) tregoi performancë leximi prej 5.8 milion IOPS me një xhiro prej 23.8 Gbps.

Sistemi i paraqitur i ruajtjes tregoi karakteristika mbresëlënëse për sa i përket leximit të qëndrueshëm prej 5,8 milion IOPS (operacione hyrje-dalje për sekondë). Kjo është dy rend të madhësisë më shpejt se SSD për sistemet e tregut masiv. Kjo shpejtësi leximi nevojitet për aplikacionet HPC që ekzekutohen në procesorë të specializuar.

Cloud computing HPC me ruajtje private në Rusi

Detyra e kryerjes së llogaritjeve me performancë të lartë tek ofruesi, por ruajtja fizike e të dhënave në ambiente, është gjithashtu e rëndësishme për kompanitë ruse. Një rast tjetër i zakonshëm në biznesin vendas është kur, kur përdorni shërbime të huaja cloud, të dhënat duhet të vendosen në territorin e Federatës Ruse. Ne kërkuam koment për këto situata në emër të ofruesit të cloud Selectel si një partner prej kohësh i Kingston.

“Në Rusi, është e mundur të ndërtohet një arkitekturë e ngjashme, me shërbim në rusisht dhe të gjitha dokumentet e raportimit për departamentin e kontabilitetit të klientit. Nëse një kompani duhet të kryejë llogaritje me performancë të lartë duke përdorur sisteme të ruajtjes në ambiente, ne në Selectel marrim me qira serverë me procesorë të llojeve të ndryshme, duke përfshirë FPGA, GPU ose CPU me shumë bërthama. Për më tepër, nëpërmjet partnerëve, ne organizojmë vendosjen e një kanali optik të dedikuar midis zyrës së klientit dhe qendrës sonë të të dhënave,” komenton Alexander Tugov, Drejtor i Zhvillimit të Shërbimeve në Selectel. — Klienti gjithashtu mund të vendosë sistemin e tij të ruajtjes në kolokacion në një dhomë kompjuteri me një modalitet të veçantë aksesi dhe të ekzekutojë aplikacione si në serverët tanë ashtu edhe në retë e ofruesve globalë AWS, MS Azure, Google Cloud. Sigurisht, vonesa e sinjalit në rastin e fundit do të jetë më e lartë sesa nëse sistemi i ruajtjes së klientit do të ishte i vendosur në SHBA, por do të sigurohet një lidhje me shumë re me brez të gjerë.

Në artikullin tjetër do të flasim për një zgjidhje tjetër të Kingston, e cila u prezantua në ekspozitën Supercomputing 2019 (Denver, Kolorado, SHBA) dhe ka për qëllim aplikacionet e mësimit të makinerive dhe analizën e të dhënave të mëdha duke përdorur GPU. Kjo është teknologjia GPUDirect Storage, e cila siguron transferim të drejtpërdrejtë të të dhënave midis memorjes NVMe dhe memorjes së procesorit GPU. Dhe përveç kësaj, ne do të shpjegojmë se si arritëm të arrijmë një shpejtësi leximi të të dhënave prej 5.8 milion IOPS në një sistem ruajtjeje në raft në disqet NVMe.

Për më shumë informacion rreth produkteve Kingston Technology, kontaktoni: Faqja e kompanisë.

Burimi: www.habr.com