[Supercomputing 2019]. Multi-cloud-lagring som anvendelsesområde for de nye Kingston DC1000M-drev

Forestil dig, at du lancerer en innovativ medicinsk virksomhed - individuelt udvalg af lægemidler baseret på analyse af det menneskelige genom. Hver patient har 3 milliarder genpar, og en almindelig server på x86-processorer vil tage flere dage at beregne. Du ved, at du kan fremskynde processen på en server med en FPGA-processor, der paralleliserer beregninger på tværs af tusindvis af tråde. Det vil fuldføre genomberegningen om cirka en time. Sådanne servere kan lejes fra Amazon Web Services (AWS). Men her er sagen: Kunden, hospitalet, er kategorisk imod at placere genetiske data i udbyderens sky. Hvad skal jeg gøre? Kingston og cloud-startup viste arkitektur på Supercomputing-2019-udstillingen Private MultiCloud Storage (PMCS), som løser dette problem.

Tre betingelser for højtydende databehandling

Beregning af det menneskelige genom er ikke den eneste opgave inden for high-performance computing (HPC, High Performance Computing). Forskere beregner fysiske felter, ingeniører beregner flydele, finansfolk beregner økonomiske modeller, og sammen analyserer de big data, bygger neurale netværk og laver mange andre komplekse beregninger.

De tre betingelser for HPC er enorm computerkraft, meget stor og hurtig lagerplads og høj netværksgennemstrømning. Derfor er standardpraksis for udførelse af LPC-beregninger i virksomhedens eget datacenter (on-premises) eller hos en udbyder i skyen.

Men ikke alle virksomheder har deres egne datacentre, og dem, der gør det, er ofte ringere end kommercielle datacentre med hensyn til ressourceeffektivitet (kapitaludgifter er nødvendige for at købe og opdatere hardware og software, betale for højt kvalificeret personale osv.). Cloud-udbydere tilbyder tværtimod it-ressourcer efter ”Pay-as-you-go” driftsomkostningsmodellen, dvs. leje opkræves kun for brugsperioden. Når beregningerne er gennemført, kan servere fjernes fra kontoen og derved spare IT-budgetter. Men hvis der er et lovgivningsmæssigt eller virksomhedsforbud mod dataoverførsel til udbyderen, er HPC-databehandling i skyen ikke tilgængelig.

Privat MultiCloud Storage

Private MultiCloud Storage-arkitekturen er designet til at give adgang til cloud-tjenester, mens selve dataene fysisk efterlades på virksomhedens websted eller i et separat sikkert rum i datacentret ved hjælp af en colocation-tjeneste. Grundlæggende er det en datacentreret distribueret computermodel, hvor cloud-servere arbejder med fjernlagringssystemer fra en privat sky. Ved at bruge den samme lokale datalagring kan du derfor arbejde med cloud-tjenester fra de største udbydere: AWS, MS Azure, Google Cloud Platform, osv.

Ved at vise et eksempel på implementeringen af ​​PMCS på Supercomputing-2019-udstillingen præsenterede Kingston et eksempel på et højtydende datalagringssystem (SSD) baseret på DC1000M SSD-drev, og en af ​​skystartuperne præsenterede StorOne S1-administrationssoftware til software- defineret lager og dedikerede kommunikationskanaler med store cloud-udbydere.

Det skal bemærkes, at PMCS, som en arbejdsmodel for cloud computing med privat lagring, er designet til det nordamerikanske marked med den udviklede netværksforbindelse mellem datacentre, der understøttes på AT&T og Equinix infrastrukturen. Således er ping mellem et colocation-lagersystem i enhver Equinix Cloud Exchange-knude og AWS-skyen mindre end 1 millisekund (kilde: ITProToday).

I demonstrationen af ​​PMCS-arkitekturen, der blev vist på udstillingen, var lagersystemet på DC1000M NVMe-diske placeret i colocation, og virtuelle maskiner blev installeret i AWS-, MS Azure- og Google Cloud Platform-skyerne, som pingede hinanden. Klient-server-applikationen arbejdede eksternt med Kingston-lagringssystemet og HP DL380-servere i datacentret og fik via Equinix-kommunikationskanalinfrastrukturen adgang til de ovennævnte store udbyderes cloud-platforme.

Slide fra præsentationen af ​​Private MultiCloud Storage på Supercomputing-2019-udstillingen. Kilde: Kingston

Software med lignende funktionalitet til styring af arkitekturen for privat multicloud-lagring tilbydes af forskellige virksomheder. Vilkårene for denne arkitektur kan også lyde anderledes - Private MultiCloud Storage eller Private Storage for Cloud.

"Dagens supercomputere kører en række HPC-applikationer, der er på forkant med fremskridt, fra olie- og gasefterforskning til vejrudsigter, finansielle markeder og udvikling af ny teknologi," sagde Keith Schimmenti, leder af enterprise SSD management hos Kingston. "Disse HPC-applikationer kræver et meget større match mellem processorydelse og I/O-hastighed. Vi er stolte af at dele, hvordan Kingstons løsninger hjælper med at skabe gennembrud inden for computere og levere den ydeevne, der er nødvendig i verdens mest ekstreme computermiljøer og applikationer."

DC1000M-drev og et eksempel på et lagersystem baseret på det

DC1000M U.2 NVMe SSD'en er designet af Kingston til datacentret og er specielt designet til dataintensive og HPC-applikationer såsom kunstig intelligens (AI) og machine learning (ML)-applikationer.

DC1000M U.2 NVMe 3.84TB drev. Kilde: Kingston

DC1000M U.2-drev er baseret på 96-lags Intel 3D NAND-hukommelse, styret af en Silicon Motion SM2270-controller (PCIe 3.0 og NVMe 3.0). Silicon Motion SM2270 er en 16-sporet enterprise NVMe-controller med PCIe 3.0 x8-interface, dual 32-bit DRAM-databus og tre ARM Cortex R5 dual-processorer.

DC1000M med forskellige kapaciteter tilbydes til frigivelse: fra 0.96 til 7.68 TB (de mest populære kapaciteter menes at være 3.84 og 7.68 TB). Drevets ydeevne er anslået til 800 tusind IOPS.

Lagersystem med 10x DC1000M U.2 NVMe 7.68 TB. Kilde: Kingston

Som et eksempel på et lagringssystem til HPC-applikationer præsenterede Kingston på Supercomputing 2019 en rackløsning med 10 DC1000M U.2 NVMe-drev, hver med en kapacitet på 7.68 TB. Lagersystemet er baseret på SB122A-PH, en 1U formfaktorplatform fra AIC. Processorer: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (delnummer: KSM24RS4/16HAI). Det installerede operativsystem er Ubuntu 18.04.3 LTS, Linux-kerne ver 5.0.0-31. Gfio v3.13-testen (Fleksibel I/O-tester) viste læseydelse på 5.8 millioner IOPS med en gennemstrømning på 23.8 Gbps.

Det præsenterede lagersystem viste imponerende egenskaber i form af stabil læsning på 5,8 millioner IOPS (input-output operationer per sekund). Dette er to størrelsesordener hurtigere end SSD'er til massemarkedssystemer. Denne læsehastighed er nødvendig for HPC-applikationer, der kører på specialiserede processorer.

Cloud computing HPC med privat lagring i Rusland

Opgaven med at udføre højtydende databehandling hos udbyderen, men fysisk gemme data på stedet, er også relevant for russiske virksomheder. Et andet almindeligt tilfælde i indenlandsk virksomhed er, når der ved brug af udenlandske cloud-tjenester data skal være placeret på Den Russiske Føderations territorium. Vi bad om kommentarer til disse situationer på vegne af cloud-udbyderen Selectel som mangeårig partner for Kingston.

”I Rusland er det muligt at bygge en lignende arkitektur med service på russisk og alle rapporteringsdokumenter til kundens regnskabsafdeling. Hvis en virksomhed skal udføre højtydende databehandling ved hjælp af lokale lagersystemer, udlejer vi hos Selectel servere med processorer af forskellige typer, bl.a. FPGA, GPU eller multi-core CPU'er. Derudover organiserer vi gennem partnere lægningen af ​​en dedikeret optisk kanal mellem kundens kontor og vores datacenter,” kommenterer Alexander Tugov, direktør for Services Development hos Selectel. — Klienten kan også placere sit lagersystem på colocation i et computerrum med en særlig adgangstilstand og køre applikationer både på vores servere og i skyerne hos globale udbydere AWS, MS Azure, Google Cloud. Selvfølgelig vil signalforsinkelsen i sidstnævnte tilfælde være højere, end hvis klientens lagersystem var placeret i USA, men en bredbånds-multi-cloud-forbindelse vil blive leveret."

I den næste artikel vil vi tale om en anden Kingston-løsning, som blev præsenteret på Supercomputing 2019-udstillingen (Denver, Colorado, USA) og er beregnet til maskinlæringsapplikationer og big data-analyse ved hjælp af GPU'er. Dette er GPUDirect Storage-teknologi, som giver direkte dataoverførsel mellem NVMe-lager og GPU-processorhukommelse. Og derudover vil vi forklare, hvordan vi formåede at opnå en datalæsehastighed på 5.8 millioner IOPS i et rack-lagringssystem på NVMe-diske.

For mere information om Kingston Technology-produkter, kontakt: Virksomhedens websted.

Kilde: www.habr.com