[Superkompiuteriai 2019]. Kelių debesų saugykla kaip naujų Kingston DC1000M diskų taikymo sritis

Įsivaizduokite, kad pradedate novatorišką medicinos verslą – individualų vaistų atranką remiantis žmogaus genomo analize. Kiekvienas pacientas turi 3 milijardus genų porų, o įprastam serveriui su x86 procesoriais apskaičiuoti prireiks kelių dienų. Jūs žinote, kad galite pagreitinti procesą serveryje su FPGA procesoriumi, kuris sulygina skaičiavimus per tūkstančius gijų. Jis atliks genomo skaičiavimą maždaug per valandą. Tokius serverius galima išsinuomoti iš Amazon Web Services (AWS). Bet štai koks dalykas: klientas, ligoninė, kategoriškai prieštarauja genetinių duomenų patalpinimui į teikėjo debesį. Ką turėčiau daryti? „Kingston“ ir debesų startuolis demonstravo architektūrą parodoje „Supercomputing-2019“. Privati ​​kelių debesų saugykla (PMCS), kuris išsprendžia šią problemą.

Trys didelio našumo skaičiavimo sąlygos

Žmogaus genomo apskaičiavimas nėra vienintelė užduotis didelio našumo skaičiavimo (HPC, High Performance Computing) srityje. Mokslininkai skaičiuoja fizinius laukus, inžinieriai – lėktuvų dalis, finansininkai – ekonominius modelius, kartu analizuoja didžiuosius duomenis, kuria neuroninius tinklus ir atlieka daugybę kitų sudėtingų skaičiavimų.

Trys HPC sąlygos yra didžiulė skaičiavimo galia, labai didelė ir greita saugykla ir didelis tinklo pralaidumas. Todėl įprasta LPC skaičiavimų praktika yra įmonės duomenų centre (vietinėje) arba pas tiekėją debesyje.

Tačiau ne visos įmonės turi savo duomenų centrus, o tie, kurie turi, dažnai yra prastesni už komercinius duomenų centrus išteklių efektyvumo požiūriu (kapitalinės išlaidos reikalingos techninei ir programinei įrangai įsigyti ir atnaujinti, aukštos kvalifikacijos personalo apmokėjimui ir pan.). Debesų tiekėjai, atvirkščiai, siūlo IT išteklius pagal „Pay-as-you-go“ veiklos sąnaudų modelį, t.y. nuoma mokama tik už naudojimosi laikotarpį. Atlikus skaičiavimus, serverius galima pašalinti iš paskyros, taip sutaupant IT biudžetų. Tačiau jei yra įstatyminis arba įmonės draudimas perduoti duomenis teikėjui, HPC kompiuterija debesyje negalima.

Privati ​​„MultiCloud“ saugykla

Privati ​​​​MultiCloud Storage architektūra skirta suteikti prieigą prie debesies paslaugų, fiziškai paliekant pačius duomenis įmonės svetainėje arba atskirame saugiame duomenų centro skyriuje, naudojant kolokacijos paslaugą. Iš esmės tai yra į duomenis orientuotas paskirstytojo skaičiavimo modelis, kuriame debesies serveriai dirba su nuotolinėmis saugojimo sistemomis iš privataus debesies. Atitinkamai, naudodami tą pačią vietinę duomenų saugyklą, galite dirbti su debesų paslaugomis iš didžiausių tiekėjų: AWS, MS Azure, Google Cloud Platform‎ ir kt.

Parodoje „Supercomputing-2019“ rodydamas PMCS diegimo pavyzdį, „Kingston“ pristatė didelio našumo duomenų saugojimo sistemos (SSD) pavyzdį, pagrįstą DC1000M SSD diskais, o vienas iš debesų startuolių pristatė „StorOne S1“ valdymo programinę įrangą, skirtą programinei įrangai. apibrėžta saugykla ir tam skirti ryšio kanalai su pagrindiniais debesų paslaugų teikėjais.

Reikėtų pažymėti, kad PMCS, kaip veikiantis debesų kompiuterijos su privačia saugykla modelis, yra sukurtas Šiaurės Amerikos rinkai su išvystytu tinklo ryšiu tarp duomenų centrų, kuris palaikomas AT&T ir Equinix infrastruktūroje. Taigi ping tarp kolokacijos saugojimo sistemos bet kuriame Equinix Cloud Exchange mazge ir AWS debesies yra trumpesnis nei 1 milisekundė (šaltinis: ITProToday).

Parodoje rodomoje PMCS architektūros demonstracijoje saugojimo sistema DC1000M NVMe diskuose buvo išdėstyta kolokacijoje, o virtualios mašinos buvo įdiegtos AWS, MS Azure ir Google Cloud Platform debesyse, kurios pinga viena kitą. Kliento-serverio aplikacija nuotoliniu būdu dirbo su Kingston saugojimo sistema ir HP DL380 serveriais duomenų centre ir per Equinix ryšio kanalų infrastruktūrą pasiekė minėtų pagrindinių tiekėjų debesų platformas.

Skaidrė iš Private MultiCloud Storage pristatymo parodoje Supercomputing-2019. Šaltinis: Kingston

Panašaus funkcionalumo programinę įrangą, skirtą privačios daugiadebesių saugyklų architektūrai valdyti, siūlo skirtingos įmonės. Šios architektūros sąlygos taip pat gali skambėti skirtingai – „Private MultiCloud Storage“ arba „Private Storage for Cloud“.

„Šiandieniniai superkompiuteriai naudoja įvairias HPC programas, kurios yra pažangos priešakyje – nuo ​​naftos ir dujų žvalgymo iki orų prognozavimo, finansų rinkų ir naujų technologijų kūrimo“, – sakė Keithas Schimmenti, Kingstono įmonės SSD valdymo vadovas. „Šioms HPC programoms reikalinga daug didesnė procesoriaus našumo ir įvesties / išvesties greičio atitiktis. Didžiuojamės galėdami pasidalinti, kaip „Kingston“ sprendimai padeda pasiekti proveržį skaičiavimo srityje ir užtikrina našumą, reikalingą ekstremaliausiose pasaulio skaičiavimo aplinkose ir programose.

DC1000M diskas ir juo pagrįstos saugojimo sistemos pavyzdys

DC1000M U.2 NVMe SSD yra sukurtas Kingston duomenų centrui ir yra specialiai sukurtas daug duomenų reikalaujančioms ir HPC programoms, pvz., dirbtinio intelekto (AI) ir mašininio mokymosi (ML) programoms.

DC1000M U.2 NVMe 3.84TB diskas. Šaltinis: Kingston

DC1000M U.2 diskai yra pagrįsti 96 sluoksnių Intel 3D NAND atmintimi, valdoma Silicon Motion SM2270 valdikliu (PCIe 3.0 ir NVMe 3.0). „Silicon Motion SM2270“ yra 16 juostų įmonės NVMe valdiklis su PCIe 3.0 x8 sąsaja, dviem 32 bitų DRAM duomenų magistrale ir trimis ARM Cortex R5 dviem procesoriais.

Išleidimui siūlomi skirtingos talpos DC1000M: nuo 0.96 iki 7.68 TB (manoma, kad populiariausios talpos yra 3.84 ir 7.68 TB). Apskaičiuota, kad disko našumas yra 800 tūkstančių IOPS.

Saugojimo sistema su 10x DC1000M U.2 NVMe 7.68 TB. Šaltinis: Kingston

Kaip HPC programų saugojimo sistemos pavyzdį, „Kingston“ parodoje „Supercomputing 2019“ pristatė stovo sprendimą su 10 DC1000M U.2 NVMe diskų, kurių kiekvieno talpa yra 7.68 TB. Saugojimo sistema yra pagrįsta SB122A-PH, 1U formos faktoriaus platforma iš AIC. Procesoriai: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (dalies numeris: KSM24RS4/16HAI). Įdiegta OS yra Ubuntu 18.04.3 LTS, Linux branduolio versija 5.0.0-31. „gfio v3.13“ testas (lankstus I/O testeris) parodė 5.8 mln. IOPS skaitymo našumą ir 23.8 Gbps pralaidumą.

Pateikta saugojimo sistema parodė įspūdingas charakteristikas, stabiliai nuskaitant 5,8 mln. IOPS (įvesties-išvesties operacijų per sekundę). Tai dviem eilėmis greičiau nei masinės rinkos sistemų SSD. Šis skaitymo greitis reikalingas HPC programoms, veikiančioms specializuotuose procesoriuose.

Debesų kompiuterijos HPC su privačia saugykla Rusijoje

Užduotis atlikti didelio našumo skaičiavimus pas tiekėją, bet fiziškai saugoti vietinius duomenis, taip pat aktuali Rusijos įmonėms. Kitas dažnas atvejis šalies versle yra tada, kai naudojant užsienio debesijos paslaugas, duomenys turi būti Rusijos Federacijos teritorijoje. Paprašėme pakomentuoti šias situacijas debesijos paslaugų teikėjo Selectel, kaip ilgamečio Kingston partnerio, vardu.

„Rusijoje galima sukurti panašią architektūrą su aptarnavimu rusų kalba ir visais ataskaitiniais dokumentais kliento buhalterijai. Jei įmonei reikia atlikti didelio našumo skaičiavimą naudojant vietines saugojimo sistemas, mes, Selectel, nuomojame serverius su įvairių tipų procesoriais, įskaitant FPGA, GPU arba kelių branduolių CPU. Be to, per partnerius organizuojame specialaus optinio kanalo tiesimą tarp kliento biuro ir mūsų duomenų centro“, – komentuoja Aleksandras Tugovas, Selectel paslaugų plėtros direktorius. — Klientas taip pat gali patalpinti savo saugojimo sistemą kompiuterių kambaryje su specialiu prieigos režimu ir paleisti programas tiek mūsų serveriuose, tiek pasaulinių tiekėjų AWS, MS Azure, Google Cloud debesyse. Žinoma, signalo vėlavimas pastaruoju atveju bus didesnis nei tuo atveju, jei kliento saugojimo sistema būtų JAV, tačiau plačiajuostis kelių debesų ryšys bus užtikrintas.

Kitame straipsnyje kalbėsime apie dar vieną Kingston sprendimą, kuris buvo pristatytas Supercomputing 2019 parodoje (Denveris, Koloradas, JAV) ir yra skirtas mašininio mokymosi programoms bei didelių duomenų analizei naudojant GPU. Tai GPUDirect Storage technologija, kuri užtikrina tiesioginį duomenų perdavimą tarp NVMe saugyklos ir GPU procesoriaus atminties. Be to, mes paaiškinsime, kaip mums pavyko pasiekti 5.8 milijono IOPS duomenų skaitymo greitį stovo saugojimo sistemoje NVMe diskuose.

Norėdami gauti daugiau informacijos apie Kingston Technology produktus, apsilankykite Įmonės svetainė.

Šaltinis: www.habr.com