[Supercomputing 2019]. Stocare multi-cloud ca domeniu de aplicare pentru noile unități Kingston DC1000M

Imaginați-vă că lansați o afacere medicală inovatoare - selecția individuală de medicamente bazată pe analiza genomului uman. Fiecare pacient are 3 miliarde de perechi de gene, iar un server obișnuit pe procesoare x86 va dura câteva zile pentru a calcula. Știți că puteți accelera procesul pe un server cu un procesor FPGA care paralelizează calculele pe mii de fire. Acesta va finaliza calculul genomului în aproximativ o oră. Astfel de servere pot fi închiriate de la Amazon Web Services (AWS). Dar iată problema: clientul, spitalul, este categoric împotriva plasării datelor genetice în cloud-ul furnizorului. Ce ar trebuii să fac? Kingston și startup-ul cloud au prezentat arhitectura la expoziția Supercomputing-2019 Stocare privată multicloud (PMCS), care rezolvă această problemă.

Trei condiții pentru calcularea de înaltă performanță

Calcularea genomului uman nu este singura sarcină în domeniul calculului de înaltă performanță (HPC, High Performance Computing). Oamenii de știință calculează câmpurile fizice, inginerii calculează părțile avioanelor, finanțatorii calculează modele economice și împreună analizează datele mari, construiesc rețele neuronale și fac multe alte calcule complexe.

Cele trei condiții ale HPC sunt puterea de calcul enormă, stocarea foarte mare și rapidă și debitul mare de rețea. Prin urmare, practica standard pentru efectuarea calculelor LPC este în centrul de date al companiei (on-premises) sau la un furnizor în cloud.

Dar nu toate companiile au propriile centre de date, iar cele care le au adesea sunt inferioare centrelor de date comerciale în ceea ce privește eficiența resurselor (sunt necesare cheltuieli de capital pentru achiziționarea și actualizarea hardware-ului și software-ului, plata pentru personal cu înaltă calificare etc.) . Furnizorii de cloud, dimpotrivă, oferă resurse IT conform modelului de cost de operare „Pay-as-you-go”, adică. chiria se percepe numai pe perioada de utilizare. Când calculele sunt finalizate, serverele pot fi eliminate din cont, economisind astfel bugetele IT. Dar dacă există o interdicție legislativă sau corporativă privind transferul de date către furnizor, calcularea HPC în cloud nu este disponibilă.

Stocare privată MultiCloud

Arhitectura Private MultiCloud Storage este concepută pentru a oferi acces la serviciile cloud în timp ce lăsând fizic datele în sine pe site-ul întreprinderii sau într-un compartiment securizat separat al centrului de date folosind un serviciu de colocare. În esență, este un model de calcul distribuit centrat pe date în care serverele cloud lucrează cu sisteme de stocare la distanță dintr-un cloud privat. În consecință, folosind aceeași stocare locală de date, puteți lucra cu servicii cloud de la cei mai mari furnizori: AWS, MS Azure, Google Cloud Platform‎ etc.

Prezentând un exemplu de implementare a PMCS la expoziția Supercomputing-2019, Kingston a prezentat un eșantion de sistem de stocare a datelor (SSD) de înaltă performanță bazat pe unități SSD DC1000M, iar una dintre startup-urile din cloud a prezentat software-ul de management StorOne S1 pentru software- stocare definită și canale de comunicare dedicate cu furnizorii importanți de cloud.

Trebuie remarcat faptul că PMCS, ca model de lucru de cloud computing cu stocare privată, este conceput pentru piața nord-americană cu conectivitate de rețea dezvoltată între centrele de date care este suportată de infrastructura AT&T și Equinix. Astfel, ping-ul dintre un sistem de stocare de colocare în orice nod Equinix Cloud Exchange și cloud-ul AWS este mai mic de 1 milisecundă (sursa: ITProToday).

În demonstrația arhitecturii PMCS prezentată în cadrul expoziției, sistemul de stocare pe discuri DC1000M NVMe a fost amplasat în colocare, iar mașinile virtuale au fost instalate în norii AWS, MS Azure și Google Cloud Platform, care au făcut ping reciproc. Aplicația client-server a lucrat de la distanță cu sistemul de stocare Kingston și serverele HP DL380 din centrul de date și, prin infrastructura canalului de comunicații Equinix, a accesat platformele cloud ale furnizorilor majori menționați mai sus.

Slide din prezentarea Private MultiCloud Storage la expoziția Supercomputing-2019. Sursa: Kingston

Software cu funcționalitate similară pentru gestionarea arhitecturii stocării private multicloud este oferit de diferite companii. Termenii acestei arhitecturi pot suna diferit - Private MultiCloud Storage sau Private Storage for Cloud.

„Supercalculatoarele de astăzi rulează o varietate de aplicații HPC care se află în fruntea progreselor, de la explorarea petrolului și gazelor până la prognoza meteo, piețele financiare și dezvoltarea de noi tehnologii”, a declarat Keith Schimmenti, managerul managementului SSD-urilor la Kingston. „Aceste aplicații HPC necesită o potrivire mult mai mare între performanța procesorului și viteza I/O. Suntem mândri să vă împărtășim modul în care soluțiile Kingston ajută la realizarea de descoperiri în domeniul calculului, oferind performanța necesară în cele mai extreme medii și aplicații de calcul din lume.”

Unitatea DC1000M și un exemplu de sistem de stocare bazat pe acesta

SSD-ul DC1000M U.2 NVMe este proiectat de Kingston pentru centrul de date și este conceput special pentru aplicații cu consum mare de date și aplicații HPC, cum ar fi inteligența artificială (AI) și aplicațiile de învățare automată (ML).

Unitate DC1000M U.2 NVMe de 3.84 TB. Sursa: Kingston

Unitățile DC1000M U.2 se bazează pe memorie Intel 96D NAND cu 3 de straturi, controlată de un controler Silicon Motion SM2270 (PCIe 3.0 și NVMe 3.0). Silicon Motion SM2270 este un controler NVMe de întreprindere cu 16 benzi cu interfață PCIe 3.0 x8, magistrală de date DRAM duală pe 32 de biți și trei procesoare duale ARM Cortex R5.

DC1000M de diferite capacități sunt oferite pentru lansare: de la 0.96 la 7.68 TB (se consideră că cele mai populare capacități sunt 3.84 și 7.68 TB). Performanța unității este estimată la 800 de mii de IOPS.

Sistem de stocare cu 10x DC1000M U.2 NVMe 7.68 TB. Sursa: Kingston

Ca exemplu de sistem de stocare pentru aplicații HPC, Kingston a prezentat la Supercomputing 2019 o soluție de rack cu 10 unități DC1000M U.2 NVMe, fiecare cu o capacitate de 7.68 TB. Sistemul de stocare se bazează pe SB122A-PH, o platformă cu factor de formă 1U de la AIC. Procesoare: 2x procesor Intel Xeon E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Număr piesă: KSM24RS4/16HAI). Sistemul de operare instalat este Ubuntu 18.04.3 LTS, Linux kernel ver 5.0.0-31. Testul gfio v3.13 (tester I/O flexibil) a arătat o performanță de citire de 5.8 milioane IOPS, cu un debit de 23.8 Gbps.

Sistemul de stocare prezentat a prezentat caracteristici impresionante în ceea ce privește citirea stabilă de 5,8 milioane IOPS (operații de intrare-ieșire pe secundă). Acesta este cu două ordine de mărime mai rapid decât SSD-urile pentru sistemele pieței de masă. Această viteză de citire este necesară pentru aplicațiile HPC care rulează pe procesoare specializate.

Cloud computing HPC cu stocare privată în Rusia

Sarcina de a efectua calcule de înaltă performanță la furnizor, dar stocarea fizică a datelor la sediu, este de asemenea relevantă pentru companiile rusești. Un alt caz obișnuit în afacerile interne este atunci când, atunci când se utilizează servicii cloud străine, datele trebuie să fie localizate pe teritoriul Federației Ruse. Am cerut comentarii cu privire la aceste situații în numele furnizorului de cloud Selectel, în calitate de partener de lungă durată al Kingston.

„În Rusia, este posibil să se construiască o arhitectură similară, cu servicii în limba rusă și toate documentele de raportare pentru departamentul de contabilitate al clientului. Dacă o companie trebuie să efectueze calcule de înaltă performanță folosind sisteme de stocare la sediu, noi cei de la Selectel închiriem servere cu procesoare de diferite tipuri, inclusiv FPGA, GPU sau procesoare multi-core. În plus, prin parteneri, organizăm amplasarea unui canal optic dedicat între biroul clientului și centrul nostru de date”, comentează Alexander Tugov, Director de Dezvoltare Servicii la Selectel. — De asemenea, clientul își poate plasa sistemul de stocare pe colocare într-o sală de calculatoare cu un mod de acces special și poate rula aplicații atât pe serverele noastre, cât și în cloud-urile furnizorilor globali AWS, MS Azure, Google Cloud. Desigur, întârzierea semnalului în acest ultim caz va fi mai mare decât în ​​cazul în care sistemul de stocare al clientului ar fi situat în SUA, dar va fi furnizată o conexiune multi-cloud în bandă largă.”

În articolul următor vom vorbi despre o altă soluție Kingston, care a fost prezentată în cadrul expoziției Supercomputing 2019 (Denver, Colorado, SUA) și este destinată aplicațiilor de învățare automată și analizei big data folosind GPU-uri. Aceasta este tehnologia GPUDirect Storage, care oferă transfer direct de date între stocarea NVMe și memoria procesorului GPU. Și în plus, vom explica cum am reușit să atingem o viteză de citire a datelor de 5.8 milioane IOPS într-un sistem de stocare rack pe discuri NVMe.

Pentru mai multe informații despre produsele Kingston Technology, contactați: Site-ul companiei.

Sursa: www.habr.com