[Superračunanje 2019]. Pohrana u više oblaka kao područje primjene za nove Kingston DC1000M diskove

Zamislite da pokrećete inovativni medicinski posao - individualni odabir lijekova na osnovu analize ljudskog genoma. Svaki pacijent ima 3 milijarde parova gena, a običnom serveru na x86 procesorima će biti potrebno nekoliko dana da se izračuna. Znate da možete ubrzati proces na serveru sa FPGA procesorom koji paralelizira proračune kroz hiljade niti. To će završiti proračun genoma za oko sat vremena. Takvi serveri se mogu iznajmiti od Amazon Web Services (AWS). Ali evo u čemu je stvar: korisnik, bolnica, kategorički je protiv stavljanja genetskih podataka u oblak dobavljača. Sta da radim? Kingston i cloud startup prikazali su arhitekturu na izložbi Supercomputing-2019 Privatna multiCloud pohrana (PMCS), koji rješava ovaj problem.

Tri uslova za računarstvo visokih performansi

Izračunavanje ljudskog genoma nije jedini zadatak u oblasti računarstva visokih performansi (HPC, High Performance Computing). Naučnici izračunavaju fizička polja, inženjeri izračunavaju dijelove aviona, finansijeri izračunavaju ekonomske modele i zajedno analiziraju velike podatke, grade neuronske mreže i prave mnoge druge složene proračune.

Tri uslova HPC-a su ogromna računarska snaga, veoma veliko i brzo skladištenje i visoka mrežna propusnost. Stoga je standardna praksa za izvođenje LPC proračuna u vlastitom podatkovnom centru kompanije (on-premises) ili kod provajdera u oblaku.

Ali nemaju sve kompanije svoje podatkovne centre, a one koje imaju često su inferiorne u odnosu na komercijalne podatkovne centre u smislu efikasnosti resursa (potrebni su kapitalni izdaci za kupovinu i ažuriranje hardvera i softvera, plaćanje visokokvalifikovanog osoblja, itd.) . Provajderi u oblaku, naprotiv, nude IT resurse prema modelu operativnih troškova “Pay-as-you-go”, tj. najam se naplaćuje samo za vrijeme korištenja. Kada se kalkulacije završe, serveri se mogu ukloniti sa naloga, čime se štedi IT budžet. Ali ako postoji zakonska ili korporativna zabrana prenosa podataka do provajdera, HPC računarstvo u oblaku nije dostupno.

Privatno MultiCloud Storage

Arhitektura Private MultiCloud Storage je dizajnirana da omogući pristup uslugama u oblaku dok fizički ostavlja same podatke na lokaciji preduzeća ili u zasebnom bezbednom odeljku data centra koristeći uslugu kolokacije. U suštini, to je model distribuiranog računarstva usmjerenog na podatke u kojem serveri u oblaku rade sa udaljenim sistemima za skladištenje podataka iz privatnog oblaka. U skladu s tim, koristeći istu lokalnu pohranu podataka, možete raditi s uslugama u oblaku najvećih provajdera: AWS, MS Azure, Google Cloud Platform, itd.

Pokazujući primjer implementacije PMCS-a na izložbi Supercomputing-2019, Kingston je predstavio uzorak sistema za pohranu podataka visokih performansi (SSD) baziranog na DC1000M SSD diskovima, a jedan od cloud startapa predstavio je softver za upravljanje StorOne S1 za softver- definisano skladištenje i namenski kanali komunikacije sa glavnim provajderima u oblaku.

Treba napomenuti da je PMCS, kao radni model računarstva u oblaku sa privatnom pohranom, dizajniran za tržište Sjeverne Amerike sa razvijenom mrežnom konektivnošću između data centara koja je podržana na AT&T i Equinix infrastrukturi. Dakle, ping između sistema za skladištenje kolokacije u bilo kojem čvoru Equinix Cloud Exchange i AWS oblaka je manji od 1 milisekunde (izvor: ITProToday).

U demonstraciji PMCS arhitekture prikazane na izložbi, sistem za skladištenje podataka na DC1000M NVMe diskovima je lociran u kolokaciji, a virtuelne mašine su instalirane u oblacima AWS, MS Azure i Google Cloud Platform, koji su međusobno pingovali. Klijent-server aplikacija je na daljinu radila sa Kingston sistemom skladištenja i HP DL380 serverima u data centru i, preko infrastrukture komunikacionog kanala Equinix, pristupala cloud platformama gore navedenih velikih provajdera.

Slajd sa prezentacije Private MultiCloud Storage na izložbi Supercomputing-2019. Izvor: Kingston

Softver slične funkcionalnosti za upravljanje arhitekturom privatnog multicloud skladišta nude različite kompanije. Termini za ovu arhitekturu mogu zvučati i drugačije - Private MultiCloud Storage ili Private Storage za Cloud.

„Današnji superkompjuteri pokreću razne HPC aplikacije koje su na čelu napretka, od istraživanja nafte i gasa do prognoze vremena, finansijskih tržišta i razvoja novih tehnologija,“ rekao je Keith Schimmenti, menadžer upravljanja SSD-om za preduzeća u Kingstonu. “Ove HPC aplikacije zahtijevaju mnogo veću usklađenost između performansi procesora i I/O brzine. Ponosni smo što možemo podijeliti kako Kingston rješenja pomažu u poticanju otkrića u računarstvu, isporučujući performanse potrebne u najekstremnijim svjetskim računarskim okruženjima i aplikacijama.”

DC1000M drajv i primjer sistema za pohranu podataka zasnovan na njemu

DC1000M U.2 NVMe SSD je dizajnirao Kingston za centar podataka i posebno je dizajniran za aplikacije koje zahtijevaju velike količine podataka i HPC, kao što su aplikacije umjetne inteligencije (AI) i strojnog učenja (ML).

DC1000M U.2 NVMe 3.84TB disk. Izvor: Kingston

DC1000M U.2 diskovi su bazirani na 96-slojnoj Intel 3D NAND memoriji, kontrolisanoj od strane Silicon Motion SM2270 kontrolera (PCIe 3.0 i NVMe 3.0). Silicon Motion SM2270 je poslovni NVMe kontroler sa 16 traka sa PCIe 3.0 x8 interfejsom, dvostrukom 32-bitnom DRAM sabirnicom podataka i tri ARM Cortex R5 dual procesora.

DC1000M različitih kapaciteta se nudi za izdavanje: od 0.96 do 7.68 TB (vjeruje se da su najpopularniji kapaciteti 3.84 i 7.68 TB). Performanse drajva se procjenjuju na 800 hiljada IOPS.

Sistem za skladištenje sa 10x DC1000M U.2 NVMe 7.68 TB. Izvor: Kingston

Kao primjer sistema za skladištenje za HPC aplikacije, Kingston je na Supercomputing 2019 predstavio reck rešenje sa 10 DC1000M U.2 NVMe drajvova, svaki kapaciteta 7.68 TB. Sistem za skladištenje je baziran na SB122A-PH, 1U form faktor platformi iz AIC-a. Procesori: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Broj dela: KSM24RS4/16HAI). Instalirani OS je Ubuntu 18.04.3 LTS, Linux kernel verzija 5.0.0-31. Gfio v3.13 test (Flexible I/O tester) pokazao je performanse čitanja od 5.8 miliona IOPS sa propusnošću od 23.8 Gbps.

Predstavljeni sistem skladištenja pokazao je impresivne karakteristike u smislu stabilnog očitavanja od 5,8 miliona IOPS (ulazno-izlaznih operacija u sekundi). Ovo je dva reda veličine brže od SSD-a za sisteme masovnog tržišta. Ova brzina čitanja je potrebna za HPC aplikacije koje rade na specijalizovanim procesorima.

Cloud computing HPC sa privatnom pohranom u Rusiji

Zadatak obavljanja računarstva visokih performansi kod provajdera, ali fizičkog skladištenja lokalnih podataka, takođe je relevantan za ruske kompanije. Još jedan uobičajen slučaj u domaćem poslovanju je kada se prilikom korištenja stranih cloud servisa podaci moraju nalaziti na teritoriji Ruske Federacije. Zamolili smo za komentar ovih situacija u ime cloud provajdera Selectel kao dugogodišnjeg partnera Kingstona.

„U Rusiji je moguće izgraditi sličnu arhitekturu, sa servisom na ruskom jeziku i svim izvještajnim dokumentima za računovodstveno odjeljenje klijenta. Ako kompanija treba da obavlja računarstvo visokih performansi koristeći on-premises sisteme za skladištenje podataka, mi u Selectel iznajmljujemo servere sa procesorima različitih tipova, uključujući FPGA, GPU ili višejezgarni procesori. Osim toga, preko partnera organiziramo postavljanje namjenskog optičkog kanala između klijentovog ureda i našeg podatkovnog centra“, komentira Aleksandar Tugov, direktor razvoja usluga u Selectelu. — Klijent takođe može da postavi svoj sistem skladištenja na kolokaciju u računarskoj sobi sa posebnim režimom pristupa i pokreće aplikacije kako na našim serverima tako i u oblacima globalnih provajdera AWS, MS Azure, Google Cloud. Naravno, kašnjenje signala u potonjem slučaju će biti veće nego da se klijentov sistem za skladištenje nalazi u SAD-u, ali će biti obezbeđena širokopojasna multi-cloud veza.”

U sljedećem članku ćemo govoriti o još jednom Kingston rješenju koje je predstavljeno na izložbi Supercomputing 2019 (Denver, Colorado, SAD) i namijenjeno je aplikacijama za strojno učenje i analizi velikih podataka pomoću GPU-a. Ovo je GPUDirect Storage tehnologija, koja omogućava direktan prijenos podataka između NVMe skladišta i memorije GPU procesora. Pored toga, objasnićemo kako smo uspeli da postignemo brzinu čitanja podataka od 5.8 miliona IOPS u rack sistemu za skladištenje na NVMe diskovima.

Za više informacija o proizvodima Kingston Technology, kontaktirajte: Stranica kompanije.

izvor: www.habr.com