Imagineu que esteu llançant un negoci mèdic innovador: selecció individual de fàrmacs basada en l'anàlisi del genoma humà. Cada pacient té 3 milions de parells de gens i un servidor normal amb processadors x86 trigarà diversos dies a calcular-se. Ja sabeu que podeu accelerar el procés en un servidor amb un processador FPGA que paral·lelitzi els càlculs a través de milers de fils. Completarà el càlcul del genoma en aproximadament una hora. Aquests servidors es poden llogar a Amazon Web Services (AWS). Però aquí està la cosa: el client, l'hospital, està categòricament en contra de col·locar dades genètiques al núvol del proveïdor. Que hauria de fer? Kingston i la startup del núvol van mostrar l'arquitectura a l'exposició Supercomputing-2019 , que resol aquest problema.
![[Supercomputació 2019]. Emmagatzematge multinúvol com a àrea d'aplicació de les noves unitats Kingston DC1000M](https://prohoster.info/wp-content/plugins/wp-fastest-cache-premium/pro/images/blank.gif)
Tres condicions per a la informàtica d'alt rendiment
El càlcul del genoma humà no és l'única tasca en el camp de la informàtica d'alt rendiment (HPC, High Performance Computing). Els científics calculen camps físics, els enginyers calculen peces d'avions, els financers calculen models econòmics i junts analitzen grans dades, construeixen xarxes neuronals i fan molts altres càlculs complexos.
Les tres condicions de l'HPC són una enorme potència de càlcul, un emmagatzematge molt gran i ràpid i un alt rendiment de xarxa. Per tant, la pràctica estàndard per realitzar càlculs de LPC és al centre de dades de l'empresa (local) o a un proveïdor al núvol.
Però no totes les empreses tenen els seus propis centres de dades, i les que en tenen sovint són inferiors als centres de dades comercials pel que fa a l'eficiència dels recursos (es requereixen despeses de capital per comprar i actualitzar maquinari i programari, pagar personal altament qualificat, etc.). Els proveïdors de núvol, per contra, ofereixen recursos informàtics segons el model de costos operatius “Pay-as-you-go”, és a dir. el lloguer només es cobra pel període d'ús. Quan s'han completat els càlculs, els servidors es poden eliminar del compte, estalviant així pressupostos informàtics. Però si hi ha una prohibició legislativa o corporativa sobre la transferència de dades al proveïdor, la informàtica HPC al núvol no està disponible.
Emmagatzematge privat MultiCloud
L'arquitectura d'emmagatzematge privat MultiCloud està dissenyada per proporcionar accés als serveis al núvol mentre es deixa físicament les dades al lloc de l'empresa o en un compartiment segur separat del centre de dades mitjançant un servei de col·locació. Essencialment, és un model de computació distribuïda centrat en dades on els servidors en núvol treballen amb sistemes d'emmagatzematge remot des d'un núvol privat. En conseqüència, utilitzant el mateix emmagatzematge de dades local, podeu treballar amb serveis al núvol dels proveïdors més grans: AWS, MS Azure, Google Cloud Platform, etc.
Mostrant un exemple de la implementació de PMCS a l'exposició Supercomputing-2019, Kingston va presentar una mostra d'un sistema d'emmagatzematge de dades (SSD) d'alt rendiment basat en unitats SSD DC1000M, i una de les startups al núvol va presentar el programari de gestió StorOne S1 per a programari. emmagatzematge definit i canals de comunicació dedicats amb els principals proveïdors de núvol.
Cal assenyalar que PMCS, com a model de treball de computació en núvol amb emmagatzematge privat, està dissenyat per al mercat nord-americà amb la connectivitat de xarxa desenvolupada entre centres de dades que és compatible amb la infraestructura d'AT&T i Equinix. Així, el ping entre un sistema d'emmagatzematge de col·locació en qualsevol node Equinix Cloud Exchange i el núvol AWS és inferior a 1 mil·lisegon (font: ).
En la demostració de l'arquitectura PMCS que es mostra a l'exposició, el sistema d'emmagatzematge dels discos DC1000M NVMe es va localitzar en col·locació i es van instal·lar màquines virtuals als núvols AWS, MS Azure i Google Cloud Platform, que es van fer ping entre si. L'aplicació client-servidor va treballar de forma remota amb el sistema d'emmagatzematge Kingston i els servidors HP DL380 al centre de dades i, a través de la infraestructura del canal de comunicació Equinix, va accedir a les plataformes en núvol dels principals proveïdors esmentats anteriorment.
Diapositiva de la presentació de Private MultiCloud Storage a l'exposició Supercomputing-2019. Font: Kingston
El programari de funcionalitat similar per a la gestió de l'arquitectura d'emmagatzematge multinúvol privat és ofert per diferents empreses. Els termes d'aquesta arquitectura també poden sonar de manera diferent: emmagatzematge privat multicloud o emmagatzematge privat per al núvol.
"Els superordinadors actuals executen una varietat d'aplicacions HPC que estan a l'avantguarda dels avenços, des de l'exploració de petroli i gas fins a la previsió meteorològica, els mercats financers i el desenvolupament de noves tecnologies", va dir Keith Schimmenti, gerent de gestió de SSD empresarial a Kingston. "Aquestes aplicacions HPC requereixen una correspondència molt més gran entre el rendiment del processador i la velocitat d'E/S. Estem orgullosos de compartir com les solucions de Kingston ajuden a aconseguir avenços en informàtica, oferint el rendiment necessari als entorns informàtics i aplicacions més extrems del món".
Unitat DC1000M i un exemple de sistema d'emmagatzematge basat en ella
El SSD DC1000M U.2 NVMe està dissenyat per Kingston per al centre de dades i està dissenyat específicament per a aplicacions d'HPC i de gran intensitat de dades, com ara aplicacions d'intel·ligència artificial (AI) i aprenentatge automàtic (ML).
Unitat DC1000M U.2 NVMe de 3.84 TB. Font: Kingston
Les unitats DC1000M U.2 es basen en memòria Intel 96D NAND de 3 capes, controlada per un controlador Silicon Motion SM2270 (PCIe 3.0 i NVMe 3.0). El Silicon Motion SM2270 és un controlador NVMe empresarial de 16 carrils amb interfície PCIe 3.0 x8, bus de dades DRAM de 32 bits dual i tres processadors duals ARM Cortex R5.
S'ofereixen DC1000M de diferents capacitats per al llançament: de 0.96 a 7.68 TB (es creu que les capacitats més populars són 3.84 i 7.68 TB). El rendiment de la unitat s'estima en 800 mil IOPS.
Sistema d'emmagatzematge amb 10x DC1000M U.2 NVMe 7.68 TB. Font: Kingston
Com a exemple de sistema d'emmagatzematge per a aplicacions HPC, Kingston va presentar a Supercomputing 2019 una solució de bastidor amb 10 unitats NVMe DC1000M U.2, cadascuna amb una capacitat de 7.68 TB. El sistema d'emmagatzematge es basa en l'SB122A-PH, una plataforma de factor de forma 1U d'AIC. Processadors: 2 CPU Intel Xeon E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (número de peça: KSM24RS4/16HAI). El sistema operatiu instal·lat és Ubuntu 18.04.3 LTS, Linux kernel ver 5.0.0-31. La prova gfio v3.13 (provador d'E/S flexible) va mostrar un rendiment de lectura de 5.8 milions d'IOPS amb un rendiment de 23.8 Gbps.
El sistema d'emmagatzematge presentat va mostrar característiques impressionants en termes de lectura estable de 5,8 milions d'IOPS (operacions d'entrada-sortida per segon). Això és dos ordres de magnitud més ràpid que els SSD per a sistemes de mercat massiu. Aquesta velocitat de lectura és necessària per a les aplicacions HPC que s'executen en processadors especialitzats.
Cloud computing HPC amb emmagatzematge privat a Rússia
La tasca de realitzar informàtica d'alt rendiment al proveïdor, però emmagatzemar físicament dades a les instal·lacions, també és rellevant per a les empreses russes. Un altre cas comú a les empreses nacionals és quan, quan s'utilitzen serveis al núvol estrangers, les dades s'han d'ubicar al territori de la Federació Russa. Vam demanar comentaris sobre aquestes situacions en nom del proveïdor de núvols Selectel com a soci de llarga data de Kingston.
"A Rússia, és possible construir una arquitectura similar, amb servei en rus i tots els documents d'informes per al departament de comptabilitat del client. Si una empresa necessita realitzar una informàtica d'alt rendiment mitjançant sistemes d'emmagatzematge locals, a Selectel lloguem servidors amb processadors de diversos tipus, inclosos , o CPU multinucli. A més, a través de socis, organitzem la col·locació d'un canal òptic dedicat entre l'oficina del client i el nostre centre de dades", comenta Alexander Tugov, director de desenvolupament de serveis de Selectel. — El client també pot col·locar el seu sistema d'emmagatzematge en col·locació en una sala d'ordinadors amb un mode d'accés especial i executar aplicacions tant als nostres servidors com als núvols dels proveïdors globals AWS, MS Azure, Google Cloud. Per descomptat, el retard del senyal en aquest últim cas serà més gran que si el sistema d'emmagatzematge del client estigués situat als EUA, però es proporcionarà una connexió multinúvol de banda ampla".
En el proper article parlarem d'una altra solució de Kingston, que es va presentar a l'exposició Supercomputing 2019 (Denver, Colorado, EUA) i està pensada per a aplicacions d'aprenentatge automàtic i anàlisi de big data mitjançant GPU. Es tracta de la tecnologia GPUDirect Storage, que proporciona transferència directa de dades entre l'emmagatzematge NVMe i la memòria del processador GPU. I a més, explicarem com hem aconseguit aconseguir una velocitat de lectura de dades de 5.8 milions d'IOPS en un sistema d'emmagatzematge en bastidor en discs NVMe.
Per obtenir més informació sobre els productes de Kingston Technology, visiteu .
Font: www.habr.com