Argumentem a fons que l'OceanStor Dorado 18000 V6 és un sistema d'emmagatzematge de dades de gamma alta amb una reserva decent per als propers anys. Al mateix temps, eliminem les preocupacions habituals sobre l'emmagatzematge All-Flash i mostrem com Huawei en treu el màxim profit: NVMe d'extrem a extrem, memòria cau addicional a SCM i un munt d'altres solucions.
Nou panorama de dades: nou emmagatzematge de dades
La intensitat de les dades està augmentant en tots els sectors. I el sector bancari n'és una clara il·lustració. En els últims anys, el nombre de transaccions bancàries s'ha multiplicat per més de deu. Com es mostra , només a Rússia, en el període del 2010 al 2018, el nombre de transaccions sense efectiu amb targetes de plàstic va mostrar un augment de més de trenta vegades: de 5,8 a 172 per persona i any. La qüestió és principalment sobre el triomf dels micropagaments: la majoria de nosaltres ens hem familiaritzat amb la banca en línia i ara tenim el banc al nostre abast, als nostres telèfons.
La infraestructura informàtica d'una entitat de crèdit ha d'estar preparada per a aquest repte. I això és realment un repte. Entre altres coses, si abans el banc necessitava garantir la disponibilitat de les dades només durant el seu horari comercial, ara ha d'estar disponible les 24 hores del dia. Fins fa poc, 7 ms es consideraven un estàndard de latència acceptable, però què? Ara fins i tot 5 ms és massa. Per a un sistema d'emmagatzematge modern, el valor objectiu és de 1 ms.
El mateix passa amb la fiabilitat: a la dècada de 2010, es va formar una comprensió empírica que n'hi ha prou per portar el seu nivell a "cinc desenes" - 99,999%. És cert que aquesta comprensió ha quedat obsoleta. El 2020, és absolutament normal que les empreses demanin un 99,9999% per a l'emmagatzematge i un 99,99999% per a la solució d'arquitectura global. I això no és un caprici, sinó una necessitat urgent: o no hi ha una finestra temporal per al manteniment de la infraestructura, o és petita.
Per a més claredat, és convenient projectar aquests indicadors al pla dels diners. La manera més senzilla és utilitzar l'exemple de les organitzacions financeres. El gràfic anterior mostra quant guanya per hora cadascun dels 10 bancs principals del món. Només per al Banc Industrial i Comercial de la Xina, això no és menys de 5 milions de dòlars. Això és exactament el que costaria una hora d'inactivitat de la infraestructura informàtica de l'entitat de crèdit més gran de la Xina (i el càlcul només té en compte la pèrdua de beneficis!). Des d'aquesta perspectiva, és evident que la reducció del temps d'inactivitat i l'augment de la fiabilitat, no només en un petit percentatge, sinó fins i tot en una fracció d'un percentatge, estan completament justificats. No només per raons d'augment de la competitivitat, sinó també simplement per mantenir les posicions de mercat.
S'estan produint canvis comparables en altres indústries. Per exemple, en el transport aeri: abans de la pandèmia, el viatge aeri només guanyava impuls any rere any, i molts van començar a utilitzar-lo gairebé com un taxi. Pel que fa als patrons de consum, l'hàbit de la disponibilitat total dels serveis ha arrelat a la societat: a l'arribada a l'aeroport necessitem connexió Wi-Fi, accés a serveis de pagament, un mapa de la zona, etc. La càrrega en infraestructures i serveis a l'espai públic ha augmentat moltes vegades. I aquells enfocaments de la infraestructura i la construcció que consideràvem acceptables fins i tot fa un any s'estan convertint ràpidament en desfasament.
És massa aviat per canviar a All-Flash?
Per resoldre els problemes esmentats anteriorment, pel que fa al rendiment, les AFA (matrius totalment flash, és a dir, matrius completament construïdes en flash) són la millor opció. Fins fa poc encara hi havia dubtes sobre si eren comparables en fiabilitat als muntats a partir de HDD i híbrids. Després de tot, la memòria flash d'estat sòlid té una mètrica anomenada temps mitjà entre errors o MTBF (temps mitjà entre errors). La degradació cel·lular a causa de les operacions d'E/S és, per desgràcia, un fet.
Així, les perspectives d'All-Flash es van enfosquir per la qüestió de com prevenir la pèrdua de dades si el SSD mor. La còpia de seguretat és una opció habitual, però el temps de recuperació seria inacceptablement llarg segons els requisits moderns. Una altra manera de sortir és configurar un segon nivell d'emmagatzematge a les unitats del cargol, però amb aquest esquema es perden alguns dels avantatges d'un sistema "estrictament flash".
Tanmateix, les xifres diuen el contrari: les estadístiques dels gegants de l'economia digital, inclòs Google, en els darrers anys mostren que el flaix és moltes vegades més fiable que els discs durs. A més, tant durant un període curt de temps com durant un període llarg: de mitjana, passen quatre o sis anys abans que les unitats flash fallin. Pel que fa a la fiabilitat de l'emmagatzematge de dades, no són de cap manera inferiors a les unitats dels discs magnètics del cargol, i fins i tot els superen.
Un altre argument tradicional a favor de les unitats de cargol és la seva assequibilitat. No hi ha dubte que el cost d'emmagatzemar un terabyte en un disc dur encara és relativament baix. I si només es tenen en compte els costos del maquinari, és més barat emmagatzemar un terabyte en una unitat d'eix que en un SSD. Tanmateix, en el context de la planificació financera, no només importa quant es va comprar un dispositiu en particular, sinó també quin és el cost total de tenir-lo durant molt de temps, de tres a set anys.
Des d'aquest angle, tot és completament diferent. Encara que traiem la deduplicació i la compressió, que s'utilitzen habitualment en matrius de flaix i fan que el seu funcionament sigui més rendible econòmicament, es mantenen característiques com l'espai ocupat pels mitjans al bastidor, la dissipació de calor i el consum d'energia. I segons ells, el flush supera els seus predecessors. Com a resultat, el TCO dels sistemes d'emmagatzematge flash, tenint en compte tots els paràmetres, sovint és gairebé la meitat més baix que en el cas de les matrius en unitats d'eix o híbrids.
Segons els informes de l'agència ESG, als sistemes d'emmagatzematge All-Flash Dorado V6 és possible aconseguir una reducció del cost de propietat de fins a un 78% en un interval de cinc anys, inclòs mitjançant la deduplicació i la compressió efectives i a causa de la baixa potència. consum i dissipació de calor. L'empresa analítica alemanya DCIG també els recomana per al seu ús com els òptims disponibles actualment en termes de TCO.
L'ús d'unitats d'estat sòlid permet estalviar espai utilitzable, reduir el nombre de fallades, reduir el temps de manteniment de la solució i reduir el consum d'energia i la dissipació de calor dels sistemes d'emmagatzematge. I resulta que l'AFA és, almenys econòmicament, comparable a les matrius tradicionals de les unitats del cargol, i sovint les supera.
Escalada real de Huawei
Entre els nostres emmagatzematges All-Flash, el primer lloc pertany al sistema d'alta gamma OceanStor Dorado 18000 V6. I no només entre nosaltres: en el conjunt de la indústria, té el rècord de velocitat: fins a 20 milions d'IPOS en la configuració màxima. A més, és extremadament fiable: fins i tot si dos controladors volen alhora, o fins a set controladors un darrere l'altre, o un motor sencer alhora, les dades sobreviuran. La intel·ligència artificial incorporada proporciona avantatges considerables al "divuitmilè", inclosa la flexibilitat en la gestió dels processos interns. A veure com s'aconsegueix tot això.
En gran mesura, Huawei té un avantatge perquè és l'únic fabricant del mercat que fa per si mateix sistemes d'emmagatzematge de dades, completament i completament. Tenim els nostres propis circuits, el nostre propi microcodi i el nostre propi servei.
El controlador dels sistemes OceanStor Dorado es basa en un processador de disseny i producció propis de Huawei: Kunpeng 920. Utilitza el controlador de gestió de placa base intel·ligent (iBMC), també el nostre. Els xips d'IA, és a dir, Ascend 310, que optimitzen les prediccions de fallades i fan recomanacions sobre la configuració, també són de Huawei, igual que les plaques d'E/S: el mòdul Smart I/O. Finalment, els controladors de les unitats d'estat sòlid es dissenyen i es fabriquen a casa. Tot això va servir de base per fer una solució integralment equilibrada i d'alt rendiment.
Durant l'últim any, hem implementat un projecte per implementar aquest, el nostre sistema d'emmagatzematge de primera línia, en un dels grans bancs russos. Com a resultat, més de 40 unitats d'OceanStor Dorado 18000 V6 al clúster de metro mostren un rendiment estable: es poden eliminar més d'un milió d'IOPS de cada sistema, i això té en compte els retards deguts a la distància.
NVMe d'extrem a extrem
Els últims sistemes d'emmagatzematge de Huawei admeten NVMe d'extrem a extrem, cosa en què ens centrem per un motiu. Els protocols d'accés a l'emmagatzematge utilitzats tradicionalment es van desenvolupar en els dies de la informàtica: es basen en ordres SCSI (hola, anys 1980!), que impliquen moltes funcions per garantir la compatibilitat enrere. Sigui quin sigui el mètode d'accés que trieu, la sobrecàrrega del protocol en aquest cas és colossal. Com a resultat, per als dispositius d'emmagatzematge que utilitzen protocols basats en SCSI, la latència d'E/S no pot ser inferior a 0,4-0,5 ms. Al seu torn, al ser un protocol creat per funcionar amb memòria flaix i alliberat de crosses per la notòria compatibilitat enrere, NVMe - Non-Volatile Memory Express - redueix la latència a 0,1 ms, i no al sistema d'emmagatzematge, sinó a tot el sistema. pila, de l'amfitrió a les unitats. No és estrany que NVMe estigui en línia amb les tendències de desenvolupament dels emmagatzematges de dades en el futur previsible. Nosaltres també hem apostat per NVMe i a poc a poc ens allunyem de SCSI. Tots els sistemes d'emmagatzematge de Huawei produïts avui, inclosa la línia Dorado, admeten NVMe (no obstant això, com a extrem a extrem només s'implementa als models avançats de la sèrie Dorado V6).
FlashLink: un grapat de tecnologies
La tecnologia fonamental per a tota la línia OceanStor Dorado és FlashLink. Més concretament, és un terme que combina un conjunt integral de tecnologies que serveixen per garantir un alt rendiment i fiabilitat. Això inclou tecnologies de deduplicació i compressió, el funcionament del sistema de distribució de dades RAID 2.0+, la separació de dades "fredes" i "calentes", l'enregistrament de dades seqüencials de tota banda (els registres aleatoris, amb dades noves i modificades, s'agreguen en un pila gran i escrites seqüencialment, la qual cosa augmenta la velocitat de lectura-escriptura).
Entre altres coses, FlashLink inclou dos components importants: Wear Leveling i Global Garbage Collection. Val la pena pensar-hi per separat.
De fet, qualsevol unitat d'estat sòlid és un sistema d'emmagatzematge en miniatura, amb un gran nombre de blocs i un controlador que garanteix la disponibilitat de dades. I està assegurat, entre altres coses, pel fet que les dades de les cèl·lules "assassinades" es transfereixen a les "no assassinades". Això garanteix que es puguin llegir. Hi ha diversos algorismes per a aquesta transferència. En general, el controlador intenta equilibrar el desgast de totes les cel·les d'emmagatzematge. Aquest enfocament té un inconvenient. Quan les dades es mouen dins de l'SSD, el nombre d'operacions d'E/S que realitza es redueix dràsticament. De moment és un mal necessari.
Així, si un sistema té moltes unitats d'estat sòlid, el seu gràfic de rendiment mostrarà un patró de "dents de serra", amb pujades i baixades pronunciades. El problema és que qualsevol unitat del grup pot iniciar la migració de dades en qualsevol moment i el rendiment general s'elimina simultàniament de tots els SSD de la matriu. Però els enginyers de Huawei van descobrir com evitar la "serra".
Afortunadament, els controladors de les unitats, el controlador d'emmagatzematge i el microcodi són originaris de Huawei; aquests processos de l'OceanStor Dorado 18000 V6 es llancen de manera centralitzada, de manera sincrònica a totes les unitats de la matriu. A més, a les ordres del controlador d'emmagatzematge i precisament quan no hi ha una gran càrrega d'E/S.
El xip d'intel·ligència artificial també participa en l'elecció del moment adequat per transferir dades: a partir de les estadístiques de sol·licituds dels mesos anteriors, és capaç de predir amb la major probabilitat si s'espera una E/S activa en un futur proper, i si la resposta és negativa i la càrrega del sistema en aquest moment és petita, aleshores el controlador comanda totes les unitats: els que necessiten Wear Leveling ho haurien de fer alhora i de manera sincrònica.
A més, el controlador del sistema veu què passa a cada cel·la d'emmagatzematge, a diferència dels sistemes d'emmagatzematge dels fabricants competidors: es veuen obligats a comprar suports d'estat sòlid de proveïdors de tercers, per la qual cosa els detalls a nivell de cèl·lula no estan disponibles per als controladors. d'aquests magatzems.
Com a resultat, l'OceanStor Dorado 18000 V6 té un període molt curt de pèrdua de rendiment durant l'operació de Wear Leveling, i es realitza principalment quan no interfereix amb cap altre procés. Això ofereix un rendiment alt i estable de manera continuada.
Què fa que l'OceanStor Dorado 18000 V6 sigui fiable?
Els sistemes moderns d'emmagatzematge de dades tenen quatre nivells de fiabilitat:
- maquinari, a nivell de la unitat;
- arquitectònic, a nivell d'equipament;
- arquitectònic juntament amb la part de programari;
- acumulativa, relativa al conjunt de la decisió.
Com que, recordem-ho, la nostra empresa dissenya i produeix tots els components del sistema d'emmagatzematge en si mateix, ens assegurem la fiabilitat a cadascun dels quatre nivells, amb la possibilitat de controlar a fons el que està passant en quin d'ells en aquest moment.
La fiabilitat de les unitats està garantida principalment pel Wear Leveling i Global Garbage Collection descrits anteriorment. Quan un SSD sembla una caixa negra per al sistema, no té ni idea de com es desgasten exactament les cèl·lules que hi ha. Per a l'OceanStor Dorado 18000 V6, les unitats són transparents, cosa que permet un equilibri uniforme entre totes les unitats de la matriu. D'aquesta manera, és possible allargar significativament la vida útil dels SSD i garantir un alt nivell de fiabilitat del seu funcionament.
La fiabilitat de la unitat també es veu afectada per cèl·lules redundants addicionals. I juntament amb una simple reserva, el sistema d'emmagatzematge utilitza les anomenades cel·les DIF, que contenen sumas de control, així com codis addicionals que permeten protegir cada bloc d'un únic error, a més de la protecció a nivell de matriu RAID.
La clau de la fiabilitat arquitectònica és la solució SmartMatrix. En resum, es tracta de quatre controladors que es troben en un pla posterior passiu com a part d'un motor. Dos d'aquests motors, respectivament, amb vuit controladors, estan connectats a prestatges comuns amb unitats. Gràcies a SmartMatrix, encara que set de cada vuit controladors deixin de funcionar, es mantindrà l'accés a totes les dades, tant de lectura com d'escriptura. I si es perden sis de cada vuit controladors, fins i tot serà possible continuar amb les operacions de memòria cau.
Les plaques d'E/S del mateix pla posterior passiu estan disponibles per a tots els controladors, tant de front-end com de back-end. Amb aquest esquema de connexió de malla completa, independentment del que surti malament, l'accés a les unitats sempre es manté.
El més adequat és parlar de la fiabilitat d'una arquitectura en el context d'escenaris de fallada, contra els quals el sistema d'emmagatzematge de dades és capaç de proporcionar protecció.
L'emmagatzematge sobreviurà a la situació sense pèrdues si dos controladors "cauen", inclòs al mateix temps. Aquesta estabilitat s'aconsegueix pel fet que qualsevol bloc de memòria cau segurament té dues còpies més en diferents controladors, és a dir, en total existeix en tres còpies. A més, almenys un està en un motor diferent. Així, encara que tot el motor deixi de funcionar -amb els quatre controladors- es garanteix la conservació de tota la informació que hi havia a la memòria cau, ja que en almenys un controlador del motor restant es duplicarà la memòria cau. Finalment, amb una connexió en cadena, podeu perdre fins a set controladors, i fins i tot si s'eliminen en blocs de dos, i de nou es conservaran totes les E/S i totes les dades de la memòria cau.
En comparació amb l'emmagatzematge d'alta gamma d'altres fabricants, és evident que només Huawei ofereix una protecció de dades completa i una disponibilitat total fins i tot després de la mort de dos controladors o de tot el motor. La majoria de venedors utilitzen un esquema amb els anomenats parells de controladors als quals estan connectades les unitats. Malauradament, en aquesta configuració, si dos controladors fallen, hi ha el risc de perdre l'accés d'E/S a la unitat.
Per desgràcia, no es pot descartar objectivament la fallada d'un únic component. En aquest cas, el rendiment baixarà durant un temps: cal reconstruir els camins i reprendre l'accés per a les operacions d'E/S pel que fa als blocs que van venir per escriure, però encara no s'han escrit, o s'han sol·licitat lectura. L'OceanStor Dorado 18000 V6 té un temps mitjà de canvi de carril d'aproximadament un segon, molt menys que l'analògic més proper de la indústria (4 segons). Això s'aconsegueix gràcies al mateix backplay passiu: quan el controlador falla, els altres veuen immediatament la seva entrada-sortida, i en particular quin bloc de dades no s'ha registrat; Com a resultat, el controlador més proper recull el procés. D'aquí la capacitat de restaurar la productivitat literalment en un segon. Cal afegir que l'interval és estable: un segon per a un controlador, un segon per a un altre, etc.
A la placa posterior passiva OceanStor Dorado 18000 V6, totes les plaques són accessibles per a tots els controladors sense cap adreçament addicional. Això significa que qualsevol controlador és capaç de recollir E/S a qualsevol port. Sigui quin sigui el port d'interfície al qual arribi l'E/S, el controlador estarà preparat per processar-lo. Això es tradueix en un nombre mínim de transferències internes i una simplificació notable de l'equilibri.
L'equilibri frontal es realitza mitjançant el controlador de múltiples rutes i, a més, l'equilibri es realitza dins del propi sistema, ja que tots els controladors veuen tots els ports d'E/S.
Tradicionalment, totes les matrius Huawei estan dissenyades de manera que no tinguin un únic punt de fallada. Tots els components es poden intercanviar en calent sense reiniciar el sistema: controladors, mòduls d'alimentació, mòduls de refrigeració, plaques d'E/S, etc.
La tecnologia com RAID-TP també augmenta la fiabilitat del sistema en el seu conjunt. Aquest és el nom d'un grup RAID, que permet assegurar-se en cas de fallada simultània de fins a tres unitats. A més Una reconstrucció d'1 TB dura de manera constant menys de 30 minuts. El millor resultat enregistrat és vuit vegades més ràpid que amb la mateixa quantitat de dades en una unitat d'eix. Així, és possible utilitzar discs extremadament grans, per exemple 7,68 o fins i tot 15 TB, i no preocupar-se per la fiabilitat del sistema.
És important que la reconstrucció no es faci a la unitat de recanvi, sinó a l'espai de recanvi: la capacitat de reserva. Cada unitat té espai dedicat que s'utilitza per recuperar dades després d'un error. Per tant, la restauració no es realitza segons l'esquema "molts a un", sinó segons l'esquema "molts a molts", pel qual és possible accelerar significativament el procés. I mentre hi hagi capacitat lliure, la restauració pot continuar.
Per separat, val la pena esmentar la fiabilitat de la solució des de diversos emmagatzematges: en un clúster de metro o, segons la terminologia de Huawei, HyperMetro. Aquests esquemes són compatibles amb tota la gamma dels nostres sistemes d'emmagatzematge de dades i permeten treballar tant amb l'accés a fitxers com a blocs. A més, en bloc funciona tant mitjançant Fibre Channel com Ethernet (incloent iSCSI).
En essència, estem parlant de la replicació bidireccional d'un sistema d'emmagatzematge a un altre, en què el LUN replicat rep el mateix LUN-ID que el principal. La tecnologia funciona principalment a causa de la consistència de la memòria cau de dos sistemes diferents. Per tant, no hi ha cap diferència amb l'amfitrió de quin costat es troba: tant aquí com allà veu la mateixa unitat lògica. Com a resultat, res no us impedeix desplegar un clúster de failover repartit en dos llocs.
Per al quòrum, s'utilitza una màquina Linux física o virtual. Pot estar ubicat en un tercer lloc i els requisits dels seus recursos són petits. Un escenari comú és llogar un lloc virtual només per allotjar una màquina virtual de quòrum.
La tecnologia també permet l'expansió: dues instal·lacions d'emmagatzematge en un clúster de metro, un lloc addicional amb replicació asíncrona.
Històricament, molts clients han format un "zoo d'emmagatzematge": un munt de sistemes d'emmagatzematge de diferents fabricants, diferents models, diferents generacions, amb diferents funcionalitats. Al mateix temps, el nombre d'amfitrions pot ser impressionant i sovint es virtualitzen. En aquestes condicions, una de les tasques prioritàries de l'administració és proporcionar de manera ràpida, uniforme i còmoda els discos lògics als amfitrions, preferiblement sense aprofundir en on es troben físicament aquests discos. Per això està dissenyada la nostra solució de programari OceanStor DJ, que pot gestionar de manera unificada diversos sistemes d'emmagatzematge de dades i proporcionar-ne serveis sense estar lligat a un model d'emmagatzematge específic.
El mateix amb la IA
Com ja s'ha esmentat, l'OceanStor Dorado 18000 V6 té processadors integrats amb algorismes d'intel·ligència artificial: Ascend. S'utilitzen, en primer lloc, per predir errors i, en segon lloc, per generar recomanacions de configuració, la qual cosa també augmenta el rendiment i la fiabilitat de l'emmagatzematge.
L'horitzó de predicció és de dos mesos: el motor d'IA assumeix què passarà molt probablement durant aquest temps, si és el moment de fer una ampliació, canviar les polítiques d'accés, etc. Les recomanacions s'emeten amb antelació, la qual cosa permet programar finestres per manteniment del sistema amb antelació.
La següent etapa en el desenvolupament de la IA de Huawei consisteix a portar-la a nivell global. Durant el manteniment del servei (gestió d'errors o recomanacions), Huawei agrega informació dels sistemes de registre de totes les instal·lacions d'emmagatzematge dels nostres clients. A partir del que es recull, es fa una anàlisi dels errors ocorreguts o potencialment possibles i es fan recomanacions globals, no basades en el funcionament d'un sistema d'emmagatzematge específic o fins i tot en una dotzena, sinó en el que està passant i ha passat amb milers d'aquests dispositius. . La mostra és enorme i, a partir d'ella, els algorismes d'IA comencen a aprendre molt ràpidament, per això la precisió de les prediccions augmenta significativament.
Compatibilitat
El 2019-2020, hi va haver moltes insinuacions sobre la interacció del nostre equip amb els productes VMware. Per aturar-los finalment, declarem de manera responsable: VMware és soci de Huawei. Es van realitzar totes les proves imaginables per determinar la compatibilitat del nostre maquinari amb el seu programari i, com a resultat, a la pàgina web de VMware, el full de compatibilitat de maquinari enumera els sistemes d'emmagatzematge actualment disponibles de la nostra producció sense cap reserva. En altres paraules, amb l'entorn de programari VMware podeu utilitzar l'emmagatzematge de Huawei, inclòs Dorado V6, amb total suport.
El mateix passa amb la nostra col·laboració amb Brocade. Continuem col·laborant i provant la compatibilitat dels nostres productes, i basant-nos en els seus resultats, podem afirmar amb confiança que els nostres sistemes d'emmagatzematge són totalment compatibles amb els darrers commutadors Brocade FC.
Què serà el següent?
Continuem desenvolupant i millorant els nostres processadors: són més ràpids, més fiables i el seu rendiment augmenta. També estem millorant els xips d'IA: s'estan produint mòduls sobre la base que acceleren la deduplicació i la compressió. Qui tingui accés al nostre configurador potser s'ha adonat que en els models Dorado V6 aquestes targetes ja estan disponibles per encàrrec.
També estem avançant cap a una memòria cau addicional a la memòria de classe d'emmagatzematge: memòria no volàtil amb una latència especialment baixa, uns deu microsegons per lectura. Entre altres coses, SCM proporciona un augment del rendiment, principalment quan es treballa amb grans dades i es resol problemes OLTP. Després de la propera actualització, les targetes SCM haurien d'estar disponibles per a la comanda.
I, per descomptat, la funcionalitat d'accés a fitxers s'ampliarà a tota la gamma de models d'emmagatzematge de dades de Huawei; estigueu atents a les nostres actualitzacions.
Font: www.habr.com