Argomentiamo in dettaglio perché OceanStor Dorado 18000 V6 rappresenta veramente un sistema di archiviazione dati di fascia alta con un solido margine per i prossimi anni. Nel contempo, sfatiamo le comuni preoccupazioni relative agli storage All-Flash e mostriamo come Huawei ne ricavi il massimo: NVMe end-to-end, ulteriore caching su SCM e un'intera serie di altre soluzioni.
Nuovo panorama dati — nuova archiviazione dati
L'intensità del lavoro con i dati sta aumentando in tutti i settori. E il settore bancario ne è la più evidente illustrazione. Negli ultimi anni, il numero delle transazioni bancarie è aumentato di oltre dieci volte. Come dimostra , solo in Russia, tra il 2010 e il 2018, il numero delle transazioni senza contante con carte plastiche ha mostrato una crescita di oltre trenta volte — da 5,8 a 172 per persona all'anno. Il merito è soprattutto ai micropagamenti: la maggior parte di noi si è abituata all'online banking e ora abbiamo la banca a portata di mano — nel telefono.
L'infrastruttura IT di un'istituzione finanziaria deve essere pronta a tale sfida. E questa è davvero una sfida. Oltre a tutto, se prima la banca doveva garantire l'accesso ai dati solo durante il proprio orario lavorativo, adesso è 24/7. Solo recentemente 5 ms erano considerati un ritardo accettabile, e adesso? Anche 1 ms è troppo. Per un moderno sistema di archiviazione dati, il valore obiettivo è 0,5 ms.
Lo stesso vale per l'affidabilità: negli anni 2010 si era formata una comprensione empirica secondo cui era sufficiente portare il suo livello a "cinquanta" — 99,999%. Tuttavia, questa comprensione è diventata obsoleta. Nel 2020, per le aziende è del tutto normale richiedere 99,9999% per lo storage e 99,99999% per l'architettura in generale. E questo non è affatto un capriccio, ma una necessità urgente: o non c'è una finestra di tempo per la manutenzione dell'infrastruttura, o è estremamente ridotta.
Per una maggiore chiarezza, è utile proiettare queste metriche sul piano del denaro. Il modo più semplice è attraverso l'esempio delle istituzioni finanziarie. Nel diagramma sopra è indicato quanto guadagna ogni ora ciascuna delle prime 10 banche mondiali. La sola Industrial and Commercial Bank of China guadagna ben $5 milioni. Esattamente quanto costerebbe un'ora di inattività dell'infrastruttura IT della più grande banca del paese (dove è calcolato solo il profitto perso!). In questa prospettiva, è chiaro che ridurre il downtime e migliorare l'affidabilità è pienamente giustificato, non solo per ragioni di competitività, ma anche semplicemente per mantenere le posizioni di mercato.
Cambiamenti simili avvengono in altre industrie. Ad esempio, nel trasporto aereo: prima della pandemia, il traffico aereo aumentava anno dopo anno, e molti lo utilizzavano quasi come un taxi. Per quanto riguarda i modelli di consumo, nella società si è radicata l'abitudine alla totale accessibilità dei servizi: all'arrivo in aeroporto, abbiamo bisogno di un collegamento Wi-Fi, accesso ai servizi di pagamento, alla mappa del luogo, ecc. Di conseguenza, il carico sulle infrastrutture e sui servizi negli spazi pubblici è aumentato esponenzialmente. E quegli approcci alla costruzione delle infrastrutture che consideravamo accettabili anche solo un anno fa stanno rapidamente diventando obsoleti.
Non è troppo presto per passare a All-Flash?
Per risolvere le problematiche sopra menzionate, in termini di prestazioni, le AFA - all-flash arrays, cioè gli array completamente basati su flash, sono le più adatte. Solo fino a poco tempo fa persistevano dubbi riguardo alla loro affidabilità rispetto a quelli basati su HDD e ai ibridi. In fin dei conti, la memoria flash solida ha un indicatore come la media del tempo di funzionamento tra guasti, o MTBF (mean time between failures). La degradazione delle celle a causa delle operazioni di input-output è, purtroppo, una realtà.
Quindi le prospettive di All-Flash erano offuscate dalla questione di come prevenire la perdita di dati nel caso in cui l'SSD smettesse di funzionare. Il backup è un'opzione consueta, solo che il tempo di recupero sarebbe inaccettabilmente lungo secondo le esigenze moderne. Un'altra soluzione sarebbe quella di stabilire un secondo livello di archiviazione su unità a disco, ma con questo schema si perdono alcuni dei vantaggi del sistema "strettamente flash."
Tuttavia i numeri dicono il contrario: le statistiche dei giganti dell'economia digitale, incluso Google, negli ultimi anni dimostrano che la memoria flash è molte volte più affidabile rispetto ai dischi rigidi. Infatti, sia nel breve che nel lungo termine: mediamente, i dispositivi flash iniziano a guastarsi dopo quattro-sei anni. In termini di affidabilità nell'archiviazione dei dati, non sono in alcun modo inferiori alle unità a disco magnetico e talvolta le superano.
Un altro argomento tradizionale a favore delle unità a disco è la loro accessibilità economica. È indiscutibile che il costo di archiviazione di un terabyte su un disco rigido rimane relativamente basso. E se si considerano solo i costi dell'attrezzatura, mantenere un terabyte su un'unità a disco è più economico rispetto a un'unità a stato solido. Tuttavia, nell'ottica della pianificazione finanziaria, è importante non solo il costo di acquisto del dispositivo specifico, ma anche qual è il costo totale di possesso a lungo termine — da tre a sette anni.
Da questo punto di vista, la questione cambia completamente. Anche escludendo la deduplica e la compressione, che di solito sono applicate alle unità flash e rendono la loro gestione più conveniente dal punto di vista economico, rimangono caratteristiche come lo spazio occupato nei rack, il calore dissipato e il consumo energetico. E su questi aspetti, la flash ha un vantaggio rispetto ai predecessori. Di conseguenza, il costo totale di possesso (TCO) dei sistemi di archiviazione basati su flash, tenendo conto di tutti i parametri, è spesso quasi la metà rispetto ai sistemi basati su unità a disco o ibridi.
Secondo i rapporti dell'agenzia ESG, nei sistemi di archiviazione dati All-Flash Dorado V6 è possibile ottenere una riduzione del costo totale di possesso fino al 78% in un intervallo di cinque anni, grazie a una deduplicazione e compressione efficaci e a un basso consumo energetico e calore emesso. Anche l'azienda di analisi tedesca DCIG li consiglia come i migliori in termini di TCO tra quelli disponibili oggi.
L'uso di unità a stato solido consente di risparmiare spazio utile, riduce il numero di guasti, accorcia i tempi di manutenzione della soluzione e diminuisce il consumo energetico e il calore emesso dai sistemi di archiviazione. Si scopre inoltre che l'AFA è almeno comparabile, dal punto di vista economico, alle tradizionali unità con dischi meccanici, superandole spesso.
Royal Flash di Huawei
Tra i nostri sistemi di archiviazione All-Flash, il posto principale spetta al sistema hi-end OceanStor Dorado 18000 V6. E non solo tra i nostri: detiene il record di velocità nell'intera industria, fino a 20 milioni di IPOS nella configurazione massima. Inoltre, è estremamente affidabile: anche se due controller dovessero guastarsi contemporaneamente, o fino a sette controller uno dopo l'altro, o addirittura un intero motore, i dati rimarranno intatti. I notevoli vantaggi del "diciottomila" sono forniti dall'IA incorporata, inclusa la flessibilità nella gestione dei processi interni. Scopriamo quindi come viene tutto ottenuto.
Il vantaggio significativo della Huawei deriva dal fatto che è l'unico produttore sul mercato a realizzare sistemi di archiviazione dati completamente in proprio. Abbiamo il nostro schema di progettazione, il nostro microcodice, il nostro servizio di assistenza.
Il controller nei sistemi OceanStor Dorado è costruito su un processore progettato e prodotto da Huawei, il Kunpeng 920. Utilizza un modulo di gestione chiamato Intelligent Baseboard Management Controller (iBMC), anch'esso di nostra produzione. I chip di IA, in particolare l'Ascend 310, ottimizzano le previsioni di guasto e forniscono raccomandazioni per le impostazioni; anche queste sono di Huawei, così come le schede di I/O — modulo Smart I/O. Infine, anche i controller nelle unità a stato solido sono progettati e fabbricati dalle nostre mani. Tutto ciò ha fornito una base per realizzare una soluzione integrata, bilanciata e ad alte prestazioni.
Nell'ultimo anno abbiamo realizzato un progetto per l'implementazione del nostro sistema di archiviazione di punta in una delle principali banche russe. Di conseguenza, oltre 40 unità OceanStor Dorado 18000 V6 in un metro-cluster mostrano prestazioni stabili: da ogni sistema è possibile ottenere oltre un milione di IOPS, tenendo conto dei ritardi causati dalla distanza.
NVMe end-to-end
I più recenti sistemi di archiviazione dati Huawei supportano NVMe end-to-end, su cui poniamo giustamente l'accento. I protocolli di accesso ai dispositivi di archiviazione, tradizionalmente utilizzati, furono sviluppati in un'era remota dell'IT: alla base ci sono i comandi SCSI (salve, anni '80!), che portano con sé un sacco di funzioni per garantire la retrocompatibilità. Qualunque metodo di accesso si prenda, l'overhead del protocollo in tal caso è colossale. Di conseguenza, per i sistemi di archiviazione che utilizzano protocolli basati su SCSI, il ritardo nell'input-output non può scendere sotto 0,4–0,5 ms. D'altra parte, essendo un protocollo creato per lavorare con la memoria flash e privo di ripieghi per l'ormai nota retrocompatibilità, NVMe — Non-Volatile Memory Express — riduce la latenza a 0,1 ms, non solo sugli sistemi di archiviazione, ma su tutto lo stack, dall'host ai dispositivi di archiviazione. Non sorprende che NVMe sia allineato alle tendenze di sviluppo degli archivi dati nel prossimo futuro. Abbiamo puntato su NVMe e ci stiamo lentamente allontanando da SCSI. Tutti i sistemi di archiviazione dati prodotti oggi da Huawei, inclusa la linea Dorado, supportano NVMe (anche se come end-to-end è implementato solo sui modelli di punta della serie Dorado V6).
FlashLink: un pugno di tecnologie
FlashLink è la tecnologia fondamentale per l'intera linea OceanStor Dorado. In effetti, è un termine che riunisce un insieme integrato di tecnologie destinate a garantire alte prestazioni e affidabilità. Comprende tecnologie di deduplica e compressione, funzionamento del sistema di distribuzione dati RAID 2.0+, suddivisione dei dati "freddi" e "caldi", scrittura sequenziale a strisce dei dati (le scritture casuali, con nuovi dati e dati modificati, vengono aggregate in un grande stack e scritte in sequenza, aumentando la velocità di lettura-scrittura).
Oltre a tutto ciò, FlashLink comprende due componenti importanti: Wear Leveling e Global Garbage Collection. Vale la pena soffermarsi su di esse.
In effetti, qualsiasi unità a stato solido è un sistema di archiviazione in miniatura, con un numero elevato di celle e un controller che garantisce la disponibilità dei dati. Questo è garantito anche grazie al fatto che i dati delle celle "danneggiate" vengono trasferiti in quelle "non danneggiate". In questo modo si assicura che possano essere letti. Esistono vari algoritmi per questo trasferimento. In generale, il controller cerca di bilanciare l'usura di tutte le celle dell'unità. Tuttavia, questo approccio ha uno svantaggio. Quando all'interno dell'SSD avviene il trasferimento dei dati, il numero di operazioni di input/output eseguite si riduce drasticamente. Attualmente, questo è un male inevitabile.
Pertanto, se nel sistema ci sono molte unità a stato solido, nel grafico delle sue prestazioni appare una "smerigliatrice", con ripide salite e discese. Il problema è che un'unica unità del pool può avviare la migrazione dei dati in qualsiasi momento, mentre le prestazioni complessive vengono misurate simultaneamente su tutti gli SSD dell'array. Tuttavia, gli ingegneri di Huawei hanno trovato il modo per evitare la formazione della "smerigliatrice".
Per fortuna, sia i controller nelle unità sia il controller di storage che il microcodice di Huawei sono "nativi"; questi processi nell'OceanStor Dorado 18000 V6 vengono avviati centralmente, in modo sincrono su tutte le unità dell'array. Inoltre, per comando del controller di storage e precisamente quando non c'è un grande carico di operazioni di input/output.
Il chip di intelligenza artificiale partecipa anche alla scelta del momento giusto per il trasferimento dei dati: sulla base delle statistiche delle richieste degli ultimi mesi, è in grado di prevedere con alta probabilità se ci sarà un'attività intensa di input/output a breve; e se la risposta è negativa e il carico di sistema al momento è basso, il controller ordina a tutte le unità: chi necessita di Wear Leveling, di eseguirlo in un colpo solo e in modo sincrono.
Inoltre, il controller del sistema vede cosa accade in ogni cella dell'unità, a differenza dei sistemi di storage dei produttori concorrenti: questi sono costretti ad acquistare unità a stato solido da fornitori esterni, il che rende la dettagliata informazione a livello di cella inaccessibile ai controller di questi sistemi.
Di conseguenza, OceanStor Dorado 18000 V6 ha un periodo molto breve di perdita di prestazioni durante le operazioni di Wear Leveling, che vengono eseguite principalmente quando non interferiscono con altri processi. Questo assicura prestazioni elevate e stabili su base continua.
Cosa compone l'affidabilità di OceanStor Dorado 18000 V6
Nei moderni sistemi di archiviazione dei dati si distinguono quattro livelli di affidabilità:
- hardware, a livello di disco;
- architettonico, a livello di attrezzatura;
- architettonico insieme alla parte software;
- complessivo, che si riferisce alla soluzione nel suo insieme.
Poiché, ricordiamo, tutti i componenti dello storage sono progettati e prodotti direttamente dalla nostra azienda, garantiamo l'affidabilità a ciascuno dei quattro livelli, con la possibilità di monitorare dettagliatamente cosa accade in ogni singolo momento.
L'affidabilità dei dischi è garantita principalmente dai già descritti Wear Leveling e Global Garbage Collection. Quando un SSD appare come una scatola nera per il sistema, non è in grado di sapere come le celle si usurano all'interno. Per OceanStor Dorado 18000 V6, i dischi sono trasparenti, permettendo una bilanciatura uniforme su tutti i dischi dell'array. In questo modo si prolunga significativamente la vita degli SSD e si assicura un alto livello di affidabilità nel loro funzionamento.
Inoltre, l'affidabilità del disco è influenzata da celle ridondanti aggiuntive al suo interno. Accanto a una semplice riserva, negli storages si utilizzano le cosiddette celle DIF, contenenti checksum e codici aggiuntivi che proteggono ogni blocco da singoli errori, oltre alla protezione a livello di array RAID.
La garanzia dell'affidabilità architettonica è fornita dalla soluzione SmartMatrix. In breve, si tratta di quattro controller che operano su un backplane passivo all'interno di un singolo motore. Due di questi motori, rispettivamente con otto controller, sono collegati a scaffali condivisi con i dischi. Grazie a SmartMatrix, anche se sette dei controller smettono di funzionare, l'accesso a tutti i dati rimane disponibile sia in lettura che in scrittura. E in caso di perdita di sei controller su otto, sarà ancora possibile continuare le operazioni di caching.
Le schede di ingresso/uscita su quel medesimo backplane passivo sono disponibili per tutti i controller, sia dal front-end che dal back-end. Con tale schema di connessione full-mesh, qualunque cosa possa guastarsi, l'accesso agli storage è sempre garantito.
È più appropriato parlare dell'affidabilità dell'architettura nel contesto delle opzioni di guasto, contro le quali il sistema di storage può fornire protezione.
Lo storage sopravvivrà senza perdite anche se "due controller" smettono di funzionare, compreso il caso in cui ciò avvenga simultaneamente. Tale resilienza è raggiunta grazie al fatto che ogni blocco di cache ha sempre altre due copie su diversi controller, quindi in totale esiste in tre copie. Inoltre, almeno una di esse si trova su un altro motore. Così, anche se un motore smette di funzionare completamente — con tutti e quattro i suoi controller — la conservazione di tutte le informazioni presenti nella cache è garantita, poiché almeno in un controller del motore rimanente la cache sarà duplicata. Infine, in una connessione sequenziale è possibile perdere fino a sette controller, e anche in caso di guasto in blocchi di due, — anche in questo caso verrà mantenuto tutto l'ingresso-uscita e tutti i dati dalla cache.
Rispetto agli storage di classe hi-end di altri produttori, è evidente che solo Huawei garantisce una protezione completa dei dati e la loro piena disponibilità anche dopo la morte di due controller o dell'intero motore. La maggior parte dei fornitori utilizza uno schema con quelle che vengono definite coppie di controller, a cui si collegano gli storage. Sfortunatamente, in tale configurazione, quando due controller si guastano, sorge il rischio di perdere l'accesso allo storage per l'ingresso-uscita.
Purtroppo, non si può escludere oggettivamente il guasto di un singolo componente. In tal caso, le prestazioni caleranno temporaneamente: è necessario che vengano ripristinati i percorsi e riavviato l'accesso alle operazioni di input-output relative ai blocchi che sono stati inviati per la registrazione ma non ancora registrati, o che sono stati richiesti per la lettura. Per l'OceanStor Dorado 18000 V6, il tempo medio di ripristino è di circa un secondo, molto inferiore rispetto al più vicino concorrente del settore (4 secondi). Questo è possibile grazie allo stesso backplane passivo: quando un controller si guasta, gli altri vedono immediatamente il suo input-output e, in particolare, quale blocco di dati non è stato completato; alla fine, il controller più vicino riprende il processo. Da qui la possibilità di ripristinare le prestazioni in letteralmente un secondo. Va aggiunto che l'intervallo è stabile: un secondo per un controller, un secondo per l'altro, e così via.
Nel backplane passivo dell'OceanStor Dorado 18000 V6, tutte le schede sono accessibili a tutti i controller senza alcun ulteriori indirizzamenti. Ciò significa che qualsiasi controller può gestire l'input-output attraverso qualsiasi porta. Indipendentemente da quale porta front-end arrivi l'input-output, il controller sarà pronto a gestirlo. Da qui, il numero minimo di trasferimenti interni e un notevole semplificazione del bilanciamento.
Il bilanciamento del front-end viene eseguito tramite un driver di multipathing, e viene inoltre eseguito il bilanciamento all'interno del sistema stesso, dato che tutti i controller vedono tutte le porte di input-output.
Tradizionalmente, tutti gli array Huawei sono progettati in modo tale da non avere un singolo punto di guasto. Tutti i componenti possono essere sostituiti 'a caldo', senza riavviare il sistema: controller, moduli di alimentazione, moduli di raffreddamento, schede di input-output, ecc.
Aumenta l'affidabilità del sistema in generale anche una tecnologia nota come RAID-TP. Questo è il nome di un gruppo RAID che consente di proteggersi nel caso di guasti contemporanei di fino a tre unità. Inoltre, il rebuild di 1 TB richiede stabilmente meno di 30 minuti. Il miglior risultato registrato è stato otto volte più veloce rispetto allo stesso volume di dati su un'unità a disco. In questo modo, è possibile utilizzare unità estremamente capienti, ad esempio 7,68 o addirittura 15 TB, senza preoccuparsi dell'affidabilità del sistema.
È importante notare che il rebuild non avviene sull'unità di riserva, ma nello spazio di riserva — la capacità riservata. In ogni dispositivo di archiviazione è stato riservato un posto utilizzato per il recupero dei dati dopo un guasto. In questo modo, il recupero avviene non secondo lo schema "molti a uno", ma secondo lo schema "molti a molti", permettendo così una notevole accelerazione del processo. E finché c'è capacità disponibile, il recupero può continuare.
È opportuno menzionare specificamente l'affidabilità della soluzione composta da più archiviazioni — nel metro-cluster, o, nella terminologia Huawei, HyperMetro. Tali schemi sono supportati nell'intera gamma dei nostri sistemi di archiviazione e consentono di lavorare sia con accesso file che a blocchi. Inoltre, il funzionamento a blocchi avviene sia tramite Fibre Channel che tramite Ethernet (incluso l'iSCSI).
In sostanza, si tratta di una replicazione bidirezionale da un sistema di archiviazione a un altro, in cui al LUN replicato è stato assegnato lo stesso LUN-ID del principale. La tecnologia funziona principalmente grazie alla coerenza delle cache tra i due diversi sistemi. Così, per l'host è del tutto indifferente da quale lato si trovi: sia qui che là vede lo stesso disco logico. Di conseguenza, non c'è nulla che impedisca di distribuire un cluster di alta disponibilità, esteso su due sedi.
Per il quorum viene utilizzata una macchina Linux fisica o virtuale. Questa può trovarsi in una terza sede e le richieste per le sue risorse sono ridotte. Uno scenario comune è quello di affittare una sede virtuale esclusivamente per ospitare una VM per il quorum.
La tecnologia consente anche l'espansione: due archiviazioni — nel metro-cluster, una sede aggiuntiva — con replicazione asincrona.
Storicamente, molti clienti formano uno "zoo di storage": una miriade di sistemi di storage da diversi produttori, modelli, generazioni e con funzionalità diverse. Allo stesso tempo, il numero di host può essere notevole, e spesso sono virtualizzati. In tali condizioni, una delle principali sfide dell'amministrazione è fornire rapidamente, in modo omogeneo e conveniente dischi logici per gli host, preferibilmente senza dover capire dove si trovano fisicamente questi dischi. Questo è proprio ciò per cui è progettata la nostra soluzione software OceanStor DJ, che è in grado di gestire in modo unificato diversi sistemi di storage e fornire loro servizi senza legami con un modello specifico di storage.
Stessi e IA
Come già detto, negli OceanStor Dorado 18000 V6 sono integrati processori con algoritmi di intelligenza artificiale - Ascend. Questi vengono utilizzati, in primo luogo, per prevedere i guasti e, in secondo luogo, per fornire raccomandazioni su come configurare, il che aumenta anche le prestazioni e l'affidabilità dello storage.
L'orizzonte delle previsioni è di due mesi: la macchina IA prevede con alta probabilità cosa potrebbe verificarsi in questo tempo, se sia il momento di fare un'espansione, cambiare le politiche di accesso, ecc. Vengono fornite raccomandazioni in anticipo, permettendoci di pianificare in anticipo le finestre per la manutenzione del sistema.
Prossimo passo nello sviluppo dell'IA da parte di Huawei prevede il suo lancio a livello globale. Durante il servizio clienti - gestione dei guasti o raccomandazioni - Huawei aggrega informazioni dai sistemi di logging di tutti gli storage dei nostri clienti. Sulla base dei dati raccolti, viene effettuata un'analisi dei guasti avvenuti o potenzialmente possibili e vengono formulate raccomandazioni globali - basate non sul funzionamento di un singolo sistema di storage o anche di una dozzina, ma sui dati provenienti da migliaia di tali dispositivi. Il campione è enorme e basandosi su di esso, gli algoritmi di IA iniziano ad apprendere molto rapidamente, il che aumenta notevolmente la precisione delle previsioni.
Compatibilità
Nel 2019-2020 ci sono state molte insinuazioni riguardo l'interazione delle nostre attrezzature con i prodotti VMware. Per mettere fine a queste voci, dichiariamo responsabilmente: VMware è un partner di Huawei. Sono stati eseguiti tutti i test di compatibilità possibili tra il nostro hardware e il suo software, e alla fine nel sito di VMware, nell'elenco di compatibilità hardware, sono elencati gli storage di nostra produzione disponibili fino ad oggi senza alcuna riserva. In altre parole, con l'ambiente software di VMware è possibile utilizzare gli storage Huawei, inclusi i Dorado V6, con pieno supporto.
Lo stesso vale per la nostra collaborazione con Brocade. Continuiamo a interagire e a condurre test di compatibilità sui nostri prodotti – e sulla base dei risultati affermiamo con piena fiducia che i nostri sistemi di archiviazione dati sono completamente compatibili con i più recenti switch FC di Brocade.
Cosa succede dopo?
Continuiamo a sviluppare e migliorare i nostri processori: diventano più veloci, più affidabili e la loro performance aumenta. Stiamo migliorando anche i chip AI – su di essi sono sviluppati moduli che accelerano la deduplicazione e la compressione. Coloro che hanno accesso al nostro configuratore potrebbero aver notato che nei modelli Dorado V6 queste schede sono già disponibili per l'ordinazione.
Inoltre, ci stiamo muovendo verso un'ulteriore cache su Storage Class Memory – memoria non volatile con latenze particolarmente basse, dell'ordine di dieci microsecondi in lettura. Tra l'altro, l'SCM offre un incremento delle performance, soprattutto nell'elaborazione di big data e nella risoluzione di compiti OLTP. Dopo il prossimo aggiornamento, le schede SCM dovrebbero diventare disponibili per l'ordinazione.
E naturalmente, la funzionalità di accesso ai file sarà ampliata su tutta la gamma di storage dati Huawei – seguite i nostri aggiornamenti.
Fonte: habr.com
