Nous discutons en détail de ce qui fait de l'OceanStor Dorado 18000 V6 un véritable système de stockage haut de gamme avec une réserve décente pour les années à venir. Dans le même temps, nous dissipons les craintes courantes concernant le stockage All-Flash et montrons comment Huawei en tire le meilleur parti : NVMe de bout en bout, mise en cache supplémentaire sur SCM et tout un tas d'autres solutions.
Nouveau paysage de données - nouveau stockage de données
L'intensité des données est en hausse dans toutes les industries. Et le secteur bancaire en est une belle illustration. Au cours des dernières années, le nombre de transactions bancaires a plus que décuplé. Comme le montre , ce n'est qu'en Russie entre 2010 et 2018 que le nombre de transactions non monétaires utilisant des cartes plastiques a plus que trente fois augmenté - de 5,8 à 172 par personne et par an. Tout d'abord, le triomphe des micropaiements : la plupart d'entre nous sont devenus proches des services bancaires en ligne, et la banque est désormais à portée de main - au téléphone.
L'infrastructure informatique d'un établissement de crédit doit être prête à relever un tel défi. Et c'est vraiment un défi. Entre autres choses, si auparavant la banque avait besoin d'assurer la disponibilité des données uniquement pendant ses heures d'ouverture, maintenant c'est 24h/7 et 5j/1. Jusqu'à récemment, 0,5 ms était considéré comme un taux de latence acceptable, et alors ? Maintenant, même XNUMX ms est exagéré. Pour un système de stockage moderne, la cible est de XNUMX ms.
La même chose avec la fiabilité: dans les années 2010, une compréhension empirique s'est formée qu'il suffit de porter son niveau à «cinq dizaines» - 99,999%. Certes, cette compréhension est devenue obsolète. En 2020, il est tout à fait normal qu'une entreprise exige 99,9999 % pour le stockage et 99,99999 % pour l'architecture globale. Et ce n'est pas du tout un caprice, mais un besoin urgent : soit il n'y a pas de créneau horaire pour la maintenance des infrastructures, soit il est infime.
Pour plus de clarté, il convient de projeter ces indicateurs sur le plan de la monnaie. Le plus simple est de prendre l'exemple des institutions financières. Le graphique ci-dessus montre combien chacune des 10 plus grandes banques du monde gagne par heure. Pour la seule Banque industrielle et commerciale de Chine, ce n'est pas moins de 5 millions de dollars, soit exactement ce que coûtera une heure d'indisponibilité de l'infrastructure informatique du plus grand organisme de crédit en Chine (et seuls les profits perdus sont pris en compte dans le calcul!). De ce point de vue, il est clair que la réduction des temps d'arrêt et l'augmentation de la fiabilité, non seulement de quelques pour cent, mais même de fractions de pour cent, sont tout à fait rationnellement justifiées. Non seulement pour des raisons d'accroissement de la compétitivité, mais simplement pour maintenir des positions sur le marché.
Des changements comparables ont lieu dans d'autres industries. Par exemple, dans le transport aérien : avant la pandémie, le transport aérien ne prenait de l'ampleur que d'année en année, et beaucoup ont commencé à l'utiliser presque comme un taxi. Quant aux habitudes de consommation, l'habitude de la disponibilité totale des services s'est ancrée dans la société : à l'arrivée à l'aéroport, il faut se connecter au Wi-Fi, accéder aux services de paiement, accéder à une carte du territoire, etc. En conséquence, la charge sur les infrastructures et les services dans les espaces publics a été multipliée par plusieurs. Et ces approches de son infrastructure, de sa construction, que nous considérions comme acceptables il y a encore un an, deviennent rapidement obsolètes.
Est-il trop tôt pour passer au XNUMX % Flash ?
Pour résoudre les problèmes mentionnés ci-dessus, en termes de performances, les AFA - baies entièrement flash, c'est-à-dire des baies entièrement construites sur flash - sont les mieux adaptées. À moins que, jusqu'à récemment, il y ait eu des doutes quant à leur fiabilité comparable à celles assemblées sur la base de disques durs et de disques hybrides. Après tout, la mémoire flash à semi-conducteurs a une métrique appelée temps moyen entre les pannes, ou MTBF (temps moyen entre les pannes). La dégradation des cellules due aux opérations d'E / S, hélas, est une donnée.
Ainsi, les perspectives d'All-Flash ont été éclipsées par la question de savoir comment éviter la perte de données dans le cas où le SSD commande de vivre longtemps. La sauvegarde est une option familière, seul le temps de récupération serait trop long en fonction des exigences modernes. Une autre solution consiste à configurer un deuxième niveau de stockage sur les lecteurs de broche, cependant, avec un tel schéma, certains des avantages d'un système "strictement flash" sont perdus.
Pourtant, les chiffres disent le contraire : les statistiques des géants de l'économie numérique, dont Google, montrent ces dernières années que la mémoire flash est plusieurs fois plus fiable que les disques durs. De plus, à la fois sur une courte et sur une longue période : en moyenne, quatre à six ans s'écoulent avant que les clés USB ne tombent en panne. En termes de fiabilité de stockage des données, ils ne sont en aucun cas inférieurs aux lecteurs sur disques magnétiques à broches, ni même les surpassent.
Un autre argument traditionnel en faveur des entraînements à broche est leur prix abordable. Il ne fait aucun doute que le coût de stockage d'un téraoctet sur un disque dur est encore relativement faible. Et si l'on ne tient compte que du coût de l'équipement, il est moins cher de conserver un téraoctet sur un disque à broche que sur un SSD. Cependant, dans le contexte de la planification financière, il importe non seulement de savoir combien un appareil particulier a été acheté, mais aussi quel est le coût total de sa possession pendant une longue période - de trois à sept ans.
Sous cet angle, c'est complètement différent. Même si nous ignorons la déduplication et la compression, qui sont généralement utilisées sur les baies flash et rendent leur fonctionnement plus rentable, il reste des caractéristiques telles que l'espace de rack occupé par les supports, la dissipation thermique et la consommation d'énergie. Et selon eux, le flush surpasse ses prédécesseurs. En conséquence, le TCO des systèmes de stockage flash, en tenant compte de tous les paramètres, est souvent presque deux fois moins élevé que dans le cas des baies sur disques à broche ou hybrides.
Selon les rapports d'ESG, les systèmes de stockage Dorado V6 All-Flash peuvent réduire le coût de possession jusqu'à 78 % sur un intervalle de cinq ans, notamment grâce à une déduplication et une compression efficaces, et en raison d'une faible consommation d'énergie et d'une dissipation thermique. La société d'analyse allemande DCIG les recommande également comme les meilleurs en termes de TCO disponibles aujourd'hui.
L'utilisation de disques SSD permet d'économiser de l'espace utilisable, de réduire le nombre de pannes, de réduire le temps de maintenance de la solution, de réduire la consommation d'énergie et la dissipation thermique des systèmes de stockage. Et il s'avère que l'AFA est au moins économiquement comparable aux baies traditionnelles sur les entraînements à broche, et les dépasse même souvent.
Quinte Flush Royale de Huawei
Parmi nos stockages All-Flash, la première place revient au système haut de gamme OceanStor Dorado 18000 V6. Et pas seulement parmi les nôtres: en général, dans l'industrie, il détient le record de vitesse - jusqu'à 20 millions d'IPOS dans la configuration maximale. De plus, il est extrêmement fiable : même si deux contrôleurs volent en même temps, ou jusqu'à sept contrôleurs l'un après l'autre, ou un moteur entier à la fois, les données survivront. Les avantages considérables du "dix-huit millième" sont donnés par l'IA qui y est connectée, y compris la flexibilité dans la gestion des processus internes. Voyons comment cela est réalisé.
En grande partie, Huawei a une longueur d'avance car c'est le seul fabricant sur le marché qui fabrique lui-même des systèmes de stockage - complètement et complètement. Nous avons nos propres circuits, notre propre microcode, notre propre service.
Le contrôleur des systèmes OceanStor Dorado est construit sur un processeur conçu et produit par Huawei - Kunpeng 920. Il utilise le module de contrôle Intelligent Baseboard Management Controller (iBMC), également le nôtre. Les puces AI, à savoir l'Ascend 310, qui optimisent les prédictions de pannes et font des recommandations pour les réglages, sont également Huawei, ainsi que les cartes d'E / S - le module Smart I / O. Enfin, les contrôleurs des SSD sont conçus et fabriqués par nos soins. Tout cela a fourni la base pour créer une solution entièrement équilibrée et performante.
Au cours de l'année écoulée, nous avons mis en œuvre un projet visant à introduire notre système de stockage le plus haut de gamme dans l'une des plus grandes banques russes. En conséquence, plus de 40 unités OceanStor Dorado 18000 V6 dans le cluster métropolitain affichent des performances stables : plus d'un million d'IOPS peuvent être supprimés de chaque système, et cela en tenant compte des retards dus à la distance.
NVMe de bout en bout
Les derniers systèmes de stockage de Huawei prennent en charge le NVMe de bout en bout, ce que nous soulignons pour une raison. Les protocoles traditionnellement utilisés pour accéder aux disques ont été développés dans la haute antiquité informatique : ils sont basés sur des commandes SCSI (bonjour, les années 1980 !), qui tirent de nombreuses fonctions pour assurer la rétrocompatibilité. Quelle que soit la méthode d'accès que vous utilisez, la surcharge du protocole dans ce cas est colossale. Par conséquent, pour les stockages qui utilisent des protocoles liés à SCSI, le délai d'E/S ne peut pas être inférieur à 0,4–0,5 ms. À son tour, étant un protocole conçu pour fonctionner avec de la mémoire flash et libéré des béquilles pour des raisons de rétrocompatibilité notoire, NVMe - Non-Volatile Memory Express - réduit la latence à 0,1 ms, de plus, non pas sur le système de stockage, mais sur l'ensemble de la pile, de l'hôte aux lecteurs. Sans surprise, NVMe est en ligne avec les tendances de développement du stockage de données dans un avenir prévisible. Nous nous sommes également appuyés sur NVMe - et nous nous éloignons progressivement du SCSI. Tous les systèmes de stockage Huawei produits aujourd'hui, y compris la gamme Dorado, prennent en charge NVMe (cependant, de bout en bout, il n'est implémenté que sur les modèles avancés de la série Dorado V6).
FlashLink : une poignée de technologies
La technologie de pierre angulaire de toute la gamme OceanStor Dorado est FlashLink. Plus précisément, c'est un terme qui combine un ensemble intégral de technologies qui servent à assurer des performances et une fiabilité élevées. Cela inclut les technologies de déduplication et de compression, le fonctionnement du système de distribution de données RAID 2.0+, la séparation des données "froides" et "chaudes", l'enregistrement séquentiel des données sur toute la bande (les écritures aléatoires, avec les données nouvelles et modifiées, sont agrégées dans un grande pile et écrit séquentiellement, ce qui augmente la vitesse de lecture-écriture).
Entre autres choses, FlashLink comprend deux composants importants - Wear Leveling et Global Garbage Collection. Ils doivent être traités séparément.
En fait, tout disque SSD est un système de stockage en miniature, avec un grand nombre de blocs et un contrôleur qui assure la disponibilité des données. Et il est fourni, entre autres, du fait que les données des cellules "tuées" sont transférées vers les "non tuées". Cela garantit qu'ils peuvent être lus. Il existe différents algorithmes pour un tel transfert. Dans le cas général, le contrôleur essaie d'équilibrer l'usure de toutes les cellules de stockage. Cette approche a un inconvénient. Lorsque des données sont déplacées à l'intérieur d'un SSD, le nombre d'opérations d'E/S qu'il effectue est considérablement réduit. Pour l'instant, c'est un mal nécessaire.
Ainsi, s'il y a beaucoup de SSD dans le système, une "scie" apparaît sur le graphique des performances, avec des hauts et des bas brusques. Le problème est qu'un disque du pool peut démarrer la migration des données à tout moment, et les performances globales sont supprimées en même temps de tous les SSD de la baie. Mais les ingénieurs de Huawei ont trouvé comment éviter la "scie".
Heureusement, les contrôleurs dans les disques, le contrôleur de stockage et le micrologiciel de Huawei sont «natifs», ces processus dans l'OceanStor Dorado 18000 V6 sont lancés de manière centralisée, de manière synchrone sur tous les disques de la baie. De plus, à la commande du contrôleur de stockage, et précisément lorsqu'il n'y a pas de charge d'E/S importante.
La puce d'intelligence artificielle est également impliquée dans le choix du bon moment pour transférer des données : sur la base des statistiques de hits des quelques mois précédents, elle est capable de prédire avec la plus grande probabilité s'il faut s'attendre à des E/S actives dans un futur proche, et si la réponse est négative et que la charge sur le système à l'instant actuel est faible, le contrôleur commande tous les disques: ceux qui ont besoin de Wear Leveling doivent le faire en même temps et de manière synchrone.
De plus, le contrôleur système voit ce qui se passe dans chaque cellule du disque, contrairement aux systèmes de stockage des fabricants concurrents : ils sont obligés d'acheter des supports à semi-conducteurs auprès de fournisseurs tiers, c'est pourquoi les détails au niveau des cellules ne sont pas disponibles pour les contrôleurs de ces stockages.
En conséquence, l'OceanStor Dorado 18000 V6 a une très courte période de dégradation des performances lors de l'opération de nivellement d'usure, et elle est effectuée principalement lorsqu'elle n'interfère avec aucun autre processus. Cela donne des performances stables élevées sur une base continue.
Ce qui rend OceanStor Dorado 18000 V6 fiable
Il existe quatre niveaux de fiabilité dans les systèmes de stockage de données modernes :
- matériel, au niveau du lecteur ;
- architectural, au niveau des équipements ;
- architectural avec la partie logicielle ;
- cumulatif, relatif à la solution dans son ensemble.
Étant donné que, rappelons-le, notre société conçoit et fabrique elle-même tous les composants du système de stockage, nous fournissons une fiabilité à chacun des quatre niveaux, avec la capacité de surveiller en profondeur ce qui se passe sur lequel d'entre eux en ce moment.
La fiabilité des disques est principalement garantie par le Wear Leveling et le Global Garbage Collection décrits précédemment. Lorsqu'un SSD ressemble à une boîte noire pour le système, il n'a aucune idée de l'usure exacte des cellules. Pour l'OceanStor Dorado 18000 V6, les disques sont transparents, ce qui permet d'équilibrer uniformément tous les disques de la baie. Ainsi, il s'avère prolonger considérablement la durée de vie des SSD et garantir un haut niveau de fiabilité de leur fonctionnement.
De plus, la fiabilité du lecteur est affectée par des cellules redondantes supplémentaires. Et avec une simple réserve, le système de stockage utilise les cellules dites DIF, qui contiennent des sommes de contrôle, ainsi que des codes supplémentaires pour protéger chaque bloc d'une seule erreur, en plus de la protection au niveau de la matrice RAID.
La clé de la fiabilité architecturale est la solution SmartMatrix. En bref, ce sont quatre contrôleurs qui reposent sur un fond de panier passif dans le cadre d'un moteur (moteur). Deux de ces moteurs - respectivement, avec huit contrôleurs - sont connectés à des étagères communes avec des lecteurs. Grâce à SmartMatrix, même si sept contrôleurs sur huit cessent de fonctionner, l'accès à toutes les données, tant en lecture qu'en écriture, restera. Et avec la perte de six contrôleurs sur huit, il sera même possible de poursuivre les opérations de cache.
Les cartes d'E / S sur le même fond de panier passif sont disponibles pour tous les contrôleurs, à la fois sur le front-end et sur le back-end. Avec un tel schéma de connexion à maillage complet, quelle que soit la panne, l'accès aux disques est toujours préservé.
Il est tout à fait approprié de parler de la fiabilité d'une architecture dans le contexte des modes de défaillance, contre lesquels le système de stockage de données est en mesure de fournir une protection.
Le stockage survivra à la situation sans perte si deux contrôleurs « tombent », y compris en même temps. Une telle stabilité est obtenue du fait que tout bloc de cache a certainement deux copies supplémentaires sur différents contrôleurs, c'est-à-dire qu'il existe au total en trois copies. Et au moins un est sur un moteur différent. Ainsi, même si l'ensemble du moteur cesse de fonctionner - avec ses quatre contrôleurs - il est garanti que toutes les informations qui se trouvaient dans la mémoire cache seront sauvegardées, car le cache sera dupliqué dans au moins un contrôleur du moteur restant. Enfin, avec une connexion série, vous pouvez perdre jusqu'à sept contrôleurs, et même s'ils sont éliminés par blocs de deux, - et encore, toutes les E/S et toutes les données du cache seront conservées.
Par rapport au stockage haut de gamme d'autres fabricants, on peut voir que seul Huawei offre une protection complète des données et une disponibilité totale même après la mort de deux contrôleurs ou de l'ensemble du moteur. La plupart des fournisseurs utilisent un schéma avec des soi-disant paires de contrôleurs auxquelles les disques sont connectés. Malheureusement, dans cette configuration, si deux contrôleurs tombent en panne, il y a un risque de perdre l'accès des E/S au disque.
Hélas, la défaillance d'un seul composant n'est pas objectivement exclue. Dans ce cas, les performances chuteront pendant un certain temps: il est nécessaire que les chemins soient reconstruits et que l'accès aux opérations d'E / S reprenne en ce qui concerne les blocs qui sont venus écrire, mais n'ont pas encore été écrits, ou ont été demandés être lu. L'OceanStor Dorado 18000 V6 a un temps de reconstruction moyen d'environ une seconde, nettement moins que l'analogue le plus proche de l'industrie (4 s). Ceci est réalisé grâce au même fond de panier passif : lorsque le contrôleur tombe en panne, le reste voit immédiatement son entrée/sortie, et en particulier sur quel bloc de données n'a pas été écrit ; en conséquence, le contrôleur le plus proche reprend le processus. D'où la possibilité de restaurer les performances en une seconde seulement. Je dois ajouter que l'intervalle est stable : une seconde pour une manette, une seconde pour une autre, etc.
Dans le fond de panier passif OceanStor Dorado 18000 V6, toutes les cartes sont disponibles pour tous les contrôleurs sans aucun adressage supplémentaire. Cela signifie que n'importe quel contrôleur est capable de capter des E/S sur n'importe quel port. Quelle que soit l'entrée/sortie du port frontal, le contrôleur sera prêt à la traiter. D'où - le nombre minimum de transferts internes et une simplification notable de l'équilibrage.
L'équilibrage frontal est effectué à l'aide du pilote multipathing et un équilibrage supplémentaire est effectué au sein du système lui-même, car tous les contrôleurs voient tous les ports d'E / S.
Traditionnellement, toutes les baies Huawei sont conçues de telle manière qu'elles n'ont pas de point de défaillance unique. Le remplacement à chaud, sans redémarrage du système, se prête à tous ses composants : contrôleurs, modules de puissance, modules de refroidissement, cartes d'E/S, etc.
Augmente la fiabilité du système dans son ensemble et des technologies telles que RAID-TP. C'est le nom d'un groupe RAID, qui vous permet de vous assurer contre la panne simultanée de jusqu'à trois disques. Et une reconstruction de 1 To prend systématiquement moins de 30 minutes. Le meilleur résultat enregistré est huit fois plus rapide qu'avec la même quantité de données sur l'entraînement de la broche. Ainsi, il est possible d'utiliser des disques extrêmement volumineux, disons 7,68 ou même 15 To, et ne pas se soucier de la fiabilité du système.
Il est important que la reconstruction soit effectuée non pas dans un lecteur de secours, mais dans un espace de secours - une capacité de réserve. Chaque disque dispose d'un espace dédié utilisé pour la récupération des données après une panne. Ainsi, la récupération s'effectue non pas selon le schéma «plusieurs à un», mais selon le schéma «plusieurs à plusieurs», grâce auquel il est possible d'accélérer considérablement le processus. Et tant qu'il y a de la capacité libre, la récupération peut continuer.
Il faut également mentionner la fiabilité d'une solution à partir de plusieurs stockages - dans un cluster métro, ou, dans la terminologie de Huawei, HyperMetro. De tels schémas sont pris en charge sur l'ensemble de la gamme de modèles de nos systèmes de stockage de données et permettent à la fois l'accès aux fichiers et aux blocs. De plus, sur un bloc, il fonctionne à la fois via Fibre Channel et Ethernet (y compris via iSCSI).
Essentiellement, nous parlons de réplication bidirectionnelle d'un système de stockage à un autre, dans lequel le LUN répliqué reçoit le même LUN-ID que le principal. La technologie fonctionne principalement grâce à la cohérence des caches de deux systèmes différents. Ainsi, pour l'hôte, peu importe de quel côté il se trouve : à la fois ici et là, il voit le même lecteur logique. Par conséquent, rien ne vous empêche de déployer un cluster de basculement sur deux sites.
Pour le quorum, une machine Linux physique ou virtuelle est utilisée. Il peut être situé sur le troisième site et les besoins en ressources sont faibles. Un scénario courant consiste à louer un site virtuel exclusivement pour l'hébergement d'une machine virtuelle de quorum.
La technologie permet également une extension : deux stockages - dans un cluster métropolitain, un site supplémentaire - avec réplication asynchrone.
Historiquement, de nombreux clients ont formé un "zoo de stockage": un ensemble de systèmes de stockage de différents fabricants, différents modèles, différentes générations, avec différentes fonctionnalités. Cependant, le nombre d'hôtes peut être impressionnant, et souvent ils sont virtualisés. Dans de telles circonstances, l'une des priorités de l'administration est de fournir rapidement, uniformément et commodément des disques logiques aux hôtes, de préférence d'une manière qui ne se penche pas sur l'emplacement physique de ces disques. C'est pour cela que notre solution logicielle OceanStor DJ est conçue pour gérer à l'unanimité différents systèmes de stockage et fournir des services à partir de ceux-ci sans être lié à un modèle de stockage spécifique.
Même IA
Comme déjà mentionné, l'OceanStor Dorado 18000 V6 dispose de processeurs intégrés avec des algorithmes d'intelligence artificielle - Ascend. Ils sont utilisés, premièrement, pour prédire les pannes, et deuxièmement, pour formuler des recommandations de réglage, ce qui augmente également les performances et la fiabilité du stockage.
L'horizon de prédiction est de deux mois : les machines d'IA supposent ce qui se passera avec une forte probabilité pendant cette période, est-il temps de s'étendre, de modifier les politiques d'accès, etc. Des recommandations sont émises à l'avance, ce qui vous permet de planifier à l'avance des fenêtres de maintenance du système. .
La prochaine étape du développement de l'IA de Huawei consiste à l'amener au niveau mondial. Au cours de la maintenance du service - basculement ou recommandations - Huawei agrège les informations des systèmes de journalisation de tous les stockages de nos clients. Sur la base des informations collectées, une analyse des pannes survenues ou potentielles est effectuée et des recommandations globales sont formulées - basées non pas sur le fonctionnement d'un système de stockage particulier ou même d'une douzaine, mais sur ce qui se passe et s'est passé avec des milliers de tels dispositifs. L'échantillon est énorme et, sur cette base, les algorithmes d'IA commencent à apprendre extrêmement rapidement, c'est pourquoi la précision des prédictions augmente considérablement.
Compatibilité
En 2019-2020, il y avait beaucoup d'insinuations sur l'interaction de nos équipements avec les produits VMware. Pour enfin les arrêter, nous déclarons de manière responsable : VMware est un partenaire de Huawei. Tous les tests imaginables ont été effectués pour la compatibilité de notre matériel avec son logiciel, et par conséquent, sur le site Web de VMware, la fiche de compatibilité matérielle répertorie les systèmes de stockage actuellement disponibles de notre production sans aucune réserve. En d'autres termes, avec l'environnement logiciel VMware, vous pouvez utiliser le stockage Huawei, y compris Dorado V6, avec une prise en charge complète.
Il en va de même pour notre collaboration avec Brocade. Nous continuons à interagir et à tester la compatibilité de nos produits et pouvons affirmer en toute confiance que nos systèmes de stockage sont entièrement compatibles avec les derniers commutateurs Brocade FC.
Quelle est la prochaine?
Nous continuons à développer et à améliorer nos processeurs : ils deviennent plus rapides, plus fiables, leurs performances augmentent. Nous améliorons également les puces AI - sur la base de celles-ci, des modules sont également produits pour accélérer la déduplication et la compression. Ceux qui ont accès à notre configurateur ont peut-être remarqué que ces cartes sont déjà disponibles à la commande dans les modèles Dorado V6.
Nous nous dirigeons également vers une mise en cache supplémentaire sur la mémoire de classe de stockage - mémoire non volatile avec une latence particulièrement faible, environ dix microsecondes par lecture. Entre autres choses, SCM améliore les performances, principalement lors de l'utilisation de données volumineuses et lors de la résolution de tâches OLTP. Après la prochaine mise à jour, les cartes SCM devraient être disponibles à la commande.
Et bien sûr, la fonctionnalité d'accès aux fichiers sera étendue à toute la gamme de stockage de données Huawei - restez à l'écoute pour nos mises à jour.
Source: habr.com