Detaljno argumentiramo što čini OceanStor Dorado 18000 V6 uistinu vrhunskim sustavom za pohranu s pristojnom rezervom za naredne godine. U isto vrijeme, odagnavamo uobičajene strahove o All-Flash pohrani i pokazujemo kako Huawei iz njih izvlači najviše: end-to-end NVMe, dodatno predmemoriranje na SCM-u i čitava hrpa drugih rješenja.
Novi podatkovni krajolik - nova pohrana podataka
Intenzitet podataka je u porastu u svim industrijama. A bankarski sektor je jasna ilustracija toga. U posljednjih nekoliko godina broj bankovnih transakcija povećao se više od deset puta. Kao što pokazuje , samo u Rusiji u razdoblju od 2010. do 2018. broj bezgotovinskih transakcija korištenjem plastičnih kartica pokazao je više od trideset puta povećanje - s 5,8 na 172 po osobi godišnje. Prije svega, trijumf mikroplaćanja: većina nas se vezala uz internetsko bankarstvo, a banka nam je sada na dohvat ruke – na telefonu.
Informatička infrastruktura kreditne institucije mora biti spremna za takav izazov. A ovo je stvarno izazov. Između ostalog, ako je ranije banka trebala osigurati dostupnost podataka samo tijekom svog radnog vremena, sada je to 24/7. Donedavno se 5 ms smatralo prihvatljivom stopom kašnjenja, pa što? Sada je čak i 1 ms pretjerano. Za moderni sustav pohrane cilj je 0,5 ms.
Isto je i s pouzdanošću: 2010-ih je formirano empirijsko shvaćanje da je dovoljno dovesti njegovu razinu na "pet desetki" - 99,999%. Istina, ovo je shvaćanje zastarjelo. U 2020. potpuno je normalno da tvrtka zahtijeva 99,9999% za pohranu i 99,99999% za cjelokupnu arhitekturu. I to uopće nije hir, već hitna potreba: ili nema vremenskog okvira za održavanje infrastrukture, ili je sitan.
Radi jasnoće, prikladno je projicirati ove pokazatelje na ravninu novca. Najlakše je na primjeru financijskih institucija. Gornji grafikon pokazuje koliko svaka od 10 najvećih svjetskih banaka zarađuje po satu. Samo za Industrial and Commercial Bank of China to je ni manje ni više nego 5 milijuna dolara, a točno toliko će koštati sat vremena zastoja informatičke infrastrukture najveće kreditne organizacije u Kini (a u obzir se uzima samo izgubljena dobit izračun!). Iz ove perspektive jasno je da su smanjenje zastoja i povećanje pouzdanosti, ne samo za nekoliko postotaka, nego čak i za djeliće postotka, potpuno racionalno opravdani. Ne samo zbog povećanja konkurentnosti, već jednostavno zbog održavanja tržišnih pozicija.
Usporedne promjene događaju se iu drugim industrijama. Na primjer, u zračnom prijevozu: prije pandemije zračni promet je iz godine u godinu tek uzimao maha, a mnogi su ga počeli koristiti gotovo kao taksi. Što se potrošačkih obrazaca tiče, u društvu se ukorijenila navika potpune dostupnosti usluga: po dolasku u zračnu luku potrebno nam je povezivanje na Wi-Fi, pristup uslugama plaćanja, pristup karti područja itd. Kao Rezultat toga je višestruko povećanje opterećenja infrastrukture i usluga u javnim prostorima. A oni pristupi njegovoj infrastrukturi, izgradnji, koje smo i prije godinu dana smatrali prihvatljivima, ubrzano zastarijevaju.
Je li prerano za prijelaz na All-Flash?
Za rješavanje gore spomenutih problema, u smislu performansi, najbolje odgovaraju AFA - all-flash polja, to jest polja koja su u potpunosti izgrađena na flashu. Osim ako je donedavno bilo sumnji o tome jesu li usporedivi u pouzdanosti s onima koji su sastavljeni na temelju HDD-ova i hibridnih. Uostalom, poluvodička flash memorija ima metriku koja se zove srednje vrijeme između kvarova ili MTBF (srednje vrijeme između kvarova). Degradacija stanica zbog I/O operacija, nažalost, je dano.
Tako su izgledi za All-Flash bili zasjenjeni pitanjem kako spriječiti gubitak podataka u slučaju da SSD naloži da živi dugo vremena. Backup je poznata opcija, samo bi vrijeme oporavka bilo neprihvatljivo veliko na temelju modernih zahtjeva. Drugi izlaz je postavljanje druge razine pohrane na pogone vretena, međutim, s takvom shemom, neke od prednosti "strogo flash" sustava su izgubljene.
No, brojke govore drugačije: statistike divova digitalne ekonomije, uključujući i Google, posljednjih godina pokazuju da je flash nekoliko puta pouzdaniji od tvrdih diskova. Štoviše, iu kratkom vremenskom razdoblju iu dugom: u prosjeku prođe četiri do šest godina prije nego što flash pogoni ne uspiju. Što se tiče pouzdanosti pohrane podataka, oni ni na koji način nisu inferiorni pogonima na vretenastim magnetskim diskovima, pa čak ih ni nadmašuju.
Drugi tradicionalni argument u korist vretenastih pogona je njihova pristupačnost. Bez sumnje, cijena pohranjivanja terabajta na tvrdi disk još uvijek je relativno niska. A ako uzmete u obzir samo troškove opreme, jeftinije je držati terabajt na vretenastom pogonu nego na SSD-u. No, u kontekstu financijskog planiranja nije bitno samo koliko je pojedini uređaj kupljen, nego i koliki su ukupni troškovi dugotrajnog posjedovanja - od tri do sedam godina.
Iz ovog ugla, potpuno je drugačije. Čak i ako zanemarimo deduplikaciju i kompresiju, koji se u pravilu koriste na flash nizovima i čine njihov rad ekonomski isplativijim, ostaju karakteristike kao što su prostor u stalku koji zauzimaju mediji, rasipanje topline i potrošnja energije. I prema njima, ispiranje nadmašuje svoje prethodnike. Kao rezultat toga, TCO sustava za flash pohranu, uzimajući u obzir sve parametre, često je gotovo upola manji nego u slučaju polja na vretenastim pogonima ili hibridima.
Prema izvješćima ESG-a, Dorado V6 All-Flash sustavi za pohranu mogu postići smanjenje troškova vlasništva do 78% tijekom petogodišnjeg intervala, uključujući kroz učinkovitu deduplikaciju i kompresiju, te zbog niske potrošnje energije i rasipanja topline. Njemačka analitička tvrtka DCIG također ih preporučuje za korištenje kao najbolje u smislu TCO-a koji su danas dostupni.
Korištenje solid state diskova omogućuje uštedu korisnog prostora, smanjenje broja kvarova, smanjenje vremena za održavanje rješenja, smanjenje potrošnje energije i rasipanje topline sustava za pohranu. I pokazalo se da je AFA barem ekonomski usporediv s tradicionalnim nizovima na vretenastim pogonima, a često ih čak i nadmašuje.
Huawei Royal Flush
Među našim All-Flash pohranama, prvo mjesto pripada hi-end sustavu OceanStor Dorado 18000 V6. I ne samo kod nas: općenito, u industriji, drži rekord u brzini - do 20 milijuna IPOS-a u maksimalnoj konfiguraciji. Osim toga, izuzetno je pouzdan: čak i ako dva kontrolera lete odjednom, ili do sedam kontrolera jedan za drugim, ili cijeli motor odjednom, podaci će preživjeti. Značajne prednosti "osamnaesttisućitog" daje AI ugrađen u njega, uključujući fleksibilnost u upravljanju internim procesima. Pogledajmo kako se to postiže.
Velikim dijelom Huawei ima prednost jer je jedini proizvođač na tržištu koji sam izrađuje sustave za pohranu – potpuno i kompletno. Imamo vlastiti sklop, vlastiti mikrokod, vlastitu uslugu.
Kontroler u sustavima OceanStor Dorado izgrađen je na procesoru Huaweijevog dizajna i proizvodnje - Kunpeng 920. Koristi upravljački modul Intelligent Baseboard Management Controller (iBMC), također naš. AI čipovi, točnije Ascend 310, koji optimiziraju predviđanja kvarova i daju preporuke za postavke, također su Huawei, kao i I/O ploče - Smart I/O modul. Konačno, kontrolere u SSD-ovima dizajnirali smo i proizveli mi. Sve je to dalo osnovu za izradu cjelovito uravnoteženog i visokoučinkovitog rješenja.
Tijekom prošle godine realizirali smo projekt uvođenja ovog našeg najsuvremenijeg sustava za pohranu podataka u jednu od najvećih ruskih banaka. Kao rezultat toga, više od 40 OceanStor Dorado 18000 V6 jedinica u metro klasteru pokazuje stabilne performanse: više od milijun IOPS može se ukloniti iz svakog sustava, a to uzima u obzir kašnjenja zbog udaljenosti.
End-to-end NVMe
Najnoviji Huaweijevi sustavi za pohranu podržavaju end-to-end NVMe, što naglašavamo s razlogom. Tradicionalno korišteni protokoli za pristup pogonima razvijeni su u starim IT danima: temelje se na SCSI naredbama (zdravo, 1980-e!), koje povlače mnoge funkcije kako bi osigurale kompatibilnost sa starijim verzijama. Koju god metodu pristupa odabrali, opterećenje protokola u ovom slučaju je kolosalno. Kao rezultat toga, za pohrane koje koriste protokole povezane sa SCSI, I/O kašnjenje ne može biti manje od 0,4–0,5 ms. S druge strane, budući da je protokol dizajniran za rad s flash memorijom i oslobođen štaka radi ozloglašene kompatibilnosti s prethodnim verzijama, NVMe - Non-Volatile Memory Express - spušta latenciju na 0,1 ms, štoviše, ne na sustavu za pohranu, već na cijeli stog, od hosta do pogona. Nije iznenađujuće da je NVMe u skladu s trendovima razvoja pohrane podataka u doglednoj budućnosti. Također smo se oslanjali na NVMe - i postupno se udaljavamo od SCSI-ja. Svi Huawei sustavi za pohranu koji se danas proizvode, uključujući liniju Dorado, podržavaju NVMe (međutim, kao end-to-end implementiran je samo na naprednim modelima serije Dorado V6).
FlashLink: šaka tehnologija
Tehnologija temeljna za cijelu liniju OceanStor Dorado je FlashLink. Točnije, riječ je o pojmu koji objedinjuje cjeloviti skup tehnologija koje služe osiguravanju visokih performansi i pouzdanosti. To uključuje tehnologije deduplikacije i kompresije, funkcioniranje sustava distribucije podataka RAID 2.0+, odvajanje "hladnih" i "vrućih" podataka, sekvencijalno snimanje podataka u punom nizu (nasumično pisanje, s novim i promijenjenim podacima, agregira se u veliki stog i upisuje se sekvencijalno, što povećava brzinu čitanja i pisanja).
Između ostalog, FlashLink uključuje dvije važne komponente - Wear Leveling i Global Garbage Collection. S njima se treba pozabaviti odvojeno.
Zapravo, svaki solid state disk je sustav za pohranu u minijaturi, s velikim brojem blokova i kontrolerom koji osigurava dostupnost podataka. A to je osigurano, između ostalog, zahvaljujući činjenici da se podaci iz "ubijenih" stanica prenose u "neubijene". To osigurava da se mogu čitati. Postoje različiti algoritmi za takav prijenos. U općem slučaju, regulator pokušava uravnotežiti trošenje svih ćelija za pohranu. Ovaj pristup ima lošu stranu. Kada se podaci premještaju unutar SSD-a, broj I/O operacija koje izvodi dramatično se smanjuje. Za sada je to nužno zlo.
Stoga, ako u sustavu ima puno SSD-ova, na grafikonu performansi pojavljuje se "pila", s oštrim usponima i padovima. Problem je u tome što jedan disk iz skupa može pokrenuti migraciju podataka u bilo kojem trenutku, a ukupna izvedba se uklanja u isto vrijeme sa svih SSD-ova u nizu. Ali Huaweijevi inženjeri su se dosjetili kako izbjeći "pilu".
Srećom, i kontroleri u pogonima, i kontroler za pohranu, i firmware tvrtke Huawei su "nativni", ti se procesi u OceanStor Dorado 18000 V6 pokreću centralno, sinkrono na svim pogonima u polju. Štoviše, na naredbu kontrolera pohrane, i to točno kada nema velikog I/O opterećenja.
Čip umjetne inteligencije također je uključen u odabir pravog trenutka za prijenos podataka: na temelju statistike pogodaka za prethodnih nekoliko mjeseci može s najvećom vjerojatnošću predvidjeti treba li očekivati aktivni I/O u skoroj budućnosti, te ako je odgovor negativan, a opterećenje sustava u trenutnom trenutku je malo, tada kontroler naređuje svim pogonima: oni koji trebaju Wear Leveling trebaju to učiniti odjednom i sinkrono.
Osim toga, kontroler sustava vidi što se događa u svakoj ćeliji pogona, za razliku od sustava za pohranu konkurentskih proizvođača: oni su prisiljeni kupovati solid-state medije od dobavljača trećih strana, zbog čega detalji na razini ćelije nisu dostupni kontrolori takvih skladišta.
Kao rezultat toga, OceanStor Dorado 18000 V6 ima vrlo kratko razdoblje degradacije performansi na operaciji Wear Leveling, a izvodi se uglavnom kada ne ometa druge procese. To daje visoku stabilnu izvedbu na trajnoj osnovi.
Što čini OceanStor Dorado 18000 V6 pouzdanim
U modernim sustavima za pohranu podataka postoje četiri razine pouzdanosti:
- hardver, na razini pogona;
- arhitektonski, na razini opreme;
- arhitektonski zajedno sa softverskim dijelom;
- kumulativni, koji se odnosi na rješenje u cjelini.
Budući da, podsjetimo, naša tvrtka sama dizajnira i proizvodi sve komponente skladišnog sustava, osiguravamo pouzdanost na svakoj od četiri razine, uz mogućnost temeljitog praćenja što se na kojoj od njih u tom trenutku događa.
Pouzdanost pogona jamči prije svega prethodno opisano Wear Leveling i Global Garbage Collection. Kada SSD sustavu izgleda kao crna kutija, on nema pojma kako se točno ćelije u njemu troše. Za OceanStor Dorado 18000 V6, pogoni su transparentni, što omogućuje ravnomjerno balansiranje između svih pogona u nizu. Dakle, ispada da značajno produžuje vijek trajanja SSD-a i osigurava visoku razinu pouzdanosti njihovog rada.
Također, na pouzdanost pogona utječu dodatne redundantne ćelije u njemu. A uz jednostavnu rezervu, sustav za pohranu koristi takozvane DIF ćelije, koje sadrže kontrolne zbrojeve, kao i dodatne kodove za zaštitu svakog bloka od pojedinačne pogreške, uz zaštitu na razini RAID polja.
Ključ arhitektonske pouzdanosti je rješenje SmartMatrix. Ukratko, radi se o četiri kontrolera koji se nalaze na pasivnoj stražnjoj ploči kao dio jednog motora (motora). Dva od ovih motora - redom, s osam kontrolera - povezani su na zajedničke police s pogonima. Zahvaljujući SmartMatrixu, čak i ako sedam od osam kontrolera prestane raditi, pristup svim podacima, kako za čitanje tako i za pisanje, ostaje. A uz gubitak šest od osam kontrolera, bit će čak moguće nastaviti s operacijama predmemoriranja.
I/O ploče na istoj pasivnoj stražnjoj ploči dostupne su svim kontrolerima, i na prednjem i na stražnjem kraju. S takvom full-mesh shemom povezivanja, bez obzira što ne uspije, pristup pogonima je uvijek sačuvan.
Najprikladnije je govoriti o pouzdanosti arhitekture u kontekstu načina kvarova od kojih je sustav za pohranu u stanju zaštititi.
Spremište će preživjeti situaciju bez gubitaka ako dva kontrolera "otpadnu", uključujući i istovremeno. Takva stabilnost se postiže zahvaljujući činjenici da svaki blok predmemorije sigurno ima još dvije kopije na različitim kontrolerima, odnosno ukupno postoji u tri kopije. I barem jedan je na drugom motoru. Dakle, čak i ako cijeli motor prestane raditi - sa sva četiri njegova kontrolera - zajamčeno je da će sve informacije koje su bile u cache memoriji biti spremljene, jer će cache biti dupliciran u najmanje jednom kontroleru iz preostalog motora. Konačno, sa serijskom vezom možete izgubiti do sedam kontrolera, pa čak i ako su eliminirani u blokovima od dva, - i opet će svi I/O i svi podaci iz predmemorije biti sačuvani.
U usporedbi s hi-end pohranom drugih proizvođača, može se vidjeti da samo Huawei pruža potpunu zaštitu podataka i punu dostupnost čak i nakon smrti dvaju kontrolera ili cijelog motora. Većina dobavljača koristi shemu s takozvanim parovima kontrolera na koje su povezani pogoni. Nažalost, u ovoj konfiguraciji, ako dva kontrolera zakažu, postoji rizik od gubitka I/O pristupa pogonu.
Nažalost, kvar pojedine komponente nije objektivno isključen. U ovom slučaju, izvedba će pasti neko vrijeme: potrebno je da se staze ponovno izgrade i pristup I/O operacijama se nastavi s obzirom na one blokove koji su ili došli za pisanje, ali još nisu bili zapisani, ili je zatraženo da biti pročitan. OceanStor Dorado 18000 V6 ima prosječno vrijeme ponovne izrade od približno jedne sekunde, znatno manje od najbližeg analoga u industriji (4 s). To se postiže zahvaljujući istoj pasivnoj stražnjoj ploči: kada kontroler zakaže, ostatak odmah vidi njegov ulaz/izlaz, a posebno u koji blok podataka nije upisan; kao rezultat toga, najbliži kontroler preuzima proces. Otuda mogućnost vraćanja performansi u samo sekundi. Moram dodati, interval je stabilan: sekunda za jedan regulator, sekunda za drugi itd.
U pasivnoj zadnjoj ploči OceanStor Dorado 18000 V6 sve su ploče dostupne svim kontrolerima bez ikakvog dodatnog adresiranja. To znači da bilo koji kontroler može preuzeti I/O na bilo kojem portu. U koji god ulaz/izlaz prednjeg priključka dođe, kontroler će biti spreman za obradu. Dakle - minimalan broj internih prijenosa i primjetno pojednostavljenje bilanciranja.
Frontend balansiranje se izvodi pomoću multipathing drivera, a dodatno balansiranje se provodi unutar samog sustava budući da svi kontroleri vide sve I/O portove.
Tradicionalno, svi Huawei nizovi dizajnirani su na takav način da nemaju nijednu točku kvara. Hot swapping, bez ponovnog pokretanja sustava, pogodan je za sve njegove komponente: kontrolere, module napajanja, rashladne module, I/O ploče itd.
Podiže pouzdanost sustava u cjelini i tehnologija poput RAID-TP. Ovo je naziv RAID grupe koja vam omogućuje da se osigurate od istovremenog kvara do tri pogona. I ponovna izgradnja od 1 TB stalno traje manje od 30 minuta. Najbolji zabilježeni rezultat je osam puta brži nego s istom količinom podataka na pogonu vretena. Tako je moguće koristiti diskove izuzetnog kapaciteta, recimo 7,68 ili čak 15 TB, a da se ne brinete o pouzdanosti sustava.
Važno je da se ponovna izgradnja ne provodi u rezervnom pogonu, već u rezervnom prostoru - rezervnom kapacitetu. Svaki pogon ima namjenski prostor koji se koristi za oporavak podataka nakon kvara. Dakle, oporavak se ne provodi prema shemi "više prema jednom", već prema shemi "više prema mnogima", zbog čega je moguće značajno ubrzati proces. I dok ima slobodnih kapaciteta, oporavak se može nastaviti.
Treba spomenuti i pouzdanost rješenja iz više skladišta – u metro klasteru, ili Huaweijevom terminologijom HyperMetro. Takve su sheme podržane na cijelom rasponu modela naših sustava za pohranu podataka i dopuštaju pristup datotekama i blokovima. Štoviše, na bloku jedan funkcionira i putem Fibre Channela i Etherneta (uključujući putem iSCSI).
U biti, govorimo o dvosmjernoj replikaciji s jednog sustava za pohranu na drugi, u kojoj replicirani LUN dobiva isti LUN-ID kao i glavni. Tehnologija radi prvenstveno zahvaljujući konzistentnosti predmemorija iz dva različita sustava. Dakle, za domaćina nije važno na kojoj je strani: i ovdje i tamo vidi isti logički pogon. Kao rezultat toga, ništa vas ne sprječava da postavite failover klaster koji obuhvaća dvije stranice.
Za kvorum se koristi fizički ili virtualni Linux stroj. Može se nalaziti na trećem mjestu, a zahtjevi za njegovim resursima su mali. Uobičajeni scenarij je iznajmljivanje virtualnog mjesta isključivo za hosting kvoruma VM.
Tehnologija također omogućuje proširenje: dva skladišta - u metro klasteru, dodatno mjesto - s asinkronom replikacijom.
Povijesno gledano, mnogi kupci formirali su "zoološki vrt za pohranu": hrpu sustava za pohranu različitih proizvođača, različitih modela, različitih generacija, s različitim funkcijama. Međutim, broj hostova može biti impresivan, a često su i virtualizirani. U takvim okolnostima, jedan od prioriteta administracije je brzo, jedinstveno i prikladno osigurati logičke diskove hostovima, po mogućnosti na način da se ne ulazi u to gdje se ti diskovi fizički nalaze. To je ono za što je dizajnirano naše softversko rješenje OceanStor DJ, koje može jednoglasno upravljati različitim sustavima za pohranu i pružati usluge iz njih bez vezivanja za određeni model pohrane.
Isti AI
Kao što je već spomenuto, OceanStor Dorado 18000 V6 ima ugrađene procesore s algoritmima umjetne inteligencije – Ascend. Koriste se, prvo, za predviđanje kvarova, a drugo, za formiranje preporuka za podešavanje, što također povećava performanse i pouzdanost pohrane.
Horizont predviđanja je dva mjeseca: strojevi umjetne inteligencije pretpostavljaju što će se dogoditi s velikom vjerojatnošću tijekom tog vremena, je li vrijeme za proširenje, promjenu pravila pristupa itd. Preporuke se izdaju unaprijed, što vam omogućuje planiranje prozora za održavanje sustava unaprijed od vremena.
Sljedeća faza razvoja umjetne inteligencije iz Huaweia je dovođenje na globalnu razinu. Tijekom servisnog održavanja - failover ili preporuke - Huawei prikuplja informacije iz sustava za bilježenje iz svih skladišta naših korisnika. Na temelju prikupljenih podataka provodi se analiza nastalih ili potencijalnih kvarova i daju globalne preporuke - ne temeljene na funkcioniranju jednog određenog sustava za pohranu ili čak desetak, već na onome što se događa i dogodilo s tisućama takvih uređaja. Uzorak je ogroman, a na temelju njega AI algoritmi počinju učiti iznimno brzo, zbog čega se točnost predviđanja značajno povećava.
Kompatibilnost
U 2019.-2020. bilo je mnogo insinuacija o interakciji naše opreme s VMware proizvodima. Kako bismo ih konačno zaustavili, odgovorno izjavljujemo: VMware je partner Huaweija. Provedeni su svi mogući testovi za kompatibilnost našeg hardvera s njegovim softverom, i kao rezultat toga, na web stranici VMware, lista kompatibilnosti hardvera navodi trenutno dostupne sustave za pohranu naše proizvodnje bez ikakvih rezervi. Drugim riječima, uz softversko okruženje VMware, možete koristiti Huaweijevu pohranu, uključujući Dorado V6, uz punu podršku.
Isto vrijedi i za našu suradnju s Brocadeom. Nastavljamo s interakcijom i testiranjem naših proizvoda na kompatibilnost i možemo pouzdano tvrditi da su naši sustavi za pohranu u potpunosti kompatibilni s najnovijim Brocade FC prekidačima.
Što je sljedeće?
Nastavljamo razvijati i poboljšavati naše procesore: postaju brži, pouzdaniji, njihove performanse rastu. Također poboljšavamo AI čipove - na temelju njih se također proizvode moduli koji ubrzavaju deduplikaciju i kompresiju. Oni koji imaju pristup našem konfiguratoru možda su primijetili da su ove kartice već dostupne za narudžbu u modelima Dorado V6.
Također idemo prema dodatnom predmemoriranju na Storage Class Memory - trajnoj memoriji s posebno niskom latencijom, oko deset mikrosekundi po čitanju. Između ostalog, SCM daje povećanje performansi, prvenstveno pri radu s velikim podacima i pri rješavanju OLTP zadataka. Nakon sljedećeg ažuriranja, SCM kartice bi trebale postati dostupne za narudžbu.
I naravno, funkcionalnost pristupa datoteci bit će proširena na cijeli niz Huaweijevih pohrana podataka - pratite naša ažuriranja.
Izvor: www.habr.com