{"id":97824,"date":"2020-10-22T14:42:26","date_gmt":"2020-10-22T12:42:26","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/huawei-oceanstor-dorado-18000-v6-v-chyom-eyo-haj-endovost"},"modified":"2020-11-18T00:58:50","modified_gmt":"2020-11-17T22:58:50","slug":"huawei-oceanstor-dorado-18000-v6-v-chyom-eyo-haj-endovost","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hr\/blog\/administrirovanie\/huawei-oceanstor-dorado-18000-v6-v-chyom-eyo-haj-endovost","title":{"rendered":"Huawei OceanStor Dorado 18000 V6: u \u010demu je njen hi-end karakter?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Detaljno obja\u0161njavamo za\u0161to OceanStor Dorado 18000 V6 zaista predstavlja visokotehnolo\u0161ki sustav za pohranu podataka s zna\u010dajnim rezervama za naredne godine. Tako\u0111er raspr\u0161ujemo uobi\u010dajene zabrinutosti oko All-Flash skladi\u0161ta i pokazujemo kako Huawei izvla\u010di maksimum iz njih: end-to-end NVMe, dodatno caching na SCM-u i \u010ditav niz drugih rje\u0161enja.
\n\"Huawei
\n<\/a><\/noindex>
\n\"Huawei
\n<\/p>\n

Novi krajolik podataka \u2014 nova pohrana podataka<\/h2>\n

\nIntenzitet rada s podacima raste u svim industrijama. Bankarstvo je najjasnija ilustracija toga. U posljednjih nekoliko godina broj bankovnih transakcija pove\u0107ao se vi\u0161e od deset puta. Kako pokazuje istra\u017eivanje BCG<\/a><\/noindex>, samo u Rusiji, u razdoblju od 2010. do 2018. godine, broj bezgotovinskih transakcija putem kreditnih kartica pokazao je vi\u0161e od tridestostrukog rasta \u2014 s 5,8 na 172 po osobi godi\u0161nje. Razlog tome je prvenstveno trijumf mikrotransakcija: ve\u0107ina nas je postala naviknuta na online bankarstvo i banka nam je sada pri ruci \u2014 u telefonu.<\/p>\n

IT infrastruktura kreditne institucije mora biti spremna za ovakve izazove. A to je doista izazov. Osim svega, dok je bankama prije bilo dovoljno osigurati dostupnost podataka samo tijekom radnog vremena, sada je to neophodno 24\/7. Sve do nedavno, ka\u0161njenje od 5 ms smatralo se prihvatljivim, a \u0161to je sad? Sada je \u010dak i 1 ms previ\u0161e. Za suvremeni sustav pohrane podataka, ciljana vrijednost je 0,5 ms.<\/p>\n

Isto vrijedi i za pouzdanost: 2010-ih se stvorilo empirijsko razumijevanje da je dovoljno dosti\u0107i razinu \u201epet desetaka\u201c \u2014 99,999%. Me\u0111utim, to razumijevanje ve\u0107 je zastarjelo. U 2020. godini, za poslovanje je potpuno normalno zahtijevati 99,9999% u vezi s pohranom i 99,99999% u vezi s arhitektonskim rje\u0161enjem u cijelosti. To nije kapric, ve\u0107 nu\u017ena potreba: ili nema vremenskog okna za odr\u017eavanje infrastrukture, ili je ono iznimno maleno.<\/p>\n

\"Huawei
\n
\nZa bolju preglednost, ove pokazatelje je prikladno projektirati na nov\u010danu ravninu. Najjednostavnije \u0107e biti na primjeru financijskih institucija. Na gornjoj dijagramu prikazana je svota koju svaki od top 10 svjetskih banaka zaradi u satu. Samo Kina Industrijska i komercijalna banka zara\u0111uje $5 milijuna. Toliko \u0107e ko\u0161tati jedan sat zastoja IT infrastrukture najve\u0107e kreditne institucije u Kini (pri \u010demu su u obra\u010dun uzeti u obzir samo propu\u0161teni izgledi!). U tom kontekstu jasno je da smanjenje vremena zastoja i pove\u0107anje pouzdanosti nije racionalno opravdano samo za postotak, ve\u0107 i na dijelove postotka. Ne samo zbog pove\u0107anja konkurentnosti, ve\u0107 jednostavno radi o\u010duvanja tr\u017ei\u0161nih pozicija.<\/p>\n

Sli\u010dne promjene doga\u0111aju se i u drugim industrijama. Na primjer, u zra\u010dnom prometu: prije pandemije, zra\u010dni prijevoz je svake godine ubrzavao, a mnogi su ga po\u010deli koristiti gotovo kao taksi. \u0160to se ti\u010de potro\u0161a\u010dkih obrazaca, u dru\u0161tvu se ustalila navika potpunog pristupa uslugama: po dolasku na aerodrom trebamo povezivanje na Wi-Fi, pristup platnim uslugama, kartu podru\u010dja itd. Kao posljedica, optere\u0107enje na infrastrukturu i uslugu u javnim prostorima vi\u0161estruko je pove\u0107ano. A pristupi za njezinu izgradnju koje smo smatrali prihvatljivima \u010dak i prije godine, brzo postaju zastarjeli.<\/p>\n

\"Huawei
\n<\/p>\n

Nije li prerano pre\u0107i na All-Flash?<\/h2>\n

\nZa rje\u0161avanje zadataka o kojima je bilo govora, s aspekta performansi AFA - all-flash arrays, dakle, potpuno izgra\u0111eni na flash-u, najbolje su rje\u0161enje. Iako su do nedavno postojale dvojbe o tome jesu li usporedivi u pouzdanosti s onima temeljenim na HDD-u i hibridnim rje\u0161enjima. Na kraju krajeva, \u010dvrsti flash memorijski ure\u0111aji imaju pokazatelj poput prosje\u010dnog vremena izme\u0111u kvarova (MTBF). Na\u017ealost, degradacija \u0107elija uslijed operacija ulaza\/izlaza je stvarnost.<\/p>\n

Dakle, perspektive All-Flash tehnologije zasjenila je briga o tome kako sprije\u010diti gubitak podataka u slu\u010daju da SSD prestane raditi. Sigurnosno kopiranje je uobi\u010dajena opcija, ali vrijeme oporavka bi bilo neprihvatljivo dugo prema dana\u0161njim zahtjevima. Druga mogu\u0107nost je uspostava drugog sloja pohrane na tvrdim diskovima, no takav pristup dovodi do gubitka dijela prednosti sustava koji se isklju\u010divo oslanja na flash.<\/p>\n

Me\u0111utim, brojke govore druga\u010dije: statistika velikih igra\u010da u digitalnoj ekonomiji, uklju\u010duju\u0107i Google, u posljednjim godinama pokazuje da je flash vi\u0161estruko pouzdaniji od tvrdih diskova. I to kako na kratkom, tako i na dugom vremenskom razdoblju: u prosjeku, do kvara flash ure\u0111aja prolazi \u010detiri do \u0161est godina. U smislu pouzdanosti pohrane podataka ni pribli\u017eno ne zaostaju za ure\u0111ajima na magnetnim diskovima, a ponekad ih \u010dak i nadma\u0161uju.<\/p>\n

\"Huawei
\n
\nJo\u0161 jedan tradicionalni argument u korist tvrdih diskova je njihova cjenovna dostupnost. Neosporno je da je cijena pohrane terabajta na tvrdom disku jo\u0161 uvijek relativno niska. Ako se uzmu u obzir samo tro\u0161kovi opreme, tro\u0161ak pohrane terabajta na tvrdom disku je jeftiniji nego na SSD-u. No, u kontekstu financijskog planiranja, ne uzima se u obzir samo cijena individualnog ure\u0111aja, ve\u0107 i ukupni tro\u0161ak vlasni\u0161tva tijekom vi\u0161e godina \u2014 od tri do sedam godina.<\/p>\n

Iz ovog kuta gledi\u0161ta sve izgleda druga\u010dije. \u010cak i ako zanemarimo deduplikaciju i kompresiju, koje se obi\u010dno primjenjuju na flash ure\u0111ajima i \u010dine njihovu upotrebu ekonomi\u010dnijom, postoje karakteristike kao \u0161to su prostor koji zauzimaju ure\u0111aji u ormari\u0107u, toplinska emisija i potro\u0161nja energije. A po tim parametrima, flash pobje\u0111uje svoje prethodnike. Kao rezultat toga, ukupni tro\u0161ak vlasni\u0161tva (TCO) sustava pohrane podataka na flashu \u010desto je gotovo dvostruko ni\u017ei nego u slu\u010daju sustava temeljenih na tvrdim diskovima ili hibridima.<\/p>\n

Prema izvje\u0161tajima agencije ESG, na All-Flash sustavima za pohranu podataka Dorado V6 mo\u017ee se posti\u0107i smanjenje tro\u0161kova vlasni\u0161tva do 78% u razdoblju od pet godina \u2014 dijelom zahvaljuju\u0107i u\u010dinkovitoj deduplikaciji i kompresiji, kao i niskoj potro\u0161nji energije i toplinske emisije. Njema\u010dka analiti\u010dka tvrtka DCIG tako\u0111er ih preporu\u010duje za kori\u0161tenje kao optimalna rje\u0161enja s aspekta TCO dostupna danas.<\/i><\/p><\/blockquote>\n

Kori\u0161tenje \u010dvrstih diskova omogu\u0107uje u\u0161tedu korisnog prostora, smanjuje broj kvarova, skra\u0107uje vrijeme odr\u017eavanja rje\u0161enja, te smanjuje potro\u0161nju energije i toplinsku emisiju sustava za pohranu podataka. Pokazuje se da je AFA u ekonomskom smislu barem usporediv s tradicionalnim sustavima na vrtnim diskovima, a \u010desto ih i nadma\u0161uje.<\/p>\n

\"Huawei
\n<\/p>\n

Royal Flash od Huaweija<\/h2>\n

\nMe\u0111u na\u0161im All-Flash pohranjiva\u010dima isti\u010de se vrhunski hi-end sustav OceanStor Dorado 18000 V6. Ne samo me\u0111u na\u0161im pohranjiva\u010dima: u cijeloj industriji dr\u017ei rekord brzine \u2014 do 20 milijuna IPOS-a u maksimalnoj konfiguraciji. Osim toga, iznimno je pouzdan: \u010dak i ako istovremeno otka\u017eu dva kontrolera, ili do sedam kontrolera jedan za drugim, ili \u010dak cijeli motor \u2014 podaci \u0107e pre\u017eivjeti. Significativne prednosti 'osamnaestotisu\u0107itog' sustava donosi ugra\u0111eni AI, uklju\u010duju\u0107i fleksibilnost u upravljanju unutarnjim procesima. Pogledajmo kako se to sve posti\u017ee.<\/p>\n

\"Huawei
\n
\nVelika prednost poslovanja Huaweija dolazi od toga \u0161to je jedini proizvo\u0111a\u010d na tr\u017ei\u0161tu koji potpuno samostalno proizvodi sustave za pohranu podataka. Imamo vlastitu shemu, vlastiti mikrokod i vlastitu uslugu odr\u017eavanja.<\/p>\n

Kontroler u sustavima OceanStor Dorado temelji se na procesoru vlastite konstrukcije i proizvodnje Huaweija \u2014 Kunpeng 920. Uklju\u010den je modul za upravljanje Intelligent Baseboard Management Controller (iBMC), tako\u0111er na\u0161. AI \u010dipovi, konkretno Ascend 310, koji optimiziraju predikcije zakazivanja i daju preporuke za postavke, tako\u0111er su Huaweijevi, kao i moduli za ulaz-izlaz \u2014 Smart I\/O. Na kraju, kontroleri u \u010dvrstim diskovima tako\u0111er su projektirani i proizvedeni na\u0161im resursima. Sve to pru\u017ea osnovu za izradu integralno uravnote\u017eenog i visokou\u010dinkovitog rje\u0161enja.<\/p>\n

\"Huawei
\n<\/p>\n

U protekloj godini realizirali smo projekt implementacije ovog, na\u0161eg najboljeg, sustava za pohranu u jednoj od velikih ruskih banaka. Kao rezultat, vi\u0161e od 40 jedinica OceanStor Dorado 18000 V6 u metro-clusteru pokazuje stabilnu izvedbu: svaka sustav mo\u017ee posti\u0107i vi\u0161e od milijun IOPS, \u010dak i uz zastoje zbog udaljenosti.<\/p><\/blockquote>\n

\"Huawei
\n<\/p>\n

Prozirni NVMe<\/h2>\n

\nNajnoviji sustavi za pohranu podataka Huawei podr\u017eavaju end-to-end NVMe, na \u010demu s pravom stavljamo naglasak. Tradicionalno kori\u0161teni protokoli pristupa ure\u0111ajima razvijeni su u prapovijesti IT-a: u njihovoj osnovi su SCSI komande (pozdrav iz 1980-ih!), koje nose veliki broj funkcija za osiguranje unazadne kompatibilnosti. Bez obzira na na\u010din pristupa, protokol overhead je u ovom slu\u010daju golem. Kao rezultat, ure\u0111aji koji koriste SCSI vezane protokole imaju ka\u0161njenje ulazno-izlaznog operacije koje ne mo\u017ee biti ispod 0,4\u20130,5 ms. S druge strane, kao protokol stvoren za rad s flash memorijom i oslobo\u0111en od pomo\u0107nih rje\u0161enja radi nepopularne unazadne kompatibilnosti, NVMe \u2014 Non-Volatile Memory Express \u2014 smanjuje latenciju do 0,1 ms, i to ne samo na sustavima za pohranu, ve\u0107 sve do cijelog stoga, od hosta do ure\u0111aja. Nije iznena\u0111uju\u0107e \u0161to je NVMe u skladu s trendovima razvoja pohrane podataka u bliskoj budu\u0107nosti. I mi smo se odlu\u010dili za NVMe \u2014 i postupno se povla\u010dimo od SCSI-a. Svi suvremeni sustavi za pohranu podataka Huawei, uklju\u010duju\u0107i liniju Dorado, podr\u017eavaju NVMe (me\u0111utim, kao end-to-end implementacija, on je dostupan samo na naprednim modelima serije Dorado V6).<\/p>\n

\"Huawei
\n<\/p>\n

FlashLink: \u0161aka tehnologija<\/h2>\n

\nTemeljna tehnologija za cijelu liniju OceanStor Dorado je FlashLink. Preciznije, to je termin koji objedinjuje integrirani skup tehnologija koje slu\u017ee za osiguranje visoke izvedbe i pouzdanosti. Ovdje su uklju\u010dene tehnologije deduplikacije i kompresije, funkcioniranje sustava raspodjele podataka RAID 2.0+, razdvajanje 'hladnih' i 'vru\u0107ih' podataka, cjelostripa zapisivanje podataka (slu\u010dajne zapise, s novim i izmijenjenim podacima, agregiraju se u velikom prometu i pi\u0161u se sekvencijalno, \u0161to pove\u0107ava brzinu \u010ditanja i pisanja).<\/p>\n

Osim svega navedenog, FlashLink uklju\u010duje dva va\u017ena komponenta \u2014 Wear Leveling i Global Garbage Collection. Na njima se isplati zastati zasebno.<\/p>\n

U su\u0161tini, svaki solid-state disk je mini skladi\u0161te s velikim brojem blokova i kontrolerom koji osigurava dostupnost podataka. Ova dostupnost se osigurava i prebacivanjem podataka s \"o\u0161te\u0107enih\" \u0107elija na \"neosnovane\". Time se jam\u010di da \u0107e ih biti mogu\u0107e pro\u010ditati. Postoje razli\u010diti algoritmi za takav prijenos. U op\u0107em slu\u010daju, kontroler nastoji ravnomjerno rasporediti habanje svih \u0107elija diska. Ovaj pristup ima svoju manu. Kada unutar SSD-a do\u0111e do premje\u0161tanja podataka, broj izvr\u0161enih operacija ulaza-izlaza drasti\u010dno se smanjuje. Trenutno je to neizbje\u017eno zlo.<\/p>\n

Dakle, ako u sustavu postoji mnogo solid-state diskova, na grafikonu performansi se pojavljuje \"pila\" s o\u0161trim usponima i padovima. Problem je u tome \u0161to jedan disk iz skupa mo\u017ee pokrenuti migraciju podataka u bilo kojem trenutku, a op\u0107a izvedba se jednostavno mjeri sa svih SSD-ova u nizu. No, in\u017eenjeri Huaweija su smislili na\u010din da izbjegnu nastanak \"pile\".<\/p>\n

Sre\u0107om, kontroleri u diskovima, kontroler za skladi\u0161tenje i mikroprogram Huaweija su \"ro\u0111eni\", ti procesi u OceanStor Dorado 18000 V6 pokre\u0107u se centralizirano, sinkrono na svim diskovima niza. I to po uputi kontrolera skladi\u0161ta, i to upravo kada nema velike optere\u0107enosti ulaza-izlaza.<\/p>\n

\u010cip umjetne inteligencije tako\u0111er sudjeluje u odabiru pravog trenutka za prijenos podataka: na temelju statistike pristupa u prethodnih nekoliko mjeseci, s velikom vjerojatno\u0161\u0107u mo\u017ee predvidjeti ho\u0107e li u bliskoj budu\u0107nosti biti aktivnog ulaza-izlaza, a ako je odgovor negativan, a optere\u0107enje sustava trenutno malo, kontroler nare\u0111uje svim diskovima: kojima je potrebna razina habanja, da izvr\u0161e to odjednom i sinkrono.<\/p><\/blockquote>\n

Osim toga, kontroler sustava vidi \u0161to se doga\u0111a u svakoj \u0107eliji diska, za razliku od skladi\u0161ta konkurenata: oni su prisiljeni nabavljati solid-state ure\u0111aje od tre\u0107ih dobavlja\u010da, zbog \u010dega detaljnost na razini \u0107elija nije dostupna kontrolerima takvih skladi\u0161ta.<\/p>\n

Kao rezultat, OceanStor Dorado 18000 V6 ima vrlo kratak period gubitka performansi tijekom operacije upravljanja tro\u0161enjem, koja se uglavnom izvodi kada nijednom drugom procesu ne ometa. To omogu\u0107ava visoku stabilnu performansu na kontinuiranoj osnovi.<\/p>\n

\"Huawei
\n<\/p>\n

Od \u010dega se sastoji pouzdanost OceanStor Dorado 18000 V6<\/h2>\n

\nU modernim sustavima pohrane podataka razlikuju se \u010detiri razine pouzdanosti:<\/p>\n