FAST VP u Unity Storage: kako to funkcioniše

Danas ćemo govoriti o zanimljivoj tehnologiji implementiranoj u Unity/Unity XT, a to je FAST VP. Ako prvi put čujete za Unity, možete se upoznati sa specifikacijama sistema putem linka na kraju članka. U projektnoj ekipi Dell EMC radio sam na FAST VP više od godinu dana. Danas ću vam detaljnije predstaviti ovu tehnologiju i otkriti neke detalje njene implementacije. Naravno, samo one koje je dozvoljeno otkriti. Ako vas zanimaju pitanja o efikasnom skladištenju podataka ili jednostavno niste do kraja razumeli dokumentaciju, ovaj članak će vam sigurno biti koristan i zanimljiv.

FAST VP u Unity Storage: kako to funkcioniše

Odmah ću reći šta u ovom materijalu neće biti. Neće biti istraživanja konkurencije i upoređivanja sa njima. Takođe, ne planiram govoriti o sličnim tehnologijama iz open source, jer radoznali čitač već zna o njima. I, naravno, ne nameravam ništa reklamirati.

Skladištenje podataka. Ciljevi i zadaci FAST VP

FAST VP se prevodi kao Fully Automated Storage Tiering for Virtual Pool. Čini se komplikovano? Ništa, sada ćemo razjasniti. Tiering je način organizacije skladištenja podataka koji omogućava postojanje više nivoa (tiers), na kojima se podaci skladište. Svaki od njih ima svoje karakteristike. Najvažnije su: performanse, kapacitet i cena skladištenja jednice informacija. Naravno, postoji povezanost između njih.

Važna karakteristika tieringa je u tome što se pristup podacima obezbeđuje uniformno, bez obzira na to na kojem se nivou skladištenja trenutno nalaze, dok je veličina bazena jednaka sumi veličina resursa koji ga čine. Tu leže razlike u odnosu na keš: veličina keša se ne dodaje ukupnom volumenu resursa (bazena u ovom slučaju), dok podaci iz keša repliciraju određeni deo podataka glavnog nosača (ili će replicirati, ako podaci iz keša još nisu zapisani). Takođe, raspodela podataka po nivoima je skrivena od korisnika. To znači da on ne vidi koji podaci se nalaze na svakom nivou, iako može posredno uticati na to definisanjem politika (o njima ćemo kasnije).

Sada ćemo pogledati karakteristike realizacije skladištenja podataka u Unity-u. U Unity-u se izdvajaju 3 nivoa, ili tier-a:

  • Ekstremne performanse (SSD-ovi)
  • Performanse (SAS HDD 10k/15k RPM)
  • Kapacitet (NL-SAS HDD 7200 RPM)

Oni su predstavljeni po opadajućem redosledu performansi i cene. U Extreme performance se isključivo nalaze čvrsti diskovi (SSD). U druga dva nivoa nalaze se diskovi na magnetskoj osnovi, koji se razlikuju brzinom rotacije i, samim tim, performansama.

Skladišta informacija iz istog nivoa i iste veličine kombinuju se u RAID-massiv, formirajući RAID-grupu (RAID group, skraćeno – RG); o dostupnim i preporučenim nivoima RAID-a možete pročitati u zvaničnoj dokumentaciji. Iz RAID-grupa jednog ili više nivoa formiraju se skladišni prostori (Storage pool), iz kojih se potom raspodeljuje slobodni prostor. Već iz tog prostora se izdaje mesto za datotečne sisteme i LUN-ove.

FAST VP u Unity Storage: kako to funkcioniše

Zašto mi treba Tiering?

Ukratko i apstraktno: da se postigne veći učinak koristeći minimalne resurse. Ako budemo precizniji, rezultat se obično podrazumeva kao zbir karakteristika SČD – brzina i vreme pristupa, trošak skladištenja i slično. Pod minimalnim resursima podrazumevaju se najmanji troškovi: novac, energija i slično. FAST VP upravo implementira mehanizme preraspodele podataka između različitih nivoa u SČD Unity/Unity XT. Ako mi verujete, možete preskočiti sledeći pasus. Za ostale ću malo detaljnije objasniti.

Pravilna raspodela podataka po nivoima skladištenja omogućava smanjivanje ukupnih troškova SČD, žrtvujući brzinu pristupa nekim ređe korišćenim informacijama, i povećanje performansi, premestajući često korišćene podatke na brže nosioce. Neko može prigovoriti da i bez tieringa običan administrator zna gde koje podatke da smesti, kakve su poželjne karakteristike SČD za njegov zadatak itd. Nesumnjivo, to je istina, ali ručna raspodela podataka ima svoje nedostatke:

  • zahteva vreme i pažnju administratora;
  • nije uvek moguće "preoblikovati" resurse SČD prema promenjenim uslovima;
  • nestaje važna prednost: jedinstven pristup resursima koji se nalaze na različitim nivoima skladištenja.

Da bi se administratori skladišta manje brinuli o sigurnosti posla, dodajem da je racionalno planiranje resursa ovde takođe neophodno. Sada kada je ukratko opisana stratifikacija zadataka, hajde da vidimo šta možemo očekivati od FAST VP. Sada je pravo vreme da se vratimo definiciji. Prve dve reči – Fully Automated – prevode se kao "potpuno automatizovan" i znače da distribucija po nivoima deonice ide automatski. A Virtual Pool je bazen podataka koji obuhvata resurse iz različitih nivoa skladištenja. Ovako to izgleda:

FAST VP u Unity Storage: kako to funkcioniše

Da požurim, reći ću da FAST VP premesta podatke samo unutar jednog bazena, a ne između nekoliko bazena.

Zadaci koje rešava FAST VP

Prvo, razgovaraćemo apstraktno. Imamo bazen i neki mehanizam koji može redistribuirati podatke unutar tog bazena. Imajući u vidu da je naš cilj postizanje maksimalne performanse, postavljamo pitanje: kojim putem to možemo postići? Postoje različiti načini, a FAST VP nudi korisniku više od samo skladišne stratifikacije. Evo kako FAST VP može povećati performanse bazena:

  • Distribucija podataka po različitim vrstama diskova, nivoima
  • Distribucija podataka među diskovima iste vrste
  • Distribucija podataka prilikom širenja bazena

Pre nego što razmatramo kako se ovi zadaci rešavaju, moramo znati neka neophodna fakta o radu FAST VP. FAST VP operiše blokovima određene veličine – 256 megabajta. To je minimalni kontinuirani "komad" podataka koji može biti premesten. U dokumentaciji ga tako i nazivaju: slice. Iz perspektive FAST VP, sve RAID grupe se sastoje od skupa takvih "komada". U skladu s tim, sva statistika ulaza-izlaza se akumulira za te blokove podataka. Zašto je tačno izabran takav veličanstveni blok i da li će biti smanjen? Blok je dovoljno veliki, ali to je kompromis između granularnosti podataka (manji veličina bloka – tačnija distribucija) i dostupnih računarskih resursa: uz postojeća stroga ograničenja na radnu memoriju i veliki broj blokova, podaci o statistikama mogu zauzimati previše prostora, a količina izračunavanja će rasti proporcionalno.

Kako FAST VP raspoređuje podatke u bazenu. Politike

Da biste upravljali raspoređivanjem podataka u bazenu sa aktiviranim FAST VP, postoje politike:

  • Najviši dostupni nivo
  • Automatsko raspoređivanje
  • Počni visoko, zatim automatsko raspoređivanje (prema zadanim postavkama)
  • Najniži dostupni nivo

One utiču kako na prvobitno raspoređivanje bloka (kada su podaci prvi put zapisani), tako i na njihovo kasnije premeštanje. Kada su podaci već smešteni na diskove, premeštanje će biti pokrenuto prema rasporedu ili ručno.

Najviši dostupni nivo pokušava da smešta novi blok na najproduktivnijem nivou. U slučaju nedostatka prostora na njemu, smešta ga na sledeći po produktivnosti, ali kasnije se podaci mogu premeštati na produktivniji nivo (ukoliko ima mesta ili izbacujući druge podatke). Automatsko raspoređivanje smešta nove podatke na različite nivoe u zavisnosti od veličine dostupnog prostora, a premeštaju se u zavisnosti od potražnje i slobodnog prostora. Počni visoko, zatim automatsko raspoređivanje je politika po zadanom i takođe preporučena. Tokom prvobitnog raspoređivanja funkcioniše kao najviši dostupni nivo, a kasnije se podaci premeštaju u zavisnosti od njihove statistike korišćenja. Politika najnižeg dostupnog nivoa teži smeštanju podataka na najmanje produktivni nivo.

Premeštanje podataka se odvija sa niskim prioritetom kako ne bi ometalo korisni rad skladišta podataka, ali postoji podešavanje 'Stopa premeštanja podataka' koje menja prioritet. Tu postoji posebnost: ne svi blokovi podataka imaju istu redosled premeštanja. Na primer, blokovi označeni kao metapodaci će se prvo premeštati na brži nivo. Metapodaci su, ako to možemo reći, 'podaci o podacima', dodatne informacije koje nisu korisnički podaci, ali čuvaju njihovu opis. Na primer, informacije u datotečnom sistemu o tome u kojem bloku se nalazi određena datoteka. To znači da brzina pristupa podacima zavisi od brzine pristupa metapodacima. S obzirom na to da su metapodaci obično mnogo manji, očekuje se veća koristi od njihovog premeštanja na produktivnije diskove.

Kriterijumi koje Fast VP koristi u radu

Glavni kriterij za svaki blok, ukoliko grubo pogledamo, je karakteristika 'traženosti' podataka, koja zavisi od broja operacija čitanja i pisanja fragmenta podataka. Ova karakteristika se naziva 'Temperatura'. Postoje traženi (hot) podaci koji su 'topliji' od nepoželjnih. Ona se periodično izračunava, podrazumevano na svakih sat vremena.

Funkcija izračunavanja temperature ima sledeće karakteristike:

  • U slučaju da nema ulazno-izlaznih operacija, podaci tokom vremena 'hlade'.
  • Uz više-manje jednaku opterećenost tokom vremena, temperatura prvo raste, a zatim se stabilizuje u određenom rasponu.

Nakon toga se uzimaju u obzir politike opisane gore, kao i slobodno mesto na svakom tier-u. Za ilustraciju, prilažem sliku iz dokumentacije. Tu su crvenom, žutom i plavom bojom označeni blokovi sa visokom, srednjom i niskom temperaturom.

FAST VP u Unity Storage: kako to funkcioniše

Ali, vratimo se zadacima. Tako, možemo početi s razmatranjem onoga što se radi za rešavanje zadataka FAST VP.

A. Distribucija podataka po različitim tipovima diskova, nivoima

To je zapravo osnovni zadatak FAST VP. Ostali su, u nekom smislu, derivati od njega. U zavisnosti od odabrane politike, podaci će se distribuirati po različitim nivoima skladištenja. Prvo se uzima u obzir politika rasporeda, zatim temperatura blokova i veličina/performanse RAID grupa.

Za politike Najviši/Najniži dostupni nivo, sve je dovoljno jednostavno. Za ostale dve situacija je ovakva. Podaci se distribuiraju po različitim nivoima uzimajući u obzir veličinu i performanse RAID grupa: tako da odnos ukupne 'temperature' blokova prema 'uslovnoj maksimalnoj performansi' svake RAID grupe bude otprilike isti. Tako se opterećenje ravnomernije raspodeljuje. Više traženi podaci se premeste na brže nosače, a retko korišćeni – na sporije. U idealnom slučaju raspodela bi trebala izgledati ovako:

FAST VP u Unity Storage: kako to funkcioniše

B. Distribucija podataka među diskovima istog tipa

Zapamtite, na početku sam pisao da su nosači informacija iz jednog ili više Kako se slojevi objedinjaju u jedan skup? U slučaju pojedinačnog sloja za FAST VP takođe postoji posao. Da bi performanse bilo kojeg sloja bile maksimalne, poželjno je ravnomerno rasporediti podatke između diskova. To će omogućiti (teoretski) postizanje maksimalnog broja IOPS. Podaci unutar RAID grupe mogu se smatrati ravnomerno raspoređenim po diskovima, dok to između RAID grupa nije uvek slučaj. U slučaju neravnoteže, FAST VP će premeštati podatke između RAID grupa proporcionalno njihovom obimu i „uslovnoj performansi“ (u numeričkom izrazu). Za ilustraciju, prikazaću dijagram rebalansiranja među tri RAID grupe:

FAST VP u Unity Storage: kako to funkcioniše

V. Raspodela podataka prilikom proširenja sklopa

Ovaj zadatak je posebni slučaj prethodnog i obavlja se kada se RAID grupa dodaje u skup. Da bi nova RAID grupa bila iskorišćena, deo podataka će biti premešten na nju, a to znači da će opterećenje na svim RAID grupama biti preraspodeljeno.

Izjednačavanje habanja SSD-a

Uz pomoć izjednačavanja habanja, FAST VP može produžiti životni vek SSD-a, iako ova funkcija nije direktno povezana sa skladišnim nivoima. Budući da su podaci o temperaturi već dostupni, broj operacija pisanja se takođe uzima u obzir, i sposobni smo da premeštamo blokove podataka, bilo bi logično da FAST VP reši i ovaj problem.

U slučaju da broj zapisa u jednu RAID grupu značajno premašuje broj zapisa u drugu, FAST VP će preraspodeliti podatke u skladu sa brojem operacija pisanja. S jedne strane, ovo smanjuje opterećenje i čuva resurs nekih diskova, dok s druge strane dodaje "posao" za manje opterećene diskove, povećavajući ukupne performanse.

Na taj način, FAST VP preuzima tradicionalne zadatke skladištenja nivoa i čini još malo više od toga. Sve ovo omogućava efikasno skladištenje podataka u skladištima porodice Unity.

Nekoliko saveta

  1. Ne zapostavljajte čitanje dokumentacije. Postoje najbolje prakse i one prilično dobro funkcionišu. Ako ih se pridržavate, obično ne nastaju ozbiljni problemi. Ostali saveti uglavnom ponavljaju ili dopunjuju ove.
  2. Ako ste postavili i aktivirali FAST VP, bolje je da ga ostavite uključenog. Neka raspoređuje podatke u predviđeno vreme, malo po malo, umesto jednom godišnje uz značajan uticaj na performanse drugih zadataka. U takvim slučajevima, rekonstrukcija podataka može potrajati dugo.
  3. Pažljivo odaberite vreme za relokaciju. Iako je to očigledno, pokušajte da izaberete vreme sa najmanjim opterećenjem na Unity i obezbedite dovoljno vremena.
  4. Planirajte proširenje pohrane, uradite to na vreme. Ovo je opšta preporuka koja je važna i za FAST VP. Ako je volumen slobodnog prostora veoma mali, premještanje podataka će se usporiti ili postati nemoguće. Posebno ako ste zanemarili tačku 2.
  5. Prilikom proširenja skladišnog niza sa uključenim FAST VP, ne treba početi sa najsporijim diskovima. To jest, ili dodajte sve planirane RAID grupe odjednom, ili prvo dodajte najbrže diskove. U ovom slučaju, rekonstrukcija podataka na nove 'brze' diskove će povećati ukupnu brzinu skladišnog niza. U suprotnom, počinjanjem sa 'sporim' diskovima možete doći u veoma neprijatnu situaciju. Prvo će doći do prenosa podataka na nove, relativno spore diskove, a zatim, prilikom dodavanja bržih, obrnuto. Tu postoje nijanse vezane za različite politike FAST VP, ali uopšteno govoreći, takva situacija je moguća.

Ako razmišljate o ovom proizvodu, Unity možete besplatno isprobati preuzimanjem Unity VSA virtuelnog uređaja.

FAST VP u Unity Storage: kako to funkcioniše

Na kraju materijala delimo nekoliko korisnih linkova:

Zaključak

Želim da pišem o mnogo stvari, ali razumem da nisu sve pojedinosti zanimljive čitaocima. Na primer, može se detaljnije opisati kriterijumi po kojima FAST VP donosi odluku o premještanju podataka, o procesima analize statistike ulaza-izlaza. Takođe, potpuno je propuštena tema interakcije sa Dinamičkim bazenima, a to zahteva poseban članak. Možete čak i maštati o razvoju ove tehnologije. Nadam se da nije bilo dosadno i da vas nisam umorio. Do novog susreta!

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster