FAST VP u SSK Unity: kako to funkcioniše

Danas ćemo razgovarati o zanimljivoj tehnologiji koja je implementirana u Unity/Unity XT skladištu – FAST VP. Ako ste prvi put čuli za Unity, možete se upoznati s karakteristikama sustava putem veze na kraju članka. U projektnoj ekipi Dell EMC radio sam na FAST VP više od godine dana. Danas želim detaljnije objasniti ovu tehnologiju i otkriti neke njezine detalje implementacije. Naravno, samo one koje je dopušteno otkriti. Ako vas zanimaju pitanja učinkovite pohrane podataka ili jednostavno niste do kraja razumjeli dokumentaciju, ovaj članak će vam sigurno biti koristan i zanimljiv.

FAST VP u SSK Unity: kako to funkcioniše

Odmah ću reći što u materijalu neće biti. Neće biti istraživanja konkurenata i usporedbe s njima. Također ne planiram pričati o sličnim tehnologijama iz open source-a, jer znatiželjni čitatelj već o njima zna. I, naravno, ne namjeravam ništa reklamirati.

Skladišno razdvajanje. Ciljevi i zadatci FAST VP

FAST VP se dešifrira kao Fully Automated Storage Tiering for Virtual Pool. Teško? Ništa, sad ćemo razjasniti. Razdvajanje (tiering) je način organizacije pohrane podataka u kojem postoje različiti nivoi (tiers) na kojima se ti podaci pohranjuju. Svaki nivo ima svoje karakteristike. Najvažnije su: performanse, kapacitet i cijena pohrane jedne informacije. Naravno, između njih postoji međusobna povezanost.

Važna osobina razdvajanja je da se pristup podacima pruža jednako bez obzira na to na kojem nivou pohrane se trenutno nalaze, a veličina bazena jednaka je zbroju veličina resursa koji ga čine. Ovdje se kriju razlike u odnosu na keš: veličina keša se ne dodaje ukupnom volumenu resursa (bazena u ovom slučaju), a podaci iz keša dupliciraju neki fragment podataka glavnog medija (ili će ih duplicirati, ako podaci iz keša nisu još zapisani). Također, raspodjela podataka po nivoima je skrivena od korisnika. To jest, on ne vidi koji su točno podaci smješteni na svakom nivou, iako može posredno utjecati na to, postavljanjem politika (o njima kasnije).

Sada pogledajmo karakteristike implementacije skladišnog razdvajanja u Unity. U Unity se izdvajaju 3 nivoa, ili tier-a:

  • Ekstremne performanse (SSDs)
  • Performanse (SAS HDD 10k/15k RPM)
  • Kapacitet (NL-SAS HDD 7200 RPM)

Poredak je prema opadajućoj performansi i cijenama. Ekstremne performanse uključuju isključivo SSD-ove. U druga dva tier-a su sredstva na magnetnim diskovima, koja se razlikuju prema brzini okretanja i, samim tim, performansama.

Sredstva za pohranu iz jednog nivoa i jedne veličine okupljaju se u RAID niz, formirajući RAID grupu (RAID group, skraćeno – RG); o dostupnim i preporučenim nivoima RAID-a možete pročitati u zvaničnoj dokumentaciji. Iz RAID grupa jednog ili više nivoa formiraju se skladišni poolovi (Storage pool), iz kojih se zatim raspoređuje slobodan prostor. A već iz pool-a se dodjeljuje mjesto za datotečne sisteme i LUN-ove.

FAST VP u SSK Unity: kako to funkcioniše

Zašto mi treba Tiering?

Ako kratko i apstraktno: da se postigne veći rezultat koristeći minimum resursa. Ako govorimo konkretnije, rezultat obično podrazumijeva skup karakteristika SAN-a – brzinu i vrijeme pristupa, cijenu pohrane itd. Minimum resursa podrazumijeva najmanje troškove: novca, energije i slično. FAST VP upravo implementira mehanizme redistribucije podataka po različitim nivoima u SAN-u Unity/Unity XT. Ako mi vjerujete, možete preskočiti sljedeći odlomak. Za ostale ću malo detaljnije objasniti.

Ispravno raspoređivanje podataka po nivoima pohrane omogućava uštedu na ukupnom trošku SAN-a, žrtvujući brzinu pristupa određenim rijetko korištenim informacijama, i povećava performanse premještanjem često korištenih podataka na brže medije. Neko bi mogao prigovoriti da i bez tieringa normalan administrator zna gdje koje podatke smjestiti, kakve su poželjne karakteristike SAN-a za njegovu svrhu itd. Neosporno je da je to tačno, ali 'ručno' raspoređivanje podataka ima svoje nedostatke:

  • zahtijeva vrijeme i pažnju administratora;
  • nije uvijek moguće 'prilagoditi' resurse SAN-a prema promijenjenim uvjetima;
  • nestaje važna prednost: unificirani pristup resursima koji se nalaze na različitim nivoima pohrane.

Kako bi se storage administratori manje brinuli za sigurnost posla, dodajem da je pravilno planiranje resursa ovdje također nužno. Sada kada su zadaci tieringa kratko opisani, pogledajmo što možemo očekivati od FAST VP. Ovo je pravo vrijeme da se vratimo definiciji. Prve dvije riječi – Fully Automated – doslovno se prevode kao „potpuno automatizirano“ i znače da se raspodjela po razinama odvija automatski. A Virtual Pool je skup podataka koji uključuje resurse iz različitih razina pohrane. Ovako to izgleda:

FAST VP u SSK Unity: kako to funkcioniše

Pretjerujem unaprijed, ali reći ću da FAST VP premješta podatke samo unutar jednog bazena, a ne između nekoliko bazena.

Zadaci koje rješava FAST VP

Prvo ćemo razgovarati apstraktno. Imamo bazen i neki mehanizam koji može redistribuirati podatke unutar tog bazena. Imajući na umu da je naš cilj postizanje maksimalne performanse, postavićemo si pitanje: kojim načinima to možemo postići? Može ih biti nekoliko, i ovdje FAST VP ima mnogo toga za ponuditi korisniku, jer tehnologija predstavlja više od običnog storage tieringa. Evo kojim načinima FAST VP može povećati performanse bazena:

  • Raspodjela podataka po različitim vrstama diskova, razinama
  • Raspodjela podataka među diskovima iste vrste
  • Raspodjela podataka prilikom proširenja bazena

Prije nego što razložimo kako se ti zadaci rješavaju, moramo znati neke potrebne činjenice o radu FAST VP. FAST VP upravlja blokovima određene veličine – 256 megabajta. To je minimalni kontinuirani „komad“ podataka koji se može premjestiti. U dokumentaciji se tako naziva: slice. S gledišta FAST VP, sve RAID grupe sastoje se od seta takvih „komada“. Prema tome, sva statistika ulaza-izlaza akumulira se za takve blokove podataka. Zašto je odabrana baš takva veličina bloka i hoće li se ona smanjiti? Blok je dovoljno velik, ali to je kompromis između granularnosti podataka (manja veličina bloka – točnija raspodjela) i dostupnih računalnih resursa: s postojećim strogim ograničenjima na radnu memoriju i velikim brojem blokova, podaci o statistici mogu zauzimati previše prostora, a broj proračuna će proporcionalno rasti.

Kako FAST VP smješta podatke u bazen. Politike

Da biste upravljali rasporedom podataka u bazenu s uključenim FAST VP, postoje sljedeće politike:

  • Najviši dostupni nivo
  • Auto-Tier
  • Započni visoko, zatim Auto-Tier (zadano)
  • Najniži dostupni nivo

One utječu na početno raspoređivanje bloka (podaci se prvi put zapisuju) i na kasnije preusmjeravanje. Kada su podaci već raspoređeni na diskovima, preusmjeravanje će se inicirati prema rasporedu ili ručno.

Najviši dostupni nivo pokušava rasporediti novi blok na najizvediviji nivo. Ako nema dovoljno prostora na njemu, prelazi se na sljedeći nivo izvedivosti, ali se podaci mogu kasnije premjestiti na zahtjevniji nivo (uz uvjet dostupnosti prostora ili izbacivanja drugih podataka). Auto-Tier raspoređuje nove podatke na različitim nivoima ovisno o veličini dostupnog prostora, a preusmjeravaju se prema potražnji i slobodnom prostoru. Započni visoko, zatim Auto-Tier je zadana politika i također preporučena. Tijekom početnog raspoređivanja radi kao najviši dostupni nivo, a kasnije se premještaju podaci ovisno o njihovoj statistici korištenja. Politika najnižeg dostupnog nivoa nastoji rasporediti podatke na najmanje izvedivom nivou.

Premještanje podataka odvija se s niskim prioritetom kako ne bi ometalo korisni rad SAN-a, no postoji postavka 'Brzina premještanja podataka' koja mijenja prioritet. Tu postoji posebnost: ne blokovi podataka imaju istu prioritetnu raspodjelu. Na primjer, blokovi označeni kao metapodaci bit će premješteni na brži nivo u prvom redu. Metapodaci su, ako tako mogu reći, 'podaci o podacima', neka dodatna informacija koja nije korisnički podatak, ali čuva njihovo opisivanje. Na primjer, informacije u datotečnom sustavu o tome u kojem se bloku nalazi određena datoteka. Dakle, brzina pristupa podacima ovisi o brzini pristupa metapodacima. S obzirom na to da su metapodaci obično mnogo manji, očekuje se veća dobit od njihovog premještanja na učinkovitije diskove.

Kriteriji koje Fast VP koristi u radu

Glavni kriterij za svaku grupu, ako jako grubo, je karakteristika 'potražnje' podataka, koja ovisi o broju operacija čitanja i pisanja fragmenta podataka. Ova karakteristika se kod nas naziva 'Temperatura'. Postoje traženi (hot) podaci koji su 'vreliji' od netraženih. Ona se periodično izračunava, prema zadanim postavkama svakih sat vremena.

Funkcija izračuna temperature ima sljedeće osobine:

  • U nedostatku ulaza-izlaza, podaci s vremenom 'ohlađuju'.
  • Uz otprilike istu opterećenost tijekom vremena, temperatura najprije raste, a zatim se stabilizira unutar određenog raspona.

Zatim se uzimaju u obzir politike opisane ranije i slobodni prostor na svakom tieru. Za ilustraciju ću prikazati sliku iz dokumentacije. Ovdje su crvenom, žutom i plavom bojom označene grupe s visokom, srednjom i niskom temperaturom.

FAST VP u SSK Unity: kako to funkcioniše

Ali vratimo se zadacima. Dakle, možemo pristupiti razmatranju onoga što se radi za rješavanje zadataka FAST VP.

A. Distribucija podataka po različitim tipovima diskova, nivoima

Ustvari, ovo je osnovni zadatak FAST VP. Ostali su, u nekom smislu, derivati od njega. Ovisno o odabranoj politici, podaci će se distribuirati po različitim razinama pohrane. Prvo se uzima u obzir politika smještaja, zatim temperatura blokova i veličina/brzina RAID-grupa.

Za politike Highest/Lowest Available Tier sve je prilično jednostavno. Za preostale dvije situacija je takva. Podaci se distribuiraju po različitim razinama uzimajući u obzir veličinu i performanse RAID-grupa: tako da omjer ukupne 'temperature' blokova prema 'teoretskoj maksimalnoj performansi' svake RAID-grupe bude otprilike isti. Na taj način se opterećenje ravnomjerno raspoređuje. Više traženi podaci premještaju se na brže medije, a rijetko korišteni na sporije. U idealu bi raspodjela trebala izgledati otprilike ovako:

FAST VP u SSK Unity: kako to funkcioniše

B. Distribucija podataka među diskovima istog tipa

Sjećate se, na početku sam napisao da su mediji informacija iz jednog ili više razine se spajaju u jedan skup? U slučaju jedinstvene razine za FAST VP postoji i rad. Da bi performanse bilo koje razine bile maksimalne, poželjno je ravnomjerno raspodijeliti podatke između diskova. To će omogućiti (teoretski) postizanje maksimalnog broja IOPS-a. Podaci unutar RAID-grupe mogu se smatrati ravnomjerno raspodijeljenima među diskovima, ali među RAID-grupama to nije uvijek slučaj. U slučaju nerazmjernosti, FAST VP će premjestiti podatke između RAID-grupa proporcionalno njihovom volumenu i „uvjetnoj performansi“ (u numeričkom izrazu). Za jasnoću ću pokazati dijagram rebalance između tri RAID-grupe:

FAST VP u SSK Unity: kako to funkcioniše

P. Raspodjela podataka pri proširenju skupa

Ova zadaća je posebni slučaj prethodne i izvršava se kada se u skup dodaje RAID-grupa. Kako nova RAID-grupa ne bi ostala neiskorištena, dio podataka će biti premješten na nju, čime će se opterećenje na sve RAID-grupe redistribuirati.

Izjednačavanje trošenja SSD-a

Uz pomoć izjednačavanja trošenja, FAST VP može produžiti život SSD-u, iako ova funkcija nije izravno povezana s Storage Tieringom. Kako već imamo podatke o temperaturi, broj zapisnih operacija se također uzima u obzir, a blokove podataka možemo premještati, logično bi bilo da FAST VP riješi i ovu zadaću.

U slučaju da broj zapisa u jednu RAID-grupu značajno nadmašuje broj zapisa u drugu, FAST VP će redistribuirati podatke prema broju zapisnih operacija. S jedne strane, to smanjuje opterećenje i čuva resurs nekih diskova, s druge strane, dodaje „posao“ za manje opterećene, povećavajući ukupne performanse.

Na taj način, FAST VP preuzima tradicionalne zadaće Storage Tieringa i čini još malo više od toga. Sve to omogućava dovoljno učinkovito pohranjivanje podataka u sustavima pohrane Unity.

Nekoliko savjeta

  1. Nemojte zanemariti čitanje dokumentacije. Postoje najbolja praksa i one prilično dobro funkcioniraju. Ako ih slijedite, obično ne nastaju ozbiljni problemi. Ostali savjeti uglavnom ponavljaju ili dopunjuju njihove.
  2. Ako ste postavili i uključili FAST VP, najbolje je da ga ostavite uključenim. Neka raspoređuje podatke u predviđenom vremenu i pomalo, nego jednom godišnje i da ozbiljno utječe na performanse drugih zadataka. U ovakvim slučajevima, redistribucija podataka može potrajati dugo.
  3. Pažljivo birajte prozor za relokaciju. Iako to izgleda očito, potrudite se odabrati vrijeme s najmanjim opterećenjem na Unity i odvojite dovoljno vremena.
  4. Planirajte proširenje Skladišta podataka, radite to na vrijeme. Ovo je opća preporuka koja je bitna i za FAST VP. Ako je slobodni prostor vrlo mali, tada će i premještanje podataka usporiti ili postati nemoguće. Osobito ako ste zanemarili točku 2.
  5. Pri proširenju baza s uključenim FAST VP-om, ne treba započinjati s najslabijim diskovima. To znači ili dodati sve planirane RAID grupe odjednom, ili najprije dodati najs brže diskove. U ovom slučaju, redistribucija podataka na nove 'brze' diskove podići će ukupnu brzinu baze. U suprotnom, započinjanjem s 'sporim' diskovima, možete se suočiti s vrlo neugodnom situacijom. Najprije će doći do premještanja podataka na nove, relativno spore diskove, a nakon njihova dodavanja bržih, u suprotnom smjeru. Ovdje postoje nijanse povezane s različitim politikama FAST VP-a, ali u općem slučaju takva situacija je moguća.

Ako razmišljate o ovom proizvodu, možete besplatno isprobati Unity u akciji, preuzimajući Unity VSA virtual appliance.

FAST VP u SSK Unity: kako to funkcioniše

Na kraju materijala dijelim nekoliko korisnih linkova:

Zaključak

Želim pisati o mnogo toga, ali shvaćam da nisu svi detalji zanimljivi čitatelju. Na primjer, moglo bi se detaljnije pričati o kriterijima po kojima FAST VP donosi odluku o premještanju podataka, o procesima analize statistike ulazno-izlaznih operacija. Također, tema interakcije s Dynamic Pools, a to bi zaslužilo poseban članak. Možemo čak i zamisliti razvoj ove tehnologije. Nadam se da nije bilo dosadno i da vas nisam umorio. Do sljedećeg puta!

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster