ProHoster > Blogs > Administrācija > FAST VP Unity krātuvē: kā tas darbojas

FAST VP Unity krātuvē: kā tas darbojas

Å odien mēs runāsim par interesantu tehnoloÄ£iju, kas ieviesta Unity/Unity XT uzglabāŔanas sistēmās - FAST VP. Ja pirmo reizi dzirdat par Unity, varat pārbaudÄ«t sistēmas raksturlielumus, izmantojot saiti raksta beigās. Vairāk nekā gadu strādāju pie FAST VP Dell EMC projekta komandā. Å odien es vēlos runāt par Å”o tehnoloÄ£iju sÄ«kāk un atklāt dažas tās ievieÅ”anas detaļas. Protams, tikai tās, kuras atļauts atklāt. Ja jÅ«s interesē efektÄ«vas datu uzglabāŔanas jautājumi vai vienkārÅ”i neesat pilnÄ«bā sapratis dokumentāciju, tad Å”is raksts noteikti bÅ«s noderÄ«gs un interesants.

FAST VP Unity krātuvē: kā tas darbojas

Es jums uzreiz pateikÅ”u, kas materiālā nebÅ«s. NebÅ«s konkurentu meklÄ“Å”ana un salÄ«dzināŔana ar tiem. Es arÄ« neplānoju runāt par lÄ«dzÄ«gām tehnoloÄ£ijām no atvērtā pirmkoda, jo zinātkārais lasÄ«tājs par tām jau zina. Un, protams, es neko negrasos reklamēt.

UzglabāŔanas lÄ«meņi. FAST VP mērÄ·i un uzdevumi

FAST VP nozÄ«mē Fully Automated Storage Tiring for Virtual Pool. Mazliet grÅ«ti? Nav problēmu, mēs to tagad izdomāsim. LÄ«meņu noteikÅ”ana ir datu uzglabāŔanas organizÄ“Å”anas veids, kurā ir vairāki lÄ«meņi (lÄ«meņi), kuros Å”ie dati tiek glabāti. Katram ir savas Ä«patnÄ«bas. VissvarÄ«gākais: informācijas vienÄ«bas glabāŔanas veiktspēja, apjoms un cena. Protams, starp viņiem pastāv attiecÄ«bas.

SvarÄ«ga lÄ«meņu iezÄ«me ir tāda, ka piekļuve datiem tiek nodroÅ”ināta vienmērÄ«gi neatkarÄ«gi no krātuves lÄ«meņa, kurā tie paÅ”laik atrodas, un pÅ«la lielums ir vienāds ar tajā iekļauto resursu lielumu summu. Å eit slēpjas atŔķirÄ«bas no keÅ”atmiņas: keÅ”atmiņas lielums netiek pievienots kopējam resursa apjomam (Å”ajā gadÄ«jumā pÅ«lam), un keÅ”atmiņas dati dublē kādu galveno multivides datu fragmentu (vai dublēsies, ja dati no keÅ”atmiņas vēl nav ierakstÄ«ti). Tāpat lietotājam tiek paslēpts datu sadalÄ«jums pa lÄ«meņiem. Tas ir, viņŔ neredz precÄ«zi, kādi dati atrodas katrā lÄ«menÄ«, lai gan viņŔ to var ietekmēt netieÅ”i, nosakot politikas (vairāk par tām vēlāk).

Tagad apskatÄ«sim Unity krātuves lÄ«meņu ievieÅ”anas iezÄ«mes. VienotÄ«bai ir 3 lÄ«meņi vai lÄ«meņi:

  • Ekstrēma veiktspēja (SSD)
  • Veiktspēja (SAS HDD 10 k/15 k apgr./min.)
  • IetilpÄ«ba (NL-SAS HDD 7200 apgr./min.)

Tie ir norādÄ«ti veiktspējas un cenas dilstoŔā secÄ«bā. Ekstrēmā veiktspēja ietver tikai cietvielu diskus (SSD). Pārējie divi lÄ«meņi ietver magnētiskos diskus, kas atŔķiras pēc rotācijas ātruma un attiecÄ«gi veiktspējas.

Viena lÄ«meņa un tāda paÅ”a izmēra datu nesēji tiek apvienoti RAID masÄ«vā, veidojot RAID grupu (RAID grupa, saÄ«sināti RG); Par pieejamajiem un ieteicamajiem RAID lÄ«meņiem varat lasÄ«t oficiālajā dokumentācijā. UzglabāŔanas pÅ«li tiek veidoti no RAID grupām no viena vai vairākiem lÄ«meņiem, no kuriem pēc tam tiek sadalÄ«ta brÄ«vā vieta. Un no baseina telpa tiek atvēlēta failu sistēmām un LUN.

FAST VP Unity krātuvē: kā tas darbojas

Kāpēc man ir nepiecieÅ”ams lÄ«menis?

ÄŖsumā un abstrakti: sasniegt lielākus rezultātus, izmantojot minimālus resursus. PrecÄ«zāk, rezultāts parasti tiek saprasts kā uzglabāŔanas sistēmas raksturlielumu kopums - ātrums un piekļuves laiks, uzglabāŔanas izmaksas un citi. Resursu minimums nozÄ«mē vismazākos izdevumus: naudu, enerÄ£iju utt. FAST VP ievieÅ” mehānismus datu pārdalÄ«Å”anai dažādos lÄ«meņos Unity/Unity XT uzglabāŔanas sistēmās. Ja jÅ«s man ticat, varat izlaist nākamo rindkopu. Par pārējo es jums pastāstÄ«Å”u nedaudz vairāk.

Pareiza datu sadale pa krātuves lÄ«meņiem ļauj ietaupÄ«t uz kopējām krātuves izmaksām, upurējot piekļuves ātrumu noteiktai reti izmantotai informācijai, un uzlabot veiktspēju, pārvietojot bieži izmantotos datus uz ātrāku datu nesēju. Te kāds varētu iebilst, ka pat bez lÄ«meņu kārtoÅ”anas parasts administrators zina, kur kādus datus novietot, kādi ir viņa uzdevumam vēlamie uzglabāŔanas sistēmas raksturlielumi utt. Tas neapÅ”aubāmi ir taisnÄ«ba, taču manuālai datu izplatÄ«Å”anai ir trÅ«kumi:

  • prasa laiku un administratora uzmanÄ«bu;
  • Krātuves resursus ne vienmēr ir iespējams ā€œpārzÄ«mētā€, lai tie atbilstu mainÄ«gajiem apstākļiem;
  • pazÅ«d svarÄ«ga priekÅ”rocÄ«ba: vienota piekļuve resursiem, kas atrodas dažādos uzglabāŔanas lÄ«meņos.

Lai krātuves administratori mazāk rÅ«pētos par darba droŔību, piebildÄ«Å”u, ka arÄ« Å”eit ir nepiecieÅ”ama kompetenta resursu plānoÅ”ana. Tagad, kad lÄ«meņu noteikÅ”anas uzdevumi ir Ä«si izklāstÄ«ti, apskatÄ«sim, ko jÅ«s varat sagaidÄ«t no FAST VP. Tagad ir pienācis laiks atgriezties pie definÄ«cijas. Pirmie divi vārdi ā€” pilnÄ«bā automatizēti ā€” tiek burtiski tulkoti kā ā€œpilnÄ«bā automatizētiā€ un nozÄ«mē, ka sadalÄ«jums starp lÄ«meņiem notiek automātiski. Virtuālais baseins ir datu kopums, kas ietver resursus no dažādiem krātuves lÄ«meņiem. Tas izskatās Ŕādi:

FAST VP Unity krātuvē: kā tas darbojas

Raugoties nākotnē, es teikÅ”u, ka FAST VP pārvieto datus tikai viena pÅ«la ietvaros, nevis starp vairākiem baseiniem.

Problēmas atrisināja FAST VP

Vispirms parunāsim abstrakti. Mums ir kopums un mehānisms, kas var pārdalÄ«t datus Å”ajā pÅ«lā. Atceroties, ka mÅ«su mērÄ·is ir sasniegt maksimālu produktivitāti, jautāsim sev: kā mēs to varam sasniegt? Tie var bÅ«t vairāki, un Å”eit FAST VP ir ko piedāvāt lietotājam, jo ā€‹ā€‹tehnoloÄ£ija ir kaut kas vairāk nekā tikai krātuves lÄ«meņi. Tālāk ir norādÄ«ti daži veidi, kā FAST VP var palielināt baseina veiktspēju.

  • Datu sadalÄ«jums pa dažāda veida diskiem, lÄ«meņiem
  • Datu sadale starp viena veida diskiem
  • Datu izplatÄ«Å”ana, paplaÅ”inot baseinu

Pirms aplÅ«kojam, kā Å”ie uzdevumi tiek risināti, mums ir jāzina daži nepiecieÅ”amie fakti par FAST VP darbÄ«bu. FAST VP darbojas ar noteikta izmēra blokiem - 256 megabaiti. Å is ir mazākais blakus esoÅ”ais datu "gabals", ko var pārvietot. Dokumentācijā viņi to sauc: Ŕķēle. No FAST VP viedokļa visas RAID grupas sastāv no Ŕādu ā€œgabaluā€ kopas. AttiecÄ«gi Ŕādiem datu blokiem tiek uzkrāta visa I/O statistika. Kāpēc tika izvēlēts Ŕāds bloka izmērs un vai tas tiks samazināts? Bloks ir diezgan liels, taču tas ir kompromiss starp datu precizitāti (mazāks bloka izmērs nozÄ«mē precÄ«zāku sadalÄ«jumu) un pieejamajiem skaitļoÅ”anas resursiem: ņemot vērā paÅ”reizējos stingros RAM ierobežojumus un lielo bloku skaitu, statistikas dati var aizņemt pārāk daudz, un aprēķinu skaits proporcionāli palielināsies.

Kā FAST VP pieŔķir datus pūlam. Politiķi

Lai kontrolētu datu izvietoÅ”anu pÅ«lā ar iespējotu FAST VP, pastāv Ŕādas politikas:

  • Augstākais pieejamais lÄ«menis
  • Automātiskais lÄ«menis
  • Start High, tad automātiskais lÄ«menis (noklusējums)
  • Zemākais pieejamais lÄ«menis

Tie ietekmē gan sākotnējo bloku pieŔķirÅ”anu (dati vispirms tiek ierakstÄ«ti), gan turpmāko pārdali. Kad dati jau atrodas diskos, pārdale tiks uzsākta saskaņā ar grafiku vai manuāli.

Augstākais pieejamais lÄ«menis mēģina ievietot jaunu bloku visaugstākajā lÄ«menÄ«. Ja uz tā nav pietiekami daudz vietas, tas tiek novietots nākamajā produktÄ«vākajā lÄ«menÄ«, bet pēc tam datus var pārvietot uz produktÄ«vāku lÄ«meni (ja ir vieta vai izspiežot citus datus). Auto-Tier ievieto jaunus datus dažādos lÄ«meņos atkarÄ«bā no pieejamās vietas apjoma, un tie tiek pārdalÄ«ti atkarÄ«bā no pieprasÄ«juma un brÄ«vās vietas. Start High, tad Auto-Tier ir noklusējuma politika un arÄ« ieteicama. Sākotnēji ievietojot, tas darbojas kā augstākais pieejamais lÄ«menis, un pēc tam dati tiek pārvietoti atkarÄ«bā no to lietoÅ”anas statistikas. Zemākā pieejamā lÄ«meņa politika cenÅ”as ievietot datus vismazāk produktÄ«vajā lÄ«menÄ«.

Datu pārsÅ«tÄ«Å”ana notiek ar zemu prioritāti, lai netraucētu glabāŔanas sistēmas lietderÄ«gai darbÄ«bai, tomēr ir iestatÄ«jums ā€œDatu pārvietoÅ”anas ātrumsā€, kas maina prioritāti. Å eit ir kāda Ä«patnÄ«ba: ne visiem datu blokiem ir vienāda pārdales secÄ«ba. Piemēram, bloki, kas atzÄ«mēti kā metadati, vispirms tiks pārvietoti uz ātrāku lÄ«meni. Metadati ir, tā sakot, ā€œdati par datiemā€, kāda papildu informācija, kas nav lietotāja dati, bet glabā to aprakstu. Piemēram, informācija failu sistēmā par to, kurā blokā atrodas konkrētais fails. Tas nozÄ«mē, ka piekļuves ātrums datiem ir atkarÄ«gs no metadatu piekļuves ātruma. Ņemot vērā, ka metadati parasti ir daudz mazāki, sagaidāms, ka ieguvumi no to pārvietoÅ”anas uz lielākas veiktspējas diskiem bÅ«s lielāki.

Kritēriji, kurus Fast VP izmanto savā darbā

Katra bloka galvenais kritērijs, ļoti aptuveni, ir datu ā€œpieprasÄ«jumaā€ raksturlielums, kas ir atkarÄ«gs no datu fragmenta lasÄ«Å”anas un rakstÄ«Å”anas operāciju skaita. Mēs Å”o raksturlielumu saucam par ā€œTemperatÅ«ruā€. Ir pieprasÄ«ti (karsti) dati, kas ir ā€œkarstākiā€ par nepieprasÄ«tajiem datiem. To aprēķina periodiski, pēc noklusējuma ar vienas stundas intervālu.

TemperatÅ«ras aprēķināŔanas funkcijai ir Ŕādas Ä«paŔības:

  • Ja nav I/O, dati laika gaitā ā€œatdziestā€.
  • Pie vairāk vai mazāk vienādas slodzes laika gaitā temperatÅ«ra vispirms paaugstinās un pēc tam stabilizējas noteiktā diapazonā.

Tālāk tiek ņemtas vērā iepriekÅ” aprakstÄ«tās politikas un brÄ«vā vieta katrā lÄ«menÄ«. SkaidrÄ«bas labad sniegÅ”u bildi no dokumentācijas. Å eit sarkanā, dzeltenā un zilā krāsa norāda blokus ar attiecÄ«gi augstu, vidēju un zemu temperatÅ«ru.

FAST VP Unity krātuvē: kā tas darbojas

Bet atgriezīsimies pie uzdevumiem. Tātad, mēs varam sākt analizēt, kas tiek darīts, lai atrisinātu FAST VP problēmas.

A. Datu sadalījums pa dažāda veida diskiem, līmeņiem

Patiesībā tas ir FAST VP galvenais uzdevums. Pārējais savā ziņā ir tā atvasinājumi. Atkarībā no izvēlētās politikas dati tiks sadalīti dažādos krātuves līmeņos. Pirmkārt, tiek ņemta vērā izvietojuma politika, pēc tam bloka temperatūra un RAID grupu lielums/ātrums.

Augstākā/zemākā pieejamā lÄ«meņa politikām viss ir pavisam vienkārÅ”i. AttiecÄ«bā uz pārējiem diviem tas tā ir. Dati tiek sadalÄ«ti dažādos lÄ«meņos, ņemot vērā RAID grupu lielumu un veiktspēju: tā, lai bloku kopējās ā€œtemperatÅ«rasā€ attiecÄ«ba pret katras RAID grupas ā€œnosacÄ«tu maksimālo veiktspējuā€ bÅ«tu aptuveni vienāda. Tādējādi slodze tiek sadalÄ«ta vairāk vai mazāk vienmērÄ«gi. Vairāk pieprasÄ«to datu tiek pārvietoti uz ātru datu nesēju, un reti izmantotie dati tiek pārvietoti uz lēnāku datu nesēju. Ideālā gadÄ«jumā izplatÄ«Å”anai vajadzētu izskatÄ«ties apmēram Ŕādi:

FAST VP Unity krātuvē: kā tas darbojas

B. Datu sadale starp viena veida diskiem

Atcerieties, ka sākumā es rakstÄ«ju, ka datu nesējs no viens vai vairāki lÄ«meņi ir apvienoti vienā baseinā? Viena lÄ«meņa gadÄ«jumā arÄ« FAST VP ir jāstrādā. Lai sasniegtu maksimālu veiktspēju jebkurā lÄ«menÄ«, ieteicams vienmērÄ«gi sadalÄ«t datus starp diskiem. Tas (teorētiski) ļaus jums iegÅ«t maksimālo IOPS daudzumu. Datus RAID grupā var uzskatÄ«t par vienmērÄ«gi sadalÄ«tiem pa diskiem, taču tas ne vienmēr notiek starp RAID grupām. NelÄ«dzsvarotÄ«bas gadÄ«jumā FAST VP pārvietos datus starp RAID grupām proporcionāli to apjomam un ā€œnosacÄ«juma veiktspējaiā€ (skaitliskā izteiksmē). SkaidrÄ«bas labad es parādÄ«Å”u lÄ«dzsvaroÅ”anas shēmu starp trim RAID grupām:

FAST VP Unity krātuvē: kā tas darbojas

B. Datu sadale, paplaŔinot kopu

Å is uzdevums ir Ä«paÅ”s iepriekŔējā uzdevuma gadÄ«jums un tiek veikts, kad pÅ«lam tiek pievienota RAID grupa. Lai nodroÅ”inātu, ka tikko pievienotā RAID grupa nepaliek dÄ«kstāvē, daļa datu tiks pārsÅ«tÄ«ta uz to, kas nozÄ«mē, ka slodze tiks pārdalÄ«ta pa visām RAID grupām.

SSD nodiluma izlīdzināŔana

Izmantojot nodiluma izlÄ«dzināŔanu, FAST VP var pagarināt SSD kalpoÅ”anas laiku, lai gan Ŕī funkcija nav tieÅ”i saistÄ«ta ar Storage Tiring. Tā kā temperatÅ«ras dati jau ir pieejami, tiek ņemts vērā arÄ« rakstÄ«Å”anas operāciju skaits, un mēs zinām, kā pārvietot datu blokus, bÅ«tu loÄ£iski, ka FAST VP Å”o problēmu atrisinātu.

Ja ierakstu skaits vienā RAID grupā ievērojami pārsniedz ierakstu skaitu citā, FAST VP pārdalÄ«s datus atbilstoÅ”i rakstÄ«Å”anas operāciju skaitam. No vienas puses, tas atvieglo slodzi un ietaupa dažu disku resursus, no otras puses, tas palielina "darbu" mazāk noslogotiem diskiem, palielinot kopējo veiktspēju.

Tādā veidā FAST VP risina tradicionālos Storage Tiring izaicinājumus un dara nedaudz vairāk. Tas viss ļauj diezgan efektÄ«vi uzglabāt datus Unity uzglabāŔanas sistēmā.

Daži padomi

  1. Nepalaidiet uzmanÄ«bu dokumentācijas lasÄ«Å”anai. Ir labākā prakse, un tā darbojas diezgan labi. Ja jÅ«s tos ievērojat, tad, kā likums, nopietnas problēmas nerodas. Pārējie padomi pamatā tos atkārto vai papildina.
  2. Ja esat konfigurējis un iespējojis FAST VP, labāk atstāt to iespējotu. Ļaujiet tai izplatīt datus sev atvēlētajā laikā un pamazām kā reizi gadā un nopietni ietekmēt citu uzdevumu izpildi. Šādos gadījumos datu pārdale var aizņemt ilgu laiku.
  3. Esiet piesardzÄ«gs, izvēloties pārvietoÅ”anas logu. Lai gan tas ir paÅ”saprotami, mēģiniet izvēlēties laiku ar vismazāko VienotÄ«bas slodzi un atvēliet tam pietiekamu laika periodu.
  4. Plānojiet paplaÅ”ināt savu krātuves sistēmu, dariet to savlaicÄ«gi. Å is ir vispārÄ«gs ieteikums, kas ir svarÄ«gs arÄ« FAST VP. Ja brÄ«vās vietas apjoms ir ļoti mazs, datu kustÄ«ba palēnināsies vai kļūs neiespējama. It Ä«paÅ”i, ja esat atstājis novārtā 2. punktu.
  5. PaplaÅ”inot pÅ«lu ar iespējotu FAST VP, nevajadzētu sākt ar lēnākajiem diskiem. Tas ir, mēs vai nu pievienojam visas plānotās RAID grupas uzreiz, vai arÄ« vispirms pievienojam ātrākos diskus. Å ajā gadÄ«jumā datu pārdalÄ«Å”ana uz jauniem "ātriem" diskiem palielinās kopējo pÅ«la ātrumu. Pretējā gadÄ«jumā, sākot ar ā€œlēniemā€ diskiem, var rasties ļoti nepatÄ«kama situācija. Vispirms dati tiks pārsÅ«tÄ«ti uz jauniem, salÄ«dzinoÅ”i lēniem diskiem, bet pēc tam, pievienojot ātrākus, pretējā virzienā. Å eit ir nianses saistÄ«bā ar dažādām FAST VP politikām, taču kopumā lÄ«dzÄ«ga situācija ir iespējama.

Ja skatāties uz Å”o produktu, varat bez maksas izmēģināt Unity, lejupielādējot Unity VSA virtuālo ierÄ«ci.

FAST VP Unity krātuvē: kā tas darbojas

Materiāla beigās es kopīgoju vairākas noderīgas saites:

Secinājums

Gribētos rakstÄ«t par daudz ko, bet saprotu, ka ne visas detaļas lasÄ«tājam bÅ«s interesantas. Piemēram, sÄ«kāk var runāt par kritērijiem, pēc kuriem FAST VP pieņem lēmumus par datu pārsÅ«tÄ«Å”anu, par I/O statistikas analÄ«zes procesiem. ArÄ« tēma par mijiedarbÄ«bu ar Dinamiskie baseini, un tas ir pelnÄ«jis atseviŔķu rakstu. JÅ«s pat varat fantazēt par Ŕīs tehnoloÄ£ijas attÄ«stÄ«bu. Ceru, ka nebija garlaicÄ«gi un es tevi negarlaikoju. Uz tikÅ”anos!

Avots: www.habr.com

Pievieno komentāru