Jodi a nou pral pale sou yon teknoloji enteresan aplike nan sistèm depo Unity / Unity XT - FAST VP. Si ou te tande pale sou Inite pou premye fwa, Lè sa a, lyen ki nan fen atik la ka itilize pou familyarize tèt ou ak karakteristik sa yo nan sistèm nan. Mwen te travay sou FAST VP pou plis pase yon ane nan ekip pwojè Dell EMC la. Jodi a mwen vle pale sou teknoloji sa a an plis detay ak revele kèk detay sou aplikasyon li. Natirèlman, sèlman sa yo ki gen dwa revele. Si w enterese nan pwoblèm yo nan depo done efikas oswa tou senpleman pa fin konprann dokiman an, Lè sa a, atik sa a pral sètènman itil ak enteresan.
Mwen pral di ou touswit sa ki pa pral nan materyèl la. Pa pral gen okenn rechèch pou konpetitè ak konparezon ak yo. Mwen menm mwen pa planifye pou pale sou teknoloji menm jan an nan sous louvri, paske lektè a kirye deja konnen sou yo. Epi, nan kou, mwen pa pral fè piblisite anyen.
gradyasyon depo. Objektif ak objektif FAST VP
FAST VP la vle di Depo totalman otomatik pou pisin vityèl. Èske li difisil? Pa gen anyen, nou pral kalkile li. Tiring se yon fason pou òganize depo done, kote gen plizyè nivo (niveau) kote done sa yo estoke. Chak gen karakteristik pwòp li yo. Ki pi enpòtan an: pèfòmans, volim ak pri nan estoke yon inite enfòmasyon. Natirèlman, gen yon relasyon ant yo.
Yon karakteristik enpòtan nan nivo se ke aksè a done yo bay inifòm kèlkeswa ki nivo depo li ye kounye a, ak gwosè a nan pisin lan egal a sòm nan gwosè resous ki enkli ladan li. Men diferans ki genyen soti nan kachèt la: gwosè kachèt la pa ajoute nan kantite total resous la (pisin lan nan ka sa a), ak done kachèt yo kopi kèk moso done ki soti nan mwayen prensipal la (oswa yo pral kopi si la. done ki soti nan kachèt la poko ekri). Epitou, distribisyon an nan done pa nivo kache nan itilizatè a. Sa vle di, li pa wè egzakteman ki done yo sitiye nan chak nivo, byenke li ka enfliyanse sa a endirèkteman, pa mete règleman (sou yo pita).
Koulye a, ann gade nan karakteristik yo nan aplikasyon an nan nivo depo nan Unity. Nan Unity, gen 3 nivo, oswa nivo:
- Pèfòmans ekstrèm (SSD)
- Pèfòmans (SAS HDD 10k/15k RPM)
- Kapasite (NL-SAS HDD 7200RPM)
Yo prezante nan lòd desandan nan pèfòmans ak pri. Pèfòmans ekstrèm gen ladan sèlman Solid State Drives (SSD). Nan de lòt nivo yo gen kondui ki gen kapasite mayetik ki diferan nan vitès wotasyon ak, kòmsadwa, pèfòmans.
Medya depo ki soti nan menm nivo ak menm gwosè yo konbine nan yon etalaj ATAK, ki fòme yon gwoup RAID (Gwoup RAID, abreje kòm RG); ou ka li sou nivo RAID ki disponib ak rekòmande nan dokiman ofisyèl la. Soti nan gwoup RAID nan youn oswa plis nivo, pisin depo yo fòme, ki soti nan ki espas gratis yo Lè sa a, distribye. Epi deja soti nan espas ki pisin yo atribye ba pou sistèm dosye ak LUN.
Poukisa mwen bezwen Tiring?
Nan kout ak abstrè: pou reyalize plis rezilta ak pi piti resous. Plis espesyalman, rezilta a anjeneral konprann kòm yon seri karakteristik nan sistèm nan depo - vitès la ak tan nan aksè, pri a nan depo, ak lòt moun. Minimòm nan resous vle di pi piti depans yo: lajan, enèji, ak sou sa. FAST VP jis aplike mekanis pou redistribiye done atravè diferan nivo nan sistèm depo Unity / Unity XT la. Si ou kwè mwen, ou ka sote paragraf kap vini an. Pou rès la, mwen pral di nou yon ti kras plis.
Lè done yo byen gradye, ou ka ekonomize sou pri an jeneral nan depo lè w sakrifye vitès aksè a kèk enfòmasyon ki raman itilize, epi amelyore pèfòmans lè w deplase done ki gen aksè souvan nan medya pi rapid. Isit la yon moun ka objeksyon ke menm san nivo, yon admin nòmal konnen ki kote yo mete ki done, ki karakteristik nan sistèm nan depo yo dezirab pou travay li, elatriye. Asire w, sa a se vre, men distribisyon an nan done "manyèlman" gen dezavantaj li yo:
- mande tan ak atansyon administratè a;
- li pa toujou posib pou "refòme" resous depo nan kondisyon ki chanje;
- yon avantaj enpòtan disparèt: aksè inifye nan resous ki sitiye nan diferan nivo depo.
Pou fè administratè depo enkyete mwens sou sekirite travay, mwen pral ajoute ke planifikasyon resous konpetan nesesè tou isit la. Kounye a ke travay yo nan nivo yo te dekri yon ti tan, ann wè sa ou ka atann de FAST VP. Sa a se moman pou retounen nan definisyon an. De premye mo yo - Fully Automated - literalman tradui kòm "konplètman otomatize" epi vle di ke distribisyon an nan nivo rive otomatikman. Oke, Virtual Pool se yon pisin done ki gen ladan resous ki soti nan diferan nivo depo. Men sa li sanble:
Gade pi devan, mwen pral di ke FAST VP sèlman deplase done nan yon sèl pisin, epi yo pa ant pisin miltip.
Travay rezoud pa FAST VP
Ann pale abstrèman an premye. Nou gen yon pisin ak kèk mekanis ki ka redistribiye done nan pisin sa a. Kenbe nan tèt ou ke travay nou an se reyalize pwodiktivite maksimòm, an nou mande tèt nou: nan ki fason li ka reyalize? Ka gen plizyè nan yo, ak isit la FAST VP gen yon bagay yo ofri itilizatè a, depi teknoloji a se yon bagay ki pi plis pase jis depo nivo. Men kèk fason FAST VP ka ogmante pèfòmans pisin:
- Distribisyon done atravè diferan kalite disk, nivo
- Distribisyon done nan mitan disk nan menm kalite a
- Distribisyon done lè agrandi pisin lan
Anvan nou gade ki jan travay sa yo akonpli, nou bezwen konnen kèk reyalite esansyèl sou fason FAST VP travay. FAST VP opere ak blòk nan yon sèten gwosè - 256 megabytes. Sa a se pi piti "timan" done ki ka deplase. Nan dokiman an, li rele konsa: tranch. Soti nan pwen de vi FAST VP, tout gwoup RAID konpoze de yon seri "moso" sa yo. An konsekans, tout estatistik I/O yo akimile pou blòk done sa yo. Poukisa yo chwazi gwosè blòk sa a epi li pral redwi? Blòk la se byen gwo, men sa a se yon konpwomi ant granularite done (pi piti gwosè blòk - distribisyon pi egzak) ak resous informatique ki disponib: ak restriksyon ki egziste deja grav sou RAM ak yon gwo kantite blòk, done estatistik ka pran twòp, ak kantite kalkil yo ap grandi pwopòsyonèlman.
Kouman FAST VP mete done nan pisin lan. Politisyen yo
Pou kontwole plasman done yo nan yon pisin ak FAST VP aktive, gen règleman sa yo:
- Pi wo nivo ki disponib
- Auto Tier
- Kòmanse segondè answit Auto-Tier (default)
- Nivo ki pi ba ki disponib
Yo afekte tou de alokasyon inisyal la nan blòk la (se done yo premye ekri) ak realokasyon an ki vin apre. Lè done yo deja mete sou disk yo, yo pral reyalokasyon an inisye selon orè a oswa manyèlman.
Nivo ki pi wo ki disponib la eseye mete nouvo blòk la nan nivo ki pi wo a. Si pa gen ase espas sou li, pwochen an an tèm de pèfòmans, men Lè sa a, done yo ka deplase nan yon nivo ki pi pwodiktif (si gen espas oswa foule soti lòt done). Auto-Tier mete nouvo done nan diferan nivo ki baze sou kantite espas ki disponib, epi redistribiye yo dapre demann ak espas gratis. Kòmanse segondè Lè sa a, Auto-Tier se politik la default epi li rekòmande tou. Travay kòm yon nivo ki pi wo ki disponib okòmansman, epi Lè sa a, deplase done ki baze sou estatistik itilizasyon. Règleman Nivo ki Pi Ba Disponib la ap chèche mete done nan nivo ki pi piti a.
Transfè a done ale ak yon priyorite ki ba pou yo pa entèfere ak travay la itil nan sistèm nan depo, sepandan, gen yon "To demenajman done" anviwònman ki chanje priyorite a. Gen yon patikilye isit la: se pa tout blòk done ki gen menm lòd redistribisyon an. Pou egzanp, blòk ki make kòm metadata yo pral deplase nan nivo ki pi rapid an premye. Metadata se, se konsa, "done sou done", kèk enfòmasyon adisyonèl ki pa done itilizatè, men magazen deskripsyon yo. Pa egzanp, enfòmasyon nan sistèm fichye a sou ki blòk yon fichye an patikilye nan. Sa vle di ke vitès aksè a done depann sou vitès aksè a metadata. Etandone ke metadata se tipikman pi piti anpil, benefis ki genyen nan deplase li nan pi vit disk yo espere pi gwo.
Kritè ke Fast VP itilize nan travay li
Kritè prensipal pou chak blòk, si trè apeprè, se karakteristik "demann" done yo, ki depann de kantite operasyon li ak ekri nan yon fragman done. Karakteristik sa a rele "Tanperati". Gen done cho ki pi cho pase done ki pa reklame. Li kalkile detanzantan, pa default ak yon entèval nan yon èdtan.
Fonksyon kalkil tanperati a gen pwopriyete sa yo:
- Nan absans I / O, done "refwadi" sou tan.
- Avèk plis oswa mwens menm chaj la nan tan, tanperati a premye ogmante ak Lè sa a, estabilize nan yon seri sèten.
Anplis de sa, yo pran an konsiderasyon règleman ki dekri pi wo a ak espas gratis sou chak nivo. Pou klè, mwen pral bay yon foto nan dokiman an. Isit la, koulè wouj, jòn ak ble endike blòk ak tanperati ki wo, mwayen ak ba, respektivman.
Men, tounen nan travay yo. Kidonk, nou ka kòmanse analize sa k ap fèt pou rezoud pwoblèm FAST VP yo.
A. Distribisyon done atravè diferan kalite disk, nivo
Aktyèlman, sa a se travay prensipal la nan FAST VP. Rès la, nan yon sans, se dérivés de li. Tou depan de politik yo chwazi a, done yo pral distribye atravè diferan nivo depo. Premye a tout, se politik plasman an pran an kont, Lè sa a, tanperati a nan blòk yo ak gwosè a / vitès gwoup RAID yo.
Pou règleman Nivo ki pi wo/pi ba ki disponib, tout bagay se byen senp. Pou de lòt yo, sa a se ka a. Done yo distribiye sou diferan nivo, pran an kont gwosè ak pèfòmans gwoup RAID: se konsa ke rapò a nan total "tanperati" blòk yo ak "pèfòmans maksimòm kondisyonèl" nan chak gwoup ATAK se apeprè menm. Kidonk, chaj la distribye plis oswa mwens respire. Done ki gen plis demann yo deplase nan medya pi vit, done ki raman itilize yo deplase nan medya pi dousman. Idealman, distribisyon an ta dwe gade yon bagay tankou sa a:
B. Distribisyon done pami disk menm kalite
Sonje byen, nan kòmansman an mwen te ekri ke transpòtè enfòmasyon soti nan youn oswa plis nivo yo konbine nan yon sèl pisin? Nan ka yon sèl nivo, FAST VP tou gen travay pou fè. Pou maksimize pèfòmans nan nenpòt nivo, li se dezirab distribye done respire atravè disk. Sa a pral pèmèt (nan teyori) jwenn kantite maksimòm IOPS. Done ki nan yon gwoup RAID ka konsidere distribye respire atravè disk, men sa a se pa toujou ka a ant gwoup RAID. Nan ka ta gen yon move balans, FAST VP pral deplase done ant gwoup RAID nan pwopòsyon ak gwosè yo ak "pèfòmans kondisyonèl" (an tèm nimerik). Pou klè, mwen pral montre konplo rebalansman an nan mitan twa gwoup RAID:
C. Distribisyon done lè w ap agrandi pisin lan
Travay sa a se yon ka espesyal nan yon sèl anvan an epi li fèt lè yo ajoute yon gwoup RAID nan pisin lan. Pou anpeche gwoup RAID ki fèk ajoute a pa fè anyen konsa, kèk nan done yo pral transfere nan li, ki vle di ke chaj la sou tout gwoup RAID yo pral redistribiye.
SSD Mete nivelman
Atravè nivelman mete, FAST VP ka pwolonje lavi a nan yon SSD, byenke karakteristik sa a pa dirèkteman gen rapò ak Depo Tieing. Depi gen done tanperati deja, kantite operasyon ekri yo pran an kont tou, nou konnen ki jan pou avanse pou pi blòk done, li ta lojik pou FAST VP rezoud pwoblèm sa a tou.
Si kantite ekri nan yon gwoup RAID siyifikativman depase kantite ekri nan yon lòt, FAST VP ap redistribiye done yo dapre kantite ekri. Sou yon bò, sa a retire chaj la epi sove resous kèk disk, nan lòt men an, li ajoute "travay" pou mwens chaje, ogmante pèfòmans jeneral.
Kidonk, FAST VP pran travay tradisyonèl yo nan Depo Tier epi fè yon ti kras plis pase sa. Tout bagay sa yo pèmèt ou byen estoke done nan sistèm depo Unity la.
Yon kèk ti konsèy
- Pa neglije lekti dokiman an. Gen pi bon pratik, epi yo travay trè byen. Si ou swiv yo, Lè sa a, pwoblèm grav, kòm yon règ, pa leve. Rès konsèy yo fondamantalman repete oswa konplete yo.
- Si ou konfigirasyon ak pèmèt FAST VP, Lè sa a, kite li aktive. Kite li asiyen done nan tan yo bay la ak ti kras pa ti kras pase yon fwa pa ane epi gen yon enpak grav sou pèfòmans nan lòt travay. Nan ka sa yo, redistribisyon done ka pran anpil tan.
- Fè atansyon lè w ap chwazi yon fenèt demenajman. Malgre ke sa a se evidan, eseye chwazi yon tan ki gen pi piti chaj sou Inite ak asiyen yon kantite tan ase.
- Planifye ekspansyon depo ou, fè li alè. Sa a se yon rekòmandasyon jeneral ki enpòtan pou FAST VP tou. Si kantite espas lib piti anpil, mouvman done yo pral ralanti oswa vin enposib. Espesyalman si ou neglije pwen 2.
- Lè agrandi yon pisin ak FAST VP pèmèt, pa kòmanse ak kondui ki pi dousman yo. Sa vle di, swa nou ajoute tout gwoup RAID yo planifye alafwa, oswa nou ajoute disk ki pi rapid yo an premye. Nan ka sa a, redistribiye done nan nouvo disk "vit" ap ogmante vitès an jeneral nan pisin lan. Sinon, kòmanse ak disk "ralanti", ou ka jwenn yon sitiyasyon trè dezagreyab. Premyèman, done yo pral transfere nan nouvo, relativman dousman disk, ak Lè sa a, lè ajoute pi vit, nan direksyon opoze a. Gen nuans ki asosye ak diferan politik FAST VP, men nan ka jeneral la, sitiyasyon sa a posib.
Si w ap gade pwodwi sa a, Lè sa a, ou ka eseye Unity nan aksyon pou gratis lè w telechaje aparèy vityèl Unity VSA la.
Nan fen atik la, mwen pataje kèk lyen itil:
- Paj
- - yon deskripsyon tou kout sou fonksyon an
- , fòma pdf
Konklizyon
Mwen vle ekri sou anpil, men mwen konprann ke se pa tout detay yo pral enterese nan lektè a. Pou egzanp, ou ka pale an plis detay sou kritè yo pa ki FAST VP pran yon desizyon pou transfere done, sou pwosesis yo pou analize I / O estatistik. Epitou, sijè a nan entèraksyon ak , ak sa a rale sou yon atik separe. Ou ka menm fantasme sou devlopman teknoloji sa a. Mwen espere ke li pa t raz e mwen pa t raz ou. Na wè byento!
Sous: www.habr.com