Heddiw, byddwn yn siarad am dechnoleg ddiddorol a weithredwyd mewn systemau storio Unity / Unity XT - FAST VP. Os mai dyma'r tro cyntaf i chi glywed am Unity, yna gallwch edrych ar nodweddion y system gan ddefnyddio'r ddolen ar ddiwedd yr erthygl. Gweithiais ar FAST VP ar dîm prosiect Dell EMC am dros flwyddyn. Heddiw, rwyf am siarad am y dechnoleg hon yn fwy manwl a datgelu rhai manylion am ei weithrediad. Wrth gwrs, dim ond y rhai y caniateir eu datgelu. Os oes gennych ddiddordeb mewn materion yn ymwneud â storio data yn effeithlon neu os nad ydych wedi deall y ddogfennaeth yn llawn, yna bydd yr erthygl hon yn sicr yn ddefnyddiol ac yn ddiddorol.
Fe ddywedaf wrthych ar unwaith beth na fydd yn y deunydd. Ni fydd unrhyw chwilio am gystadleuwyr a chymharu â nhw. Nid wyf ychwaith yn bwriadu siarad am dechnolegau tebyg o ffynhonnell agored, oherwydd mae'r darllenydd chwilfrydig eisoes yn gwybod amdanynt. Ac, wrth gwrs, dydw i ddim yn mynd i hysbysebu dim byd.
Haenu Storio. Nodau ac amcanion FAST VP
Ystyr FAST VP yw Haenu Storio Llawn Awtomataidd ar gyfer Pwll Rhithwir. Ychydig yn anodd? Dim problem, byddwn yn darganfod yn awr. Mae haenu yn ffordd o drefnu storio data lle mae'r data hwn yn cael ei storio ar sawl lefel (haen). Mae gan bob un ei nodweddion ei hun. Y pwysicaf: perfformiad, cyfaint a phris storio uned o wybodaeth. Wrth gwrs, mae yna berthynas rhyngddynt.
Nodwedd bwysig o haenau yw bod mynediad at ddata yn cael ei ddarparu'n unffurf waeth beth fo'r lefel storio y mae wedi'i leoli ynddi ar hyn o bryd, ac mae maint y pwll yn hafal i swm maint yr adnoddau sydd ynddo. Dyma lle mae'r gwahaniaethau o'r celc yn gorwedd: nid yw maint y celc yn cael ei ychwanegu at gyfanswm cyfaint yr adnodd (cronfa yn yr achos hwn), ac mae data'r storfa yn dyblygu rhyw ddarn o'r prif ddata cyfryngau (neu bydd yn dyblygu os yw'r nid yw data o'r storfa wedi'i ysgrifennu eto). Hefyd, mae dosbarthiad data yn ôl lefelau yn cael ei guddio rhag y defnyddiwr. Hynny yw, nid yw'n gweld yn union pa ddata sydd wedi'i leoli ar bob lefel, er y gall ddylanwadu ar hyn yn anuniongyrchol trwy osod polisïau (mwy arnynt yn ddiweddarach).
Nawr, gadewch i ni edrych ar nodweddion gweithredu haenau storio yn Unity. Mae gan Unity 3 lefel, neu haen:
- Perfformiad eithafol (SSDs)
- Perfformiad (SAS HDD 10k/15k RPM)
- Cynhwysedd (NL-SAS HDD 7200 RPM)
Fe'u cyflwynir mewn trefn ddisgynnol o berfformiad a phris. Mae perfformiad eithafol yn cynnwys gyriannau cyflwr solet (SSDs) yn unig. Mae'r ddwy haen arall yn cynnwys gyriannau disg magnetig, sy'n wahanol o ran cyflymder cylchdroi ac, yn unol â hynny, perfformiad.
Mae cyfryngau storio o'r un lefel a'r un maint yn cael eu cyfuno i mewn i arae RAID, gan ffurfio grŵp RAID (grŵp RAID, wedi'i dalfyrru fel RG); Gallwch ddarllen am y lefelau RAID sydd ar gael ac a argymhellir yn y dogfennau swyddogol. Mae pyllau storio yn cael eu ffurfio o grwpiau RAID o un lefel neu fwy, ac yna mae gofod rhydd yn cael ei ddosbarthu. Ac o'r pwll neilltuir gofod ar gyfer systemau ffeiliau a LUNs.
Pam fod angen Haenu arnaf?
Yn fyr ac yn haniaethol: i gyflawni canlyniadau gwell gan ddefnyddio cyn lleied â phosibl o adnoddau. Yn fwy penodol, deellir y canlyniad fel arfer fel set o nodweddion system storio - cyflymder ac amser mynediad, cost storio, ac eraill. Mae lleiafswm adnoddau yn golygu'r gwariant lleiaf: arian, ynni, ac ati. Mae FAST VP yn gweithredu mecanweithiau ar gyfer ailddosbarthu data ar draws gwahanol lefelau mewn systemau storio Unity/Unity XT. Os credwch fi, yna gallwch hepgor y paragraff nesaf. Am y gweddill, dywedaf ychydig mwy wrthych.
Mae dosbarthiad cywir data ar draws haenau storio yn eich galluogi i arbed ar gost gyffredinol storio trwy aberthu cyflymder mynediad i rywfaint o wybodaeth na ddefnyddir yn aml, a gwella perfformiad trwy symud data a ddefnyddir yn aml i gyfryngau cyflymach. Yma efallai y bydd rhywun yn dadlau, hyd yn oed heb haenau, bod gweinyddwr arferol yn gwybod ble i osod pa ddata, beth yw nodweddion dymunol system storio ar gyfer ei dasg, ac ati. Heb os, mae hyn yn wir, ond mae anfanteision i ddosbarthu data â llaw:
- yn gofyn am amser a sylw y gweinyddwr;
- Nid yw bob amser yn bosibl “ail-dynnu” adnoddau storio i weddu i amodau newidiol;
- mantais bwysig yn diflannu: mynediad unedig i adnoddau sydd wedi'u lleoli ar lefelau storio gwahanol.
Er mwyn gwneud i weinyddwyr storio boeni llai am ddiogelwch swyddi, fe ychwanegaf fod cynllunio adnoddau cymwys yn angenrheidiol yma hefyd. Nawr bod y tasgau haenu wedi'u hamlinellu'n fyr, gadewch i ni edrych ar yr hyn y gallwch chi ei ddisgwyl gan FAST VP. Nawr yw'r amser i ddychwelyd at y diffiniad. Mae'r ddau air cyntaf - Llawn Awtomataidd - yn cael eu cyfieithu'n llythrennol fel "cyflawn awtomataidd" ac yn golygu bod y dosbarthiad rhwng lefelau yn digwydd yn awtomatig. Wel, mae Virtual Pool yn gronfa ddata sy'n cynnwys adnoddau o wahanol lefelau storio. Dyma sut mae'n edrych:
Wrth edrych ymlaen, byddaf yn dweud bod FAST VP yn symud data o fewn un pwll yn unig, ac nid rhwng sawl pwll.
Problemau wedi'u datrys gan FAST VP
Gadewch i ni siarad yn haniaethol yn gyntaf. Mae gennym gronfa a pheth mecanwaith a all ailddosbarthu data o fewn y gronfa hon. Gan gofio mai ein nod yw cyflawni cynhyrchiant mwyaf, gadewch i ni ofyn i ni ein hunain: pa ffyrdd y gallwn ei gyflawni? Efallai y bydd sawl un ohonynt, ac yma mae gan FAST VP rywbeth i'w gynnig i'r defnyddiwr, gan fod y dechnoleg yn rhywbeth mwy na dim ond haenau storio. Dyma rai ffyrdd y gall FAST VP gynyddu perfformiad y pwll:
- Dosbarthiad data ar draws gwahanol fathau o ddisgiau, lefelau
- Dosbarthu data ymhlith disgiau o'r un math
- Dosbarthu data wrth ehangu'r gronfa
Cyn i ni edrych ar sut mae'r tasgau hyn yn cael eu datrys, mae angen i ni wybod rhai ffeithiau angenrheidiol am sut mae FAST VP yn gweithio. Mae FAST VP yn gweithredu gyda blociau o faint penodol - 256 megabeit. Dyma'r "talp" cyffiniol lleiaf o ddata y gellir ei symud. Yn y ddogfennaeth dyma'r hyn maen nhw'n ei alw: slice. O safbwynt FAST VP, mae pob grŵp RAID yn cynnwys set o “ddarnau” o'r fath. Yn unol â hynny, mae'r holl ystadegau I/O yn cael eu cronni ar gyfer blociau data o'r fath. Pam y dewiswyd maint y bloc hwn ac a fydd yn cael ei leihau? Mae'r bloc yn eithaf mawr, ond mae hwn yn gyfaddawd rhwng gronynnau'r data (mae maint bloc llai yn golygu dosbarthiad mwy cywir) a'r adnoddau cyfrifiadurol sydd ar gael: o ystyried y cyfyngiadau llym presennol ar RAM a nifer fawr o flociau, gall data ystadegau gymryd rhan gormod, a bydd nifer y cyfrifiadau yn cynyddu'n gymesur.
Sut mae FAST VP yn dyrannu data i'r gronfa. Gwleidyddion
Er mwyn rheoli lleoliad data mewn cronfa gyda FAST VP wedi'i alluogi, mae'r polisïau canlynol yn bodoli:
- Haen Uchaf Sydd Ar Gael
- Auto-Haen
- Cychwyn yn Uchel yna Haen Awtomatig (diofyn)
- Haen Isaf Sydd Ar Gael
Maent yn effeithio ar y dyraniad bloc cychwynnol (ysgrifennwyd y data yn gyntaf) ac ailddyraniad dilynol. Pan fydd y data eisoes wedi'i leoli ar ddisgiau, bydd ailddosbarthu yn cael ei gychwyn yn unol ag amserlen neu â llaw.
Mae'r Haen Uchaf Sydd Ar Gael yn ceisio gosod bloc newydd ar yr haen sy'n perfformio orau. Os nad oes digon o le arno, fe'i gosodir ar y lefel fwyaf cynhyrchiol nesaf, ond yna gellir symud y data i lefel fwy cynhyrchiol (os oes lle neu drwy ddisodli data arall). Mae Auto-Haen yn gosod data newydd ar wahanol lefelau yn dibynnu ar faint o le sydd ar gael, ac mae'n cael ei ailddosbarthu yn dibynnu ar y galw a lle am ddim. Start High yna Auto-Haen yw'r polisi rhagosodedig a argymhellir hefyd. Pan gaiff ei osod i ddechrau, mae'n gweithio fel yr Haen Uchaf Sydd Ar Gael, ac yna mae'r data'n cael ei symud yn dibynnu ar ei ystadegau defnydd. Mae'r polisi Haen Isaf Sydd ar Gael yn ceisio gosod data yn yr haen leiaf cynhyrchiol.
Mae trosglwyddo data yn digwydd gyda blaenoriaeth isel er mwyn peidio ag ymyrryd â gweithrediad defnyddiol y system storio, fodd bynnag, mae gosodiad “Cyfradd adleoli data” sy'n newid y flaenoriaeth. Mae yna hynodrwydd yma: nid oes gan bob bloc data yr un drefn ailddosbarthu. Er enghraifft, bydd blociau sydd wedi'u marcio fel metadata yn cael eu symud i lefel gyflymach yn gyntaf. Mae metadata, fel petai, yn “ddata am ddata”, rhywfaint o wybodaeth ychwanegol nad yw’n ddata defnyddwyr, ond sy’n storio ei ddisgrifiad. Er enghraifft, gwybodaeth yn y system ffeiliau am ba floc y mae ffeil benodol wedi'i lleoli ynddo. Mae hyn yn golygu bod cyflymder mynediad at ddata yn dibynnu ar gyflymder mynediad at fetadata. O ystyried bod metadata fel arfer yn llawer llai o ran maint, disgwylir i fanteision ei symud i ddisgiau perfformiad uwch fod yn fwy.
Meini prawf y mae Fast VP yn eu defnyddio yn ei waith
Y prif faen prawf ar gyfer pob bloc, yn fras iawn, yw nodwedd “galw” y data, sy'n dibynnu ar nifer y gweithrediadau darllen ac ysgrifennu darn data. Rydyn ni'n galw'r nodwedd hon yn “Tymheredd”. Mae galw am ddata (poeth) sy'n “boethach” na data heb ei hawlio. Fe'i cyfrifir o bryd i'w gilydd, yn ddiofyn ar gyfnodau o awr.
Mae gan y swyddogaeth cyfrifo tymheredd y priodweddau canlynol:
- Yn absenoldeb I/O, mae data yn “oeri” dros amser.
- O dan lwyth cyfartal fwy neu lai dros amser, mae'r tymheredd yn cynyddu yn gyntaf ac yna'n sefydlogi mewn ystod benodol.
Nesaf, mae'r polisïau a ddisgrifir uchod a'r gofod rhydd ar bob haen yn cael eu hystyried. Er eglurder, byddaf yn darparu llun o'r ddogfennaeth. Yma mae lliwiau coch, melyn a glas yn dynodi blociau â thymheredd uchel, canolig ac isel, yn y drefn honno.
Ond gadewch i ni fynd yn ôl at y tasgau. Felly, gallwn ddechrau dadansoddi'r hyn sy'n cael ei wneud i ddatrys problemau FAST VP.
A. Dosbarthiad data ar draws gwahanol fathau o ddisgiau, lefelau
Mewn gwirionedd, dyma brif dasg FAST VP. Mae'r gweddill, mewn ffordd, yn ddeilliadau ohono. Yn dibynnu ar y polisi a ddewiswyd, bydd data'n cael ei ddosbarthu ar draws lefelau storio gwahanol. Yn gyntaf oll, mae'r polisi lleoli yn cael ei ystyried, yna tymheredd y bloc a maint / cyflymder grwpiau RAID.
Ar gyfer polisïau Haen Uchaf/Isaf Sydd ar Gael mae popeth yn eithaf syml. Ar gyfer y ddau arall mae hyn yn wir. Dosberthir data ar draws gwahanol lefelau gan ystyried maint a pherfformiad grwpiau RAID: fel bod cymhareb cyfanswm “tymheredd” y blociau i “berfformiad uchaf amodol” pob grŵp RAID tua'r un peth. Felly, mae'r llwyth yn cael ei ddosbarthu'n fwy neu'n llai cyfartal. Symudir mwy o ddata y mae galw amdano i gyfryngau cyflym, ac anaml y caiff data a ddefnyddir ei symud i gyfryngau arafach. Yn ddelfrydol, dylai'r dosbarthiad edrych yn rhywbeth fel hyn:
B. Dosbarthiad data ymhlith disgiau o'r un math
Cofiwch, ar y dechrau ysgrifennais y cyfryngau storio hwnnw o un neu fwy lefelau yn cael eu cyfuno mewn un pwll? Yn achos un lefel, mae gan FAST VP waith i'w wneud hefyd. Er mwyn cyflawni'r perfformiad mwyaf posibl ar unrhyw lefel, fe'ch cynghorir i ddosbarthu data'n gyfartal rhwng disgiau. Bydd hyn (yn ddamcaniaethol) yn caniatáu ichi gael yr uchafswm o IOPS. Gellir ystyried bod data o fewn grŵp RAID wedi'i ddosbarthu'n gyfartal ar draws disgiau, ond nid yw hyn bob amser yn wir rhwng grwpiau RAID. Mewn achos o anghydbwysedd, bydd FAST VP yn symud data rhwng grwpiau RAID yn gymesur â'u cyfaint a'u "perfformiad amodol" (mewn termau rhifiadol). Er eglurder, byddaf yn dangos cynllun ail-gydbwyso ymhlith tri grŵp RAID:
B. Dosbarthu data wrth ehangu'r pwll
Mae'r dasg hon yn achos arbennig o'r un blaenorol ac fe'i perfformir pan ychwanegir grŵp RAID i'r pwll. Er mwyn sicrhau nad yw'r grŵp RAID sydd newydd ei ychwanegu yn aros yn segur, bydd rhywfaint o'r data'n cael ei drosglwyddo iddo, sy'n golygu y bydd y llwyth yn cael ei ailddosbarthu ar draws yr holl grwpiau RAID.
Lefelu Gwisgo SSD
Trwy ddefnyddio lefelu gwisgo, gall FAST VP ymestyn oes SSD, er nad yw'r nodwedd hon yn uniongyrchol gysylltiedig â Haenu Storio. Gan fod data tymheredd eisoes ar gael, mae nifer y gweithrediadau ysgrifennu hefyd yn cael ei ystyried, a gwyddom sut i symud blociau data, byddai'n rhesymegol i FAST VP ddatrys y broblem hon.
Os bydd nifer y cofnodion mewn un grŵp RAID yn sylweddol uwch na nifer y cofnodion mewn grŵp arall, bydd FAST VP yn ailddosbarthu'r data yn unol â nifer y gweithrediadau ysgrifennu. Ar y naill law, mae hyn yn lleddfu'r llwyth ac yn arbed adnoddau rhai disgiau, ar y llaw arall, mae'n ychwanegu "gwaith" ar gyfer rhai llai llwythog, gan gynyddu perfformiad cyffredinol.
Yn y modd hwn, mae FAST VP yn ymgymryd â heriau traddodiadol Haenu Storio ac yn gwneud ychydig yn fwy na hynny. Mae hyn i gyd yn caniatáu ichi storio data yn eithaf effeithlon yn system storio Unity.
Mae ychydig o awgrymiadau
- Peidiwch ag esgeuluso darllen y ddogfennaeth. Mae yna arferion gorau, ac maen nhw'n gweithio'n eithaf da. Os dilynwch nhw, yna, fel rheol, nid oes unrhyw broblemau difrifol yn codi. Yn y bôn, mae gweddill y cyngor yn eu hailadrodd neu'n eu hategu.
- Os ydych chi wedi ffurfweddu a galluogi FAST VP, mae'n well ei adael wedi'i alluogi. Gadael iddo ddosbarthu'r data yn ei amser penodedig ac ychydig ar unwaith y flwyddyn a chael effaith ddifrifol ar berfformiad tasgau eraill. Mewn achosion o'r fath, gall ailddosbarthu data gymryd amser hir.
- Byddwch yn ofalus wrth ddewis ffenestr adleoli. Er bod hyn yn amlwg, ceisiwch ddewis amser gyda'r llwyth lleiaf ar Unity a neilltuo cyfnod digonol o amser.
- Cynlluniwch i ehangu eich system storio, gwnewch hynny mewn pryd. Mae hwn yn argymhelliad cyffredinol sy'n bwysig i FAST VP hefyd. Os yw maint y gofod rhydd yn fach iawn, yna bydd symudiad data yn arafu neu'n dod yn amhosibl. Yn enwedig os gwnaethoch esgeuluso pwynt 2.
- Wrth ehangu pwll gyda FAST VP wedi'i alluogi, ni ddylech ddechrau gyda'r disgiau arafaf. Hynny yw, rydym naill ai'n ychwanegu'r holl grwpiau RAID a gynlluniwyd ar unwaith, neu'n ychwanegu'r disgiau cyflymaf yn gyntaf. Yn yr achos hwn, bydd ailddosbarthu data i ddisgiau “cyflym” newydd yn cynyddu cyflymder cyffredinol y pwll. Fel arall, gall dechrau gyda disgiau “araf” arwain at sefyllfa annymunol iawn. Yn gyntaf, bydd data'n cael ei drosglwyddo i ddisgiau newydd, cymharol araf, ac yna, pan ychwanegir rhai cyflymach, i'r cyfeiriad arall. Mae yna arlliwiau yma sy'n gysylltiedig â gwahanol bolisïau FAST VP, ond yn gyffredinol, mae sefyllfa debyg yn bosibl.
Os ydych chi'n edrych ar y cynnyrch hwn, gallwch chi roi cynnig ar Unity am ddim trwy lawrlwytho teclyn rhithwir Unity VSA.
Ar ddiwedd y deunydd, rwy'n rhannu sawl dolen ddefnyddiol:
- Tudalen
- - disgrifiad byr o'r swyddogaeth
- , fformat pdf
Casgliad
Hoffwn ysgrifennu am lawer, ond deallaf na fydd yr holl fanylion yn ddiddorol i'r darllenydd. Er enghraifft, gallwch siarad yn fanylach am y meini prawf a ddefnyddir gan FAST VP i wneud penderfyniadau am drosglwyddo data, am y prosesau o ddadansoddi ystadegau I/O. Hefyd, y pwnc o ryngweithio â , ac mae hon yn haeddu erthygl ar wahân. Gallwch hyd yn oed ffantasio am ddatblygiad y dechnoleg hon. Rwy'n gobeithio nad oedd yn ddiflas a wnes i ddim diflasu chi. Welwn ni chi eto!
Ffynhonnell: hab.com