Gorchymyn storio gwrthrych S3 cyfieithu erthygl am ba feini prawf sy'n bwysig wrth ddewis storfa gwrthrychau. Dyma'r testun o safbwynt yr awdur.
O ran storio gwrthrychau, dim ond un peth y mae pobl fel arfer yn ei feddwl: pris fesul TB / GB. Wrth gwrs, mae'r metrig hwn yn bwysig, ond mae'n gwneud y dull yn unochrog ac yn cyfateb storio gwrthrychau ag offeryn storio archif. Hefyd, mae'r dull hwn yn lleihau pwysigrwydd storio gwrthrychau ar gyfer y pentwr technoleg menter.
Wrth ddewis storio gwrthrychau, dylech roi sylw i bum nodwedd:
- perfformiad;
- scalability;
- S3 gydnaws;
- ymateb i fethiannau;
- uniondeb.
Mae'r pum nodwedd hyn yn fetrigau newydd ar gyfer storio gwrthrychau, ynghyd â chost. Gadewch i ni edrych arnynt i gyd.
Cynhyrchiant
Mae diffyg perfformiad mewn storfeydd gwrthrychau traddodiadol. Roedd darparwyr gwasanaeth yn ei aberthu'n gyson ar drywydd prisiau isel. Fodd bynnag, gyda storio gwrthrychau modern mae pethau'n wahanol.
Mae systemau storio amrywiol yn nesáu at gyflymder Hadoop neu hyd yn oed yn fwy na hynny. Gofynion modern ar gyfer cyflymder darllen ac ysgrifennu: o 10 GB/s ar gyfer gyriannau caled, hyd at 35 GB/s ar gyfer NVMe.
Mae'r trwybwn hwn yn ddigonol ar gyfer Spark, Presto, Tensorflow, Teradata, Vertica, Splunk a fframweithiau cyfrifiadurol modern eraill yn y pentwr dadansoddol. Mae'r ffaith bod cronfeydd data MPP yn cael eu ffurfweddu ar gyfer storio gwrthrychau yn awgrymu ei fod yn cael ei ddefnyddio fwyfwy fel storfa sylfaenol.
Os nad yw'ch system storio yn darparu'r cyflymder sydd ei angen arnoch, ni allwch ddefnyddio'r data a thynnu gwerth ohono. Hyd yn oed os ydych chi'n adfer data o storfa gwrthrychau i strwythur prosesu cof, bydd angen lled band arnoch o hyd i drosglwyddo'r data i'r cof ac oddi yno. Nid oes gan storfeydd gwrthrychau etifeddiaeth ddigon ohono.
Dyma'r pwynt allweddol: trwybwn yw'r metrig perfformiad newydd, nid hwyrni. Mae ei angen ar gyfer data ar raddfa a dyma'r norm mewn seilwaith data modern.
Er bod meincnodau yn ffordd dda o bennu perfformiad, ni ellir ei fesur yn gywir cyn rhedeg y cais yn yr amgylchedd. Dim ond ar ôl hynny y gallwch chi ddweud ble yn union y mae'r dagfa: mewn meddalwedd, disgiau, rhwydwaith neu ar lefel cyfrifiadura.
Scalability
Mae Scalability yn cyfeirio at nifer y petabytes sy'n ffitio i un gofod enw. Yr hyn y mae gwerthwyr yn honni ei fod yn scalability hawdd, yr hyn nad ydynt yn ei ddweud yw bod systemau monolithig enfawr, wrth iddynt raddfa, yn dod yn fregus, yn gymhleth, yn ansefydlog ac yn ddrud.
Y metrig newydd ar gyfer graddadwyedd yw nifer y gofodau enw neu gleientiaid y gallwch eu gwasanaethu. Cymerir y metrig yn uniongyrchol o hyperscalers, lle mae'r blociau adeiladu storio yn fach ond ar raddfa i biliynau o unedau. Yn gyffredinol, mae hwn yn fetrig cwmwl.
Pan fo'r blociau adeiladu yn fach, maent yn haws eu hoptimeiddio ar gyfer diogelwch, rheoli mynediad, rheoli polisi, rheoli cylch bywyd, a diweddariadau nad ydynt yn tarfu. Ac yn y pen draw sicrhau cynhyrchiant. Mae maint y bloc adeiladu yn swyddogaeth o reolaeth y rhanbarth methiant, sef sut mae systemau hynod wydn yn cael eu hadeiladu.
Mae gan aml-denantiaeth lawer o nodweddion. Er bod y dimensiwn yn siarad â sut mae sefydliadau'n darparu mynediad at ddata a chymwysiadau, mae hefyd yn cyfeirio at y cymwysiadau eu hunain a'r rhesymeg y tu ôl i'w hynysu oddi wrth ei gilydd.
Nodweddion ymagwedd fodern at aml-gleient:
- Mewn cyfnod byr, gall nifer y cleientiaid dyfu o gannoedd i sawl miliwn.
- Mae cleientiaid wedi'u hynysu'n llwyr oddi wrth ei gilydd. Mae hyn yn caniatáu iddynt redeg fersiynau gwahanol o'r un meddalwedd a storio gwrthrychau gyda gwahanol gyfluniadau, caniatâd, nodweddion, diogelwch a lefelau cynnal a chadw. Mae hyn yn angenrheidiol wrth raddio i weinyddion, diweddariadau a daearyddiaeth newydd.
- Mae'r storfa yn elastig graddadwy, darperir adnoddau yn ôl y galw.
- Mae pob gweithrediad yn cael ei reoli gan API ac yn cael ei awtomeiddio heb ymyrraeth ddynol.
- Gellir cynnal meddalwedd mewn cynwysyddion a defnyddio systemau offeryniaeth safonol fel Kubernetes.
S3 gydnaws
API Amazon S3 yw'r safon de facto ar gyfer storio gwrthrychau. Mae pob gwerthwr meddalwedd storio gwrthrychau yn honni ei fod yn gydnaws ag ef. Mae cydnawsedd â S3 yn ddeuaidd: naill ai mae'n cael ei weithredu'n llawn neu nid yw.
Yn ymarferol, mae cannoedd neu filoedd o senarios ymyl lle mae rhywbeth yn mynd o'i le wrth ddefnyddio storio gwrthrychau. Yn enwedig gan ddarparwyr meddalwedd a gwasanaethau perchnogol. Ei brif achosion defnydd yw archifo uniongyrchol neu wrth gefn, felly nid oes llawer o resymau dros alw'r API, mae'r achosion defnydd yn homogenaidd.
Mae gan feddalwedd ffynhonnell agored fanteision sylweddol. Mae'n ymdrin â'r rhan fwyaf o senarios ymylol, o ystyried maint ac amrywiaeth y cymwysiadau, systemau gweithredu, a phensaernïaeth caledwedd.
Mae hyn i gyd yn bwysig i ddatblygwyr cymwysiadau, felly mae'n werth profi'r cais gyda darparwyr storio. Mae ffynhonnell agored yn gwneud y broses yn haws - mae'n haws deall pa lwyfan sy'n iawn ar gyfer eich cais. Gellir defnyddio'r darparwr fel un pwynt mynediad i storfa, sy'n golygu y bydd yn diwallu'ch anghenion.
Mae ffynhonnell agored yn golygu: nid yw ceisiadau ynghlwm wrth werthwr ac maent yn fwy tryloyw. Mae hyn yn sicrhau cylch bywyd cais hir.
Ac ychydig mwy o nodiadau am ffynhonnell agored ac S3.
Os ydych chi'n rhedeg cymhwysiad data mawr, mae S3 SELECT yn gwella perfformiad ac effeithlonrwydd yn ôl trefn maint. Mae'n gwneud hyn trwy ddefnyddio SQL i adfer y gwrthrychau sydd eu hangen arnoch chi o'r storfa yn unig.
Y pwynt allweddol yw cefnogaeth ar gyfer hysbysiadau bwced. Mae hysbysiadau bwced yn hwyluso cyfrifiadura di-weinydd, elfen bwysig o unrhyw bensaernïaeth microwasanaeth a ddarperir fel gwasanaeth. O ystyried mai storfa cwmwl yw storio gwrthrychau i bob pwrpas, mae'r gallu hwn yn dod yn hollbwysig pan ddefnyddir storio gwrthrychau gan gymwysiadau cwmwl.
Yn olaf, rhaid i weithrediad S3 gefnogi APIs amgryptio ochr gweinydd Amazon S3: SSE-C, SSE-S3, SSE-KMS. Hyd yn oed yn well, mae S3 yn cefnogi amddiffyniad ymyrryd sy'n wirioneddol ddiogel.
Ymateb i fethiannau
Metrig sy'n cael ei anwybyddu yn aml mae'n debyg yw sut mae'r system yn delio â methiannau. Mae methiannau'n digwydd am amrywiaeth o resymau, a rhaid i storio gwrthrychau ymdrin â nhw i gyd.
Er enghraifft, mae un pwynt methiant, metrig hyn yw sero.
Yn anffodus, mae llawer o systemau storio gwrthrychau yn defnyddio nodau arbennig y mae'n rhaid eu galluogi i'r clwstwr weithredu'n iawn. Mae'r rhain yn cynnwys nodau enw neu weinyddion metadata - mae hyn yn creu un pwynt o fethiant.
Hyd yn oed lle mae sawl pwynt o fethiant, mae'r gallu i wrthsefyll methiant trychinebus yn hollbwysig. Mae disgiau'n methu, mae gweinyddwyr yn methu. Yr allwedd yw creu meddalwedd a gynlluniwyd i drin methiant fel cyflwr arferol. Os bydd disg neu nod yn methu, bydd meddalwedd o'r fath yn parhau i weithio heb unrhyw newidiadau.
Mae amddiffyniad adeiledig rhag dileu data a diraddio data yn sicrhau y gallwch chi golli cymaint o ddisgiau neu nodau ag sydd gennych chi o flociau cydraddoldeb - hanner y disgiau fel arfer. Dim ond wedyn y bydd y meddalwedd yn gallu dychwelyd data.
Anaml y caiff y methiant ei brofi dan lwyth, ond mae profion o'r fath yn orfodol. Bydd efelychu methiant llwyth yn dangos cyfanswm y costau a dynnwyd ar ôl y methiant.
Cysondeb
Gelwir sgôr cysondeb o 100% hefyd yn gysondeb llym. Mae cysondeb yn elfen allweddol o unrhyw system storio, ond mae cysondeb cryf yn brin. Er enghraifft, nid yw Amazon S3 ListObject yn gwbl gyson, dim ond yn gyson ar y diwedd ydyw.
Beth a olygir wrth gysondeb caeth? Ar gyfer pob gweithrediad yn dilyn gweithrediad PUT wedi'i gadarnhau, rhaid i'r canlynol ddigwydd:
- Mae'r gwerth wedi'i ddiweddaru i'w weld wrth ddarllen o unrhyw nod.
- Mae'r diweddariad wedi'i ddiogelu rhag diswyddo methiant nodau.
Mae hyn yn golygu os byddwch chi'n tynnu'r plwg yng nghanol recordiad, ni fydd dim yn cael ei golli. Nid yw'r system byth yn dychwelyd data llygredig neu hen ffasiwn. Mae hwn yn far uchel sy'n bwysig mewn llawer o senarios, o gymwysiadau trafodion i wneud copi wrth gefn ac adfer.
Casgliad
Mae'r rhain yn fetrigau storio gwrthrychau newydd sy'n adlewyrchu patrymau defnydd mewn sefydliadau heddiw, lle mae perfformiad, cysondeb, scalability, parthau nam a chydnawsedd S3 yn flociau adeiladu ar gyfer cymwysiadau cwmwl a dadansoddeg data mawr. Rwy'n argymell defnyddio'r rhestr hon yn ychwanegol at y pris wrth adeiladu staciau data modern.
Ynglŷn â storfa gwrthrychau Mail.ru Cloud Solutions: .
Beth arall i'w ddarllen:
- .
- .
- .
Ffynhonnell: hab.com