S3 objekta stokado komando tradukis artikolon pri kiaj kriterioj estas gravaj kiam oni elektas objekton. Jen la teksto el la perspektivo de la aŭtoro.
Kiam temas pri objekta stokado, homoj kutime pensas nur pri unu afero: prezo por TB/GB. Kompreneble, ĉi tiu metriko estas grava, sed ĝi faras la aliron unuflanka kaj egaligas objekton-stokadon kun arkiva stokado. Krome, ĉi tiu aliro reduktas la gravecon de objektostokado por la entreprena teknologia stako.
Elektante objektan stokadon, vi devas atenti kvin trajtojn:
- agado;
- skaleblo;
- S3 kongrua;
- respondo al malsukcesoj;
- integreco.
Ĉi tiuj kvin karakterizaĵoj estas novaj metrikoj por objektostokado, kune kun kosto. Ni rigardu ilin ĉiujn.
Produkteco
Tradiciaj objektobutikoj malhavas rendimenton. Servoprovizantoj konstante oferis ĝin por serĉi malaltajn prezojn. Tamen, kun moderna objektostokado aferoj estas malsamaj.
Diversaj stokaj sistemoj alproksimiĝas aŭ eĉ superas la rapidecon de Hadoop. Modernaj postuloj por legado kaj skribado: de 10 GB/s por malmolaj diskoj, ĝis 35 GB/s por NVMe.
Ĉi tiu trairo sufiĉas por Spark, Presto, Tensorflow, Teradata, Vertica, Splunk kaj aliaj modernaj komputikkadroj en la analiza stako. La fakto ke MPP-datumbazoj estas agorditaj por objektostokado indikas ke ĝi estas ĉiam pli uzata kiel la primara stokado.
Se via konserva sistemo ne provizas la rapidecon, kiun vi bezonas, vi ne povas uzi la datumojn kaj eltiri valoron el ĝi. Eĉ se vi retrovas datumojn de objektostokado en en-memoran prilaboran strukturon, vi ankoraŭ bezonos bendolarĝon por transdoni la datumojn al kaj de memoro. Heredaĵaj objektobutikoj ne havas sufiĉe da ĝi.
Ĉi tio estas la ŝlosila punkto: la nova agado-metriko estas trafluo, ne latenteco. Ĝi estas postulata por datumoj je skalo kaj estas la normo en moderna datuma infrastrukturo.
Dum komparnormoj estas bona maniero por determini rendimenton, ĝi ne povas esti precize mezurita antaŭ ruli la aplikaĵon en la medio. Nur post ĝi vi povas diri kie precize estas la botelkolo: en programaro, diskoj, reto aŭ ĉe komputika nivelo.
Skalebleco
Skalebleco rilatas al la nombro da petabajtoj kiuj konvenas en unu nomspacon. Kion vendistoj asertas, estas facila skaleblo, kion ili ne diras, ke dum ili skalas, amasaj monolitaj sistemoj fariĝas delikataj, kompleksaj, malstabilaj kaj multekostaj.
La nova metriko por skaleblo estas la nombro da nomspacoj aŭ klientoj, kiujn vi povas servi. La metriko estas prenita rekte de hiperskaliloj, kie la stokaj konstrubriketoj estas malgrandaj sed skalas al miliardoj da unuoj. Ĝenerale, ĉi tio estas nuba metriko.
Kiam la konstrubriketoj estas malgrandaj, ili estas pli facile optimumeblaj por sekureco, alirkontrolo, politika administrado, vivciklo-administrado kaj ne-interrompaj ĝisdatigoj. Kaj finfine certigi produktivecon. La grandeco de la konstrubriketo estas funkcio de la kontrolebleco de la fiaskoregiono, kio estas kiel tre rezistemaj sistemoj estas konstruitaj.
Multi-luado havas multajn trajtojn. Dum la dimensio parolas pri kiel organizoj disponigas aliron al datumoj kaj aplikoj, ĝi ankaŭ rilatas al la aplikoj mem kaj la logiko malantaŭ izolado de ili unu de la alia.
Karakterizaĵoj de moderna aliro al multkliento:
- En mallonga tempo, la nombro da klientoj povas kreski de kelkcent ĝis pluraj milionoj.
- Klientoj estas tute izolitaj unu de la alia. Ĉi tio permesas al ili ruli malsamajn versiojn de la sama programaro kaj stoki objektojn kun malsamaj agordoj, permesoj, funkcioj, sekureco kaj bontenado-niveloj. Ĉi tio estas necesa dum grimpado al novaj serviloj, ĝisdatigoj kaj geografioj.
- La stokado estas elaste skalebla, rimedoj estas provizitaj laŭpeto.
- Ĉiu operacio estas kontrolita de API kaj estas aŭtomatigita sen homa interveno.
- Programaro povas esti gastigita en ujoj kaj uzi normajn instrumentajn sistemojn kiel Kubernetes.
S3 kongrua
La Amazon S3 API estas la fakta normo por objektostokado. Ĉiu objekta stokado-softvaro-vendisto asertas kongruon kun ĝi. Kongrueco kun S3 estas binara: aŭ ĝi estas plene efektivigita aŭ ĝi ne estas.
En praktiko, ekzistas centoj aŭ miloj da randscenaroj kie io misfunkcias kiam oni uzas objekton. Precipe de provizantoj de proprieta programaro kaj servoj. Ĝiaj ĉefaj uzkazoj estas rekta arkivado aŭ sekurkopio, do estas malmultaj kialoj por voki la API, la uzkazoj estas homogenaj.
Malfermfonta programaro havas gravajn avantaĝojn. Ĝi kovras plej multajn randajn scenarojn, konsiderante la grandecon kaj varion de aplikoj, operaciumoj kaj aparatarkitekturoj.
Ĉio ĉi estas grava por programistoj de aplikaĵoj, do indas testi la aplikaĵon kun provizantoj de stokado. Malferma fonto faciligas la procezon—estas pli facile kompreni, kiu platformo taŭgas por via aplikaĵo. La provizanto povas esti uzata kiel ununura punkto de eniro en stokadon, tio signifas, ke ĝi renkontos viajn bezonojn.
Malferma fonto signifas: aplikoj ne estas ligitaj al vendisto kaj estas pli travideblaj. Ĉi tio certigas longan aplikaĵan vivociklon.
Kaj kelkaj pliaj notoj pri malferma fonto kaj S3.
Se vi prizorgas grandan datuman aplikaĵon, S3 SELECT plibonigas rendimenton kaj efikecon je ordo de grandeco. Ĝi faras tion uzante SQL por preni nur la objektojn, kiujn vi bezonas el stokado.
La ŝlosila punkto estas subteno por sitelaj sciigoj. Sitelo-scioj faciligas senservilan komputadon, gravan komponenton de iu ajn mikroserva arkitekturo, kiu estas liverita kiel servo. Konsiderante ke objektostokado estas efike nuba stokado, tiu kapablo iĝas kritika kiam objektostokado estas uzita per nub-bazitaj aplikoj.
Fine, la S3-efektivigo devas subteni la Amazon S3-servilflankajn ĉifradajn APIojn: SSE-C, SSE-S3, SSE-KMS. Eĉ pli bone, S3 subtenas kontraŭfrapprotekton kiu estas vere sekura.
Respondo al malsukcesoj
Metriko, kiu verŝajne ofte estas preteratentita, estas kiel la sistemo traktas fiaskojn. Fiaskoj okazas pro diversaj kialoj, kaj objektostokado devas pritrakti ilin ĉiujn.
Ekzemple, ekzistas ununura punkto de fiasko, la metriko de ĉi tio estas nulo.
Bedaŭrinde, multaj objektaj stokadsistemoj uzas specialajn nodojn kiuj devas esti ebligitaj por ke la areto funkciu ĝuste. Ĉi tiuj inkluzivas nomnodojn aŭ metadatumajn servilojn - ĉi tio kreas ununuran punkton de fiasko.
Eĉ kie ekzistas multoblaj punktoj de fiasko, la kapablo elteni katastrofan fiaskon estas plej grava. Diskoj malsukcesas, serviloj malsukcesas. La ŝlosilo estas krei programaron desegnitan por trakti fiaskon kiel normala kondiĉo. Se disko aŭ nodo malsukcesas, tia programaro daŭre funkcios sen ŝanĝoj.
Enkonstruita protekto kontraŭ datumforigo kaj datumdegenero certigas, ke vi povas perdi tiom da diskoj aŭ nodoj kiom vi havas egalajn blokojn—kutime duono de la diskoj. Nur tiam la programaro ne povos resendi datumojn.
La fiasko malofte estas provita sub ŝarĝo, sed tia testado estas deviga. Simulado de malsukceso de ŝarĝo montros la totalajn kostojn faritajn post la fiasko.
Kohereco
Konsekvencpoentaro de 100% ankaŭ estas nomita strikta konsistenco. Konsistenco estas ŝlosila komponanto de iu ajn stokada sistemo, sed forta konsistenco estas malofta. Ekzemple, Amazon S3 ListObject ne estas strikte konsekvenca, ĝi estas nur konsekvenca ĉe la fino.
Kion signifas strikta konsistenco? Por ĉiuj operacioj post konfirmita PUT-operacio, la sekvanta devas okazi:
- La ĝisdatigita valoro estas videbla dum legado de iu ajn nodo.
- La ĝisdatigo estas protektita kontraŭ noda fiasko-redundo.
Ĉi tio signifas, ke se vi tiras la ŝtopilon meze de registrado, nenio estos perdita. La sistemo neniam resendas koruptitajn aŭ malmodernajn datumojn. Ĉi tio estas alta stango, kiu gravas en multaj scenaroj, de transakciaj aplikoj ĝis sekurkopio kaj reakiro.
konkludo
Ĉi tiuj estas novaj objektaj stokado-metrikoj, kiuj reflektas uzpadronojn en hodiaŭaj organizoj, kie rendimento, konsistenco, skaleblo, misfunkciaj domajnoj kaj S3-kongruo estas la konstrubriketoj por nubaj aplikaĵoj kaj analizo de grandaj datumoj. Mi rekomendas uzi ĉi tiun liston krom prezo dum konstruado de modernaj datumstakoj.
Pri Mail.ru Cloud Solutions objektostokado: .
Kion alian legi:
- .
- .
- .
fonto: www.habr.com