S3 lòd depo objè tradui yon atik sou ki kritè ki enpòtan lè w ap chwazi yon depo objè. Sa ki anba la a se tèks la nan pèspektiv otè a.
Lè li rive depo objè, moun anjeneral panse sèlman sou yon sèl bagay: pri pou chak TB / GB. Natirèlman, metrik sa a enpòtan, men li fè apwòch la yon sèl-side ak egalize depo objè ak yon zouti depo achiv. Anplis de sa, apwòch sa a diminye enpòtans depo objè pou pile teknoloji antrepriz la.
Lè w ap chwazi depo objè, ou ta dwe peye atansyon sou senk karakteristik:
- pèfòmans;
- évolutivité;
- S3 konpatib;
- repons a echèk;
- entegrite.
Senk karakteristik sa yo se nouvo mezi pou depo objè, ansanm ak pri. Ann gade yo tout.
Pwodiktivite
Magazen objè tradisyonèl yo manke pèfòmans. Founisè sèvis yo toujou ap sakrifye li nan pouswit pri ki ba. Sepandan, ak depo objè modèn bagay yo diferan.
Divès sistèm depo apwoche oswa menm depase vitès Hadoop la. Kondisyon modèn pou vitès lekti ak ekri: soti nan 10 GB / s pou kondui di, jiska 35 GB / s pou NVMe.
Debi sa a ase pou Spark, Presto, Tensorflow, Teradata, Vertica, Splunk ak lòt kad enfòmatik modèn nan pil analiz la. Lefèt ke baz done MPP yo te configuré pou depo objè sijere ke li se de pli zan pli ke yo te itilize kòm depo prensipal la.
Si sistèm depo ou a pa bay vitès ou bezwen an, ou pa ka sèvi ak done yo ak ekstrè valè nan li. Menm si ou rekipere done nan depo objè nan yon estrikti pwosesis nan memwa, w ap toujou bezwen Pleasant transfere done yo nan ak soti nan memwa. Magazen objè Legacy pa gen ase nan li.
Sa a se pwen kle a: nouvo metrik pèfòmans lan se debi, pa latansi. Li obligatwa pou done nan echèl e li se nòmal nan enfrastrikti done modèn.
Pandan ke referans yo se yon bon fason pou detèmine pèfòmans, li pa ka mezire avèk presizyon anvan ou kouri aplikasyon an nan anviwònman an. Se sèlman apre li ou ka di ki kote egzakteman kou boutèy la ye: nan lojisyèl, disk, rezo oswa nan nivo enfòmatik.
Évolutivité
Évolutivité refere a kantite petabytes ki anfòm nan yon espas non. Sa machann yo reklame se évolutivité fasil, sa yo pa di se ke pandan y ap echèl, sistèm monolitik masiv vin frajil, konplèks, enstab, ak chè.
Nouvo metrik pou évolutivité se kantite espas non oswa kliyan ou ka sèvi. Se metrik la pran dirèkteman nan hyperscalers, kote blòk bilding depo yo piti men echèl a dè milya de inite. An jeneral, sa a se yon metrik nwaj.
Lè blòk bilding yo piti, yo pi fasil pou optimize pou sekirite, kontwòl aksè, jesyon politik, jesyon sik lavi, ak mizajou ki pa deranje. Epi finalman asire pwodiktivite. Gwosè a nan blòk bilding lan se yon fonksyon nan kontwòl la nan rejyon an echèk, ki se ki jan sistèm trè fleksib yo bati.
Multi-location gen anpil karakteristik. Pandan ke dimansyon an pale sou fason òganizasyon yo bay aksè a done ak aplikasyon, li tou refere a aplikasyon yo tèt yo ak lojik ki dèyè izole yo youn ak lòt.
Karakteristik nan yon apwòch modèn nan milti-kliyan:
- Nan yon ti tan, kantite kliyan ka grandi soti nan plizyè santèn a plizyè milyon dola.
- Kliyan yo konplètman izole youn ak lòt. Sa a pèmèt yo kouri diferan vèsyon nan menm lojisyèl an ak magazen objè ki gen diferan konfigirasyon, otorizasyon, karakteristik, sekirite ak nivo antretyen. Sa nesesè lè w ap monte nan nouvo serveurs, mizajou, ak jewografi.
- Depo a se elastik évolutive, resous yo bay sou demann.
- Chak operasyon kontwole pa yon API epi yo otomatize san entèvansyon imen.
- Lojisyèl yo ka anime nan resipyan epi sèvi ak sistèm òkestrasyon estanda tankou Kubernetes.
S3 konpatib
Amazon S3 API a se estanda defakto pou depo objè. Chak vandè lojisyèl depo objè reklamasyon konpatibilite ak li. Konpatibilite ak S3 se binè: swa li konplètman aplike oswa li pa.
Nan pratik, gen dè santèn oswa dè milye de senaryo kwen kote yon bagay ale mal lè w ap itilize depo objè. Espesyalman nan men founisè lojisyèl ak sèvis propriétaires. Ka itilizasyon prensipal li yo se achiv dirèk oswa backup, kidonk gen kèk rezon ki fè yo rele API a, ka yo itilize yo omojèn.
Lojisyèl sous louvri gen avantaj enpòtan. Li kouvri pifò senaryo kwen, yo bay gwosè ak varyete aplikasyon, sistèm opere, ak achitekti pyès ki nan konpitè.
Tout bagay sa a enpòtan pou devlopè aplikasyon yo, kidonk li vo teste aplikasyon an ak founisè depo. Sous louvri fè pwosesis la pi fasil—li pi fasil pou konprann ki platfòm ki bon pou aplikasyon w lan. Founisè a ka itilize kòm yon sèl pwen antre nan depo, sa vle di li pral satisfè bezwen ou yo.
Sous louvri vle di: aplikasyon yo pa mare ak yon machann epi yo pi transparan. Sa a asire yon sik lavi aplikasyon long.
Ak kèk nòt plis sou sous louvri ak S3.
Si w ap kouri yon aplikasyon done gwo, S3 SELECT amelyore pèfòmans ak efikasite nan yon lòd nan grandè. Li fè sa lè l sèvi avèk SQL pou rekipere sèlman objè ou bezwen nan depo.
Pwen kle a se sipò pou notifikasyon bokit. Notifikasyon bokit fasilite enfòmatik san sèvè, yon eleman enpòtan nan nenpòt achitekti mikwosèvis ki delivre kòm yon sèvis. Etandone ke depo objè se efektivman depo nwaj, kapasite sa a vin kritik lè yo itilize depo objè pa aplikasyon ki baze sou nwaj.
Finalman, aplikasyon S3 a dwe sipòte Amazon S3 sèvè-bò chifreman API yo: SSE-C, SSE-S3, SSE-KMS. Menm pi bon, S3 sipòte pwoteksyon falsifikasyon ki vrèman an sekirite.
Repons nan echèk
Yon metrik ki pwobableman souvan neglije se fason sistèm nan okipe echèk. Echèk rive pou plizyè rezon, epi depo objè dwe okipe yo tout.
Pou egzanp, gen yon sèl pwen nan echèk, metrik sa a se zewo.
Malerezman, anpil sistèm depo objè itilize nœuds espesyal ki dwe aktive pou gwoup la fonksyone byen. Men sa yo enkli non nœuds oswa sèvè metadata - sa a kreye yon sèl pwen nan echèk.
Menm kote gen plizyè pwen echèk, kapasite pou kenbe tèt ak echèk katastwofik se esansyèl. Disk echwe, serveurs echwe. Kle a se kreye lojisyèl ki fèt pou jere echèk kòm yon kondisyon nòmal. Si yon disk oswa yon ne echwe, lojisyèl sa yo ap kontinye travay san chanjman.
Pwoteksyon entegre kont efase done ak degradasyon done asire ke ou ka pèdi otan disk oswa nœud jan ou gen blòk parite-anjeneral mwatye disk yo. Se sèlman lè sa a lojisyèl an p'ap ka retounen done.
Echèk la raman teste anba chaj, men tès sa yo obligatwa. Simulation yon echèk chaj pral montre depans total ki fèt apre echèk la.
Konsistans
Yon nòt konsistans 100% yo rele tou konsistans strik. Konsistans se yon eleman kle nan nenpòt sistèm depo, men konsistans fò se ra. Pou egzanp, Amazon S3 ListObject pa estrikteman konsistan, li se sèlman konsistan nan fen an.
Ki sa ki vle di pa konsistans strik? Pou tout operasyon apre yon operasyon PUT konfime, bagay sa yo dwe rive:
- Valè ajou a vizib lè w ap li nan nenpòt ne.
- Aktyalizasyon a pwoteje kont èkse echèk ne.
Sa vle di ke si ou rale ploge nan mitan an nan yon anrejistreman, pa gen anyen yo pral pèdi. Sistèm nan pa janm retounen done pèvèti oswa demode. Sa a se yon ba segondè ki enpòtan nan anpil senaryo, soti nan aplikasyon pou tranzaksyon nan backup ak rekiperasyon.
Konklizyon
Sa yo se nouvo mezi depo objè ki reflete modèl itilizasyon nan òganizasyon jodi a, kote pèfòmans, konsistans, évolutivité, domèn fay ak konpatibilite S3 yo se blòk konstriksyon pou aplikasyon nwaj ak analiz gwo done. Mwen rekòmande pou itilize lis sa a anplis pri lè w ap bati pil done modèn yo.
Konsènan Mail.ru Cloud Solutions depo objè: .
Ki lòt bagay pou li:
- .
- .
- .
Sous: www.habr.com