S3 objektuak gordetzeko komandoa artikulu bat itzuli du objektuen biltegiratzea aukeratzerakoan zein irizpide diren garrantzitsuak. Egilearen ikuspegitik testua da honakoa.
Objektuen biltegiratzeari dagokionez, jendeak normalean gauza batean bakarrik pentsatzen du: TB/GB bakoitzeko prezioa. Noski, metrika hau garrantzitsua da, baina ikuspegia alde bakarrekoa egiten du eta objektuen biltegiratzea artxibo biltegiratzeko tresna batekin parekatzen du. Gainera, ikuspegi honek objektuen biltegiratzearen garrantzia murrizten du enpresa teknologikoen pilarako.
Objektuen biltegiratzea aukeratzerakoan, bost ezaugarriri erreparatu behar diezu:
- errendimendua;
- eskalagarritasuna;
- S3 bateragarria;
- hutsegiteei erantzuna;
- osotasuna.
Bost ezaugarri hauek objektuak biltegiratzeko neurketa berriak dira, kostuarekin batera. Ikus ditzagun guztiak.
produktibitatea
Objektu biltegi tradizionalek errendimendu falta dute. Zerbitzu-hornitzaileek etengabe sakrifikatu zuten prezio baxuen bila. Hala ere, objektuen biltegiratze modernoarekin gauzak desberdinak dira.
Hainbat biltegiratze sistemak Hadoop-en abiadura hurbiltzen edo gainditzen dute. Irakurtzeko eta idazteko abiadura eskakizun modernoak: 10 GB/s disko gogorretan, 35 GB/s NVMe-rako.
Igorpen hau nahikoa da Spark, Presto, Tensorflow, Teradata, Vertica, Splunk eta analitika pilako beste konputazio-esparru moderno batzuetarako. MPP datu-baseak objektuak biltegiratzeko konfiguratzen ari direla iradokitzen du gero eta gehiago erabiltzen ari dela biltegiratze nagusi gisa.
Zure biltegiratze-sistemak ez badu behar duzun abiadura ematen, ezin dituzu datuak erabili eta bertatik baliorik atera. Objektuen biltegiratzetik datuak memorian prozesatzeko egitura batean berreskuratzen badituzu ere, banda zabalera beharko duzu datuak memoriara eta memoriatik transferitzeko. Objektu biltegi zaharrek ez dute nahikoa.
Hau da gakoa: errendimenduaren metrika berria errendimendua da, ez latentzia. Eskalarako datuetarako beharrezkoa da eta datu-azpiegitura modernoetan araua da.
Erreferentziak errendimendua zehazteko modu ona diren arren, ezin da zehaztasunez neurtu aplikazioa ingurunean exekutatu aurretik. Horren ondoren bakarrik esan dezakezu zein den zehazki botila-lepoa: softwarean, diskoetan, sarean edo informatika mailan.
Eskalagarritasuna
Eskalagarritasuna izen-espazio batean sartzen den petabyte kopuruari dagokio. Saltzaileek diotena eskalagarritasun erraza da, esaten ez dutena da eskalatu ahala sistema monolitiko masiboak hauskor, konplexu, ezegonkor eta garesti bihurtzen direla.
Eskalagarritasun-neurri berria zerbitza dezakezun izen-espazio edo bezero kopurua da. Neurria hipereskalatzaileetatik hartzen da, non biltegiratze-blokeak txikiak diren baina milaka milioi unitatetara eskalatzen dira. Oro har, hodeiaren metrika da.
Eraikuntza-blokeak txikiak direnean, errazago optimizatzen dira segurtasuna, sarbide-kontrola, politiken kudeaketa, bizi-zikloaren kudeaketa eta etenaldirik gabeko eguneratzeetarako. Eta, azken finean, produktibitatea bermatu. Eraikuntza-blokearen tamaina hutsegite-eskualdearen kontrolagarritasunaren funtzioa da, hau da, sistema erresilienteak nola eraikitzen diren.
Errentamendu anitzak ezaugarri asko ditu. Dimentsioak erakundeek datu eta aplikazioetarako sarbidea nola ematen duten aipatzen duen arren, aplikazioak beraiek eta elkarrengandik isolatzearen atzean dagoen logika ere aipatzen du.
Bezero anitzeko ikuspegi moderno baten ezaugarriak:
- Denbora gutxian, bezeroen kopurua ehunka izatetik milioi batzuetara hazi daiteke.
- Bezeroak elkarrengandik erabat isolatuta daude. Horri esker, software beraren bertsio desberdinak exekutatu eta konfigurazio, baimen, funtzio, segurtasun eta mantentze-maila desberdinak dituzten objektuak gorde ditzakete. Hau beharrezkoa da zerbitzari, eguneratze eta geografia berrietara eskalatzean.
- Biltegiratzea elastikoki eskalagarria da, baliabideak eskaeraren arabera eskaintzen dira.
- Eragiketa bakoitza API batek kontrolatzen du eta gizakiaren esku-hartzerik gabe automatizatuta dago.
- Softwarea edukiontzietan ostata daiteke eta Kubernetes bezalako orkestrazio sistema estandarrak erabil daitezke.
S3 bateragarria
Amazon S3 APIa objektuak biltegiratzeko de facto estandarra da. Objektuen biltegiratze software saltzaile guztiek berarekin bateragarritasuna aldarrikatzen dute. S3-rekin bateragarritasuna bitarra da: edo guztiz inplementatuta dago edo ez dago.
Praktikan, ehunka edo milaka ertz-eszenatoki daude, non zerbait gaizki gertatzen den objektuen biltegia erabiltzean. Batez ere jabedun software eta zerbitzuen hornitzaileetatik. Bere erabilera kasu nagusiak artxibo zuzena edo babeskopia dira, beraz, arrazoi gutxi daude APIra deitzeko, erabilera kasuak homogeneoak dira.
Kode irekiko softwareak abantaila handiak ditu. Ertz agertoki gehienak estaltzen ditu, aplikazioen, sistema eragileen eta hardware-arkitekturaren tamaina eta aniztasuna kontuan hartuta.
Hori guztia garrantzitsua da aplikazioen garatzaileentzat, beraz, merezi du aplikazioa biltegiratze hornitzaileekin probatzea. Kode irekiak prozesua errazten du; errazagoa da ulertzea zein plataforma den zure aplikaziorako. Hornitzailea biltegian sartzeko puntu bakar gisa erabil daiteke, hau da, zure beharrak asetuko ditu.
Kode irekiak esan nahi du: aplikazioak ez daude saltzaile bati lotuta eta gardenagoak dira. Horrek aplikazioaren bizi-ziklo luzea bermatzen du.
Eta kode irekiari eta S3ri buruzko ohar batzuk.
Big Data aplikazio bat exekutatzen ari bazara, S3 SELECT-ek errendimendua eta eraginkortasuna neurri handi batean hobetzen ditu. SQL erabiliz egiten du biltegiratzetik behar dituzun objektuak soilik berreskuratzeko.
Gakoa ontzien jakinarazpenetarako laguntza da. Bucket jakinarazpenek zerbitzaririk gabeko informatika errazten dute, zerbitzu gisa ematen den edozein mikrozerbitzu arkitekturaren osagai garrantzitsu bat. Objektuen biltegiratzea hodeiko biltegiratzea eraginkorra dela kontuan hartuta, gaitasun hori funtsezkoa bihurtzen da hodeian oinarritutako aplikazioek objektuen biltegiratzea erabiltzen dutenean.
Azkenik, S3 inplementazioak Amazon S3 zerbitzariaren aldeko enkriptazio APIak onartu behar ditu: SSE-C, SSE-S3, SSE-KMS. Are hobeto, S3-k benetan segurua den manipulazio babesa onartzen du.
Hutsegiteei erantzuna
Askotan ahaztu egiten den metrika bat da sistemak nola kudeatzen dituen akatsak. Hutsegiteak hainbat arrazoirengatik gertatzen dira, eta objektuen biltegiratzeak guztiak kudeatu behar ditu.
Adibidez, hutsegite puntu bakarra dago, honen metrika zero da.
Zoritxarrez, objektuak biltegiratzeko sistema askok klusterrak behar bezala funtziona dezan gaitu behar diren nodo bereziak erabiltzen dituzte. Horien artean, izen-nodoak edo metadatu-zerbitzariak daude; honek hutsegite puntu bakarra sortzen du.
Porrot-puntu anitz daudenean ere, porrot katastrofikoari aurre egiteko gaitasuna funtsezkoa da. Diskoek huts egiten dute, zerbitzariek huts egiten dute. Gakoa egoera normal gisa hutsegitea kudeatzeko diseinatutako softwarea sortzea da. Disko edo nodo batek huts egiten badu, software horrek aldaketarik gabe funtzionatzen jarraituko du.
Datuak ezabatzearen eta degradatzearen aurkako babes integratuak bermatzen du parekotasun-bloke adina disko edo nodo gal ditzakezula, normalean diskoen erdia. Orduan bakarrik ezin izango ditu softwareak datuak itzuli.
Hutsegitea oso gutxitan probatzen da kargapean, baina proba horiek derrigorrezkoak dira. Karga hutsegite bat simulatzeak hutsegitearen ondoren sortutako kostu guztiak erakutsiko ditu.
Koherentzia
% 100eko koherentzia puntuazioari koherentzia zorrotza ere deitzen zaio. Koherentzia edozein biltegiratze-sistemaren funtsezko osagaia da, baina koherentzia sendoa arraroa da. Adibidez, Amazon S3 ListObject ez da guztiz koherentea, amaieran soilik koherentea da.
Zer esan nahi da koherentzia zorrotzarekin? Berretsitako PUT eragiketa baten ondorengo eragiketa guztietan, honako hau gertatu behar da:
- Eguneratutako balioa edozein nodotatik irakurtzean ikusgai dago.
- Eguneraketa nodoen hutsegite erredundantziatik babestuta dago.
Horrek esan nahi du grabazio baten erdian entxufea ateratzen baduzu ez dela ezer galduko. Sistemak ez ditu inoiz hondatutako edo zaharkitutako datuak itzultzen. Eszenatoki askotan garrantzitsua den barra altua da hau, transakzio-aplikazioetatik babeskopiak eta berreskuratzeetaraino.
Ondorioa
Gaur egungo erakundeetako erabilera-ereduak islatzen dituzten objektuak biltegiratzeko neurketa berriak dira, non errendimendua, koherentzia, eskalagarritasuna, akatsen domeinuak eta S3 bateragarritasuna hodeiko aplikazioetarako eta big data analitikaren oinarriak diren. Zerrenda hau prezioaz gain erabiltzea gomendatzen dut datu pila modernoak eraikitzean.
Mail.ru Cloud Solutions objektuen biltegiari buruz: .
Zer gehiago irakurri:
- .
- .
- .
Iturria: www.habr.com