S3 objektide salvestamise käsk tõlkinud artikli selle kohta, millised kriteeriumid on objektihoidla valikul olulised. Alljärgnev on tekst autori vaatenurgast.
Kui rääkida objektide salvestamisest, mõtlevad inimesed tavaliselt ainult ühele asjale: TB/GB hinnale. Loomulikult on see mõõdik oluline, kuid muudab lähenemise ühekülgseks ja võrdsustab objektide salvestamise arhiivisalvestusvahendiga. Lisaks vähendab see lähenemine objektide salvestamise tähtsust ettevõtte tehnoloogiavirna jaoks.
Objektide hoidmise valimisel peaksite pöörama tähelepanu viiele omadusele:
- jõudlus;
- skaleeritavus;
- S3 ühilduv;
- reageerimine ebaõnnestumistele;
- terviklikkus.
Need viis omadust on uued mõõdikud objektide salvestamiseks koos kuludega. Vaatame neid kõiki.
Производительность
Traditsioonilistel objektipoodidel puudub jõudlus. Teenusepakkujad ohverdasid selle pidevalt madalate hindade nimel. Kaasaegse esemehoiuga on aga asjad teisiti.
Erinevad salvestussüsteemid lähenevad Hadoopi kiirusele või isegi ületavad seda. Kaasaegsed nõuded lugemis- ja kirjutamiskiirusele: alates 10 GB/s kõvaketaste puhul, kuni 35 GB/s NVMe puhul.
See läbilaskevõime on piisav Sparki, Presto, Tensorflow, Teradata, Vertica, Splunk ja teiste analüüsipinu kaasaegsete arvutusraamistike jaoks. Asjaolu, et MPP andmebaase konfigureeritakse objektide salvestamiseks, viitab sellele, et seda kasutatakse üha enam esmase salvestusruumina.
Kui teie salvestussüsteem ei paku vajalikku kiirust, ei saa te andmeid kasutada ega neist väärtust eraldada. Isegi kui hankite andmed objektide mälust mälusisesesse töötlemisstruktuuri, vajate andmete mällu ja mälust ülekandmiseks siiski ribalaiust. Pärandobjektipoodides sellest ei piisa.
See on võtmepunkt: uus jõudlusmõõdik on läbilaskevõime, mitte latentsus. Seda on vaja mastaapsete andmete jaoks ja see on tänapäevases andmeinfrastruktuuris norm.
Kuigi võrdlusnäitajad on hea viis jõudluse määramiseks, ei saa seda enne rakenduse keskkonnas käivitamist täpselt mõõta. Alles pärast seda saab öelda, kus kitsaskoht täpselt on: tarkvaras, ketastel, võrgus või arvutitasandil.
Skaalautuvus
Skaleeritavus viitab petabaitide arvule, mis mahuvad ühte nimeruumi. Müüjate väitel on lihtne skaleeritavus, kuid nad ei ütle, et mastaapides muutuvad massiivsed monoliitsed süsteemid hapraks, keerukaks, ebastabiilseks ja kalliks.
Uus skaleeritavuse mõõdik on nimeruumide või klientide arv, mida saate teenindada. Mõõdik on võetud otse hüperskaalaritest, kus salvestusplokid on väikesed, kuid ulatuvad miljarditesse ühikutesse. Üldiselt on see pilve mõõdik.
Kui ehitusplokid on väikesed, on neid lihtsam optimeerida turvalisuse, juurdepääsu kontrolli, poliitikahalduse, elutsükli haldamise ja mittehäirivate värskenduste jaoks. Ja lõpuks tagada tootlikkus. Ehitusploki suurus sõltub rikkepiirkonna juhitavusest, mis tähendab, kuidas ehitatakse üles väga vastupidavad süsteemid.
Mitmel üürilepingul on palju omadusi. Kuigi mõõde räägib sellest, kuidas organisatsioonid pakuvad juurdepääsu andmetele ja rakendustele, viitab see ka rakendustele endile ja nende üksteisest eraldamise loogikale.
Kaasaegse lähenemise tunnused mitmele kliendile:
- Lühikese ajaga võib klientide arv kasvada mitmesajalt mitme miljonini.
- Kliendid on üksteisest täielikult isoleeritud. See võimaldab neil käitada sama tarkvara erinevaid versioone ja salvestada erineva konfiguratsiooni, lubade, funktsioonide, turva- ja hooldustasemega objekte. See on vajalik uutele serveritele, värskendustele ja geograafilistele piirkondadele skaleerimisel.
- Panipaik on elastselt skaleeritav, ressursse pakutakse nõudmisel.
- Iga toimingut juhib API ja see on automatiseeritud ilma inimese sekkumiseta.
- Tarkvara saab majutada konteinerites ja kasutada standardseid orkestreerimissüsteeme, nagu Kubernetes.
S3 ühilduv
Amazon S3 API on objektide salvestamise de facto standard. Iga objektide salvestamise tarkvara müüja väidab, et see ühildub sellega. Ühilduvus S3-ga on binaarne: kas see on täielikult rakendatud või mitte.
Praktikas on sadu või tuhandeid servastsenaariume, kus objektide salvestamise kasutamisel läheb midagi valesti. Eelkõige patenteeritud tarkvara ja teenuste pakkujatelt. Selle peamised kasutusjuhud on otsene arhiveerimine või varundamine, seega on API kutsumiseks vähe põhjusi, kasutusjuhud on homogeensed.
Avatud lähtekoodiga tarkvaral on olulisi eeliseid. See hõlmab enamikku servastsenaariume, võttes arvesse rakenduste, operatsioonisüsteemide ja riistvaraarhitektuuri suurust ja mitmekesisust.
See kõik on rakenduste arendajatele oluline, seega tasub rakendust salvestusruumi pakkujatega testida. Avatud lähtekoodiga kasutamine muudab protsessi lihtsamaks – on lihtsam mõista, milline platvorm on teie rakenduse jaoks õige. Pakkujat saab kasutada ühtse ladustamiskohana, mis tähendab, et see vastab teie vajadustele.
Avatud lähtekoodiga tähendab: rakendused ei ole müüjaga seotud ja on läbipaistvamad. See tagab rakenduse pika eluea.
Ja veel mõned märkused avatud lähtekoodiga ja S3 kohta.
Kui kasutate suurandmerakendust, parandab S3 SELECT jõudlust ja tõhusust suurusjärgu võrra. See teeb seda SQL-i abil, et tuua salvestusruumist ainult vajalikud objektid.
Võtmepunkt on ämbriteatiste tugi. Salvestateated hõlbustavad serverita andmetöötlust, mis on iga teenusena pakutava mikroteenuse arhitektuuri oluline komponent. Arvestades, et objektide salvestusruum on tegelikult pilvesalvestus, muutub see võimalus kriitiliseks, kui objektide salvestusruumi kasutavad pilvepõhised rakendused.
Lõpuks peab S3 juurutus toetama Amazon S3 serveripoolseid krüptimise API-sid: SSE-C, SSE-S3, SSE-KMS. Veelgi parem, S3 toetab võltsimiskaitset, mis on tõeliselt turvaline.
Reageerimine ebaõnnestumistele
Mõõdik, mida tõenäoliselt sageli tähelepanuta jäetakse, on see, kuidas süsteem tõrkeid käsitleb. Rikked juhtuvad erinevatel põhjustel ja objektide salvestamine peab neid kõiki käsitlema.
Näiteks on üks tõrkepunkt, selle mõõdik on null.
Kahjuks kasutavad paljud objektide salvestussüsteemid spetsiaalseid sõlmpunkte, mis peavad olema lubatud klastri nõuetekohaseks toimimiseks. Nende hulka kuuluvad nimesõlmed või metaandmete serverid – see loob ühe tõrkepunkti.
Isegi seal, kus on mitu tõrkepunkti, on ülimalt oluline katastroofilise ebaõnnestumise vastu pidada. Kettad ebaõnnestuvad, serverid ebaõnnestuvad. Võti on luua tarkvara, mis on loodud tõrkeid käsitlema tavaolukorrana. Kui ketas või sõlm ebaõnnestub, töötab selline tarkvara muudatusteta edasi.
Sisseehitatud kaitse andmete kustutamise ja andmete halvenemise vastu tagab, et võite kaotada nii palju kettaid või sõlme, kui teil on paarsusplokke – tavaliselt pooled kettad. Alles siis ei saa tarkvara andmeid tagastada.
Riket testitakse harva koormuse all, kuid selline testimine on vajalik. Koormuse tõrke simuleerimine näitab pärast tõrget tekkinud kogukulusid.
Järjepidevus
Järjepidevuse skoori 100% nimetatakse ka rangeks järjepidevuseks. Järjepidevus on iga salvestussüsteemi põhikomponent, kuid tugevat järjepidevust esineb harva. Näiteks Amazon S3 ListObject ei ole rangelt järjepidev, see on järjepidev ainult lõpus.
Mida tähendab range järjepidevus? Kõigi kinnitatud PUT-toimingule järgnevate toimingute puhul peab toimuma järgmine:
- Värskendatud väärtus on nähtav mis tahes sõlmest lugemisel.
- Värskendus on kaitstud sõlme rikete liiasuse eest.
See tähendab, et kui tõmbate salvestuse ajal pistikust välja, ei lähe midagi kaduma. Süsteem ei tagasta kunagi rikutud või aegunud andmeid. See on kõrge latt, mis on oluline paljude stsenaariumide puhul, alates tehingurakendustest kuni varundamise ja taastamiseni.
Järeldus
Need on uued objektide salvestusmõõdikud, mis kajastavad kasutusmustreid tänapäeva organisatsioonides, kus pilverakenduste ja suurandmete analüüsi alustalaks on jõudlus, järjepidevus, skaleeritavus, veadomeenid ja S3-ühilduvus. Kaasaegsete andmevirnade koostamisel soovitan seda nimekirja kasutada lisaks hinnale.
Teave Mail.ru Cloud Solutionsi objektide salvestusruumi kohta: .
Mida veel lugeda:
- .
- .
- .
Allikas: www.habr.com