🥇Uued objektihoidlate mõõdikud

Lennukindel kindlus Nele-Diel

S3 objekti salvestamise meeskond Mail.ru Pilvesalvestus kirjutas artikli, millised kriteeriumid on olulised objekti salvestamise valimisel. Edasi autorilt tekst.

Kui rääkida objekti salvestamisest, siis tavaliselt mõtlevad inimesed ainult ühele omadusele — hinnale per TB/GB. Loomulikult on see näitaja oluline, kuid see muudab lähenemise ühekülgseks ja seob objekti salvestamise arhiivide hoidmise tööriistaga. Samuti vähendab see lähenemine objekti salvestamise tähtsust ettevõtte tehnoloogilises keskmes.

Objekti salvestamist valides tuleks tähelepanu pöörata viiele omadusele:

sooritusvõime;
skaalautuvus;
S3 ühilduvus;
rikete reageerimine;
puutumatuse.

Need viis omadust — uued objekti salvestamise mõõdikud, koos hinnaga. Vaatame neid kõiki.

Tootlikkus

Traditsioonilised objekti salvestused ei paista silma sooritusvõime poolest. Teenusepakkujad on pidevalt ohverdanud seda madalamate hindade nimel. Siiski on tänapäeva objektisalvestused hoopis teised.

Erinevate salvestuslahenduste kiirus läheneb Hadoopile või isegi ületab seda. Kaasaegsed lugemise ja kirjutamise kiirusnõuded: alates 10 GB/s - kõvakettadele, kuni 35 GB/s - NVMe-dele.

Selline läbilaskevõime on piisav Spark'i, Presto, TensorFlow'i, Teradata, Vertica, Splunk'i ja teiste kaasaegsete arvutusraamistike jaoks analüütika stack'is. See, et MPP-andmebaasid seadistatakse objektisalvestustele, näitab, et neid kasutatakse üha enam kui põhise salvestuslahendust.

Kui teie salvestussüsteem ei tagasta vajalikku kiirust, ei saa te andmeid kasutada ega neist väärtusi välja tuua. Isegi kui tõstate andmeid objektisalvestusest mälu töötlemise struktuuri, on siiski vajalik läbilaskevõime andmete edastamiseks mällu ja sealt välja. Vananenud objektisalvestustel on seda liiga vähe.

See on võtmeelement: uus jõudlusnäitaja on läbilaskevõime, mitte latentsus. Seda vajatakse skaleeritavate andmete jaoks, ja see on norm kaasaegses andmeinfrastruktuuris.

Kuigi jõudlustestid on head viisid jõudluse määramiseks, ei saa seda enne rakenduse käivitamist keskkonnas täpselt mõõta. Alles pärast seda saab öelda, kus on probleem: tarkvaras, ketastes, võrgus või arvutustaseme jooksul.

Skaleeritavus

Mastaapsuse all mõistetakse petabaitide arvu, mis mahub ühte nimesse. Teenuseosutajad räägivad kergest mastaapsusest, kuid jätavad mainimata, et mastaapsuse suurenedes muutuvad suured monoliitsed süsteemid hapraks, keeruliseks, ebastabiilseks ja kalliks.

Uus mastaapsuse mõõdik on nimespirade või klientide arv, mida saate teenindada. Mõõtmine võetakse otse hüpermälu teenuseosutajatelt, kus ladustamise ehitusplokid on väikesed, kuid suudavad skaleeruda miljardite ühikute ulatuses. Üldiselt on see pilvemõõdik.

Kui tavaliste plokkide suurused on väikesed, on neid lihtsam optimeerida, tagades seeläbi turvalisuse, juurdepääsu kontrolli, poliitikate haldamise, elutsüklid ja värskendused katkestusteta töö ajal. Lõpuks saavutatakse nii ka jõudlus. Ehitusploki suurus on funktsioon häirepiirkonna hallatavusest, just nii ehitatakse kõrge töökindluse süsteeme.

Mitmeühtneus on mitmeid omadusi. Kuigi parameeter viitab sellele, kuidas organisatsioonid saavad andmetele ja rakendustele ligipääsu pakkuda, kehtib see ka nendele rakendustele endile ja nende isolatsiooni loogikale.

Kaasaegse mitmeühtneuse lähenemise omadused:

Lühikese aja jooksul võib klientide arv kasvada mõnest sajast mitme miljonini.
Kliendid on omavahel täielikult isoleeritud. See võimaldab neil käitada erinevaid versioone samast tarkvarast ning säilitada objekte erinevate konfiguratsioonide, lubade, funktsioonide, turvalisuse ja hooldusastmetega. See on vajalik, kui skaleeritakse uusi servereid, värskendusi ja geograafilisi piirkondi.
Salvestus skaleerub paindlikult, ressursid antakse vastavalt nõudmisele.
Iga operatsioon on hallatav API kaudu ja automatiseeritud ilma inimsekkumiseta.
Tarkvara saab paigutada konteineritesse ja kasutada standardseid orkestreerimissüsteeme, näiteks Kubernetes.

Ühildub S3-ga

Amazon S3 API on tegelikult standard objektisalvestuslahenduste jaoks. Iga objektisalvestustarkvara pakkuja kuulutab välja oma ühilduvuse sellega. Ühilduvus S3-ga on binaarne: kas see on täielikult rakendatud või ei ole seda üldse.

Praktiliselt võivad tekkida sadu ja tuhandeid piirjuhtumeid, kui objektisalvestuse kasutamisel midagi valesti läheb. Eriti omandiõigusega tarkvarade ja teenuste pakkujate puhul. Selle peamised kasutusjuhtumid on otse arhiveerimine või varundamine, seega on API kõnede põhjuseid vähe ja kasutusvariandid on ühte moodi.

Olulised eelised avaneb avatud lähtekoodiga tarkvaral. See katab enamiku piirjuhtumeid, arvestades rakenduste, operatsioonisüsteemide ja riistvaraarhitektuuri suurust ja mitmekesisust.

See on oluline rakendusarendajatele, seetõttu tasub rakenduse toimivust testida salvestusteenuse pakkujatega. Avatud lähtekood lihtsustab protsessi — on lihtsam mõista, milline platvorm sobib teie rakendusele. Teenusepakkujat saab kasutada kui ühte sisenemispaika salvestustesse — see tähendab, et ta rahuldab teie vajadused.

Avatud lähtekood tähendab: rakendused ei ole seotud teenusepakkujaga ja on läbipaistvamad. See tagab rakenduse pika eluea.

Ja veel mõned märkused avatud lähtekoodi ja S3 kohta.

Kui käitate suurandmete rakendust, parandab S3 SELECT oluliselt jõudlust ja efektiivsust. See saavutatakse SQL-i kasutamise kaudu, et salvestusest välja võtta ainult need objektid, mida teil on vaja.

Peamine punkt on konteinerite teatiste tugi. Kaugteatised lihtsustavad serverivabasid arvutusi — see on oluline komponent iga teenusena pakutava mikroteenuste arhitektuuri puhul. Arvestades, et objektide salvestamine on tegelikult pilvesalvestus, muutub see võimalus otsustavaks, kui pilve rakendused kasutavad objektide salvestust.

Lõpuks peab S3 teostus toetama Amazon S3 serveripoolse krüpteerimise API-liideseid: SSE-C, SSE-S3, SSE-KMS. Veel parem, kui S3 toetab ka autoriseerimata juurdepääsu kaitset, mis on tõeliselt turvaline.

Veakäsitlus

Indikaator, mida tõenäoliselt sageli tähelepanuta jäetakse, on see, kuidas süsteem tegeleb tõrgetega. Tõrked võivad juhtuda erinevatel põhjustel ja objektide salvestamine peab neid kõiki käsitlema.

Näiteks on olemas ainus rikke punkt, mille mõõdik on null.

Kahjuks kasutavad paljud objektide salvestussüsteemid spetsiaalseid sõlmi, mis peavad olema aktiveeritud, et klaster töötaks õigesti. Nende hulka kuuluvad nimetussõlmed või metaandmete serverid — see loob ainulaadse rikke punkti.

Ise kohtades, kus on mitu rikkepunkti, on ülioluline võime taluda katastroofilisi rikkeid. Digid hävivad, serverid langevad välja. Peamine punkt on tarkvara loomine, mis on mõeldud rikkeid normaalse seisundina käsitlema. Kui ketas või sõlm rikke tõttu ebaõnnestub, jätkab see tarkvara töötamist ilma muutusteta.

Sisseehitatud kaitse kustutamise ja andmete halvenemise eest tagab, et saate kaotada nii palju kettaid või sõlmi, kui teil on pariteediblokke - tavaliselt on see pool ketastest. Ja ainult siis ei suuda tarkvara andmeid taastada.

Rikete alusel koormuse all kontrollimine on harv, kuid see on hädavajalik. Koormuse all rikke simuleerimine näitab kogukulusid, mis on tekkinud rikke tagajärjel.

Järjekindlus

100% järjekindluse näitajaid nimetatakse ka ranged järjekindluseks. Järjekindlus on iga salvestussüsteemi võtmekomponent, kuid range järjekindlus esineb üsna harva. Näiteks Amazon S3 ListObject ei ole range järjekindel, see on järjekindel ainult lõpus.

Mida tähendab range järjepidevus? Kõikide kinnitatud PUT-operatsioonide järgselt tuleb täita järgmised tingimused:

Uuendatud väärtus on nähtav lugedes mistahes sõlmpunktist.
Uuendamine on kaitstud sõlme rikke eest.

See tähendab: kui kaabel tõmmata välja salvestamise keskel, ei kaotata midagi. Süsteem ei tagasta kunagi rikutud või vananenud andmeid. See on kõrge standard, mis on oluline paljude stsenaariumide jaoks: alates tehingurakendustest kuni varukoopiate ja taastamiseni.

Kokkuvõte

Need on uued objektihoidla mõõdikud, mis peegeldavad kaasaegsete organisatsioonide kasutusmudeleid, kus jõudlus, järjepidevus, skaleeritavus, tõrketaluvuse domeenid ja S3 ühilduvus on pilverakenduste ja suurte andmete analüüsi ehitusplokid. Soovitame kasutada seda loetelu koos hinnaga, kui loote kaasaegseid andmestikke.

Mail.ru Cloud Solutions objektihoidla kohta: S3 arhitektuur. 3 aastat Mail.ru Cloud Storage'i evolutsiooni.

Mida veel lugeda:

Allikas: habr.com