Ukaz za shranjevanje objekta S3 prevedel članek o tem, kateri kriteriji so pomembni pri izbiri skladišča predmetov. Spodaj je besedilo avtorja.
Ko gre za objektno shranjevanje, ljudje ponavadi pomislijo le na eno lastnost – ceno na TB/GB. Seveda je ta metrika pomembna, vendar naredi pristop enostranski in enači shranjevanje objektov z orodjem za shranjevanje arhivov. Poleg tega ta pristop zmanjšuje pomen shranjevanja objektov za tehnološki sklad podjetja.
Pri izbiri shranjevanja predmetov bodite pozorni na pet značilnosti:
- izvedba;
- razširljivost;
- združljiv s S3;
- odziv na napake;
- celovitost.
Teh pet značilnosti je nova metrika za shranjevanje objektov, skupaj s stroški. Upoštevajmo jih vse.
Produktivnost
Tradicionalne trgovine s predmeti ne delujejo dobro. Ponudniki storitev so ji nenehno donirali v lovu na nizke cene. Drugače pa je s sodobnim shranjevanjem predmetov.
Hitrost različnih shramb se približuje ali celo presega Hadoop. Sodobne zahteve za hitrost branja in pisanja: od 10 GB / s za trde diske, do 35 GB / s za NVMe.
Ta pasovna širina je dovolj za Spark, Presto, Tensorflow, Teradata, Vertica, Splunk in druga sodobna računalniška ogrodja v analitičnem skladu. Dejstvo, da so baze podatkov MPP konfigurirane za shranjevanje objektov, pomeni, da se vse bolj uporablja kot primarni pomnilnik.
Če vaš sistem za shranjevanje ne zagotavlja zahtevane hitrosti, ne morete uporabljati podatkov in iz njih izvleči vrednosti. Tudi če pridobivate podatke iz shranjevanja objektov v procesno strukturo v pomnilniku, še vedno potrebujete pasovno širino za prenos podatkov v in iz pomnilnika. Za skladišča zastarelih predmetov ni dovolj.
To je ključna točka: nova metrika zmogljivosti je prepustnost, ne zakasnitev. Potreben je za razširljive podatke in je norma v današnji podatkovni infrastrukturi.
In čeprav so merila uspešnosti dober način za merjenje zmogljivosti, je ni mogoče natančno izmeriti, preden se aplikacija zažene v okolju. Šele po njem lahko ugotovite, kje točno je ozko grlo: v programski opremi, diskih, omrežju ali na ravni računalništva.
Razširljivost
Razširljivost se nanaša na število petabajtov, ki se prilegajo enemu imenskemu prostoru. Prodajalci trdijo, da je razširljivost preprosta, vendar molčijo o tem, kako masivni monolitni sistemi postanejo krhki, zapleteni, nestabilni in dragi, ko se povečajo.
Novo merilo razširljivosti je število imenskih prostorov ali odjemalcev, ki jim lahko služite. Meritev je vzeta neposredno iz hiperskalerjev, kjer so gradniki shranjevanja majhni, vendar obsegajo milijarde enot. Na splošno je to metrika v oblaku.
Ko so gradniki majhni, jih je lažje optimizirati za varnost, nadzor dostopa, upravljanje pravilnikov, upravljanje življenjskega cikla in nemoteče posodobitve. In na koncu zagotoviti produktivnost. Velikost gradnika je funkcija obvladljivosti območja okvare, tako so zgrajeni zelo prožni sistemi.
Večstranka ima številne značilnosti. Medtem ko se nastavitev nanaša na to, kako organizacije zagotavljajo dostop do podatkov in aplikacij, se nanaša tudi na same aplikacije in logiko za njihovo medsebojno izolacijo.
Značilnosti sodobnega pristopa k več strankam:
- V kratkem času lahko število strank naraste od nekaj sto do nekaj milijonov.
- Stranke so popolnoma izolirane druga od druge. To jim omogoča izvajanje različnih različic iste programske opreme in shranjevanje objektov z različnimi konfiguracijami, dovoljenji, funkcijami, ravnmi varnosti in ravnmi storitev. To je potrebno pri skaliranju novih strežnikov, nadgradenj in geografskih območij.
- Shramba je elastično razširljiva, viri so na voljo na zahtevo.
- Vsako operacijo poganja API in je avtomatizirana brez človeškega posredovanja.
- Programsko opremo je mogoče gostiti v vsebnikih in uporabljati standardne sisteme orkestracije, kot je Kubernetes.
S3 združljiv
Amazon S3 API je de facto standard za shranjevanje objektov. Vsak prodajalec programske opreme za shranjevanje objektov trdi, da je združljiv z njo. Združljivost s S3 je binarna: ali je v celoti implementirana ali pa ni.
V praksi obstaja na stotine in tisoče robnih scenarijev, kjer gre kaj narobe pri uporabi shranjevanja objektov. Še posebej pri prodajalcih lastniške programske opreme in storitev. Njegovi glavni primeri uporabe so neposredno arhiviranje ali varnostno kopiranje, zato je malo razlogov za klic API-ja, primeri uporabe so enotni.
Pomembne prednosti odprtokodne programske opreme. Zajema večino robnih scenarijev glede na velikost in raznolikost aplikacij, operacijskih sistemov in arhitekture strojne opreme.
Vse to je pomembno za razvijalce aplikacij, zato se splača aplikacijo preizkusiti pri ponudnikih prostora za shranjevanje. Odprta koda poenostavlja postopek – lažje je razumeti, katera platforma je prava za vašo aplikacijo. Ponudnika lahko uporabljate kot enotno vstopno točko v trezorje, kar pomeni, da bo ustrezal vašim potrebam.
Odprta koda pomeni, da so aplikacije nevtralne glede prodajalcev in bolj pregledne. To zagotavlja dolg življenjski cikel aplikacije.
In še nekaj opomb o odprti kodi in S3.
Če uporabljate veliko podatkovno aplikacijo, S3 SELECT izboljša zmogljivost in učinkovitost za red velikosti. To stori z uporabo SQL za pridobitev samo predmetov, ki jih potrebujete iz pomnilnika.
Ključna točka je podpora za obvestila o vedrih. Obvestila o vedrih olajšajo brezstrežniško računalništvo, ki je bistvena komponenta katere koli arhitekture mikrostoritve, ki je dostavljena kot storitev. Glede na to, da je shranjevanje objektov dejansko shranjevanje v oblaku, postane ta zmožnost kritična, ko aplikacije v oblaku uporabljajo shranjevanje objektov.
Končno mora implementacija S3 podpirati API-je za šifriranje na strani strežnika Amazon S3: SSE-C, SSE-S3, SSE-KMS. Še bolje je, če S3 podpira zaščito pred posegi, ki je res varna.
Odziv na napako
Merilo, ki je verjetno pogosto spregledano, je, kako sistem obravnava napake. Napake se zgodijo zaradi različnih razlogov in shramba objektov jih mora obravnavati vse.
Na primer, obstaja ena sama točka napake, metrika tega je nič.
Na žalost mnogi sistemi za shranjevanje objektov uporabljajo posebna vozlišča, ki morajo biti omogočena za pravilno delovanje gruče. Ti vključujejo vozlišča imen ali strežnike metapodatkov – to ustvari eno samo točko napake.
Tudi tam, kjer obstaja več točk odpovedi, je sposobnost prenesti katastrofalne odpovedi najpomembnejša. Pogoni odpovedo, strežniki odpovedo. Ključno je ustvariti programsko opremo, zasnovano za normalno obravnavanje napak. Če disk ali vozlišče odpove, bo taka programska oprema še naprej delovala brez sprememb.
Vgrajena zaščita pred izbrisom in degradacijo podatkov zagotavlja, da lahko izgubite toliko diskov ali vozlišč, kolikor imate paritetnih blokov – običajno polovico diskov. In šele takrat programska oprema ne bo mogla vrniti podatkov.
Okvara se redko testira pod obremenitvijo, vendar je takšno testiranje obvezno. Simulacija okvare obremenitve bo pokazala skupne stroške, ki nastanejo po okvari.
Doslednost
Rezultat doslednosti 100 % se imenuje tudi močna doslednost. Doslednost je ključna komponenta katerega koli sistema za shranjevanje, vendar je močna doslednost redka. Na primer, Amazon S3 ListObject ni strogo konsistenten, konsistenten je samo na koncu.
Kaj pomeni stroga doslednost? Za vse operacije po potrjeni operaciji PUT mora veljati naslednje:
- Posodobljena vrednost je vidna pri branju iz katerega koli vozlišča.
- Posodobitev je zaščitena pred redundanco napak vozlišča.
To pomeni, da če sredi snemanja odklopite vtič, ne boste izgubili ničesar. Sistem nikoli ne vrne poškodovanih ali zastarelih podatkov. To je visoka letvica, ki je pomembna za številne scenarije, od transakcijskih aplikacij do varnostnega kopiranja in obnovitve.
Zaključek
To so nove metrike shranjevanja objektov, ki odražajo vzorce uporabe v današnjih organizacijah, kjer so zmogljivost, doslednost, razširljivost, domene napak in združljivost S3 gradniki za aplikacije v oblaku in analitiko velikih podatkov. Priporočam uporabo tega seznama poleg cene pri gradnji sodobnih nizov podatkov.
O shranjevanju predmetov Mail.ru Cloud Solutions: .
Kaj še prebrati:
- .
- .
- .
Vir: www.habr.com