Kmand tal-ħażna tal-oġġett S3 ittraduċiet artiklu dwar liema kriterji huma importanti meta tagħżel ħażna ta’ oġġett. Dan li ġej huwa t-test mill-perspettiva tal-awtur.
Meta niġu għall-ħażna ta 'oġġetti, in-nies tipikament jaħsbu biss dwar ħaġa waħda: prezz għal kull TB/GB. Naturalment, din il-metrika hija importanti, iżda tagħmel l-approċċ fuq naħa waħda u tqabbel il-ħażna tal-oġġetti ma 'għodda għall-ħażna tal-arkivji. Barra minn hekk, dan l-approċċ inaqqas l-importanza tal-ħażna tal-oġġetti għall-munzell tat-teknoloġija tal-intrapriża.
Meta tagħżel il-ħażna tal-oġġetti, għandek tagħti attenzjoni għal ħames karatteristiċi:
- prestazzjoni;
- iskalabbiltà;
- S3 kompatibbli;
- rispons għal fallimenti;
- integrità.
Dawn il-ħames karatteristiċi huma metriċi ġodda għall-ħażna tal-oġġetti, flimkien mal-ispiża. Ejja nħarsu lejhom kollha.
Produttività
Imħażen ta 'oġġetti tradizzjonali m'għandhomx prestazzjoni. Fornituri tas-servizz kontinwament sagrifikawh fl-insegwiment ta 'prezzijiet baxxi. Madankollu, bil-ħażna ta 'oġġetti moderni l-affarijiet huma differenti.
Diversi sistemi ta 'ħażna jersqu jew saħansitra jaqbżu l-veloċità ta' Hadoop. Rekwiżiti moderni għall-veloċitajiet tal-qari u tal-kitba: minn 10 GB/s għal hard drives, sa 35 GB/s għal NVMe.
Dan it-throughput huwa biżżejjed għal Spark, Presto, Tensorflow, Teradata, Vertica, Splunk u oqfsa tal-kompjuter moderni oħra fil-munzell analitiku. Il-fatt li d-databases MPP qed jiġu kkonfigurati għall-ħażna tal-oġġetti jissuġġerixxi li qed jintuża dejjem aktar bħala l-ħażna primarja.
Jekk is-sistema tal-ħażna tiegħek ma tipprovdix il-veloċità li għandek bżonn, ma tistax tuża d-dejta u tiġbed il-valur minnha. Anke jekk tirkupra data minn ħażna ta 'oġġetti fi struttura ta' pproċessar fil-memorja, xorta jkollok bżonn bandwidth biex tittrasferixxi d-data lejn u mill-memorja. Il-ħwienet tal-oġġetti tal-wirt m'għandhomx biżżejjed minnu.
Dan huwa l-punt ewlieni: il-metrika tal-prestazzjoni l-ġdida hija throughput, mhux latency. Huwa meħtieġ għal data fuq skala u huwa n-norma fl-infrastruttura moderna tad-data.
Filwaqt li l-benchmarks huma mod tajjeb biex jiddeterminaw il-prestazzjoni, ma jistgħux jitkejlu b'mod preċiż qabel ma titħaddem l-applikazzjoni fl-ambjent. Wara biss tista 'tgħid fejn huwa eżattament il-konġestjoni: fis-softwer, diski, netwerk jew fil-livell tal-kompjuter.
Skalabbiltà
L-iskalabbiltà tirreferi għan-numru ta' petabytes li jidħlu fi spazju tal-isem wieħed. Dak li jsostnu l-bejjiegħa huwa skalabbiltà faċli, dak li ma jgħidux huwa li hekk kif jespandu, is-sistemi monolitiċi massivi jsiru fraġli, kumplessi, instabbli u għaljin.
Il-metrika l-ġdida għall-iskalabbiltà hija n-numru ta’ namespaces jew klijenti li tista’ sservi. Il-metrika hija meħuda direttament minn hyperscalers, fejn il-blokki tal-bini tal-ħażna huma żgħar iżda skala għal biljuni ta 'unitajiet. B'mod ġenerali, din hija metrika sħaba.
Meta l-blokki tal-bini jkunu żgħar, huma aktar faċli biex jiġu ottimizzati għas-sigurtà, il-kontroll tal-aċċess, il-ġestjoni tal-politika, il-ġestjoni taċ-ċiklu tal-ħajja u aġġornamenti li ma jfixklux. U fl-aħħar mill-aħħar tiżgura l-produttività. Id-daqs tal-blokka tal-bini huwa funzjoni tal-kontrollabbiltà tar-reġjun tal-falliment, li huwa kif jinbnew sistemi reżiljenti ħafna.
Il-kera multipla għandha ħafna karatteristiċi. Filwaqt li d-dimensjoni titkellem dwar kif l-organizzazzjonijiet jipprovdu aċċess għad-dejta u l-applikazzjonijiet, tirreferi wkoll għall-applikazzjonijiet infushom u l-loġika wara l-iżolament tagħhom minn xulxin.
Karatteristiċi ta' approċċ modern għal multi-klijent:
- Fi żmien qasir, in-numru ta 'klijenti jista' jikber minn diversi mijiet għal diversi miljuni.
- Il-klijenti huma kompletament iżolati minn xulxin. Dan jippermettilhom imexxu verżjonijiet differenti tal-istess softwer u jaħżnu oġġetti b'konfigurazzjonijiet, permessi, karatteristiċi, livelli ta 'sigurtà u manutenzjoni differenti. Dan huwa meħtieġ meta tiskala għal servers, aġġornamenti u ġeografiji ġodda.
- Il-ħażna hija elastikament skalabbli, ir-riżorsi huma pprovduti fuq talba.
- Kull operazzjoni hija kkontrollata minn API u hija awtomatizzata mingħajr intervent uman.
- Is-softwer jista' jiġi ospitat f'kontenituri u juża sistemi ta' orkestrazzjoni standard bħal Kubernetes.
S3 kompatibbli
L-Amazon S3 API huwa l-istandard de facto għall-ħażna tal-oġġetti. Kull bejjiegħ tas-software tal-ħażna tal-oġġetti jitlob kompatibilità miegħu. Il-kompatibilità ma 'S3 hija binarja: jew hija implimentata bis-sħiħ jew le.
Fil-prattika, hemm mijiet jew eluf ta 'xenarji tat-tarf fejn xi ħaġa tmur ħażin meta tuża l-ħażna tal-oġġetti. Speċjalment minn fornituri ta 'softwer u servizzi proprjetarji. Il-każijiet ta 'użu prinċipali tiegħu huma arkivjar dirett jew backup, għalhekk hemm ftit raġunijiet biex issejjaħ l-API, il-każijiet ta' użu huma omoġenji.
Is-softwer open source għandu vantaġġi sinifikanti. Ikopri l-biċċa l-kbira tax-xenarji tat-tarf, minħabba d-daqs u l-varjetà tal-applikazzjonijiet, is-sistemi operattivi, u l-arkitetturi tal-ħardwer.
Dan kollu huwa importanti għall-iżviluppaturi tal-applikazzjoni, għalhekk ta 'min jittestja l-applikazzjoni mal-fornituri tal-ħażna. Is-sors miftuħ jagħmel il-proċess aktar faċli—huwa aktar faċli li tifhem liema pjattaforma hija t-tajba għall-applikazzjoni tiegħek. Il-fornitur jista 'jintuża bħala punt uniku ta' dħul fil-ħażna, li jfisser li se jissodisfa l-bżonnijiet tiegħek.
Sors miftuħ ifisser: l-applikazzjonijiet mhumiex marbuta ma’ bejjiegħ u huma aktar trasparenti. Dan jiżgura ċiklu ta 'ħajja twil ta' applikazzjoni.
U ftit noti oħra dwar sors miftuħ u S3.
Jekk qed tħaddem applikazzjoni ta' dejta kbira, S3 SELECT itejjeb il-prestazzjoni u l-effiċjenza b'ordni ta' kobor. Jagħmel dan billi juża SQL biex jirkupra biss l-oġġetti li għandek bżonn mill-ħażna.
Il-punt ewlieni huwa l-appoġġ għan-notifiki tal-barmil. Notifiki bucket jiffaċilitaw il-kompjuters mingħajr server, komponent importanti ta 'kwalunkwe arkitettura ta' mikroservizz li tingħata bħala servizz. Minħabba li l-ħażna tal-oġġetti hija effettivament ħażna sħaba, din il-kapaċità ssir kritika meta l-ħażna tal-oġġetti tintuża minn applikazzjonijiet ibbażati fuq il-cloud.
Fl-aħħarnett, l-implimentazzjoni S3 trid tappoġġja l-APIs ta 'encryption fuq is-server ta' Amazon S3: SSE-C, SSE-S3, SSE-KMS. Saħansitra aħjar, S3 jappoġġja protezzjoni kontra t-tbagħbis li hija tassew sigura.
Rispons għal fallimenti
Metrika li probabbilment ħafna drabi tiġi injorata hija kif is-sistema timmaniġġja l-fallimenti. Il-fallimenti jseħħu għal varjetà ta 'raġunijiet, u l-ħażna tal-oġġetti trid tieħu ħsiebhom kollha.
Pereżempju, hemm punt wieħed ta 'falliment, il-metrika ta' dan hija żero.
Sfortunatament, ħafna sistemi ta 'ħażna ta' oġġetti jużaw nodi speċjali li għandhom ikunu attivati biex il-cluster jaħdem sew. Dawn jinkludu nodi tal-isem jew servers tal-metadata - dan joħloq punt wieħed ta' falliment.
Anke fejn hemm punti multipli ta 'falliment, il-kapaċità li tiflaħ falliment katastrofiku hija importanti ħafna. Id-diski ifallu, is-servers ifallu. Iċ-ċavetta hija li toħloq softwer iddisinjat biex jimmaniġġja l-falliment bħala kundizzjoni normali. Jekk disk jew node jonqos, tali softwer se jkompli jaħdem mingħajr bidliet.
Protezzjoni integrata kontra t-tħassir tad-dejta u d-degradazzjoni tad-dejta tiżgura li tista’ titlef diski jew nodi daqs kemm għandek blokki ta’ parità — normalment nofs id-diski. Imbagħad biss is-softwer ma jkunx jista 'jirritorna d-data.
In-nuqqas rarament jiġi ttestjat taħt tagħbija, iżda tali ttestjar huwa meħtieġ. Is-simulazzjoni ta' ħsara fit-tagħbija se turi l-ispejjeż totali mġarrba wara l-falliment.
Konsistenza
Punteġġ ta 'konsistenza ta' 100% jissejjaħ ukoll konsistenza stretta. Il-konsistenza hija komponent ewlieni ta 'kwalunkwe sistema ta' ħażna, iżda l-konsistenza qawwija hija rari. Pereżempju, Amazon S3 ListObject mhuwiex strettament konsistenti, huwa konsistenti biss fl-aħħar.
X'inhu mfisser b'konsistenza stretta? Għall-operazzjonijiet kollha wara operazzjoni PUT ikkonfermata, għandu jseħħ dan li ġej:
- Il-valur aġġornat huwa viżibbli meta jinqara minn kwalunkwe nodu.
- L-aġġornament huwa protett kontra redundancy tal-fallimenti tan-nodi.
Dan ifisser li jekk tiġbed il-plagg fin-nofs ta 'reġistrazzjoni, ma jintilef xejn. Is-sistema qatt ma tirritorna data korrotta jew skaduta. Dan huwa bar għoli li jgħodd f'ħafna xenarji, minn applikazzjonijiet transazzjonali għal backup u rkupru.
Konklużjoni
Dawn huma metriċi ġodda tal-ħażna tal-oġġetti li jirriflettu l-mudelli tal-użu fl-organizzazzjonijiet tal-lum, fejn il-prestazzjoni, il-konsistenza, l-iskalabbiltà, id-dominji tal-ħsara u l-kompatibilità tal-S3 huma l-blokki tal-bini għall-applikazzjonijiet tal-cloud u l-analiżi tal-big data. Nirrakkomanda li tuża din il-lista minbarra l-prezz meta tibni munzelli ta 'dejta moderni.
Dwar il-ħażna tal-oġġetti Mail.ru Cloud Solutions: .
X'iktar għandek taqra:
- .
- .
- .
Sors: www.habr.com