Komanda e ruajtjes së objekteve S3 përktheu një artikull se cilat kritere janë të rëndësishme kur zgjidhni një ruajtje të objektit. Më poshtë është teksti nga këndvështrimi i autorit.
Kur bëhet fjalë për ruajtjen e objekteve, njerëzit zakonisht mendojnë vetëm për një gjë: çmimin për TB/GB. Sigurisht, kjo metrikë është e rëndësishme, por e bën qasjen të njëanshme dhe e barazon ruajtjen e objekteve me një mjet për ruajtjen e arkivit. Plus, kjo qasje zvogëlon rëndësinë e ruajtjes së objekteve për grumbullin e teknologjisë së ndërmarrjes.
Kur zgjidhni ruajtjen e objekteve, duhet t'i kushtoni vëmendje pesë karakteristikave:
- performanca;
- shkallëzueshmëria;
- i pajtueshëm me S3;
- reagimi ndaj dështimeve;
- integriteti.
Këto pesë karakteristika janë metrika të reja për ruajtjen e objekteve, së bashku me koston. Le t'i shikojmë të gjitha.
prodhimtari
Dyqanet e objekteve tradicionale nuk kanë performancë. Ofruesit e shërbimeve e sakrifikuan vazhdimisht atë në kërkim të çmimeve të ulëta. Megjithatë, me ruajtjen moderne të objekteve gjërat janë të ndryshme.
Sisteme të ndryshme ruajtjeje afrohen apo edhe e kalojnë shpejtësinë e Hadoop. Kërkesat moderne për shpejtësinë e leximit dhe shkrimit: nga 10 GB/s për hard disqet, deri në 35 GB/s për NVMe.
Ky xhiros është i mjaftueshëm për Spark, Presto, Tensorflow, Teradata, Vertica, Splunk dhe korniza të tjera kompjuterike moderne në raftin e analitikës. Fakti që bazat e të dhënave MPP po konfigurohen për ruajtjen e objekteve sugjeron që ajo po përdoret gjithnjë e më shumë si memorie kryesore.
Nëse sistemi juaj i ruajtjes nuk ofron shpejtësinë që ju nevojitet, nuk mund të përdorni të dhënat dhe të nxirrni vlerë prej tyre. Edhe nëse i merrni të dhënat nga ruajtja e objekteve në një strukturë përpunimi në memorie, do t'ju duhet ende gjerësia e brezit për të transferuar të dhënat në dhe nga memoria. Dyqanet e objekteve të trashëguara nuk kanë mjaftueshëm.
Kjo është pika kryesore: metrika e re e performancës është xhiroja, jo vonesa. Kërkohet për të dhëna në shkallë dhe është normë në infrastrukturën moderne të të dhënave.
Ndërsa standardet janë një mënyrë e mirë për të përcaktuar performancën, ajo nuk mund të matet me saktësi përpara se të ekzekutohet aplikacioni në mjedis. Vetëm pas tij mund të thoni se ku është saktësisht pengesa: në softuer, disqe, rrjet ose në nivel kompjuterik.
Shkallëzueshmëria
Shkallueshmëria i referohet numrit të petabajteve që përshtaten në një hapësirë emri. Ajo që shitësit pretendojnë është shkallëzueshmëria e lehtë, ajo që ata nuk thonë është se ndërsa shkallëzohen, sistemet masive monolitike bëhen të brishta, komplekse, të paqëndrueshme dhe të shtrenjta.
Metrika e re për shkallëzueshmërinë është numri i hapësirave të emrave ose klientëve që mund t'i shërbeni. Metrika është marrë direkt nga hipershkallëzuesit, ku blloqet e ndërtimit të ruajtjes janë të vogla, por në shkallë deri në miliarda njësi. Në përgjithësi, kjo është një metrikë e reve.
Kur blloqet e ndërtimit janë të vogla, ato janë më të lehta për t'u optimizuar për sigurinë, kontrollin e aksesit, menaxhimin e politikave, menaxhimin e ciklit jetësor dhe përditësimet jo përçarëse. Dhe në fund të sigurojë produktivitetin. Madhësia e bllokut të ndërtimit është një funksion i kontrollueshmërisë së rajonit të dështimit, që është mënyra se si ndërtohen sistemet shumë elastike.
Shumë-qiramarrja ka shumë karakteristika. Ndërsa dimensioni flet për mënyrën se si organizatat ofrojnë akses në të dhëna dhe aplikacione, ai gjithashtu i referohet vetë aplikacioneve dhe logjikës pas izolimit të tyre nga njëri-tjetri.
Karakteristikat e një qasjeje moderne ndaj shumë klientëve:
- Në një kohë të shkurtër, numri i klientëve mund të rritet nga disa qindra në disa milionë.
- Klientët janë plotësisht të izoluar nga njëri-tjetri. Kjo u lejon atyre të ekzekutojnë versione të ndryshme të të njëjtit softuer dhe të ruajnë objekte me konfigurime, leje, veçori, nivele sigurie dhe mirëmbajtjeje të ndryshme. Kjo është e nevojshme kur shkallëzoni në serverë, përditësime dhe gjeografi të reja.
- Magazinimi është elastik i shkallëzueshëm, burimet sigurohen sipas kërkesës.
- Çdo operacion kontrollohet nga një API dhe është i automatizuar pa ndërhyrje njerëzore.
- Softueri mund të mbahet në kontejnerë dhe të përdorë sisteme standarde orkestrimi si Kubernetes.
E përputhshme me S3
Amazon S3 API është standardi de fakto për ruajtjen e objekteve. Çdo shitës i softuerit për ruajtjen e objekteve pretendon përputhshmëri me të. Pajtueshmëria me S3 është binare: ose është zbatuar plotësisht ose jo.
Në praktikë, ka qindra ose mijëra skenarë të skajshëm ku diçka nuk shkon kur përdoret ruajtja e objekteve. Sidomos nga ofruesit e programeve dhe shërbimeve të pronarit. Rastet kryesore të përdorimit të tij janë arkivimi i drejtpërdrejtë ose rezervimi, kështu që ka pak arsye për të thirrur API, rastet e përdorimit janë homogjene.
Softueri me kod të hapur ka përparësi të konsiderueshme. Ai mbulon shumicën e skenarëve të avantazhit, duke pasur parasysh madhësinë dhe shumëllojshmërinë e aplikacioneve, sistemeve operative dhe arkitekturave harduerike.
E gjithë kjo është e rëndësishme për zhvilluesit e aplikacioneve, kështu që ia vlen të testoni aplikacionin me ofruesit e ruajtjes. Burimi i hapur e bën procesin më të lehtë—është më e lehtë të kuptosh se cila platformë është e përshtatshme për aplikacionin tënd. Ofruesi mund të përdoret si një pikë e vetme hyrjeje në ruajtje, që do të thotë se do të plotësojë nevojat tuaja.
Burimi i hapur do të thotë: aplikacionet nuk janë të lidhura me një shitës dhe janë më transparente. Kjo siguron një jetëgjatësi të gjatë të aplikimit.
Dhe disa shënime të tjera rreth burimit të hapur dhe S3.
Nëse jeni duke ekzekutuar një aplikacion të dhënash të mëdha, S3 SELECT përmirëson performancën dhe efikasitetin me një renditje madhësie. Ai e bën këtë duke përdorur SQL për të tërhequr vetëm objektet që ju nevojiten nga ruajtja.
Pika kryesore është mbështetja për njoftimet e kovës. Njoftimet e kovës lehtësojnë llogaritjen pa server, një komponent i rëndësishëm i çdo arkitekture mikroshërbimi që ofrohet si shërbim. Duke pasur parasysh që ruajtja e objekteve është në mënyrë efektive ruajtja në renë kompjuterike, kjo aftësi bëhet kritike kur ruajtja e objekteve përdoret nga aplikacionet e bazuara në cloud.
Së fundi, zbatimi i S3 duhet të mbështesë API-të e kriptimit të serverit Amazon S3: SSE-C, SSE-S3, SSE-KMS. Edhe më mirë, S3 mbështet mbrojtjen nga manipulimet që është vërtet e sigurt.
Reagimi ndaj dështimeve
Një metrikë që ndoshta shpesh anashkalohet është se si sistemi i trajton dështimet. Dështimet ndodhin për një sërë arsyesh dhe ruajtja e objekteve duhet t'i trajtojë të gjitha.
Për shembull, ekziston një pikë e vetme dështimi, metrika e kësaj është zero.
Fatkeqësisht, shumë sisteme të ruajtjes së objekteve përdorin nyje speciale që duhet të aktivizohen që grupi të funksionojë siç duhet. Këto përfshijnë nyjet e emrave ose serverët e meta të dhënave - kjo krijon një pikë të vetme dështimi.
Edhe aty ku ka shumë pika dështimi, aftësia për të përballuar dështimin katastrofik është parësore. Disqet dështojnë, serverët dështojnë. Çelësi është krijimi i softuerit të krijuar për të trajtuar dështimin si një gjendje normale. Nëse një disk ose nyje dështon, një softuer i tillë do të vazhdojë të funksionojë pa ndryshime.
Mbrojtja e integruar kundër fshirjes së të dhënave dhe degradimit të të dhënave siguron që ju mund të humbni aq disqe ose nyje sa keni blloqe barazie - zakonisht gjysma e disqeve. Vetëm atëherë softueri nuk do të jetë në gjendje të kthejë të dhëna.
Dështimi testohet rrallë nën ngarkesë, por një testim i tillë është i detyrueshëm. Simulimi i një dështimi të ngarkesës do të tregojë kostot totale të shkaktuara pas dështimit.
Konsistenca
Një rezultat i qëndrueshmërisë prej 100% quhet gjithashtu qëndrueshmëri strikte. Konsistenca është një komponent kyç i çdo sistemi magazinimi, por qëndrueshmëria e fortë është e rrallë. Për shembull, Amazon S3 ListObject nuk është rreptësisht konsistent, është konsistent vetëm në fund.
Çfarë nënkuptohet me konsistencë strikte? Për të gjitha operacionet pas një operacioni të konfirmuar PUT, duhet të ndodhin sa vijon:
- Vlera e përditësuar është e dukshme kur lexohet nga çdo nyje.
- Përditësimi mbrohet nga teprica e dështimit të nyjeve.
Kjo do të thotë që nëse e tërhiqni spinën në mes të një regjistrimi, asgjë nuk do të humbasë. Sistemi nuk kthen kurrë të dhëna të dëmtuara ose të vjetruara. Ky është një shirit i lartë që ka rëndësi në shumë skenarë, nga aplikacionet transaksionale deri te kopjimi dhe rikuperimi.
Përfundim
Këto janë metrika të reja të ruajtjes së objekteve që pasqyrojnë modelet e përdorimit në organizatat e sotme, ku performanca, qëndrueshmëria, shkallëzueshmëria, domenet e gabimeve dhe pajtueshmëria S3 janë blloqet ndërtuese për aplikacionet cloud dhe analitikën e të dhënave të mëdha. Unë rekomandoj përdorimin e kësaj liste përveç çmimit kur ndërtoni pirgje moderne të të dhënave.
Rreth ruajtjes së objektit të Mail.ru Cloud Solutions: .
Çfarë tjetër për të lexuar:
- .
- .
- .
Burimi: www.habr.com