Nei Objektlagerungsmetriken

Nei ObjektlagerungsmetrikenFlying Fortress vum Nele-Diel

S3 Objet Stockage Kommando Mail.ru Cloud Storage en Artikel iwwersat iwwer wat Critèren wichteg sinn wann Dir en Objet Stockage ausgesicht. Déi folgend ass den Text aus der Perspektiv vum Auteur.

Wann et ëm Objektlagerung kënnt, denken d'Leit normalerweis nëmmen iwwer eng Saach: Präis pro TB / GB. Natierlech ass dës Metrik wichteg, awer et mécht d'Approche engsäiteg a gläicht Objektlagerung mat engem Archivspäicherinstrument. Plus, dës Approche reduzéiert d'Wichtegkeet vun der Objektlagerung fir den Enterprise Technologie Stack.

Wann Dir Objektlagerung auswielt, sollt Dir op fënnef Charakteristiken oppassen:

  • Leeschtung;
  • Skalierbarkeet;
  • S3 kompatibel;
  • Äntwert op Feeler;
  • Integritéit.

Dës fënnef Charakteristike sinn nei Metriken fir Objektlagerung, zesumme mat Käschten. Loosst eis se all kucken.

Produktivitéit

Traditionell Objet Geschäfter feelen Leeschtung. Déngschtleeschter hunn et dauernd geaffert an der Verfollegung vu niddrege Präisser. Wéi och ëmmer, mat modernen Objektlagerung sinn d'Saachen anescht.

Verschidde Späichersystemer kommen op oder iwwerschreiden souguer dem Hadoop seng Geschwindegkeet. Modern Ufuerderunge fir Lies- a Schreifgeschwindegkeet: vun 10 GB / s fir Festplacken, bis zu 35 GB / s fir NVMe. 

Dësen Duerchgang ass genuch fir Spark, Presto, Tensorflow, Teradata, Vertica, Splunk an aner modern Rechenkader am Analytikstack. D'Tatsaach datt MPP Datenbanken fir Objektlagerung konfiguréiert ginn suggeréiert datt et ëmmer méi als primär Späichere benotzt gëtt.

Wann Äre Späichersystem net déi Geschwindegkeet ubitt déi Dir braucht, kënnt Dir d'Donnéeën net benotzen an de Wäert dovunner extrahéieren. Och wann Dir Daten aus Objektlagerung an eng In-Memory-Veraarbechtungsstruktur recuperéiert, braucht Dir nach ëmmer Bandbreedung fir d'Donnéeën an an aus der Erënnerung ze transferéieren. Legacy Objet Geschäfter hunn net genuch dovun.

Dëst ass de Schlësselpunkt: déi nei Performance Metrik ass Duerchsatz, net latency. Et ass erfuerderlech fir Daten op Skala an ass d'Norm an der moderner Dateinfrastruktur.

Wärend Benchmarks e gudde Wee sinn fir d'Leeschtung ze bestëmmen, kann et net genee gemooss ginn ier Dir d'Applikatioun an der Ëmwelt leeft. Eréischt duerno kënnt Dir soen, wou genau de Flaschenhals ass: a Software, Disken, Netzwierk oder um Rechenniveau.

Skalierbarkeet

Skalierbarkeet bezitt sech op d'Zuel vun Petabytes déi an engem Nummraum passen. Wat d'Verkeefer behaapten ass einfach Skalierbarkeet, wat se net soen ass datt wa se skaléieren, massiv monolithesch Systemer fragil, komplex, onbestänneg an deier ginn.

Déi nei Metrik fir Skalierbarkeet ass d'Zuel vun den Nummraim oder Clienten déi Dir kënnt servéieren. D'Metrik gëtt direkt vun Hyperscalers geholl, wou d'Späicherbausteng kleng sinn awer op Milliarden Unitéiten skala. Am Allgemengen ass dëst eng Wollek Metrik.

Wann d'Bausteng kleng sinn, si si méi einfach ze optimiséieren fir Sécherheet, Zougangskontroll, Politikverwaltung, Liewenszyklusmanagement an net-stéierend Updates. A schlussendlech d'Produktivitéit garantéieren. D'Gréisst vum Bausteng ass eng Funktioun vun der Kontrollbarkeet vun der Ausfallregioun, dat ass wéi héich elastesch Systemer gebaut ginn.

Multi-Locatioun huet vill Charakteristiken. Wärend d'Dimensioun schwätzt wéi Organisatiounen Zougang zu Daten an Uwendungen ubidden, bezitt se sech och op d'Applikatiounen selwer an d'Logik hannert se vuneneen isoléieren.

Charakteristike vun enger moderner Approche fir Multi-Client:

  • A kuerzer Zäit kann d'Zuel vun de Clienten vun e puer honnert op e puer Millioune wuessen.
  • Clientë si komplett vuneneen isoléiert. Dëst erlaabt hinnen verschidde Versioune vun der selwechter Software ze lafen an Objete mat verschiddene Konfiguratiounen, Permissiounen, Features, Sécherheets- an Ënnerhaltniveauen ze späicheren. Dëst ass noutwendeg wann Dir op nei Serveren, Updates a Geografien skaléiert.
  • D'Lagerung ass elastesch skalierbar, Ressourcen ginn op Nofro zur Verfügung gestallt.
  • All Operatioun gëtt vun enger API kontrolléiert an ass automatiséiert ouni mënschlech Interventioun.
  • Software kann a Container gehost ginn a Standard Orchestratiounssystemer wéi Kubernetes benotzen.

S3 kompatibel

D'Amazon S3 API ass de de facto Standard fir Objektlagerung. All Objektspeicher Software Verkeefer behaapt Kompatibilitéit domat. Kompatibilitéit mat S3 ass binär: entweder ass et komplett implementéiert oder et ass net.

An der Praxis ginn et Honnerte oder Dausende vu Randszenarien wou eppes falsch geet wann Dir Objektlagerung benotzt. Besonnesch vu Ubidder vu propriétaire Software a Servicer. Seng Haaptgebrauchsfäll sinn direkt Archivéieren oder Backup, also et gi wéineg Grënn fir d'API ze ruffen, d'Benotzungsfäll sinn homogen.

Open Source Software huet bedeitend Virdeeler. Et deckt déi meescht Randszenarien, no der Gréisst an der Varietéit vun Uwendungen, Betribssystemer, an Hardwarearchitekturen.

All dëst ass wichteg fir Applikatioun Entwéckler, also ass et derwäert der Applikatioun mat Stockage Ubidder ze testen. Open Source mécht de Prozess méi einfach - et ass méi einfach ze verstoen wéi eng Plattform richteg ass fir Är Applikatioun. De Provider kann als eenzegen Entrée an d'Späichere benotzt ginn, dat heescht datt et Äre Besoinen entsprécht. 

Open Source heescht: Uwendungen sinn net un engem Verkeefer gebonnen a si méi transparent. Dëst garantéiert eng laang Applikatioun Liewenszyklus.

An e puer méi Notizen iwwer Open Source an S3. 

Wann Dir eng grouss Datenapplikatioun leeft, verbessert S3 SELECT d'Performance an d'Effizienz vun enger Uerdnung. Et mécht dëst andeems Dir SQL benotzt fir nëmmen d'Objeten ze recuperéieren déi Dir braucht aus der Späichere.

De Schlësselpunkt ass Ënnerstëtzung fir Eemer Notifikatiounen. Bucket Notifikatiounen erliichteren serverlos Informatik, e wichtege Bestanddeel vun all Mikroservicearchitektur déi als Service geliwwert gëtt. Virausgesat datt Objektlagerung effektiv Cloudlagerung ass, gëtt dës Fäegkeet kritesch wann Objektlagerung vu Cloud-baséiert Uwendungen benotzt gëtt.

Endlech muss d'S3 Implementatioun d'Amazon S3 Server-Server-Verschlësselungs-APIs ënnerstëtzen: SSE-C, SSE-S3, SSE-KMS. Nach besser, S3 ënnerstëtzt Tamper Schutz dee wierklech sécher ass. 

Äntwert op Feeler

Eng Metrik déi wahrscheinlech dacks iwwersinn ass, ass wéi de System Feeler behandelt. Feeler geschéien aus verschiddene Grënn, an Objektlagerung muss se all handhaben.

Zum Beispill gëtt et en eenzege Punkt vum Echec, d'Metrik vun dësem ass null.

Leider benotze vill Objektspeichersystemer speziell Wirbelen déi ageschalt musse ginn fir datt de Stärekoup richteg funktionnéiert. Dozou gehéieren Nummknäppchen oder Metadatenserveren - dëst erstellt en eenzege Punkt vum Echec.

Och wou et e puer Punkte vum Echec sinn, ass d'Fäegkeet fir katastrophal Echec ze widderstoen. Disken falen, Server falen. De Schlëssel ass Software ze kreéieren déi entwéckelt ass fir Feeler als normalen Zoustand ze handhaben. Wann eng Scheif oder Node feelt, wäert esou Software weider ouni Ännerungen schaffen.

Built-in Schutz géint Dateläschung an Dateverschlechterung garantéiert datt Dir esou vill Disken oder Noden verléiere kënnt wéi Dir Paritéitsblocken hutt - normalerweis d'Halschent vun den Disken. Nëmmen dann kann d'Software net Daten zréckginn.

Den Echec gëtt selten ënner Laascht getest, awer sou Tester ass obligatoresch. D'Simulatioun vun engem Laaschtfehler weist d'Gesamtkäschte, déi nom Ausfall entstinn.

Konsistenz

E Konsistenzscore vun 100% gëtt och strikt Konsequenz genannt. Konsistenz ass e Schlësselkomponent vun all Späichersystem, awer staark Konsistenz ass rar. Zum Beispill, Amazon S3 ListObject ass net strikt konsequent, et ass nëmmen konsequent um Enn.

Wat heescht strikt Konsequenz? Fir all Operatiounen no enger bestätegter PUT Operatioun, muss déi folgend geschéien:

  • Den aktualiséierte Wäert ass sichtbar wann Dir vun all Node liest.
  • D'Aktualiséierung ass geschützt géint Node Echec Redundanz.

Dëst bedeit datt wann Dir de Stecker an der Mëtt vun enger Opnam zitt, gëtt näischt verluer. De System gëtt ni korrupt oder al Daten zréck. Dëst ass eng héich Bar déi a ville Szenarie wichteg ass, vun Transaktiounsapplikatiounen bis Backup an Erhuelung.

Konklusioun

Dëst sinn nei Objektspeicher Metriken déi d'Benotzungsmuster an den haitegen Organisatiounen reflektéieren, wou Performance, Konsistenz, Skalierbarkeet, Feelerdomänen a S3 Kompatibilitéit d'Bausteng sinn fir Cloud Uwendungen a Big Data Analytics. Ech recommandéieren dës Lëscht zousätzlech zum Präis ze benotzen wann Dir modernen Datestack baut. 

Iwwer Mail.ru Cloud Solutions Objektlagerung: S3 Architektur. 3 Joer Evolutioun vu Mail.ru Cloud Storage.

Wat soss ze liesen:

  1. E Beispill vun enger Event-Undriff Applikatioun baséiert op Webhooks an der S3 Objektlagerung vu Mail.ru Cloud Solutions.
  2. Méi wéi Ceph: MCS Cloud Blocklagerung 
  3. Schafft mat Mail.ru Cloud Solutions S3 Objektlagerung als Dateiesystem.
  4. Eis Telegram Kanal mat Neiegkeeten iwwer Updates fir S3 Späicheren an aner Produkter

Source: will.com

Setzt e Commentaire