Nuwe voorwerpbergingsmetrieke

Nuwe voorwerpbergingsmetriekeFlying Fortress deur Nele-Diel

S3 objek berging opdrag Mail.ru Wolkberging 'n artikel vertaal oor watter kriteria belangrik is wanneer 'n voorwerpberging gekies word. Die volgende is die teks vanuit die skrywer se perspektief.

Wanneer dit by voorwerpberging kom, dink mense gewoonlik net aan een ding: prys per TB/GB. Natuurlik is hierdie maatstaf belangrik, maar dit maak die benadering eensydig en stel voorwerpberging gelyk aan 'n argiefbergingsinstrument. Boonop verminder hierdie benadering die belangrikheid van voorwerpberging vir die ondernemingstegnologiestapel.

Wanneer u voorwerpberging kies, moet u aandag gee aan vyf kenmerke:

  • optrede;
  • skaalbaarheid;
  • S3-versoenbaar;
  • reaksie op mislukkings;
  • integriteit.

Hierdie vyf kenmerke is nuwe maatstawwe vir voorwerpberging, saam met koste. Kom ons kyk na hulle almal.

produktiwiteit

Tradisionele voorwerpwinkels het nie werkverrigting nie. Diensverskaffers het dit voortdurend opgeoffer in die nastrewing van lae pryse. Met moderne voorwerpberging is dinge egter anders.

Verskeie bergingstelsels benader of oorskry selfs Hadoop se spoed. Moderne vereistes vir lees- en skryfspoed: van 10 GB/s vir hardeskywe, tot 35 GB/s vir NVMe. 

Hierdie deurset is voldoende vir Spark, Presto, Tensorflow, Teradata, Vertica, Splunk en ander moderne rekenaarraamwerke in die analitiese stapel. Die feit dat MPP-databasisse vir objekberging opgestel word, dui daarop dat dit toenemend as die primêre berging gebruik word.

As jou bergingstelsel nie die spoed verskaf wat jy nodig het nie, kan jy nie die data gebruik en waarde daaruit onttrek nie. Selfs as jy data van objekberging na 'n verwerkingstruktuur in die geheue haal, sal jy steeds bandwydte nodig hê om die data na en van die geheue oor te dra. Verouderde voorwerpwinkels het nie genoeg daarvan nie.

Dit is die sleutelpunt: die nuwe prestasiemaatstaf is deurset, nie latensie nie. Dit word vereis vir data op skaal en is die norm in moderne data-infrastruktuur.

Alhoewel maatstawwe 'n goeie manier is om prestasie te bepaal, kan dit nie akkuraat gemeet word voordat die toepassing in die omgewing uitgevoer word nie. Eers daarna kan jy sê waar presies die bottelnek is: in sagteware, skywe, netwerk of op rekenaarvlak.

Skaalbaarheid

Skaalbaarheid verwys na die aantal petagrepe wat in een naamruimte pas. Wat verkopers beweer is maklike skaalbaarheid, wat hulle nie sê nie, is dat soos hulle skaal, massiewe monolitiese stelsels broos, kompleks, onstabiel en duur word.

Die nuwe maatstaf vir skaalbaarheid is die aantal naamruimtes of kliënte wat jy kan bedien. Die metrieke word direk van hiperskaalers geneem, waar die stoorboublokke klein is maar skaal tot miljarde eenhede. Oor die algemeen is dit 'n wolkmetriek.

Wanneer die boublokke klein is, is dit makliker om te optimaliseer vir sekuriteit, toegangsbeheer, beleidbestuur, lewensiklusbestuur en nie-ontwrigtende opdaterings. En verseker uiteindelik produktiwiteit. Die grootte van die boublok is 'n funksie van die beheerbaarheid van die mislukkingsgebied, wat is hoe hoogs veerkragtige stelsels gebou word.

Multi-huur het baie kenmerke. Terwyl die dimensie praat oor hoe organisasies toegang tot data en toepassings verskaf, verwys dit ook na die toepassings self en die logika agter om hulle van mekaar te isoleer.

Kenmerke van 'n moderne benadering tot multi-kliënt:

  • In 'n kort tyd kan die aantal kliënte van 'n paar honderd tot 'n paar miljoen groei.
  • Kliënte is heeltemal geïsoleer van mekaar. Dit stel hulle in staat om verskillende weergawes van dieselfde sagteware te laat loop en voorwerpe met verskillende konfigurasies, toestemmings, kenmerke, sekuriteit en instandhoudingsvlakke te stoor. Dit is nodig wanneer u na nuwe bedieners, opdaterings en geografiese skaal skaal.
  • Die berging is elasties skaalbaar, hulpbronne word op aanvraag verskaf.
  • Elke bewerking word deur 'n API beheer en word geoutomatiseer sonder menslike ingryping.
  • Sagteware kan in houers gehuisves word en gebruik standaard orkestrasiestelsels soos Kubernetes.

S3 versoenbaar

Die Amazon S3 API is die de facto standaard vir objekberging. Elke verskaffer van objekbergingsagteware beweer verenigbaarheid daarmee. Verenigbaarheid met S3 is binêr: óf dit is ten volle geïmplementeer óf dit is nie.

In die praktyk is daar honderde of duisende randscenario's waar iets verkeerd loop wanneer voorwerpberging gebruik word. Veral van verskaffers van eie sagteware en dienste. Die belangrikste gebruiksgevalle daarvan is direkte argivering of rugsteun, so daar is min redes om die API te noem, die gebruiksgevalle is homogeen.

Oopbronsagteware het aansienlike voordele. Dit dek die meeste randscenario's, gegewe die grootte en verskeidenheid toepassings, bedryfstelsels en hardeware-argitekture.

Dit alles is belangrik vir toepassingsontwikkelaars, daarom is dit die moeite werd om die toepassing met stoorverskaffers te toets. Oopbron maak die proses makliker—dit is makliker om te verstaan ​​watter platform reg is vir jou toepassing. Die verskaffer kan gebruik word as 'n enkele toegangspunt tot berging, wat beteken dat dit aan u behoeftes sal voldoen. 

Oopbron beteken: toepassings is nie gekoppel aan 'n verskaffer nie en is meer deursigtig. Dit verseker 'n lang toedieningslewensiklus.

En nog 'n paar notas oor oopbron en S3. 

As jy 'n groot data-toepassing gebruik, verbeter S3 SELECT werkverrigting en doeltreffendheid met 'n orde van grootte. Dit doen dit deur SQL te gebruik om slegs die voorwerpe wat jy nodig het uit die stoor te haal.

Die sleutelpunt is ondersteuning vir emmerkennisgewings. Emmerkennisgewings vergemaklik bedienerlose rekenaars, 'n belangrike komponent van enige mikrodiensargitektuur wat as 'n diens gelewer word. Aangesien objekberging effektief wolkberging is, word hierdie vermoë krities wanneer objekberging deur wolkgebaseerde toepassings gebruik word.

Laastens moet die S3-implementering die Amazon S3-bedienerkant-enkripsie-API's ondersteun: SSE-C, SSE-S3, SSE-KMS. Nog beter, S3 ondersteun peuterbeskerming wat werklik veilig is. 

Reaksie op mislukkings

'n Metriek wat waarskynlik dikwels oor die hoof gesien word, is hoe die stelsel mislukkings hanteer. Mislukkings gebeur om 'n verskeidenheid redes, en voorwerpberging moet hulle almal hanteer.

Daar is byvoorbeeld 'n enkele punt van mislukking, die maatstaf hiervan is nul.

Ongelukkig gebruik baie objekbergingstelsels spesiale nodusse wat geaktiveer moet word vir die groep om behoorlik te funksioneer. Dit sluit naamnodes of metadatabedieners in – dit skep 'n enkele punt van mislukking.

Selfs waar daar verskeie punte van mislukking is, is die vermoë om katastrofiese mislukking te weerstaan ​​uiters belangrik. Skywe misluk, bedieners misluk. Die sleutel is om sagteware te skep wat ontwerp is om mislukking as 'n normale toestand te hanteer. As 'n skyf of nodus misluk, sal sulke sagteware sonder veranderings aanhou werk.

Ingeboude beskerming teen data-uitwissing en data-agteruitgang verseker dat jy soveel skywe of nodusse kan verloor as wat jy pariteitsblokke het—gewoonlik die helfte van die skywe. Eers dan sal die sagteware nie data kan terugstuur nie.

Die mislukking word selde onder las getoets, maar sulke toetsing word vereis. Simulering van 'n lasmislukking sal die totale koste wat aangegaan is na die mislukking toon.

Konsekwentheid

'n Konsekwentheidtelling van 100% word ook streng konsekwentheid genoem. Konsekwentheid is 'n sleutelkomponent van enige bergingstelsel, maar sterk konsekwentheid is skaars. Amazon S3 ListObject is byvoorbeeld nie streng konsekwent nie, dit is slegs konsekwent aan die einde.

Wat word bedoel met streng konsekwentheid? Vir alle bewerkings na 'n bevestigde PUT-bewerking, moet die volgende gebeur:

  • Die opgedateerde waarde is sigbaar wanneer jy vanaf enige nodus lees.
  • Die opdatering is beskerm teen knooppuntfoutoortolligheid.

Dit beteken dat as jy die prop in die middel van 'n opname uittrek, niks verlore gaan nie. Die stelsel gee nooit korrupte of verouderde data terug nie. Dit is 'n hoë maatstaf wat saak maak in baie scenario's, van transaksionele toepassings tot rugsteun en herstel.

Gevolgtrekking

Dit is nuwe objekbergingsmetrieke wat gebruikspatrone in vandag se organisasies weerspieël, waar werkverrigting, konsekwentheid, skaalbaarheid, foutdomeine en S3-versoenbaarheid die boustene vir wolktoepassings en grootdata-analise is. Ek beveel aan om hierdie lys bykomend tot prys te gebruik wanneer u moderne datastapels bou. 

Oor Mail.ru Cloud Solutions objekberging: S3 argitektuur. 3 jaar van evolusie van Mail.ru Wolkberging.

Wat anders om te lees:

  1. 'n Voorbeeld van 'n gebeurtenisgedrewe toepassing gebaseer op webhooks in die S3-objekberging van Mail.ru Cloud Solutions.
  2. Meer as Ceph: MCS wolkblokberging 
  3. Werk met Mail.ru Cloud Solutions S3 objekberging as 'n lêerstelsel.
  4. Ons Telegram-kanaal met nuus oor opdaterings aan S3-berging en ander produkte

Bron: will.com

Voeg 'n opmerking