S3 hlutgeymsluskipun þýddi grein um hvaða forsendur skipta máli við val á hlutgeymslu. Eftirfarandi er textinn frá sjónarhóli höfundar.
Þegar kemur að geymslu á hlutum hugsar fólk venjulega aðeins um eitt: verð á TB/GB. Auðvitað er þessi mælikvarði mikilvægur, en hún gerir nálgunina einhliða og leggur að jöfnu hlutgeymslu og geymslutól. Auk þess dregur þessi nálgun úr mikilvægi hlutageymslu fyrir tæknistafla fyrirtækisins.
Þegar þú velur hlutgeymslu ættir þú að borga eftirtekt til fimm eiginleika:
- frammistaða
- sveigjanleiki;
- S3 samhæft;
- viðbrögð við mistökum;
- heilindi.
Þessir fimm eiginleikar eru nýjar mælikvarðar fyrir geymslu á hlutum ásamt kostnaði. Við skulum skoða þær allar.
Framleiðni
Hefðbundnar hlutageymslur skortir frammistöðu. Þjónustuveitendur fórnuðu henni stöðugt í leit að lágu verði. Hins vegar, með nútíma hlutum geymslu hlutirnir eru öðruvísi.
Ýmis geymslukerfi nálgast eða jafnvel fara yfir hraða Hadoop. Nútíma kröfur um les- og skrifhraða: frá 10 GB/s fyrir harða diska, upp í 35 GB/s fyrir NVMe.
Þessi afköst duga fyrir Spark, Presto, Tensorflow, Teradata, Vertica, Splunk og aðra nútíma tölvuramma í greiningarstaflanum. Sú staðreynd að verið er að stilla MPP gagnagrunna fyrir hlutgeymslu bendir til þess að það sé í auknum mæli notað sem aðalgeymsla.
Ef geymslukerfið þitt veitir ekki þann hraða sem þú þarft geturðu ekki notað gögnin og dregið verðmæti úr þeim. Jafnvel þó þú sækir gögn úr geymslum hluta í vinnslukerfi í minni, þarftu samt bandbreidd til að flytja gögnin til og úr minni. Eldri hluti verslanir hafa ekki nóg af því.
Þetta er lykilatriðið: nýja árangursmælingin er afköst, ekki leynd. Það er krafist fyrir gögn í mælikvarða og er normið í nútíma gagnainnviðum.
Þó að viðmið séu góð leið til að ákvarða árangur er ekki hægt að mæla það nákvæmlega áður en forritið er keyrt í umhverfinu. Aðeins eftir það geturðu sagt hvar nákvæmlega flöskuhálsinn er: í hugbúnaði, diskum, neti eða á tölvustigi.
Stærð
Sveigjanleiki vísar til fjölda petabæta sem passa inn í eitt nafnrými. Það sem seljendur halda fram að sé auðveldur sveigjanleiki, það sem þeir segja ekki er að þegar þau stækka verða stórfelld einhæf kerfi viðkvæm, flókin, óstöðug og dýr.
Nýja mælikvarðinn fyrir sveigjanleika er fjöldi nafnrýma eða viðskiptavina sem þú getur þjónað. Mælikvarðinn er tekinn beint úr ofurskala, þar sem geymslueiningarnar eru litlar en mælikvarðar upp í milljarða einingar. Almennt séð er þetta skýjamæling.
Þegar byggingareiningarnar eru litlar er auðveldara að hagræða þeim fyrir öryggi, aðgangsstýringu, stefnustjórnun, lífsferilsstjórnun og uppfærslur sem trufla ekki. Og að lokum tryggja framleiðni. Stærð byggingareiningarinnar er fall af stjórnhæfni bilunarsvæðisins, sem er hvernig mjög seigur kerfi eru byggð.
Fjölbýli hefur marga eiginleika. Þó að víddin ræði um hvernig stofnanir veita aðgang að gögnum og forritum, vísar hún einnig til forritanna sjálfra og rökfræðinnar á bak við að einangra þau hvert frá öðru.
Einkenni nútíma nálgunar við fjölviðskiptavini:
- Á skömmum tíma getur fjöldi viðskiptavina vaxið úr nokkrum hundruðum í nokkrar milljónir.
- Viðskiptavinir eru algjörlega einangraðir hver frá öðrum. Þetta gerir þeim kleift að keyra mismunandi útgáfur af sama hugbúnaði og geyma hluti með mismunandi stillingum, heimildum, eiginleikum, öryggi og viðhaldsstigum. Þetta er nauðsynlegt þegar stækkað er á nýja netþjóna, uppfærslur og landsvæði.
- Geymslan er teygjanlega skalanleg, auðlindir eru veittar á eftirspurn.
- Hverri aðgerð er stjórnað af API og er sjálfvirk án mannlegrar íhlutunar.
- Hægt er að hýsa hugbúnað í gámum og nota staðlað hljómsveitarkerfi eins og Kubernetes.
S3 samhæft
Amazon S3 API er raunverulegur staðall fyrir geymslu á hlutum. Sérhver seljandi hugbúnaðar til að geyma hluti heldur því fram að hann sé samhæfður. Samhæfni við S3 er tvöfaldur: annað hvort er það að fullu útfært eða ekki.
Í reynd eru hundruðir eða þúsundir jaðarsviðsmynda þar sem eitthvað fer úrskeiðis við notkun hlutageymslu. Sérstaklega frá veitendum sérhugbúnaðar og þjónustu. Helstu notkunartilvik þess eru bein geymslu eða öryggisafrit, svo það eru fáar ástæður til að kalla á API, notkunartilvikin eru einsleit.
Opinn hugbúnaður hefur umtalsverða kosti. Það nær yfir flestar jaðarsviðsmyndir, miðað við stærð og fjölbreytni forrita, stýrikerfa og vélbúnaðararkitektúrs.
Allt þetta er mikilvægt fyrir forritara, svo það er þess virði að prófa forritið hjá geymsluaðilum. Opinn uppspretta gerir ferlið auðveldara - það er auðveldara að skilja hvaða vettvangur hentar forritinu þínu. Hægt er að nota þjónustuveituna sem einn aðgangsstað í geymslu, sem þýðir að hann uppfyllir þarfir þínar.
Opinn uppspretta þýðir: forrit eru ekki bundin við söluaðila og eru gegnsærri. Þetta tryggir langan umsóknarlíftíma.
Og nokkrar athugasemdir í viðbót um opinn uppspretta og S3.
Ef þú ert að keyra stórt gagnaforrit bætir S3 SELECT árangur og skilvirkni um stærðargráðu. Það gerir þetta með því að nota SQL til að sækja aðeins hlutina sem þú þarft úr geymslu.
Lykilatriðið er stuðningur við fötutilkynningar. Bucket tilkynningar auðvelda netþjónalausa tölvuvinnslu, mikilvægur þáttur í hvers kyns örþjónustuarkitektúr sem er afhent sem þjónusta. Í ljósi þess að hlutageymsla er í raun skýgeymsla, verður þessi hæfileiki mikilvægur þegar hlutageymsla er notuð af skýjatengdum forritum.
Að lokum verður S3 útfærslan að styðja Amazon S3 dulkóðunarforritaskil á netþjóni: SSE-C, SSE-S3, SSE-KMS. Jafnvel betra, S3 styður innbrotsvörn sem er sannarlega örugg.
Viðbrögð við mistökum
Mælikvarði sem sennilega gleymist oft er hvernig kerfið meðhöndlar bilanir. Bilanir eiga sér stað af ýmsum ástæðum og hlutgeymsla verður að sinna þeim öllum.
Til dæmis, það er einn bilunarpunktur, mæligildi þessa er núll.
Því miður nota mörg hlutageymslukerfi sérstaka hnúta sem verða að vera virkjaðir til að klasinn virki rétt. Þetta felur í sér nafnhnúta eða lýsigagnaþjóna - þetta skapar einn bilunarpunkt.
Jafnvel þar sem það eru mörg stig bilunar er hæfileikinn til að standast skelfilegar bilanir í fyrirrúmi. Diskar bila, netþjónar bila. Lykillinn er að búa til hugbúnað sem er hannaður til að takast á við bilun sem eðlilegt ástand. Ef diskur eða hnút bilar mun slíkur hugbúnaður halda áfram að virka án breytinga.
Innbyggð vörn gegn eyðingu gagna og niðurbroti gagna tryggir að þú getur tapað eins mörgum diskum eða hnútum og þú ert með jöfnunarblokkir - venjulega helmingur diskanna. Aðeins þá mun hugbúnaðurinn ekki geta skilað gögnum.
Bilunin er sjaldan prófuð undir álagi, en slík prófun er skylda. Að líkja eftir hleðslubilun mun sýna heildarkostnað sem stofnað er til eftir bilunina.
Samræmi
Samkvæmnistig upp á 100% er einnig kallað strangt samræmi. Samræmi er lykilþáttur hvers geymslukerfis, en sterk samkvæmni er sjaldgæf. Til dæmis er Amazon S3 ListObject ekki nákvæmlega samkvæmt, það er aðeins í samræmi í lokin.
Hvað er átt við með ströngu samræmi? Fyrir allar aðgerðir eftir staðfesta PUT-aðgerð verður eftirfarandi að eiga sér stað:
- Uppfært gildi er sýnilegt þegar lesið er úr hvaða hnút sem er.
- Uppfærslan er vernduð gegn offramboði hnútabilunar.
Þetta þýðir að ef þú dregur úr stönginni í miðri upptöku tapast ekkert. Kerfið skilar aldrei skemmdum eða úreltum gögnum. Þetta er hár bar sem skiptir máli í mörgum tilfellum, allt frá viðskiptaforritum til öryggisafritunar og endurheimtar.
Ályktun
Þetta eru nýjar geymslumælikvarðar fyrir hluti sem endurspegla notkunarmynstur í samtökum nútímans, þar sem frammistaða, samkvæmni, sveigjanleiki, bilunarlén og S3 samhæfni eru byggingareiningar fyrir skýjaforrit og stórgagnagreiningar. Ég mæli með því að nota þennan lista til viðbótar við verð þegar þú smíðar nútíma gagnabunka.
Um Mail.ru Cloud Solutions hlutgeymslu: .
Hvað annað að lesa:
- .
- .
- .
Heimild: www.habr.com