ProHoster > Blogs > Administrācija > Jauni objektu uzglabāŔanas rādītāji

Jauni objektu uzglabāŔanas rādītāji

Jauni objektu uzglabāŔanas rādītājiNeles-Dīlas LidojoŔais cietoksnis

S3 objektu uzglabāŔanas komanda Mail.ru mākoņkrātuve iztulkojis rakstu par to, kādi kritēriji ir svarÄ«gi, izvēloties objektu krātuvi. Tālāk teksts ir no autora viedokļa.

Runājot par objektu glabāŔanu, cilvēki parasti domā tikai par vienu lietu: cenu par TB/GB. Protams, Ŕī metrika ir svarÄ«ga, taču tā padara pieeju vienpusēju un pielÄ«dzina objektu glabāŔanu arhÄ«va glabāŔanas rÄ«kam. Turklāt Ŕī pieeja samazina objektu uzglabāŔanas nozÄ«mi uzņēmuma tehnoloÄ£iju steksā.

Izvēloties objektu uzglabāŔanu, jums jāpievērÅ” uzmanÄ«ba piecām Ä«paŔībām:

  • veiktspēja;
  • mērogojamÄ«ba;
  • saderÄ«gs ar S3;
  • reakcija uz neveiksmēm;
  • integritāte.

Šie pieci raksturlielumi ir jauni objektu uzglabāŔanas rādītāji, kā arī izmaksas. Apskatīsim tos visus.

ŠŸŃ€Š¾ŠøŠ·Š²Š¾Š“ŠøтŠµŠ»ŃŒŠ½Š¾ŃŃ‚ŃŒ

Tradicionālajiem objektu veikaliem trÅ«kst veiktspējas. Pakalpojumu sniedzēji to pastāvÄ«gi upurēja, tiecoties pēc zemām cenām. Tomēr ar mÅ«sdienu priekÅ”metu glabāŔanu lietas ir atŔķirÄ«gas.

Dažādas uzglabāŔanas sistēmas tuvojas Hadoop ātrumam vai pat pārsniedz to. MÅ«sdienu prasÄ«bas lasÄ«Å”anas un rakstÄ«Å”anas ātrumam: no 10 GB/s cietajiem diskiem, lÄ«dz 35 GB/s NVMe. 

Å Ä« caurlaidspēja ir pietiekama Spark, Presto, Tensorflow, Teradata, Vertica, Splunk un citām modernām skaitļoÅ”anas sistēmām analÄ«tikas kaudzē. Fakts, ka MPP datu bāzes tiek konfigurētas objektu glabāŔanai, liecina, ka tā arvien vairāk tiek izmantota kā primārā krātuve.

Ja jÅ«su krātuves sistēma nenodroÅ”ina nepiecieÅ”amo ātrumu, jÅ«s nevarat izmantot datus un iegÅ«t no tiem vērtÄ«bu. Pat ja izgÅ«stat datus no objektu krātuves atmiņas apstrādes struktÅ«rā, jums joprojām bÅ«s nepiecieÅ”ams joslas platums, lai pārsÅ«tÄ«tu datus uz atmiņu un no tās. Mantoto objektu veikalos ar to nepietiek.

Tas ir galvenais: jaunā veiktspējas metrika ir caurlaidspēja, nevis latentums. Tas ir nepiecieÅ”ams liela mēroga datiem un ir mÅ«sdienu datu infrastruktÅ«ras norma.

Lai gan etaloni ir labs veids, kā noteikt veiktspēju, to nevar precÄ«zi izmērÄ«t pirms lietojumprogrammas palaiÅ”anas vidē. Tikai pēc tam jÅ«s varat pateikt, kur tieÅ”i ir saÅ”aurinājums: programmatÅ«rā, diskos, tÄ«klā vai skaitļoÅ”anas lÄ«menÄ«.

Mērogojamība

Mērogojamība attiecas uz petabaitu skaitu, kas ietilpst vienā nosaukumvietā. Pārdevēji apgalvo, ka ir viegli mērogojams, taču viņi nesaka, ka, palielinoties mērogam, masīvas monolītās sistēmas kļūst trauslas, sarežģītas, nestabilas un dārgas.

Jaunā mērogojamÄ«bas metrika ir to nosaukumvietu vai klientu skaits, kurus varat apkalpot. Metrika ir iegÅ«ta tieÅ”i no hiperskaleriem, kur krātuves bloki ir mazi, taču to apjoms var sasniegt miljardiem vienÄ«bu. Kopumā Ŕī ir mākoņa metrika.

Ja veidojoÅ”ie bloki ir mazi, tos ir vieglāk optimizēt droŔībai, piekļuves kontrolei, politikas pārvaldÄ«bai, dzÄ«ves cikla pārvaldÄ«bai un netraucējoÅ”iem atjauninājumiem. Un galu galā nodroÅ”ināt produktivitāti. Ēkas bloka izmērs ir atkarÄ«gs no bojājuma reÄ£iona vadāmÄ«bas, kas ir veids, kā tiek veidotas ļoti elastÄ«gas sistēmas.

Daudzkārtējai nomai ir daudz Ä«paŔību. Lai gan dimensija runā par to, kā organizācijas nodroÅ”ina piekļuvi datiem un lietojumprogrammām, tā attiecas arÄ« uz paŔām lietojumprogrammām un loÄ£iku, kā tās izolēt viena no otras.

Mūsdienīgas pieejas vairāku klientu raksturojums:

  • ÄŖsā laikā klientu skaits var pieaugt no vairākiem simtiem lÄ«dz vairākiem miljoniem.
  • Klienti ir pilnÄ«bā izolēti viens no otra. Tas ļauj tiem darbināt dažādas vienas un tās paÅ”as programmatÅ«ras versijas un uzglabāt objektus ar atŔķirÄ«gu konfigurāciju, atļaujām, lÄ«dzekļiem, droŔības un uzturÄ“Å”anas lÄ«meņiem. Tas ir nepiecieÅ”ams, mērogojot jaunus serverus, atjauninājumus un Ä£eogrāfiskās vietas.
  • Krātuve ir elastÄ«gi mērogojama, resursi tiek nodroÅ”ināti pēc pieprasÄ«juma.
  • Katru darbÄ«bu kontrolē API, un tā ir automatizēta bez cilvēka iejaukÅ”anās.
  • ProgrammatÅ«ru var mitināt konteineros un izmantot standarta orÄ·estrÄ“Å”anas sistēmas, piemēram, Kubernetes.

Saderīgs ar S3

Amazon S3 API ir de facto standarts objektu uzglabāŔanai. Katrs objektu uzglabāŔanas programmatÅ«ras pārdevējs apgalvo, ka ir saderÄ«gs ar to. SaderÄ«ba ar S3 ir bināra: vai nu tā ir pilnÄ«bā ieviesta, vai nav.

Praksē ir simtiem vai tÅ«kstoÅ”iem malu scenāriju, kad, izmantojot objektu krātuvi, kaut kas noiet greizi. ÄŖpaÅ”i no patentētas programmatÅ«ras un pakalpojumu sniedzējiem. Tās galvenie lietoÅ”anas gadÄ«jumi ir tieŔā arhivÄ“Å”ana vai dublÄ“Å”ana, tāpēc ir maz iemeslu izsaukt API, lietoÅ”anas gadÄ«jumi ir viendabÄ«gi.

Atvērtā pirmkoda programmatÅ«rai ir ievērojamas priekÅ”rocÄ«bas. Tas aptver lielāko daļu malas scenāriju, ņemot vērā lietojumprogrammu, operētājsistēmu un aparatÅ«ras arhitektÅ«ru lielumu un dažādÄ«bu.

Tas viss ir svarÄ«gi aplikāciju izstrādātājiem, tāpēc ir vērts lietojumprogrammu testēt pie krātuves nodroÅ”inātājiem. Atvērtais avots atvieglo procesu ā€” ir vieglāk saprast, kura platforma ir piemērota jÅ«su lietojumprogrammai. Pakalpojumu sniedzēju var izmantot kā vienu ieejas punktu krātuvē, kas nozÄ«mē, ka tas atbildÄ«s jÅ«su vajadzÄ«bām. 

Atvērtā koda nozÄ«mē: lietojumprogrammas nav piesaistÄ«tas piegādātājam un ir pārredzamākas. Tas nodroÅ”ina ilgu pielietojuma dzÄ«ves ciklu.

Un vēl dažas piezÄ«mes par atvērto avotu un S3. 

Ja izmantojat lielo datu lietojumprogrammu, S3 SELECT par lielumu uzlabo veiktspēju un efektivitāti. Tas tiek darÄ«ts, izmantojot SQL, lai no krātuves izgÅ«tu tikai nepiecieÅ”amos objektus.

Galvenais ir atbalsts segmentu paziņojumiem. Grupas paziņojumi atvieglo skaitļoÅ”anu bez serveriem, kas ir svarÄ«ga jebkuras mikropakalpojumu arhitektÅ«ras sastāvdaļa, kas tiek piegādāta kā pakalpojums. Tā kā objektu krātuve faktiski ir mākoņkrātuve, Ŕī iespēja kļūst kritiska, ja objektu krātuvi izmanto mākoņa lietojumprogrammas.

Visbeidzot, S3 ievieÅ”anai ir jāatbalsta Amazon S3 servera puses Å”ifrÄ“Å”anas API: SSE-C, SSE-S3, SSE-KMS. Vēl labāk, S3 atbalsta aizsardzÄ«bu pret viltojumiem, kas ir patiesi droÅ”a. 

Reakcija uz neveiksmēm

Metrika, kas, iespējams, bieži tiek ignorēta, ir tas, kā sistēma apstrādā kļūmes. Kļūmes rodas dažādu iemeslu dēļ, un objektu glabāŔanai tās visas ir jārisina.

Piemēram, ir viens kļūmes punkts, un tā metrika ir nulle.

Diemžēl daudzas objektu uzglabāŔanas sistēmas izmanto Ä«paÅ”us mezglus, kas ir jāiespējo, lai klasteris darbotos pareizi. Tie ietver nosaukumu mezglus vai metadatu serverus ā€” tas rada vienu atteices punktu.

Pat tad, ja ir vairāki neveiksmju punkti, vissvarÄ«gākā ir spēja izturēt katastrofālas neveiksmes. Diski neizdodas, serveri neizdodas. Galvenais ir izveidot programmatÅ«ru, kas paredzēta kļūmei kā normālam stāvoklim. Ja disks vai mezgls neizdodas, Ŕāda programmatÅ«ra turpinās darboties bez izmaiņām.

IebÅ«vētā aizsardzÄ«ba pret datu dzÄ“Å”anu un datu pasliktināŔanos nodroÅ”ina, ka varat zaudēt tik daudz disku vai mezglu, cik jums ir paritātes bloki ā€” parasti pusi no diskiem. Tikai tad programmatÅ«ra nevarēs atgriezt datus.

Kļūme tiek reti pārbaudÄ«ta zem slodzes, taču Ŕāda pārbaude ir nepiecieÅ”ama. Imitējot slodzes atteici, tiks parādÄ«tas kopējās izmaksas, kas raduŔās pēc atteices.

Konsekvence

100% konsekvences rādÄ«tāju sauc arÄ« par stingru konsekvenci. Konsekvence ir jebkuras uzglabāŔanas sistēmas galvenā sastāvdaļa, taču spēcÄ«ga konsekvence ir reti sastopama. Piemēram, Amazon S3 ListObject nav stingri konsekvents, tas ir konsekvents tikai beigās.

Ko nozīmē stingra konsekvence? Visām darbībām pēc apstiprinātas PUT darbības ir jānotiek tālāk norādītajam.

  • Atjauninātā vērtÄ«ba ir redzama, lasot no jebkura mezgla.
  • Atjauninājums ir aizsargāts pret mezgla atteices dublÄ“Å”anu.

Tas nozÄ«mē, ka ieraksta vidÅ« izraujot kontaktdakÅ”u, nekas netiks zaudēts. Sistēma nekad neatgriež bojātus vai novecojuÅ”us datus. Å Ä« ir augsta latiņa, kas ir svarÄ«ga daudzos scenārijos, sākot no darÄ«jumu lietojumprogrammām lÄ«dz dublÄ“Å”anai un atkopÅ”anai.

Secinājums

Tie ir jauni objektu krātuves rādÄ«tāji, kas atspoguļo lietoÅ”anas modeļus mÅ«sdienu organizācijās, kur veiktspēja, konsekvence, mērogojamÄ«ba, kļūdu domēni un S3 savietojamÄ«ba ir mākoņa lietojumprogrammu un lielo datu analÄ«zes pamatelementi. Es iesaku izmantot Å”o sarakstu papildus cenai, veidojot modernas datu skursteņus. 

Par Mail.ru Cloud Solutions objektu krātuvi: S3 arhitektÅ«ra. 3 gadi Mail.ru mākoņkrātuves evolÅ«cijā.

Ko vēl lasīt:

  1. Piemērs uz notikumu balstītai lietojumprogrammai, kuras pamatā ir tīmekļa aizķeres S3 objektu krātuvē Mail.ru Cloud Solutions.
  2. Vairāk nekā Ceph: MCS mākoņa bloku krātuve 
  3. Darbs ar Mail.ru Cloud Solutions S3 objektu krātuvi kā failu sistēmu.
  4. MÅ«su telegrammas kanāls ar ziņām par S3 krātuves un citu produktu atjauninājumiem. 

Avots: www.habr.com

Pievieno komentāru