S3 amarka kaydinta shayga tarjumay maqaal ku saabsan waxa shuruudaha muhiimka ah marka la dooranayo kaydinta shay. Qoraalku waa kan soo socda ee dhinaca qoraaga.
Marka ay timaado kaydinta shayga, dadku caadi ahaan waxay ka fikiraan hal shay: qiimaha TB/GB. Dabcan, mitirkani waa muhiim, laakiin wuxuu ka dhigayaa habka hal-dhinac wuxuuna barbar dhigayaa kaydinta shayga iyo qalabka kaydinta kaydinta. Intaa waxaa dheer, habkani wuxuu yareynayaa muhiimada kaydinta shayga ee kaydinta tignoolajiyada ganacsiga.
Markaad dooranayso kaydinta shayga, waa inaad fiiro gaar ah u yeelataa shan sifo:
- waxqabadka;
- scalability;
- S3 waafaqsan;
- jawaab-celinta guul-darrooyinka;
- daacadnimo.
Shantan sifo waa cabbiro cusub oo loogu talagalay kaydinta shayga, oo ay weheliso kharash. Bal aan wada eegno.
Wax-soo-saarka
Dukaamada alaabta dhaqameedku wax qabad la'aan. Bixiyeyaasha adeegga ayaa si joogto ah u huray iyaga oo raadinaya qiimo jaban. Si kastaba ha noqotee, iyada oo la adeegsanayo kaydinta shayga casriga ah arrimuhu way ka duwan yihiin.
Nidaamyada kaydinta ee kala duwan ayaa soo dhawaada ama xitaa dhaafa xawaaraha Hadoop. Shuruudaha casriga ah ee akhrinta iyo qorista xawaaraha: laga bilaabo 10 GB/s ee darawallada adag, ilaa 35 GB/s ee NVMe.
Wax-soo-saarkan ayaa ku filan Spark, Presto, Tensorflow, Teradata, Vertica, Splunk iyo qaabab kale oo kombuyuutar oo casri ah oo ku jira xirmada falanqaynta. Xaqiiqda ah in kaydinta MPP loo habeeyey kaydinta shayga waxay soo jeedinaysaa in si isa soo taraysa loo isticmaalo kaydinta aasaasiga ah.
Haddii nidaamka kaydintaagu aanu ku siin xawaaraha aad u baahan tahay, ma isticmaali kartid xogta oo kama saari kartid qiimaha. Xitaa haddii aad xogta ka soo saartid kaydinta shayga oo aad gasho qaab-dhismeedka xusuusta, waxa aad wali u baahan doontaa xadhkaha xadhkaha goosha si aad xogta ugu wareejiso ugana soo noqoto xusuusta. Bakhaarada walxaha dhaxalka ah kuma filna.
Tani waa qodobka ugu muhiimsan: cabbirka waxqabadka cusub waa wax-soo-saarka, maaha daahitaanka. Waxaa looga baahan yahay xogta miisaan ahaan waana caadada kaabayaasha xogta casriga ah.
Iyadoo bartilmaameedyadu ay yihiin hab wanaagsan oo lagu go'aamiyo waxqabadka, si sax ah looma qiyaasi karo ka hor inta aan la bilaabin codsiga deegaanka. Kaliya ka dib waxa aad sheegi kartaa meesha saxda ah ee dhalodu tahay: software, disks, network ama heerka xisaabinta.
Miisaanka
Miisaankani waxa loola jeedaa tirada petabytes ee ku habboon hal magac. Waxa iibiyayaashu ku andacoonayaan waa miisaan fudud, waxa aanay odhan waa marka ay miisaamayaan, nidaamyada monolithic ee aadka u weyni waxay noqdaan kuwo jilicsan, adag, aan degganayn, iyo qaali.
Qiyaasta cusub ee miisaanka waa tirada meelaha magacyada ama macaamiisha aad u adeegi karto. Qiyaasta waxaa si toos ah looga soo qaadaa hyperscalers, halkaas oo baloogyada wax lagu kaydiyo ay yar yihiin laakiin ay le'eg yihiin balaayiin unug. Guud ahaan, tani waa cabbirka daruuraha.
Marka dhismayaashu yar yihiin, way fududahay in la hagaajiyo amniga, xakamaynta gelitaanka, maaraynta siyaasadda, maaraynta meertada nolosha, iyo cusbooneysiinta aan qasnayn. Iyo ugu dambeyntii hubi wax soo saarka. Baaxadda dhismaha dhismuhu waa shaqo ka mid ah xakamaynta gobolka fashilantay, taas oo ah sida nidaamyada adkeysigu u dhisan yihiin.
Kiraysiga badan wuxuu leeyahay sifooyin badan. Iyadoo cabbirku uu ka hadlayo sida ururadu u bixiyaan helitaanka xogta iyo codsiyada, waxay sidoo kale tilmaamaysaa codsiyada laftooda iyo macquulka ka dambeeya inay midba midka kale ka soocaan.
Astaamaha habka casriga ah ee macaamiisha badan:
- Muddo gaaban gudaheed, tirada macaamiishu waxay ka kori karaan dhowr boqol ilaa dhowr milyan.
- Macaamiisha ayaa gabi ahaanba ka go'doonsan midba midka kale. Tani waxay u oggolaanaysaa inay socodsiiyaan noocyo kala duwan oo isla software ah oo ay ku kaydiyaan walxo leh qaabab kala duwan, oggolaansho, astaamo, amniga iyo heerarka dayactirka. Tani waxay lagama maarmaan u tahay marka la miisaaminayo server-yada cusub, cusbooneysiinta, iyo juqraafiyada.
- Kaydinta ayaa ah mid si qoto dheer loo cabbiri karo, agabka waxaa lagu bixiyaa baahida.
- Qalliin kasta waxaa gacanta ku haya API oo si otomaatig ah ayaa loo sameeyaa iyada oo aan la helin faragelin bini'aadam.
- Software-ka waxaa lagu kaydin karaa weelasha oo la isticmaalo hababka orchestration caadiga ah sida Kubernetes.
S3 waafaqsan
Amazon S3 API waa heerka dhabta ah ee kaydinta shayga. Iibiyaha software kasta oo kaydinta shay wuxuu sheeganayaa waafaqid. La jaanqaadka S3 waa binary: ama si buuxda ayaa loo fuliyay ama maahan.
Ficil ahaan, waxaa jira boqolaal ama kumanaan xaaladood oo cidhif ah oo ay wax khaldan yihiin marka la isticmaalayo kaydinta shay. Gaar ahaan bixiyayaasha software iyo adeegyada gaarka ah. Kiisaskeeda ugu muhiimsan waa kaydinta tooska ah ama kaydinta, markaa waxaa jira sababo yar oo loogu yeero API, kiisaska isticmaalku waa isku mid.
Isha furan software waxay leedahay faa'iidooyin la taaban karo. Waxay dabooshaa inta badan xaaladaha cidhifyada, marka loo eego cabbirka iyo noocyada kala duwan ee codsiyada, nidaamyada hawlgalka, iyo naqshadaha qalabka.
Waxaas oo dhan waxay muhiim u yihiin horumarinta codsiyada, markaa waxaa habboon in la tijaabiyo arjiga bixiyeyaasha kaydinta. Isha furan ayaa ka dhigaysa habka mid fududβ way fududahay in la fahmo goobta ku habboon codsigaaga. Bixiyaha waxaa loo isticmaali karaa hal meel oo kaydinta laga soo galo, taasoo la macno ah inay dabooli doonto baahiyahaaga.
Isha furan macneheedu waa: codsiyadu kuma xidhna iibiye waana ay ka hufan yihiin Tani waxay xaqiijinaysaa wareegga nolosha codsiga dheer.
Iyo dhowr qoraal oo kale oo ku saabsan isha furan iyo S3.
Haddii aad wado arji xogeed weyn, S3 SELECT waxay hagaajinaysaa waxqabadka iyo hufnaanta iyadoo loo eegayo siday u kala horreeyaan. Tani waxay ku samaynaysaa adigoo isticmaalaya SQL si aad u soo ceshato kaliya walxaha aad uga baahan tahay kaydinta.
Qodobka ugu muhiimsan waa taageerada ogeysiisyada baaldiga. Ogeysiisyada baaldigu waxay fududeeyaan xisaabinta server-la'aanta, oo ah qayb muhiim ah oo ka mid ah qaab dhismeedka adeeg-yar ee adeeg kasta oo loo bixiyo adeeg ahaan. Marka la eego in kaydinta shayga ay si wax ku ool ah u tahay kaydinta daruuraha, awooddani waxay noqotaa mid muhiim ah marka kaydinta shayga ay isticmaalaan codsiyada ku salaysan daruuraha.
Ugu dambeyntii, hirgelinta S3 waa in ay taageertaa Amazon S3-dhinaca server-ka APIs: SSE-C, SSE-S3, SSE-KMS. Xitaa si ka sii wanaagsan, S3 waxay taageertaa ilaalinta faragelinta ee run ahaantii sugan.
Jawaabta guuldarrooyinka
Halbeegga laga yaabo in inta badan la iska indho tiro waa sida nidaamku u maareeyo guul-darrooyinka. Guul darooyinku waxay u dhacaan sababo kala duwan, kaydinta shayadana waa inay maamushaa dhamaantood.
Tusaale ahaan, waxaa jira hal dhibic oo guuldarro ah, cabbirka tani waa eber.
Nasiib darro, habab badan oo kaydinta shay ayaa adeegsada qanjidhada gaarka ah oo ay tahay in loo ogolaado kooxdu inay si habboon u shaqeyso. Kuwaas waxaa ka mid ah noodhka magaca ama server-yada xogta badan - tani waxay abuurtaa hal dhibic oo guuldarro ah.
Xataa halka ay jiraan dhibco badan oo guul-darro ah, awoodda u adkeysiga fashilka musiibada ayaa muhim ah. Disksku wuu fashilmay, adeegayaashuna way fashilmeen. Furaha ayaa ah in la abuuro software loogu talagalay in lagu xakameeyo fashilka xaalad caadi ah. Haddii disk ama noodhku guuldareysto, software-ka noocaas ah wuu sii shaqeyn doonaa iyada oo aan isbeddelin.
Ka-hortagga la dhisay ee ka dhanka ah tirtiridda xogta iyo hoos u dhaca xogta waxay hubinaysaa inaad lumin karto inta ugu badan ee saxanadaha ama noodhka inta aad leedahay qaybo siman-badanaa kala badh saxanadaha. Kaliya markaa software-ku ma awoodi doono inuu soo celiyo xogta.
Guuldarada ayaa ah mid naadir ah oo lagu tijaabiyo culeys, laakiin tijaabadan oo kale waa qasab. Ku-yeelashada rarka guul-darreysiga waxay tusi doontaa wadarta kharashyada la galay fashilka ka dib.
Joogteynta
Dhibcaha joogtada ah ee 100% ayaa sidoo kale loo yaqaan joogtayn adag. Joogteynta waa qayb muhiim ah oo ka mid ah nidaamka kaydinta, laakiin joogteynta xooggan waa naadir. Tusaale ahaan, Amazon S3 ListObject ma ahan mid joogto ah, kaliya waa joogto dhamaadka.
Maxaa loola jeedaa joogtayn adag? Dhammaan hawlgallada ka dambeeya hawlgalka PUT ee la xaqiijiyay, waxa soo socda waa inay dhacaan:
- Qiimaha la cusboonaysiiyay waa la arki karaa marka wax laga akhrinayo meel kasta.
- Cusboonaysiinta ayaa laga ilaaliyaa soo noqnoqda fashilka node
Tani waxay ka dhigan tahay in haddii aad furka ku soo jiiddo badhtamaha duubista, waxba ma lumin doono. Nidaamku waligii ma soo celiyo xogta kharriban ama duugowday. Tani waa bar sare oo muhiim u ah xaalado badan, laga bilaabo codsiyada macaamilka ilaa kaydinta iyo soo kabashada.
gunaanad
Kuwani waa jaangooyooyin kaydinta shayga cusub oo ka tarjumaya qaababka isticmaalka ee ururada maanta, halkaas oo waxqabadka, joogtaynta, miisaanka, meelaha khaladka ah iyo waafaqsanaanta S3 ay yihiin blocks dhismaha codsiyada daruuraha iyo falanqaynta xogta weyn. Waxaan ku talinayaa in la isticmaalo liiskan marka lagu daro qiimaha marka la dhisayo xirmooyinka xogta casriga ah.
Ku saabsan Mail.ru Cloud Solutions kaydinta shayga: .
Maxaa kale oo la akhriyaa:
- .
- .
- .
Source: www.habr.com