Òrdugh stòraidh nì S3 eadar-theangaich artaigil mu dè na slatan-tomhais a tha cudromach nuair a thaghas tu stòradh stuth. Seo an teacsa bho shealladh an ùghdair.
Nuair a thig e gu stòradh stuthan, mar as trice chan eil daoine a’ smaoineachadh ach air aon rud: prìs gach TB / GB. Gu dearbh, tha an meatrach seo cudromach, ach tha e a 'dèanamh an dòigh-obrach aon-thaobhach agus a' co-ionnanachd stòradh stuth le inneal stòraidh tasglann. A bharrachd air an sin, tha an dòigh-obrach seo a’ lughdachadh cho cudromach sa tha stòradh stuthan airson a’ chruach teicneòlas iomairt.
Nuair a thaghas tu stòradh stuthan, bu chòir dhut aire a thoirt do chòig feartan:
- coileanadh
- scalability;
- S3 co-chòrdail;
- freagairt air fàilligeadh;
- ionracas.
Tha na còig feartan sin nan metrics ùra airson stòradh stuthan, còmhla ri cosgais. Bheir sinn sùil orra uile.
Coileanadh
Tha dìth coileanaidh aig stòran stuthan traidiseanta. Bha solaraichean seirbheis an-còmhnaidh ga ìobairt an tòir air prìsean ìosal. Ach, le stòradh stuthan ùr-nodha tha cùisean eadar-dhealaichte.
Bidh diofar shiostaman stòraidh a’ tighinn faisg air no eadhon nas àirde na astar Hadoop. Riatanasan ùr-nodha airson astaran leughaidh is sgrìobhaidh: bho 10 GB/s airson draibhean cruaidh, suas gu 35 GB/s airson NVMe.
Tha an gluasad seo gu leòr airson Spark, Presto, Tensorflow, Teradata, Vertica, Splunk agus frèaman coimpiutaireachd ùr-nodha eile anns a’ chruach anailitigeach. Tha an fhìrinn gu bheil stòran-dàta MPP gan rèiteachadh airson stòradh stuthan a’ nochdadh gu bheilear ga chleachdadh barrachd is barrachd mar phrìomh stòradh.
Mura toir an siostam stòraidh agad seachad an astar a tha a dhìth ort, chan urrainn dhut an dàta a chleachdadh agus luach a tharraing bhuaithe. Fiù ma gheibh thu dàta air ais bho stòradh stuthan gu structar giullachd cuimhne, bidh feum agad fhathast air leud-bann gus an dàta a ghluasad gu agus bhon chuimhne. Chan eil gu leòr dheth aig stòran dìleab.
Is e seo am prìomh phuing: is e an meatrach coileanaidh ùr throughput, chan e latency. Tha e riatanach airson dàta aig sgèile agus tha e àbhaisteach ann am bun-structar dàta an latha an-diugh.
Ged a tha slatan-tomhais nan dòigh math air coileanadh a dhearbhadh, chan urrainnear a thomhas gu ceart mus ruith an tagradh san àrainneachd. Is ann dìreach às deidh sin as urrainn dhut a ràdh càite dìreach a bheil an cnap-starra: ann am bathar-bog, diosgan, lìonra no aig ìre coimpiutaireachd.
Scalability
Tha scalability a’ toirt iomradh air an àireamh de phetabytes a tha a’ freagairt air aon àite ainm. Is e an rud a tha luchd-reic ag ràdh gu bheil e furasta scalability, is e an rud nach eil iad ag ràdh, mar a bhios iad a’ sgèile, gu bheil siostaman monolithic mòr a’ fàs cugallach, iom-fhillte, neo-sheasmhach agus daor.
Is e an meatrach ùr airson scalability an àireamh de dh’ àiteachan ainm no teachdaichean as urrainn dhut a fhrithealadh. Tha an meatrach air a thoirt gu dìreach bho hyperscalers, far a bheil na blocaichean togail stòraidh beag ach sgèile gu billeanan de dh'aonadan. San fharsaingeachd, is e meatrach sgòthan a tha seo.
Nuair a tha na blocaichean togail beag, tha iad nas fhasa an dèanamh as fheàrr airson tèarainteachd, smachd ruigsinneachd, riaghladh poileasaidh, riaghladh cuairt-beatha, agus ùrachaidhean nach eil a’ cur dragh orra. Agus mu dheireadh dèan cinnteach à cinneasachd. Tha meud a’ bhloca togail mar dhleastanas air smachd a chumail air an roinn teip, agus sin mar a tha siostaman fìor sheasmhach air an togail.
Tha mòran fheartan aig ioma-ghabhaltas. Fhad ‘s a tha an tomhas a’ bruidhinn air mar a bheir buidhnean cothrom air dàta agus tagraidhean, tha e cuideachd a ’toirt iomradh air na tagraidhean fhèin agus an reusanachadh air cùl a bhith gan dealachadh bho chèile.
Feartan dòigh-obrach ùr-nodha a thaobh ioma-chleachdaiche:
- Ann an ùine ghoirid, faodaidh an àireamh de luchd-dèiligidh fàs bho ghrunn cheudan gu grunn mhilleanan.
- Tha luchd-ceannach gu tur iomallach bho chèile. Leigidh seo leotha dreachan eadar-dhealaichte den aon bhathar-bog a ruith agus nithean a stòradh le diofar rèiteachaidhean, ceadan, feartan, tèarainteachd agus ìrean cumail suas. Tha seo riatanach nuair a thathar a’ sgèileadh gu frithealaichean ùra, ùrachaidhean, agus cruinn-eòlas.
- Tha an stòradh scalable gu elastic, tha goireasan air an toirt seachad a rèir iarrtas.
- Tha gach gnìomh fo smachd API agus tha e fèin-ghluasadach gun eadar-theachd daonna.
- Faodar bathar-bog a chumail ann an soithichean agus cleachd siostaman orcastra àbhaisteach leithid Kubernetes.
S3 co-chòrdail
Is e an Amazon S3 API an ìre de facto airson stòradh stuthan. Bidh a h-uile neach-reic bathar-bog stòraidh ag ràdh gu bheil iad co-chòrdail ris. Tha co-chòrdalachd le S3 binary: an dàrna cuid tha e air a làn bhuileachadh no chan eil.
Ann an cleachdadh, tha ceudan no mìltean de shuidheachaidhean iomaill ann far a bheil rudeigin a 'dol ceàrr nuair a bhios tu a' cleachdadh stòradh stuth. Gu sònraichte bho sholaraichean bathar-bog agus seirbheisean seilbhe. Is e na prìomh chùisean cleachdaidh aige tasglann dìreach no cùl-taic, agus mar sin chan eil mòran adhbharan ann airson an API a ghairm, tha na cùisean cleachdaidh aon-ghnèitheach.
Tha buannachdan mòra aig bathar-bog stòr fosgailte. Tha e a’ còmhdach a’ mhòr-chuid de shuidheachaidhean iomaill, le meud agus measgachadh de thagraidhean, siostaman obrachaidh, agus ailtireachd bathar-cruaidh.
Tha seo uile cudromach do luchd-leasachaidh aplacaid, agus mar sin is fhiach an tagradh a dhearbhadh le solaraichean stòraidh. Bidh stòr fosgailte a’ dèanamh a’ phròiseas nas fhasa - tha e nas fhasa tuigsinn dè an àrd-ùrlar a tha ceart airson an tagraidh agad. Faodar an solaraiche a chleachdadh mar aon àite inntrigidh airson stòradh, a’ ciallachadh gun coinnich e ris na feumalachdan agad.
Tha stòr fosgailte a’ ciallachadh: chan eil tagraidhean ceangailte ri reiceadair agus tha iad nas soilleire. Bidh seo a’ dèanamh cinnteach gum bi cuairt-beatha tagraidh fada ann.
Agus beagan notaichean eile mu dheidhinn còd fosgailte agus S3.
Ma tha thu a’ ruith tagradh dàta mòr, bidh S3 SELECT a’ leasachadh coileanadh agus èifeachdas le òrdugh meudachd. Bidh e a’ dèanamh seo le bhith a’ cleachdadh SQL gus dìreach na nithean a tha a dhìth ort fhaighinn air ais bho stòradh.
Is e am prìomh phuing taic airson fiosan bucaid. Bidh brathan bucaid a’ comasachadh coimpiutaireachd gun fhrithealaiche, na phàirt chudromach de ailtireachd microservice sam bith a thèid a lìbhrigeadh mar sheirbheis. Leis gur e stòradh neòil a th’ ann an stòradh stuthan gu h-èifeachdach, bidh an comas seo a’ fàs deatamach nuair a bhios stòradh stuthan air a chleachdadh le tagraidhean stèidhichte air sgòthan.
Mu dheireadh, feumaidh buileachadh S3 taic a thoirt do APIan crioptachaidh taobh frithealaiche Amazon S3: SSE-C, SSE-S3, SSE-KMS. Fiù ‘s nas fheàrr, tha S3 a’ toirt taic do dhìon tamper a tha dha-rìribh tèarainte.
Freagairt air fàilligeadh
Is e meatrach a thathas gu tric a’ dearmad mar a làimhsicheas an siostam fàilligidhean. Bidh fàilligidhean a’ tachairt airson grunn adhbharan, agus feumaidh stòradh stuthan dèiligeadh riutha uile.
Mar eisimpleir, tha aon phuing fàilligeadh ann, is e neoni an meatrach seo.
Gu mì-fhortanach, bidh mòran de shiostaman stòraidh stuthan a’ cleachdadh nodan sònraichte a dh’ fheumas a bhith air an comasachadh gus an obraich a’ bhuidheann gu ceart. Tha iad sin a’ toirt a-steach nodan ainm no frithealaichean meata-dàta - tha seo a’ cruthachadh aon phuing fàilligeadh.
Fiù ‘s far a bheil grunn phuingean fàiligeadh, tha an comas seasamh an aghaidh fàilligeadh tubaisteach air leth cudromach. Bidh diosgan a’ fàiligeadh, bidh frithealaichean a’ fàiligeadh. Is e an iuchair bathar-bog a chruthachadh a tha air a dhealbhadh gus fàilligeadh a làimhseachadh mar chumha àbhaisteach. Ma dh’ fhailicheas diosg no nòta, leanaidh am bathar-bog sin ag obair gun atharrachadh.
Bidh dìon stèidhichte an aghaidh sgrìobadh dàta agus truailleadh dàta a’ dèanamh cinnteach gun urrainn dhut na h-uimhir de dhioscaichean no nodan a chall ’s a tha agad le blocaichean co-ionannachd - mar as trice leth nan diosc. Is ann dìreach an uairsin a bhios am bathar-bog comasach air dàta a thilleadh.
Is ann ainneamh a thèid an teip a dhearbhadh fo luchd, ach tha feum air a leithid de dheuchainn. Le bhith a’ dèanamh atharrais air fàilligeadh luchdan seallaidh sin na cosgaisean iomlan a thig orra às deidh an teip.
Co-chòrdadh
Canar cunbhalachd teann ri sgòr cunbhalachd de 100%. Tha cunbhalachd na phrìomh phàirt de shiostam stòraidh sam bith, ach is ann ainneamh a tha cunbhalachd làidir. Mar eisimpleir, chan eil Amazon S3 ListObject gu tur cunbhalach, chan eil e ach co-chòrdail aig an deireadh.
Dè tha e a’ ciallachadh le cunbhalachd teann? Airson a h-uile gnìomhachd às deidh gnìomhachd PUT dearbhte, feumaidh na leanas tachairt:
- Tha an luach ùraichte ri fhaicinn nuair a leughas tu bho nód sam bith.
- Tha an t-ùrachadh air a dhìon an aghaidh call obrach fàilligeadh nod.
Tha seo a’ ciallachadh ma tharraingeas tu am pluga ann am meadhan clàraidh, nach tèid dad a chall. Cha till an siostam gu bràth air ais dàta truaillidh no seann-fhasanta. Is e bàr àrd a tha seo a tha cudromach ann an iomadh suidheachadh, bho thagraidhean gnìomh gu cùl-taic agus faighinn air ais.
co-dhùnadh
Is e seo metrics stòraidh stuthan ùra a tha a’ nochdadh pàtrain cleachdaidh ann am buidhnean an latha an-diugh, far a bheil coileanadh, cunbhalachd, scalability, raointean locht agus co-chòrdalachd S3 mar bhlocaichean togail airson tagraidhean sgòthan agus mion-sgrùdadh dàta mòr. Tha mi a’ moladh an liosta seo a chleachdadh a bharrachd air prìs nuair a bhios tu a’ togail stacan dàta ùr-nodha.
Mu dheidhinn stòradh stuth Mail.ru Cloud Solutions: .
Dè eile ri leughadh:
- .
- .
- .
Source: www.habr.com