baiko fitahirizana zavatra S3 nandika lahatsoratra momba ny fepetra manan-danja rehefa mifidy fitahirizana zavatra. Ity manaraka ity ny lahatsoratra avy amin'ny fomba fijerin'ny mpanoratra.
Raha resaka fitahirizana zavatra, zavatra iray ihany no eritreretin'ny olona matetika: vidiny isaky ny TB/GB. Mazava ho azy fa zava-dehibe io metrika io, saingy mahatonga ny fomba fijery tokana ary mampitovy ny fitahirizana zavatra amin'ny fitaovana fitahirizana arisiva. Fanampin'izany, ity fomba ity dia mampihena ny maha-zava-dehibe ny fitahirizana zavatra ho an'ny fitambaran'ny teknolojia orinasa.
Rehefa mifidy zavatra fitahirizana dia tokony handinika toetra dimy:
- fampisehoana;
- scalability;
- S3 mifanentana;
- valiny amin'ny tsy fahombiazana;
- tsy fivadihana.
Ireo toetra dimy ireo dia metrika vaovao ho an'ny fitahirizana zavatra, miaraka amin'ny vidiny. Andeha hojerentsika izy rehetra.
vokatra
Ny fivarotana zavatra nentim-paharazana dia tsy ampy fahombiazana. Ny mpanome tolotra dia nanao sorona izany tsy tapaka ho fikatsahana ny vidiny mora. Na izany aza, amin'ny fitahirizana zavatra maoderina dia hafa ny zavatra.
Ny rafitra fitahirizana isan-karazany dia manatona na mihoatra ny hafainganam-pandehan'ny Hadoop. Fepetra maoderina amin'ny hafainganam-pandeha mamaky sy manoratra: manomboka amin'ny 10 GB/s ho an'ny kapila mafy, hatramin'ny 35 GB/s ho an'ny NVMe.
Ampy ho an'ny Spark, Presto, Tensorflow, Teradata, Vertica, Splunk ary rafitra informatika maoderina hafa ao amin'ny stack analyse ity fampandehanana ity. Ny zava-misy fa ny angon-drakitra MPP dia amboarina ho an'ny fitahirizana zavatra dia manondro fa mihamitombo hatrany ny fampiasana azy ho fitahirizana voalohany.
Raha tsy manome ny hafainganam-pandeha ilainao ny rafitra fitahirizanao, dia tsy afaka mampiasa ny angon-drakitra ianao ary manala ny sandany. Na dia maka angon-drakitra avy amin'ny fitahirizana zavatra ho ao anaty rafitra fanodinana ao anaty fitadidiana aza ianao, dia mbola mila bandwidth ianao mba handefasana ny angona mankany amin'ny fahatsiarovana. Tsy ampy izany ny fivarotana zavatra lova.
Ity no teboka manan-danja: ny metrika fampisehoana vaovao dia ny fampandehanana, fa tsy ny fahatarana. Ilaina amin'ny angon-drakitra amin'ny ambaratonga izany ary mahazatra amin'ny fotodrafitrasa angona maoderina.
Na dia fomba tsara hamaritana ny zava-bita aza ny mari-pamantarana, dia tsy azo refesina tsara izany alohan'ny hampandehanana ny fampiharana amin'ny tontolo iainana. Aorian'io dia azonao atao ny milaza hoe aiza marina ny bottleneck: amin'ny logiciel, disks, tambajotra na eo amin'ny sehatry ny informatika.
Scalability
Ny scalability dia manondro ny isan'ny petabytes mifanaraka amin'ny namespace iray. Ny zavatra lazain'ny mpivarotra dia mora scalability, ny tsy lazainy dia ny hoe rehefa mihalehibe izy ireo, ny rafitra monolithic goavambe dia lasa marefo, sarotra, tsy marin-toerana ary lafo.
Ny metrika vaovao ho an'ny scalability dia ny isan'ny namespaces na mpanjifa azonao tompoina. Ny metric dia alaina mivantana avy amin'ny hyperscalers, izay ny trano fitehirizana dia kely nefa mirefy amin'ny an'arivony tapitrisa. Amin'ny ankapobeny, metrika rahona ity.
Rehefa kely ny trano fanorenana dia mora kokoa ny manatsara ny fiarovana, ny fanaraha-maso ny fidirana, ny fitantanana ny politika, ny fitantanana ny fiainana ary ny fanavaozana tsy manelingelina. Ary farany miantoka ny famokarana. Ny haben'ny trano fanorenana dia asan'ny fanaraha-maso ny faritra tsy fahombiazana, izay ny fomba fananganana rafitra matanjaka.
Ny multi-tenancy dia manana toetra maro. Raha miresaka momba ny fomba omen'ny fikambanana ny fidirana amin'ny angona sy ny rindranasa ny refy, dia manondro ihany koa ireo rindranasa sy ny lojika ao ambadiky ny fampisaraka azy ireo.
Ny toetra mampiavaka ny fomba fiasa maoderina amin'ny mpanjifa marobe:
- Ao anatin'ny fotoana fohy, ny isan'ny mpanjifa dia mety hitombo avy amin'ny an-jatony ka hatramin'ny tapitrisa maromaro.
- Mitokana tanteraka ny mpanjifa. Izany dia ahafahan'izy ireo mampandeha dikan-teny samihafa amin'ny rindrambaiko mitovy ary mitahiry zavatra miaraka amin'ny fanamafisana, fahazoan-dΓ lana, endri-javatra, fiarovana ary fikojakojana samihafa. Ilaina izany rehefa manitatra ny lohamilina vaovao, ny fanavaozana ary ny jeografia.
- Ny fitahirizana dia azo esorina amin'ny elastika, omena ny loharanon-karena raha ilaina.
- Ny asa tsirairay dia fehezin'ny API ary mandeha ho azy tsy misy fitsabahan'ny olombelona.
- Ny logiciel dia azo apetraka ao anaty kaontenera ary mampiasa rafitra orkestra mahazatra toy ny Kubernetes.
S3 mifanentana
Ny Amazon S3 API no fenitra de facto ho an'ny fitahirizana zavatra. Ny mpivarotra rindrambaiko fitahirizana zavatra rehetra dia milaza fa mifanaraka aminy. Ny fifanarahana amin'ny S3 dia mimari-droa: na ampiharina tanteraka na tsia.
Amin'ny fampiharana, misy tranga an-jatony na an'arivony izay misy zavatra tsy mety rehefa mampiasa fitahirizana zavatra. Indrindra fa avy amin'ny mpamatsy rindrambaiko sy serivisy. Ny tranga fampiasana azy dia ny fitehirizana mivantana na ny backup, noho izany dia misy antony vitsivitsy hiantsoana ny API, ny tranga fampiasana dia homogeneous.
Ny rindrambaiko open source dia manana tombony lehibe. Izy io dia mandrakotra ny ankamaroan'ny toe-javatra amin'ny sisiny, raha jerena ny habeny sy ny isan-karazany ny fampiharana, ny rafitra fiasana ary ny maritrano fitaovana.
Zava-dehibe ho an'ny mpamorona fampiharana izany rehetra izany, noho izany dia mendrika ny hitsapana ny fampiharana miaraka amin'ireo mpamatsy fitahirizana. Ny loharano misokatra dia manamora ny fizotranyβmora kokoa ny mahatakatra hoe iza no sehatra mety amin'ny fampiharanao. Ny mpamatsy dia azo ampiasaina ho teboka tokana hidirana amin'ny fitahirizana, midika izany fa hahafeno ny filanao izany.
Open source dia midika hoe: tsy mifamatotra amin'ny mpivarotra ny fampiharana ary mangarahara kokoa. Izany dia miantoka ny faharetan'ny fampiharana.
Ary fanamarihana vitsivitsy momba ny loharano misokatra sy S3.
Raha mampiasa rindranasa data lehibe ianao, S3 SELECT dia manatsara ny fahombiazany sy ny fahombiazany amin'ny alΓ lan'ny halehiben'ny habeny. Manao izany amin'ny fampiasana SQL izy mba haka ireo zavatra ilainao avy amin'ny fitahirizana.
Ny hevi-dehibe dia ny fanohanana ny fampandrenesana siny. Ny fampandrenesana bucket dia manamora ny informatika tsy misy mpizara, singa manan-danja amin'ny maritrano microservice izay atolotra ho serivisy. Raha jerena fa ny fitahirizana zavatra dia fitahirizana rahona mahomby, io fahaiza-manao io dia lasa manan-danja rehefa ampiasain'ny fampiharana mifototra amin'ny rahona ny fitahirizana zavatra.
Farany, ny fampiharana S3 dia tsy maintsy manohana ny Amazon S3-side encryption APIs: SSE-C, SSE-S3, SSE-KMS. Na tsara kokoa aza, ny S3 dia manohana ny fiarovana ny tamper izay tena azo antoka.
Famaliana ny tsy fahombiazana
Ny metrika iray izay matetika tsy nojerena dia ny fomba itondran'ny rafitra ny tsy fahombiazana. Mitranga ny tsy fahombiazana noho ny antony samihafa, ary ny fitahirizana zavatra dia tsy maintsy miatrika azy rehetra.
Ohatra, misy teboka tokana tsy fahombiazana, ny metrika amin'ity dia aotra.
Indrisy anefa fa maro ny rafitra fitahirizana zavatra no mampiasa nodes manokana izay tsy maintsy avela ho an'ny cluster mba hiasa tsara. Anisan'izany ny nodes anarana na mpizara metadata - miteraka teboka tokana tsy fahombiazana izany.
Na dia misy teboka maromaro aza ny tsy fahombiazana, ny fahaizana manohitra ny tsy fahombiazan'ny loza dia zava-dehibe indrindra. Tsy nahomby ny disks, tsy nahomby ny mpizara. Ny fanalahidy dia ny mamorona rindrambaiko natao hiatrehana ny tsy fahombiazana toy ny fepetra mahazatra. Raha toa ka tsy nahomby ny kapila na node, dia hanohy hiasa tsy misy fiovana ny rindrambaiko toy izany.
Ny fiarovana naorina amin'ny famafana angon-drakitra sy ny fahapotehan'ny angona dia miantoka fa mety hamoy kapila na node betsaka araka izay anananao sakana parityβmatetika ny antsasaky ny kapila. Amin'izay fotoana izay ihany dia tsy afaka mamerina angona ny rindrambaiko.
Ny tsy fahombiazana dia zara raha sedraina eo ambanin'ny enta-mavesatra, fa ny fitiliana toy izany dia tsy maintsy atao. Ny fanaovana simulation ny tsy fahombiazan'ny enta-mavesatra dia hampiseho ny totalin'ny vola lany taorian'ny tsy fahombiazana.
tapaka
Ny isa tsy miovaova 100% dia antsoina koa hoe tsy miovaova. Ny tsy fitoviana dia singa manan-danja amin'ny rafitra fitahirizana rehetra, saingy tsy fahita firy ny tsy fitoviana matanjaka. Ohatra, ny Amazon S3 ListObject dia tsy mifanaraka tanteraka, mifanaraka amin'ny farany ihany.
Inona no atao hoe tsy miovaova henjana? Ho an'ny asa rehetra aorian'ny hetsika PUT voamarina dia tsy maintsy misy ireto manaraka ireto:
- Ny sanda nohavaozina dia hita rehefa mamaky avy amin'ny node rehetra.
- Ny fanavaozana dia voaaro amin'ny tsy fahombiazan'ny node.
Midika izany fa raha misintona ny plug eo afovoan'ny fandraisam-peo ianao dia tsy hisy ho very. Tsy mamerina ny angona simba na lany andro mihitsy ny rafitra. Ity dia bara avo izay manan-danja amin'ny toe-javatra maro, manomboka amin'ny fampiharana transactional mankany amin'ny backup sy ny fanarenana.
famaranana
Ireo dia mari-pamantarana fitahirizana zavatra vaovao izay maneho ny lamina ampiasaina amin'ny fikambanana ankehitriny, izay ny fampisehoana, ny tsy fitoviana, ny scalability, ny sehatra misy hadisoana ary ny fampifanarahana S3 no singa fanorenana ho an'ny rindranasa rahona sy famakafakana data lehibe. Manoro hevitra ny hampiasa an'ity lisitra ity aho ho fanampin'ny vidiny rehefa manangana antontam-baovao maoderina.
Momba ny fitahirizana zavatra Mail.ru Cloud Solutions: .
Inona koa no vakiana:
- .
- .
- .
Source: www.habr.com