S3 mea e teu ai poloaiga fa'aliliu se tala e uiga i ta'iala e taua pe a filifilia se mea e teu ai mea. O lo'o mulimuli mai le tusitusiga mai le va'aiga a le tusitala.
A oʻo mai i le teuina o mea, e masani lava ona mafaufau tagata i le mea e tasi: tau ile TB/GB. O le mea moni, o lenei metric e taua, ae e faia le auala e tasi le itu ma tutusa mea e teu ai mea ma se meafaigaluega e teu ai faamaumauga. E le gata i lea, o lenei faiga e faʻaitiitia ai le taua o le teuina o mea mo le faʻaputuga tekonolosi tau pisinisi.
A filifilia mea e teu ai mea, e tatau ona e gauai atu i uiga e lima:
- faatinoga;
- scalability;
- S3 fetaui;
- tali atu i faaletonu;
- amio sa'o.
O nei uiga e lima o ni fua fou mo le teuina o mea, faʻatasi ai ma le tau. Sei o tatou vaavaai i latou uma.
Gaioiga
O faleoloa mea masani e leai ni fa'atinoga. Na fa'ataulagaina e le au'aunaga i taimi uma i le sailiga o tau maualalo. Ae ui i lea, faatasi ai ma mea faʻaonaponei teuina mea e ese mea.
Ole tele o faiga teu oloa e latalata pe sili atu foi ile saoasaoa o Hadoop. Manaoga faʻaonaponei mo faitau ma tusitusi saoasaoa: mai le 10 GB / s mo taʻavale malosi, e oʻo atu i le 35 GB / s mo NVMe.
O lenei gaioiga e lava mo Spark, Presto, Tensorflow, Teradata, Vertica, Splunk ma isi faʻaputuga faʻaonaponei faʻaonaponei i le faʻapipiʻi faʻapipiʻi. O le mea moni o faʻamaumauga a le MPP o loʻo faʻatulagaina mo le teuina o mea e taʻu mai ai o loʻo faʻateleina le faʻaaogaina e avea ma mea e teu ai muamua.
Afai e le maua e lau masini teu le saoasaoa e te manaʻomia, e le mafai ona e faʻaogaina faʻamaumauga ma aveese mai ai le tau. E tusa lava pe e te toe aumaia faʻamatalaga mai mea e teu ai mea i totonu o le faʻatulagaina o mea e manatua ai, e te manaʻomia pea le bandwidth e faʻafeiloaʻi ai faʻamatalaga i ma mai le manatua. Legacy mea faitino faleoloa e le lava.
Ole mea taua lea: ole fua fa'atinoga fou ole fa'aulu, ae le o le fa'agasolo. E manaʻomia mo faʻamaumauga i le fua ma o le masani i atinaʻe faʻaonapo nei.
E ui o faʻailoga o se auala lelei e fuafua ai le faʻatinoga, e le mafai ona fuaina saʻo aʻo leʻi faʻaogaina le talosaga i le siosiomaga. Na'o le mae'a ai ona mafai ona e ta'u atu po'o fea tonu o lo'o i ai le fagu: i totonu o polokalama, tisiki, feso'ota'iga po'o le tulaga tau komepiuta.
Scalability
Scalability e fa'atatau i le numera o petabytes e fetaui ile tasi igoa avanoa. O le mea e fai mai ai le au fa'atau e faigofie ona fa'aleleia, o le mea latou te le fai mai a'o latou fuaina, o faiga monolithic tetele e avea ma ma'ale'ale, lavelave, le mautu, ma taugata.
Ole fua fou mo le fa'asili ole numera ole igoa po'o tagata e mafai ona e tautuaina. O le metric e ave saʻo mai hyperscalers, lea o poloka fale teu oloa e laʻititi ae fua ile piliona o iunite. I se tulaga lautele, o se metric ao lea.
A laʻititi poloka fale, e sili atu ona faigofie le faʻaogaina mo le saogalemu, faʻaogaina avanoa, pulega faʻavae, pulega o le olaga, ma faʻafouga e le faʻalavelave. Ma mulimuli ane faʻamautinoa le gaosiga. O le tele o le poloka faufale o se galuega o le puleaina o le itulagi toilalo, o le auala sili lea ona faʻaleleia faiga e fausia ai.
Tele mautotogi e tele uiga. A'o tautala le fua ile auala e tu'uina atu ai e fa'alapotopotoga le avanoa i fa'amaumauga ma talosaga, e fa'asino fo'i i talosaga lava latou ma le fa'atatau i tua o le fa'aesea mai le tasi ma le isi.
O uiga o se faiga fa'aonaponei i le tele o tagata fa'atau:
- I se taimi puʻupuʻu, o le numera o tagata faʻatau e mafai ona tupu mai le selau i le tele o miliona.
- O tagata fa'atau e matua vavae'ese mai le tasi i le isi. O lenei mea e mafai ai ona latou faʻatautaia ituaiga eseese o le polokalama lava e tasi ma teu mea faʻatasi ma faʻasalalauga eseese, faʻatagaga, foliga, saogalemu ma tulaga faʻaleleia. E mana'omia lenei mea pe a fa'asolo i 'au'aunaga fou, fa'afouga, ma fa'afanua.
- O le teuina e mafai ona faʻalauteleina, o punaoa e tuʻuina atu pe a manaʻomia.
- O taʻaloga taʻitasi e pulea e se API ma otometi e aunoa ma se faʻalavelave a tagata.
- E mafai ona fa'apipi'i polokalame i totonu o koneteina ma fa'aoga faiga fa'apitoa e pei ole Kubernetes.
S3 fetaui
O le Amazon S3 API o le tulaga moni mo le teuina o mea. So'o se mea e teu ai meafaitino fa'atau oloa e fa'apea e fetaui ma ia. Fegalegaleai ma le S3 o le binary: pe o loʻo faʻatinoina atoatoa pe leai.
I le fa'ata'ita'iga, e faitau selau pe faitau afe fa'aaliga pito e iai se mea e fa'aletonu pe a fa'aogaina mea e teu ai mea. Aemaise mai i latou o lo'o tu'uina atu polokalame fa'apitoa ma auaunaga. O ana fa'aoga autu o fa'amaumauga tu'usa'o po'o fa'amaumauga, o lea e i ai ni nai mafua'aga e vala'au ai le API, o fa'aoga fa'aoga e tutusa.
Open source software e iai fa'amanuiaga taua. E aofia ai le tele o faʻataʻitaʻiga pito, tuʻuina atu i le tele ma le tele o faʻaoga, faiga faʻaogaina, ma faʻataʻitaʻiga meafaigaluega.
O nei mea uma e taua mo tagata faʻapipiʻi talosaga, o lea e aoga ai le suʻeina o le talosaga ma tagata e teu oloa. Open source e faafaigofie ai le faagasologa—e faigofie ona malamalama po o le fea tulaga e sa'o mo lau talosaga. E mafai ona fa'aogaina le 'au'aunaga e fai ma mea e tasi e ulufale ai i le teuina, o lona uiga o le a fetaui ma ou mana'oga.
Open source o lona uiga: talosaga e le o noatia i se tagata fa'atau ma e sili atu ona manino. Ole mea lea e fa'amautinoa ai le umi ole fa'aogaina ole olaga.
Ma ni nai faʻamatalaga e uiga i punaoa tatala ma S3.
Afai o lo'o e fa'atinoina se fa'amatalaga tele, S3 SELECT e fa'aleleia le fa'atinoga ma le lelei i se fa'atonuga o le tele. E faia lenei mea e ala i le faʻaaogaina o le SQL e toe aumai naʻo mea e te manaʻomia mai le teuina.
O le manatu autu o le lagolago mo faʻamatalaga pakete. O fa'amatalaga o pakete e fa'afaigofie ai le komipiuta e leai se 'au'aunaga, o se vaega taua o so'o se fa'ata'ita'iga microservice e tu'uina atu o se tautua. Ona o le teuina o mea faitino e lelei le teuina o ao, o lenei gafatia e avea ma mea taua pe a faʻaogaina mea e teu ai mea e faʻaoga i luga ole ao.
Mulimuli ane, o le S3 faʻatinoga e tatau ona lagolagoina le Amazon S3 server-side encryption APIs: SSE-C, SSE-S3, SSE-KMS. E sili atu, e lagolagoina e le S3 le puipuiga o le faʻaogaina e saogalemu moni.
Tali i fa'aletonu
O se metric atonu e masani ona le amanaiaina o le auala e taulimaina ai e le faiga faʻaletonu. O fa'aletonu e tutupu ona o le tele o mafua'aga, ma o mea e teu ai mea e tatau ona taulimaina uma.
Mo se faʻataʻitaʻiga, o loʻo i ai se mea e tasi o le toilalo, o le metric o lenei mea e leai.
O le mea e leaga ai, o le tele o mea e teu ai mea e fa'aogaina ai nodes fa'apitoa e tatau ona fa'agaoioia mo le fuifui e galue lelei. O nei mea e aofia ai nodes igoa po'o metadata servers - e tupu ai se tasi itu o le toilalo.
E tusa lava po o fea e tele vaega o le toilalo, o le malosi e tetee atu ai i le faʻalavelave faʻalavelave e sili ona taua. Ua faaletonu tisiki, ua faaletonu le server. O le ki o le fatuina o polokalama faʻapipiʻi e faʻatautaia le toilalo e pei o se tulaga masani. Afai e le manuia se tisiki po'o se node, o ia polokalama o le a fa'aauau pea ona galue e aunoa ma ni suiga.
O le puipuiga fa'apipi'i mai le tapeina o fa'amaumauga ma le fa'aleagaina o fa'amaumauga e mautinoa ai e mafai ona e leiloa le tele o tisiki po'o nodes e pei ona i ai sau poloka pa'aga-e masani lava o le afa o tisiki. Na'o le taimi lena o le a le mafai ai e le software ona toe fa'afo'i fa'amaumauga.
O le toilalo e seasea tofotofoina i lalo o le uta, ae o ia suʻega e faʻamalosia. O le fa'ata'ita'iina o le fa'aletonu o uta o le a fa'aalia ai le aofa'i o tau na fa'atupuina pe a uma le fa'aletonu.
Fa'atasi
Ole sikoa tumau ole 100% e ta'ua fo'i ole fa'amautu. O le ogatasi o se vaega autu o so'o se faiga e teu ai, ae e seasea maua le fa'amautu malosi. Mo se faʻataʻitaʻiga, Amazon S3 ListObject e le faʻamaoni faʻatasi, e naʻo le faʻamautu i le faaiuga.
O le a le uiga o le matua'i tumau? Mo gaioiga uma pe a maeʻa le faʻamaonia o le PUT, e tatau ona tupu mea nei:
- O le tau fa'afou e iloa pe a faitau mai so'o se node.
- O le fa'afouga e puipuia mai le toe fa'aletonu o le node.
O lona uiga afai e te tosoina le palaka i le ogatotonu o se lipine, e leai se mea e leiloa. E le toe fa'afo'iina e le faiga fa'amatalaga leaga pe tuai. O se pa maualuga lea e taua i le tele o faʻaaliga, mai faʻamatalaga fefaʻatauaʻiga i faʻamaumauga ma toe faʻaleleia.
iʻuga
O fua fou ia e teu ai mea faitino e atagia mai ai le faʻaogaina o faʻaoga i faʻalapotopotoga i aso nei, lea o faʻatinoga, faʻasolosolo, faʻalauteleina, faʻaletonu vaega ma S3 fesoʻotaʻiga o poloka faʻavae mo faʻaoga ao ma faʻamaumauga tetele. Ou te fautuaina le faʻaogaina o lenei lisi faʻaopoopo i le tau pe a fausia faʻamaumauga faʻaonapo nei.
E uiga ile Mail.ru Cloud Solutions mea e teu ai mea: .
O le a se isi mea e faitau:
- .
- .
- .
puna: www.habr.com