Kauoha mālama mea S3 unuhi ʻatikala e pili ana i nā mea nui i ke koho ʻana i kahi waiho mea. ʻO kēia ka kikokikona mai ka manaʻo o ka mea kākau.
I ka wā e pili ana i ka mālama ʻana i nā mea, noʻonoʻo wale ka poʻe i hoʻokahi mea: kumukūʻai no TB/GB. ʻOiaʻiʻo, he mea nui kēia metric, akā hana ia i ke ala hoʻokahi ʻaoʻao a hoʻohālikelike i ka waiho ʻana o nā mea me kahi mea mālama waihona. Hoʻohui, hoʻemi kēia ala i ke koʻikoʻi o ka mālama ʻana i nā mea no ka ʻenehana ʻenehana ʻoihana.
Ke koho ʻana i kahi mālama mea, pono ʻoe e hoʻolohe i ʻelima mau hiʻohiʻona:
- hana;
- scalability;
- S3 kūpono;
- pane i nā hemahema;
- pono.
ʻO kēia mau hiʻohiʻona ʻelima nā anana hou no ka mālama ʻana i nā mea, me ke kumukūʻai. E nānā kākou iā lākou a pau.
'Ohanahana
Loaʻa ka hana o nā hale kūʻai mea kuʻuna. Hāʻawi mau nā mea lawelawe i ka ʻimi ʻana i nā kumukūʻai haʻahaʻa. Eia naʻe, ʻokoʻa nā mea me ka mālama ʻana i nā mea hou.
Hoʻokokoke nā ʻōnaehana mālama like ʻole a ʻoi aku paha ma mua o ka wikiwiki o Hadoop. ʻO nā koi o kēia manawa no ka heluhelu a me ke kākau ʻana i ka wikiwiki: mai 10 GB/s no ka paʻakikī, a hiki i 35 GB/s no NVMe.
Ua lawa kēia throughput no Spark, Presto, Tensorflow, Teradata, Vertica, Splunk a me nā ʻōnaehana hoʻonohonoho hou hou i ka waihona analytics. ʻO ka ʻoiaʻiʻo ke hoʻonohonoho ʻia nei nā waihona MPP no ka mālama ʻana i nā mea i hōʻike ʻia e hoʻohana nui ʻia ana ma ke ʻano he waihona mua.
Inā ʻaʻole hāʻawi kāu ʻōnaehana mālama i ka wikiwiki āu e pono ai, ʻaʻole hiki iā ʻoe ke hoʻohana i ka ʻikepili a unuhi i ka waiwai mai ia mea. ʻOiai inā ʻoe e kiʻi i ka ʻikepili mai ka waiho ʻana i nā mea i loko o kahi hoʻolālā hoʻomanaʻo hoʻomanaʻo, pono ʻoe i ka bandwidth e hoʻololi i ka ʻikepili i ka hoʻomanaʻo. ʻAʻole lawa nā hale kūʻai mea hoʻoilina.
ʻO kēia ke kumu nui: ʻo ka metric hana hou ka throughput, ʻaʻole latency. Pono ia no ka ʻikepili ma ka pālākiō a ʻo ia ka mea maʻamau i ka ʻenehana ʻikepili hou.
ʻOiai he ala maikaʻi nā benchmarks e hoʻoholo ai i ka hana, ʻaʻole hiki ke ana pololei ʻia ma mua o ka holo ʻana i ka noi ma ke kaiapuni. Ma hope wale nō hiki iā ʻoe ke haʻi i kahi pololei o ka bottleneck: ma ka polokalamu, disks, network a i ʻole ka pae helu.
Scalability
Hōʻike ka Scalability i ka helu o nā petabytes i kūpono i kahi inoa inoa hoʻokahi. ʻO ka mea a nā mea kūʻai aku e ʻōlelo nei he maʻalahi ka scalability, ʻo ka mea a lākou e ʻōlelo ʻole ai, ʻoiai lākou e kau ana, lilo nā ʻōnaehana monolithic nui i palupalu, paʻakikī, paʻa ʻole, a pipiʻi.
ʻO ka metric hou no ka scalability ka helu o nā inoa inoa a i ʻole nā mea kūʻai aku hiki iā ʻoe ke lawelawe. Lawe pololei ʻia ka metric mai nā hyperscalers, kahi i liʻiliʻi ai nā poloka hale waihona akā ʻoi aku ka nui i nā piliona o nā ʻāpana. Ma keʻano laulā, he metric kapua kēia.
Ke liʻiliʻi nā poloka hale, ʻoi aku ka maʻalahi o ka hoʻopaʻa ʻana no ka palekana, ka hoʻokele ʻana, ka hoʻokele kulekele, ka hoʻokele ola, a me nā mea hou ʻole. A i ka hopena e hōʻoia i ka huahana. ʻO ka nui o ka pā hale he hana ia o ka mana o ka ʻāina hemahema, ʻo ia ke ʻano o ke kūkulu ʻia ʻana o nā ʻōnaehana kūpaʻa.
Nui nā hiʻohiʻona. ʻOiai e kamaʻilio ana ka nui i ka hāʻawi ʻana o nā hui i ka ʻikepili a me nā noi, pili pū ia i nā noi ponoʻī a me ke kumu o ka hoʻokaʻawale ʻana iā lākou mai kekahi i kekahi.
ʻO nā hiʻohiʻona o kahi ala hou i ka lehulehu-client:
- I ka manawa pōkole, hiki ke ulu ka nui o nā mea kūʻai mai nā haneli a i kekahi mau miliona.
- Hoʻokaʻawale loa nā mea kūʻai mai kekahi i kekahi. Hāʻawi kēia iā lākou e holo i nā ʻano like ʻole o ka polokalamu like a mālama i nā mea me nā ʻano hoʻonohonoho like ʻole, nā ʻae, nā hiʻohiʻona, ka palekana a me nā pae mālama. Pono kēia i ka wā e hoʻonui ai i nā kikowaena hou, nā mea hou, a me nā ʻāina.
- Hiki ke hoʻonui ʻia ka waihona, hāʻawi ʻia nā kumuwaiwai ma ke koi.
- Hoʻomalu ʻia kēlā me kēia hana e kahi API a hoʻohana ʻia me ka ʻole o ke komo ʻana o ke kanaka.
- Hiki ke mālama ʻia nā polokalamu i loko o nā pahu a hoʻohana i nā ʻōnaehana orkestra maʻamau e like me Kubernetes.
S3 kūpono
ʻO ka Amazon S3 API ka maʻamau de facto no ka mālama ʻana i nā mea. Ke koi nei kēlā me kēia mea kūʻai lako polokalamu mālama mea i ka hoʻohālikelike me ia. ʻO ka hoʻohālikelike me S3 he binary: ua hoʻokō piha ʻia a ʻaʻole paha.
I ka hoʻomaʻamaʻa ʻana, aia nā haneli a i ʻole mau tausani o nā hiʻohiʻona lihi kahi i hewa ai ke hoʻohana ʻana i kahi waiho mea. Maikaʻi mai nā mea hoʻolako lako polokalamu a me nā lawelawe. ʻO kāna mau mea hoʻohana nui he waihona pololei a hoʻihoʻi paha, no laila he liʻiliʻi nā kumu e kāhea ai i ka API, ua like nā hihia hoʻohana.
Loaʻa nā pōmaikaʻi nui o ka polokalamu open source. Hoʻopili ia i ka hapa nui o nā hiʻohiʻona ʻaoʻao, hāʻawi ʻia i ka nui a me nā ʻano like ʻole o nā noi, nā ʻōnaehana hana, a me nā hoʻolālā ʻenehana.
He mea nui kēia mau mea no nā mea hoʻomohala noi, no laila pono e hoʻāʻo i ka noi me nā mea mālama mālama. E maʻalahi ke kaʻina hana i ka open source—ʻoi aku ka maʻalahi o ka hoʻomaopopo ʻana i ke kahua kūpono no kāu noi. Hiki ke hoʻohana ʻia ka mea hoʻolako ma ke ʻano hoʻokahi o ke komo ʻana i loko o kahi waihona, ʻo ia hoʻi e hoʻokō i kāu mau pono.
Open source 'o ia hoʻi: ʻaʻole pili nā noi i kahi mea kūʻai aku a ʻoi aku ka maopopo. Mālama kēia i ka lōʻihi o ke ola o ka noi.
A me kekahi mau memo e pili ana i ka open source a me S3.
Inā ʻoe e holo ana i kahi noi ʻikepili nui, hoʻomaikaʻi ʻo S3 SELECT i ka hana a me ka pono ma ke ʻano o ka nui. Hana ia me ka hoʻohana ʻana iā SQL e kiʻi wale i nā mea āu e pono ai mai ka waiho ʻana.
ʻO ke kumu koʻikoʻi ke kākoʻo no nā leka hoʻomaopopo. Hoʻomaʻamaʻa nā leka hoʻomaopopo i ka serverless computing, kahi mea koʻikoʻi o nā hale hana microservice i hāʻawi ʻia ma ke ʻano he lawelawe. Hāʻawi ʻia ka mālama ʻana i nā mea i ka mālama ʻana i ke ao, lilo kēia mea koʻikoʻi i ka wā e hoʻohana ʻia ai ka mālama ʻana i nā mea e nā noi kapua.
ʻO ka mea hope loa, pono e kākoʻo ka hoʻokō S3 i nā API hoʻopunipuni ʻaoʻao kikowaena Amazon S3: SSE-C, SSE-S3, SSE-KMS. ʻOi aku ka maikaʻi, kākoʻo ʻo S3 i ka pale ʻana i paʻa pono.
Pane i nā hemahema
ʻO kahi metric i poina pinepine ʻia ʻo ia ke ʻano o ka mālama ʻana o ka ʻōnaehana i nā hemahema. Loaʻa nā hemahema no nā kumu like ʻole, a pono ke mālama ʻia nā mea a pau.
No ka laʻana, aia kahi helu o ka hāʻule ʻole, ʻo ka metric o kēia he zero.
ʻO ka mea pōʻino, hoʻohana nā ʻōnaehana hoʻopaʻa mea he nui i nā node kūikawā pono e hiki ke hoʻohana pono i ka hui. Hoʻopili kēia i nā nodes inoa a i ʻole nā kikowaena metadata - hana kēia i hoʻokahi wahi o ka hāʻule.
ʻOiai ma nā wahi he nui o ka hemahema, ʻo ka hiki ke kū i ka pōʻino pōʻino ka mea nui. Hāʻule nā disks, hāʻule nā kikowaena. ʻO ke kī ʻo ka hana ʻana i nā polokalamu i hoʻolālā ʻia e mālama i ka hemahema e like me ke kūlana maʻamau. Inā hāʻule ka disk a i ʻole ka node, e hoʻomau ka hana o ia polokalamu me ka ʻole o nā loli.
ʻO ka pale i kūkulu ʻia i ka holoi ʻana i ka ʻikepili a me ka hōʻino ʻana i ka ʻikepili e hōʻoia e hiki iā ʻoe ke nalowale i nā disks a i ʻole nā nodes e like me kāu mau poloka parity-ʻo ka hapa maʻamau o nā disks. A laila ʻaʻole hiki i ka polokalamu ke hoʻihoʻi i ka ʻikepili.
ʻAʻole hoʻāʻo ʻia ka hemahema ma lalo o ka ukana, akā pono ia hoʻāʻo. ʻO ka hoʻohālikelike ʻana i kahi hāʻule haʻahaʻa e hōʻike i ka huina kālā i loaʻa ma hope o ka hāʻule ʻana.
Kūlike
ʻO ka helu kūlike o 100% ka mea i kapa ʻia ʻo strict consistency. ʻO ke kūpaʻa ka mea nui o kēlā me kēia ʻōnaehana mālama, akā kakaikahi ka paʻa paʻa. No ka laʻana, ʻaʻole kūlike ʻo Amazon S3 ListObject, kūlike wale nō ma ka hopena.
He aha ka manaʻo o ka paʻa pono? No nā hana a pau ma hope o kahi hana PUT i hoʻopaʻa ʻia, pono e hana kēia:
- ʻIke ʻia ka waiwai hou i ka heluhelu ʻana mai kekahi node.
- Mālama ʻia ka hōʻano hou mai ka hoʻopau ʻole ʻana o ka node.
ʻO ke ʻano kēia inā ʻoe e huki i ka plug i waenakonu o kahi hoʻopaʻa leo, ʻaʻohe mea e nalowale. ʻAʻole e hoʻihoʻi ka ʻōnaehana i ka ʻikepili hewa a i ʻole ka wā kahiko. He pā kiʻekiʻe kēia e pili ana i nā hiʻohiʻona he nui, mai nā noi transactional i ka hoʻihoʻi a me ka hoʻihoʻi.
hopena
ʻO kēia nā mea hoʻopaʻa mea hou e hōʻike ana i nā hiʻohiʻona hoʻohana i nā hui o kēia mau lā, kahi e hana ai, kūlike, scalability, nā kikowaena hewa a me ka hoʻohālikelike ʻana iā S3 nā poloka kūkulu no nā noi ao a me nā ʻikepili nui. Manaʻo wau e hoʻohana i kēia papa inoa ma kahi o ke kumukūʻai i ke kūkulu ʻana i nā waihona ʻikepili hou.
E pili ana i ka mālama ʻana i nā mea Mail.ru Cloud Solutions: .
He aha hou aʻe e heluhelu ai:
- .
- .
- .
Source: www.habr.com