Ua like nā ao me kahi pahu kilokilo - nīnau ʻoe i kāu mea e pono ai, a ʻike ʻia nā kumuwaiwai mai kahi ʻole. ʻO nā mīkini ʻokoʻa, nā ʻikepili, ka pūnaewele - iā ʻoe wale nō kēia. Aia nā mea hoʻolimalima kapua ʻē aʻe, akā i loko o kou Universe ʻo ʻoe ke aliʻi hoʻokahi. ʻIke ʻoe e loaʻa mau iā ʻoe nā kumuwaiwai i koi ʻia, ʻaʻole ʻoe e noʻonoʻo i kekahi a hoʻoholo kūʻokoʻa ʻoe i ke ʻano o ka pūnaewele. Pehea ka hana ʻana o kēia kupua e hoʻokaʻawale ai ke ao i nā kumuwaiwai a hoʻokaʻawale loa i nā mea hoʻolimalima mai kekahi i kekahi?
ʻO ke ao AWS kahi ʻōnaehana paʻakikī mega-super i hoʻomohala ʻia mai ka makahiki 2006. Ua loaʻa kekahi hapa o kēia hoʻomohala ʻana ʻO Vasily Pantyukhin - ʻO Amazon Web Services Architect. Ma ke ʻano he mea kākau, ʻike ʻo ia i ka ʻike i loko ʻaʻole wale i ka hopena hopena, akā i nā pilikia i lanakila ai ʻo AWS. ʻO ka nui o ka hoʻomaopopo ʻana i ka hana ʻana o ka ʻōnaehana, ʻoi aku ka nui o ka hilinaʻi. No laila, e kaʻana like ʻo Vasily i nā mea huna o nā lawelawe kapuaʻi AWS. Aia ma lalo iho ka hoʻolālā ʻana o nā kikowaena AWS kino, elastic database scalability, kahi waihona Amazon maʻamau a me nā ala no ka hoʻonui ʻana i ka hana o nā mīkini virtual i ka manawa like e hōʻemi ana i kā lākou kumukūʻai. ʻO ka ʻike o nā ala hoʻolālā hale o Amazon e kōkua iā ʻoe e hoʻohana pono i nā lawelawe AWS a hāʻawi paha iā ʻoe i nā manaʻo hou no ke kūkulu ʻana i kāu mau hāʻina ponoʻī.
E pili ana i ka mea haʻi'ōlelo: Vasily Pantyukhin () i hoʻomaka ma ke ʻano he Unix admin ma .ru hui, hana ma luna nui Sun Microsystem lako no 6 makahiki, a hai aku i kaʻikepili-centric honua ma EMC no 11 makahiki. Ua ulu maoli i loko o nā ao pilikino, a i ka makahiki 2017 ua neʻe i nā ao ākea. I kēia manawa hāʻawi ʻo ia i nā ʻōlelo aʻoaʻo loea e kōkua i ke ola a hoʻomohala i ke ao AWS.
Hoʻokuʻu: ʻo nā mea āpau ma lalo nei ka manaʻo pilikino o Vasily a ʻaʻole paha i kūlike me ke kūlana o Amazon Web Services. Loaʻa ka hōʻike e pili ana i ka ʻatikala ma kā mākou kahawai YouTube.
No ke aha wau e kamaʻilio nei e pili ana i ka polokalamu Amazon?
Ua loaʻa i kaʻu kaʻa mua kahi hoʻoili lima. He mea maikaʻi ia no ka manaʻo e hiki iaʻu ke hoʻokele i ke kaʻa a loaʻa iaʻu ka mana piha. Ua makemake nō hoʻi au i ka liʻiliʻi o ka hoʻomaopopo ʻana i ke kumu o kāna hana. Ma keʻano maʻamau, noʻonoʻo wau i ke ʻano o ka pahu he mea kahiko loa - kahi mea e like me ka pahu pahu ma luna o ke kaʻa.
Ua maikaʻi nā mea a pau, koe wale nō hoʻokahi mea - paʻa i nā kaʻa kaʻa. Me he mea lā e noho ana ʻoe a ʻaʻohe hana, akā ke hoʻololi mau nei ʻoe i ke kaʻa, ke kaomi ʻana i ka puʻupuʻu, ke kinoea, ka haki - hoʻoluhi maoli iā ʻoe. Ua hoʻopau ʻia ka pilikia kaʻa kaʻa i ka wā i loaʻa ai i ka ʻohana ke kaʻa ʻakomi. I ka holo ʻana, loaʻa iaʻu ka manawa e noʻonoʻo ai i kekahi mea a hoʻolohe i kahi puke leo.
Ua ʻike ʻia kekahi mea pohihihi i koʻu ola, no ka mea, ua pau loa wau i ka hoʻomaopopo ʻana i ka hana ʻana o kaʻu kaʻa. He mea paʻakikī ke kaʻa hou. Hoʻololi ka kaʻa i ka manawa like i nā ʻano ʻokoʻa like ʻole: kaomi ʻana i ke kinoea, ka pahu, ke ʻano hoʻokele, ka maikaʻi o ke alanui. ʻAʻole maopopo iaʻu pehea e hana hou ai.
I koʻu hoʻomaka ʻana e hana ma ke ao Amazon, he mea pohihihi ia iaʻu. ʻO kēia mea pohihihi wale nō ke kauoha o ka nui, no ka mea aia hoʻokahi mea hoʻokele i loko o ke kaʻa, a ma AWS he mau miliona o lākou. Hoʻokele nā mea hoʻohana a pau i ka manawa like, kaomi i ke kinoea a me ka pahu. He mea kupanaha ko lakou hele ana i ko lakou makemake - he hana mana ia ia'u! Hoʻololi ʻokoʻa ka ʻōnaehana, unahi a hoʻoponopono elastically i kēlā me kēia mea hoʻohana i ʻike ʻia ʻo ia wale nō i kēia Universe.
Ua pau iki ka hana kilokilo i koʻu hele ʻana mai e hana ma ke ʻano he mea kākau ma Amazon. Ua ʻike au i nā pilikia a mākou e kū nei, pehea mākou e hoʻoponopono ai, a pehea mākou e hoʻomohala ai i nā lawelawe. Me ka hoʻonui ʻana i ka ʻike i ke ʻano o ka hana ʻana o ka ʻōnaehana, ʻoi aku ka hilinaʻi i ka lawelawe. No laila makemake wau e kaʻana like i ke kiʻi o ka mea ma lalo o ka puʻupuʻu o ke ao AWS.
He aha kā mākou e kamaʻilio ai
Ua koho au i kahi ala like ʻole - ua koho wau i 4 mau lawelawe hoihoi e pono ke kamaʻilio.
Hoʻopololei kikowaena. ʻO nā ao ephemeral me kahi ʻano kino: nā kikowaena ʻikepili kino kahi i loaʻa nā kikowaena kino e hum, wela a ʻalohi me nā kukui.
Nā hana kikowaena ʻole (Lambda) ʻo ia paha ka lawelawe scalable i ke ao.
Hoʻonui ʻikepili. E haʻi aku wau iā ʻoe e pili ana i ke kūkulu ʻana i kā mākou ʻikepili hiki ke hoʻonui ʻia.
Ka hoʻonui ʻana i ka pūnaewele. ʻO ka hapa hope aʻu e wehe ai i ka hāmeʻa o kā mākou pūnaewele. He mea kupanaha kēia - manaʻo kēlā me kēia mea hoʻohana kapuaʻi ʻo ia wale nō i ke ao a ʻaʻole ʻike iki i nā mea hoʻolimalima ʻē aʻe.
Nānā. E kūkākūkā kēia ʻatikala i ka loiloi kikowaena a me ka scaling database. E noʻonoʻo mākou i ka scaling pūnaewele ma ka ʻatikala aʻe. Aia i hea nā hana serverless? Ua paʻi ʻia kahi palapala ʻokoʻa e pili ana iā lākou "" E kamaʻilio e pili ana i nā ʻano hana scaling like ʻole, a kūkākūkā kikoʻī i ka hoʻonā Firecracker - kahi hōʻailona o nā ʻano maikaʻi loa o ka mīkini virtual a me nā ipu.
Nā kikowaena
He ephemeral ke ao. Akā, aia nō kēia ephemerality i ke ʻano kino - nā kikowaena. I ka hoʻomaka ʻana, ʻo kā lākou hoʻolālā ʻana he maʻamau. ʻO ka chipset x86 maʻamau, nā kāleka pūnaewele, Linux, Xen hypervisor kahi i holo ai nā mīkini virtual.
I ka makahiki 2012, ua hoʻokō maikaʻi kēia ʻano hana i kāna mau hana. He hypervisor maikaʻi loa ʻo Xen, akā hoʻokahi kāna drawback nui. Ua lawa ia kiʻekiʻe kiʻekiʻe no ka emulation mea hana. I ka loaʻa ʻana o nā kāleka pūnaewele ʻoi aku ka wikiwiki a i ʻole nā drive SSD, ua kiʻekiʻe loa kēia overhead. Pehea e hana ai i kēia pilikia? Ua hoʻoholo mākou e hana ma nā ʻaoʻao ʻelua i ka manawa hoʻokahi - hoʻonui i ka lako a me ka hypervisor. Koʻikoʻi loa ka hana.
ʻO ka hoʻonui ʻana i ka hāmeʻa a me ka hypervisor
ʻAʻole maikaʻi ka hana ʻana i nā mea a pau i ka manawa hoʻokahi. ʻAʻole maopopo ka "maikaʻi" i ka wā mua.
Ua hoʻoholo mākou e lawe i kahi ʻano evolutionary - hoʻololi mākou i kahi mea nui o ka hoʻolālā a hoʻolei i ka hana.
Hehi mākou i kēlā me kēia rake, hoʻolohe i nā hoʻopiʻi a me nā manaʻo. A laila hoʻololi mākou i kahi mea ʻē aʻe. No laila, ma nā liʻiliʻi liʻiliʻi, hoʻololi mākou i ka hoʻolālā holoʻokoʻa e pili ana i nā manaʻo mai nā mea hoʻohana a me ke kākoʻo.
Hoʻomaka ka hoʻololi i ka makahiki 2013 me ka mea paʻakikī loa - ka pūnaewele. IN С3 i nā manawa, ua hoʻohui ʻia kahi kāleka Network Accelerator kūikawā i ke kāleka pūnaewele maʻamau. Ua hoʻopili maoli ʻia me kahi kaula loopback pōkole ma ka ʻaoʻao mua. ʻAʻole nani, akā ʻaʻole ʻike ʻia i ke ao. Akā ʻo ka launa pū ʻana me ka hāmeʻa i hoʻomaikaʻi ʻia i ka jitter a me ka throughput network.
A laila ua hoʻoholo mākou e hoʻomaikaʻi i ke komo ʻana i ka pale ʻana i ka mālama ʻikepili EBS - Elastic Block Storage. He hui ia o ka pūnaewele a me ka waiho ʻana. ʻO ka paʻakikī ʻoiai aia nā kāleka Network Accelerator ma ka mākeke, ʻaʻohe koho e kūʻai wale aku i ka lako lako Storage Accelerator. No laila ua huli mākou i kahi hoʻomaka Annapurna Labs, nāna i hoʻomohala i nā pahu ASIC kūikawā no mākou. Ua ʻae lākou i nā puke EBS mamao e kau ʻia e like me nā polokalamu NVMe.
I nā manawa C4 ua hoʻoholo mākou i ʻelua pilikia. ʻO ka mea mua, ua hoʻokō mākou i kumu no ka wā e hiki mai ana o ka hoʻohiki, akā hou i kēlā manawa, ʻenehana NVMe. ʻO ka lua, ua hoʻokuʻu nui mākou i ka kaʻina kikowaena ma o ka hoʻoili ʻana i nā noi i EBS i kahi kāleka hou. Ua hoʻololi maikaʻi ʻia, no laila ʻo Annapurna Labs kahi ʻāpana o Amazon.
Ma Nowemapa 2017, ua ʻike mākou ua hiki i ka manawa e hoʻololi i ka hypervisor ponoʻī.
Hoʻokumu ʻia ka hypervisor hou e pili ana i nā modula kernel KVM i hoʻololi ʻia.
Hiki iā ia ke hoʻemi i ka nui o ka hoʻohālikelike ʻana o nā mea hana a hana pololei me nā ASIC hou. ʻO nā hiʻohiʻona С5 ʻo ia nā mīkini virtual mua me kahi hypervisor hou e holo ana ma lalo o ka pā. Ua kapa mākou iā ia nitro.
ʻO ka ulu ʻana o nā manawa ma ka laina manawa.
ʻO nā ʻano mīkini virtual hou a pau i ʻike ʻia mai Nowemapa 2017 e holo ma kēia hypervisor. ʻAʻohe hypervisor i nā hihia Bare Metal, akā ua kapa ʻia lākou ʻo Nitro, no ka mea, hoʻohana lākou i nā kāleka Nitro kūikawā.
I nā makahiki ʻelua e hiki mai ana, ua ʻoi aku ka nui o nā ʻano o nā hihia Nitro i ʻelua mau kakini: A1, C5, M5, T3 a me nā mea ʻē aʻe.
ʻAno hoʻohālike.
Pehea e hana ai nā mīkini Nitro hou
Loaʻa iā lākou ʻekolu mau mea nui: ka Nitro hypervisor (i kūkākūkā ʻia ma luna), ka pahu palekana a me nā kāleka Nitro.
Kipi palekana hoʻohui pololei i ka motherboard. Mālama ia i nā hana koʻikoʻi he nui, e like me ka mālama ʻana i ka hoʻouka ʻana o ka OS host.
Kāleka Nitro - ʻEhā ʻano o lākou. Hoʻokumu ʻia lākou āpau e Annapurna Labs a hoʻokumu ʻia ma nā ASIC maʻamau. He mea maʻamau kekahi o kā lākou firmware.
ʻEhā ʻano kāleka Nitro.
Hoʻolālā ʻia kekahi o nā kāleka e hana pū me PūnaeweleVPC. ʻO kēia ka mea i ʻike ʻia i nā mīkini virtual ma ke ʻano he kāleka pūnaewele ENA - Mea hoʻopili pūnaewele elastic. Hoʻopili pū ʻo ia i nā kaʻa i ka wā e hoʻouna ai iā ia ma o kahi pūnaewele kino (e kamaʻilio mākou e pili ana i kēia ma ka ʻāpana ʻelua o ka ʻatikala), hoʻomalu i ka pā ahi Pūʻulu Pūʻulu, a nona ke kuleana no ke alahele a me nā mea pūnaewele ʻē aʻe.
E koho i nā kāleka e hana me ka waiho poloka EBS a me nā diski i kūkulu ʻia i loko o ke kikowaena. Hōʻike lākou i ka mīkini virtual malihini e like me Nā mea hoʻopili NVMe. ʻO lākou ke kuleana no ka hoʻopili ʻana i ka ʻikepili a me ka nānā ʻana i ka disk.
Hoʻohui ʻia ka ʻōnaehana o nā kāleka Nitro, hypervisor a me ka pahu palekana i kahi pūnaewele SDN a i ʻole Pūnaehana i wehewehe ʻia. He kuleana no ka mālama ʻana i kēia pūnaewele (Control Plane) kāleka hoʻoponopono.
ʻOiaʻiʻo, hoʻomau mākou i ka hoʻomohala ʻana i nā ASIC hou. No ka laʻana, i ka hopena o 2018 ua hoʻokuʻu lākou i ka chip Inferentia, kahi e hiki ai iā ʻoe ke hana maikaʻi me nā hana aʻo mīkini.
Inferentia Machine Learning Processor chip.
ʻIkepili hiki ke hoʻonui ʻia
Loaʻa i kahi waihona kuʻuna kahi papa hana. No ka maʻalahi loa, ʻokoʻa nā pae ma lalo.
- SQL - ka mea kūʻai aku a noi i nā mea hoʻouna e hana.
- Na lako nā kālepa - ua maopopo nā mea a pau ma aneʻi, ACID a me nā mea a pau.
- kāʻei kapu, i hāʻawi ʻia e nā loko buffer.
- Ke kālai lāʻau - hāʻawi i ka hana me ka hana hou ʻana i nā lāʻau. Ma MySQL ua kapa ʻia lākou ʻo Bin Logs, ma PosgreSQL - Kākau i mua i nā Logs (WAL).
- Pale - hoʻopaʻa pololei i ka disk.
Papahana waihona waihona.
Aia nā ʻano like ʻole e hoʻonui i ka waihona: sharding, Shared Nothing architecture, shared disks.
Eia naʻe, mālama kēia mau ʻano hana i ka hoʻolālā waihona monolithic like. Hoʻopili nui kēia i ka scaling. No ka hoʻoponopono ʻana i kēia pilikia, ua kūkulu mākou i kā mākou waihona − Amazon Aurora. He kūpono ia me MySQL a me PostgreSQL.
Amazon Aurora
ʻO ka manaʻo hoʻolālā koʻikoʻi e hoʻokaʻawale i ka pae mālama a me ka hoʻopaʻa inoa ʻana mai ka waihona nui.
Ke nānā nei i mua, e ʻōlelo wau ua hana mākou i ka pae caching kūʻokoʻa. Hoʻopau ka hale hana i ka monolith, a loaʻa iā mākou nā degere hou o ke kūʻokoʻa i ka hoʻonui ʻana i nā poloka pākahi.
Hoʻokaʻawale ʻia nā pae hoʻopaʻa inoa a me ka waiho ʻana mai ka waihona.
Kākau ʻo DBMS kuʻuna i ka ʻikepili i kahi ʻōnaehana mālama ma ke ʻano o nā poloka. Ma Amazon Aurora, ua hana mākou i kahi waihona akamai e hiki ke ʻōlelo i ka ʻōlelo hana hou-logs. I loko, hoʻololi ka waihona i nā logs i nā poloka data, nānā i ko lākou kūpaʻa a hoʻihoʻi maʻalahi.
ʻO kēia ala e hiki ai iā ʻoe ke hoʻokō i nā mea hoihoi e like me cloning. ʻOi aku ka wikiwiki a ʻoi aku ka ʻoihana ma muli o ka mea ʻaʻole pono ia e hana i kope piha o nā ʻikepili āpau.
Hoʻokō ʻia ka ʻāpana mālama ma ke ʻano he ʻōnaehana puʻupuʻu. Aia i loko o kahi helu nui loa o nā kikowaena kino. Hoʻoponopono ʻia kēlā me kēia log redo a mālama ʻia i ka manawa like ʻeono mau puʻupuʻu. Mālama kēia i ka pale ʻikepili a me ke kaulike ʻana.
Hiki ke hoʻokō ʻia ka hoʻonui ʻana me ka hoʻohana ʻana i nā kope kūpono. Hoʻopau ka mālama ʻana i ka pono no ka hoʻonohonoho ʻana ma waena o ka laʻana waihona waihona nui, kahi e kākau ai mākou i ka ʻikepili, a me nā replicas i koe. Loaʻa ka ʻikepili hou i nā kope a pau.
ʻO ka pilikia wale nō ka hoʻopaʻa ʻana i ka ʻikepili kahiko ma nā replicas heluhelu. Akā ke hoʻoponopono ʻia nei kēia pilikia ka hoʻoili ʻana o nā lāʻau hana hou a pau i nā kope ma luna o ka pūnaewele kūloko. Inā aia ka log i loko o ka huna huna, ua kaha ʻia ʻo ia he hewa a kākau ʻia. Inā ʻaʻole i loko o ka hūnā, e hoʻolei wale ʻia.
Hoʻokaʻawale mākou i ka waiho ʻana.
Pehea e hoʻonui ai i nā pae DBMS
Maʻaneʻi, ʻoi aku ka paʻakikī o ka scaling horizontal. No laila, e hele kāua i ke ala i hahau ʻia hoʻopololei kūpaʻa maʻamau.
E noʻonoʻo kākou he noi kā mākou e kamaʻilio me ka DBMS ma o kahi kumu kumu.
I ka scaling vertically, hoʻokaʻawale mākou i kahi node hou e loaʻa i nā kaʻina hana a me ka hoʻomanaʻo.
A laila, hoʻololi mākou i ka noi mai ka node haku kahiko i ka mea hou. Piʻi ka pilikia.
- Pono kēia i ka manawa haʻahaʻa o ka noi.
- E loaʻa i ka puʻu haku hou kahi huna huna. E ʻoi aku ka nui o ka hana ʻikepili ma hope o ka mahana ʻana o ka cache.
Pehea e hoʻomaikaʻi ai i ke kūlana? E hoʻonohonoho i kahi koho ma waena o ka noi a me ka node master.
He aha kēia e hāʻawi mai iā mākou? ʻAʻole pono e hoʻihoʻi lima ʻia nā noi āpau i ka node hou. Hiki ke hana ʻia ka hoʻololi ma lalo o kahi proxy a ʻoi aku ka wikiwiki.
Me he mea lā ua hoʻoholo ʻia ka pilikia. Akā ʻaʻole, pilikia mākou i ka pono e hoʻomaʻamaʻa i ka cache. Eia kekahi, ua ʻike ʻia kahi pilikia hou - i kēia manawa ʻo ka mea koho he wahi kūpono o ka hiki ʻole.
ʻO ka hopena hope loa me Amazon Aurora serverless
Pehea mākou i hoʻoponopono ai i kēia mau pilikia?
Haʻalele i kahi koho. ʻAʻole kēia he laʻana kaʻawale, akā he ʻauwaʻa holoʻokoʻa o nā proxies e hoʻopili ai nā noi i ka waihona. Inā hiki ʻole ke hoʻololi, hiki ke hoʻololi koke ʻia kekahi o nā node.
Hoʻohui ʻia i loko o nā pūnana pumehana o nā ʻano nui like ʻole. No laila, inā pono e hoʻokaʻawale i kahi node hou o ka nui a i ʻole ka liʻiliʻi liʻiliʻi, loaʻa koke ia. ʻAʻole pono e kali no ka hoʻouka ʻana.
Hoʻomaluʻia ke kaʻina hana scaling holoʻokoʻa e kahi pūnaewele nānā kūikawā. Ke nānā mau nei ka nānā ʻana i ke kūlana o ka haku kumu o kēia manawa. Inā ʻike ʻo ia, no ka laʻana, ua hōʻea ka ukana kaʻina hana i kahi waiwai koʻikoʻi, e hōʻike ana i ka loko o nā manawa mahana e pili ana i ka pono e hoʻokaʻawale i kahi node hou.
Hāʻawi ʻia nā proxies, nā manawa mahana a me ka nānā ʻana.
Loaʻa kahi node me ka mana i makemake ʻia. Hoʻopili ʻia nā loko Buffer iā ia, a hoʻomaka ka ʻōnaehana e kali no kahi manawa palekana e hoʻololi.
ʻO ka manawa maʻamau e hiki koke mai ka manawa e hoʻololi ai. A laila ua hoʻokuʻu ʻia ke kamaʻilio ma waena o ka proxy a me ka node haku kahiko, ua hoʻololi ʻia nā kau āpau i ka node hou.
Hoʻomaka hou ka hana me ka waihona.
Hōʻike ka pakuhi he pōkole loa ka hoʻokuʻu ʻana. Hōʻike ka pakuhi polū i ka ukana, a ʻo nā ʻanuʻu ʻulaʻula e hōʻike ana i nā manawa scaling. ʻO nā hāʻule pōkole i ka pakuhi polū ʻo ia ka lohi pōkole.
Ma ke ala, ʻae ʻo Amazon Aurora iā ʻoe e mālama i ke kālā a hoʻopau i ka ʻikepili ke hoʻohana ʻole ʻia, no ka laʻana, i nā hopena pule. Ma hope o ka hooki ʻana i ka ukana, hoʻemi mālie ka DB i kona mana a pio no kekahi manawa. Ke hoʻi mai ka haʻawe, e ala hou aʻe me ka mālie.
Ma ka ʻāpana aʻe o ka moʻolelo e pili ana i ka polokalamu Amazon, e kamaʻilio mākou e pili ana i ka scaling pūnaewele. Kau inoa a e hoʻomau ʻoe i ʻole ʻoe e poina i ka ʻatikala.
maluna o E hāʻawi ʻo Vasily Pantyukhin i kahi hōʻike "" He aha nā hiʻohiʻona hoʻolālā no nā ʻōnaehana puʻupuʻu i hoʻohana ʻia e nā mea hoʻomohala Amazon, he aha nā kumu o ka hāʻule ʻole o ka lawelawe, he aha ka hale hoʻolālā Cell-based, Constant Work, Shuffle Sharding - e hoihoi. Ma lalo o hoʻokahi mahina a hiki i ka hālāwai kūkā - . ʻOkakopa 24 hoʻonui kumu kūʻai hope.
Source: www.habr.com