O ao e pei o se pusa faʻataulāitu - e te fesili pe o le a le mea e te manaʻomia, ma o punaoa e foliga mai e leai se mea. Masini fa'apitoa, fa'amaumauga, feso'otaiga - o nei mea uma e na'o oe lava. E i ai isi ao nofoia, ae i totonu o lau atulaulau o oe o le pule e tasi. E te mautinoa o le a e mauaina i taimi uma punaoa manaʻomia, e te le tau amanaia se tasi ma e te fuafua tutoʻatasi pe o le a le fesoʻotaʻiga. E fa'afefea ona galue lenei togafiti fa'ataulāitu lea e mafai ai e le ao ona fa'asoa fa'atasi punaoa ma fa'aesea atoatoa tagata mautotogi mai le tasi ma le isi?
O le AWS cloud o se faiga faʻalavelave tele-mega lea na faʻaleleia i le evolusione talu mai le 2006. O se vaega o lenei atinae na tupu Vasily Pantyukhin - Amazon Web Services Architect. I le avea ai o se tusiata, na te maua se vaaiga i totonu e le gata i le iʻuga, ae faʻapea foʻi i luʻitau e manumalo ai AWS. O le tele o le malamalama i le auala e galue ai le faiga, o le tele o le faʻalagolago. O le mea lea, o le a faʻasoa e Vasily mea lilo o auaunaga a le AWS cloud. O loʻo i lalo le mamanu o faʻamaumauga a le AWS faaletino, elastic database scalability, o se faʻamaumauga masani a Amazon ma metotia mo le faʻateleina o le faʻatinoga o masini masini aʻo faʻaititia i le taimi e tasi lo latou tau. O le malamalama i faiga faufale a Amazon o le a fesoasoani ia te oe e faʻaoga lelei auaunaga AWS ma e mafai ona tuʻuina atu ia te oe ni manatu fou mo le fausiaina o au lava fofo.
E uiga i le failauga: Vasily Pantyukhin () na amata o se Unix admin i kamupani .ru, galue i luga o masini tetele Sun Microsystem mo 6 tausaga, ma talaʻi se lalolagi faʻamaumauga-centric i EMC mo 11 tausaga. E masani lava ona tupu aʻe i ao tumaoti, ma i le 2017 na siitia atu i ao lautele. O lea ua ia saunia fautuaga faʻapitoa e fesoasoani e ola ma atinaʻe i le AWS ao.
Faʻasalaga: mea uma o loʻo i lalo o le manatu patino a Vasily ma atonu e le fetaui ma le tulaga o le Amazon Web Services. O le lipoti o loʻo faʻavaeina ai le tusiga o loʻo maua i luga o la matou YouTube channel.
Aisea ua ou talanoa ai e uiga i le masini Amazon?
O la'u taavale muamua sa i ai se masini feavea'i. Sa manaia ona o le lagona e mafai ona ou aveina le taavale ma pulea atoatoa. Sa ou fiafia foi ona ou te malamalama i le mataupu faavae o lona faagaoioiga. E masani lava, sa ou mafaufauina le fausaga o le atigipusa e matua tuai - o se mea e pei o se atigipusa i luga o se uila.
Sa lelei mea uma, se'i vagana ai le mea e tasi - o lo'o pipii i le poloka o taavale. E foliga mai o loʻo e nofonofo ae leai se mea e fai, ae o loʻo e suia pea le kiliva, oomi le pipii, kesi, taofi - e te matua vaivai lava. O le faafitauli o le poloka o taavale na foia se vaega ina ua maua e le aiga se taavale otometi. A o ou aveina le taavale, sa ou maua le taimi e mafaufau ai i se mea ma faalogologo i se tusi faalogologo.
O se isi mealilo na aliali mai i loʻu olaga, aua na ou le toe malamalama i le auala e galue ai laʻu taavale. O se taavale faʻaonaponei o se masini lavelave. O le taʻavale e faʻafetaui i le taimi e tasi i le tele o taʻaloga eseese: oomi le kesi, taofi, taʻavale auala, tulaga lelei auala. Ou te le toe malamalama pe faapefea ona galue.
Ina ua amata ona ou galue i luga o le ao Amazon, o se mealilo foi ia te au. Naʻo lenei mealilo o se faʻatonuga o le maualuga tele, aua e na o le tasi le avetaavale i totonu o le taavale, ma i le AWS e faitau miliona i latou. O tagata fa'aoga uma e fa'atonu i le taimi e tasi, fetaomi le kesi ma taofi. E ofoofogia lo latou o i le mea latou te mananaʻo ai - o se vavega ia te aʻu! O le faiga e otometi lava ona fetuutuunai, fua ma fetuutuunai fetuutuunai i tagata taʻitoʻatasi ina ia foliga mai ia te ia e na o ia i lenei atulaulau.
O le togafiti fa'ataulāitu na mou teisi ina ua ou sau mulimuli ane e galue o se tusiata i Amazon. Na ou vaʻai poʻo a faʻafitauli tatou te feagai, auala tatou te foia ai, ma le auala tatou te atiina ae ai auaunaga. Faatasi ai ma le faʻalauteleina o le malamalama i le auala e galue ai le faiga, faʻaalia atili le mautinoa i le auaunaga. O lea ou te manaʻo e faʻasoa se ata o mea o loʻo i lalo o le pulou o le AWS ao.
O le a le mea o le a tatou talanoa i ai
Na ou filifilia se auala eseese - Na ou filifilia 4 auaunaga manaia e taua le talanoa i ai.
Fa'atonuga a le 'au'aunaga. Ao ephemeral ma se tino faʻapitoa: nofoaga autu o faʻamatalaga faʻaletino o loʻo i ai sapalai faʻapitoa e hamu, vevela ma emoemo i moli.
Galuega leai se server (Lambda) atonu o le auaunaga sili ona faʻaogaina i le ao.
Fa'avasegaina o fa'amaumauga. O le a ou taʻu atu ia te oe le auala tatou te fausia ai a tatou lava faʻamaumauga faʻamaumauga.
Feso'ota'iga fuaina. O le vaega mulimuli lea o le a ou tatalaina ai le masini o la matou fesoʻotaʻiga. Ose mea matagofie lea - e talitonu uma tagata fa'aoga ao na'o ia i totonu o le ao ma e le o va'ai i isi tagata mautotogi.
Manatua. O lenei tusiga o le a talanoaina le faʻaogaina o le server ma le faʻavasegaina o faʻamaumauga. O le a tatou iloiloina le faʻalauteleina o fesoʻotaʻiga i le mataupu o sosoo mai. O fea oi ai galuega e leai se server? Na lomia se isi tusitusiga e uiga ia i latou "" O loʻo talanoa e uiga i le tele o metotia faʻavasegaina, ma faʻatalanoaina auʻiliʻili le fofo Firecracker - o se faʻataʻitaʻiga o uiga sili ona lelei o se masini ma koneteina.
Servers
O le ao e le tumau. Ae o lenei ephemerality o loʻo i ai pea se tino faʻapitoa - servers. I le taimi muamua, o la latou fausaga sa masani. Kaseti x86 masani, kata fesoʻotaʻiga, Linux, Xen hypervisor lea na faʻalauiloa ai masini masini.
I le 2012, o lenei fausaga na faʻatautaia lelei ana galuega. Xen o se hypervisor sili, ae e tasi lona fa'aletonu tele. Ua lava ia maualuga maualuga mo le faʻataʻitaʻiina o masini. A'o maua ni kata feso'ota'iga vave po'o SSD, o le a maualuga tele lenei mea. E faapefea ona taulimaina lenei faafitauli? Na matou filifili e galulue i luma e lua i le taimi e tasi - fa'alelei uma meafaigaluega ma hypervisor. E matuiā tele le galuega.
Fa'amalieina meafaigaluega ma hypervisor
O le faia o mea uma i le taimi e tasi ma fai lelei e le aoga. O le a le "lelei" sa le manino foi i le amataga.
Na matou filifili e faia se faiga faʻaleleia - matou te suia se tasi elemene taua o le fausaga ma lafo i le gaosiga.
Matou te laa i luga o rake uma, faʻalogo i faitioga ma fautuaga. Ona tatou suia lea o se isi vaega. O lea la, i nai faʻaopoopoga laiti, matou te matua suia le fausaga atoa e faʻavae i luga o faʻamatalaga mai tagata faʻaoga ma lagolago.
O le suiga na amata i le 2013 ma le mea sili ona faigata - o le fesoʻotaʻiga. IN C3 fa'ata'ita'iga, sa fa'aopoopoina se kata fa'apitoa a Network Accelerator i le kata feso'ota'iga masani. Na fa'afeso'ota'i moni lava i se uaea fa'amuli i tua i le pito i luma. E le manaia, ae e le o iloa i le ao. Ae o feso'ota'iga tuusa'o ma meafaigaluega na fa'aleleia atili ai le jitter ma le fa'aogaina o feso'otaiga.
Na sosoo ai ma le filifili e faʻaleleia le avanoa e poloka ai le teuina o faʻamaumauga EBS - Elastic Block Storage. O se tuufaatasiga o fesoʻotaʻiga ma le teuina. O le faigata o le a o iai kata Network Accelerator i luga o le maketi, e leai se filifiliga e naʻo le faʻatauina o meafaigaluega a le Storage Accelerator. O lea na matou liliu atu ai i se amataga Annapurna Labs, o le na fausia ni meataalo ASIC faapitoa mo i matou. Na latou faʻatagaina voluma EBS mamao e faʻapipiʻi e avea ma masini NVMe.
I tulaga C4 sa matou foiaina ni faafitauli se lua. Muamua o le faʻatinoina lea o se faʻavae mo le lumanaʻi o folafolaga, ae fou i lena taimi, tekinolosi NVMe. Lona lua, na matou faʻateteleina le faʻaogaina tutotonu e ala i le tuʻuina atu o le faagasologa o talosaga i le EBS i se kata fou. Na iʻu lelei, o lea o Annapurna Labs o se vaega o Amazon.
E oʻo atu ia Novema 2017, na matou iloa ua oʻo i le taimi e sui ai le hypervisor lava ia.
O le hypervisor fou na atiaʻe e faʻavae i luga o faʻaoga KVM kernel modules.
Na mafai ai ona faʻaitiitia faʻaitiitiga o le faʻaogaina o masini ma galulue saʻo ma ASICs fou. Fa'ata'ita'iga C5 o uluai masini masini ma se hypervisor fou o loʻo taʻavale i lalo o le pulou. Sa matou faaigoaina o ia Nitro.
Fa'aleleia o fa'ata'ita'iga ile fa'asologa ole taimi.
O ituaiga fou uma o masini komepiuta na faʻaalia talu mai Novema 2017 o loʻo taʻavale i luga o lenei hypervisor. Bare Metal instance e leai se hypervisor, ae e taʻua foʻi o Nitro, talu ai latou te faʻaaogaina kata Nitro faʻapitoa.
I le isi lua tausaga na sosoo ai, o le numera o ituaiga o faʻataʻitaʻiga Nitro na sili atu i le lua taseni: A1, C5, M5, T3 ma isi.
Ituaiga fa'ata'ita'iga.
Le auala e galue ai masini Nitro faʻaonaponei
E tolu a latou vaega autu: o le Nitro hypervisor (talanoaina i luga), o le puipuiga malu ma le Nitro kata.
Saogalemu chip tu'u sa'o i totonu o le motherboard. E pulea le tele o galuega taua, e pei o le puleaina o le utaina o le OS talimalo.
Nitro kata - E fa ituaiga o latou. O ia mea uma e atiaʻe e Annapurna Labs ma faʻavae i luga ole ASIC masani. O nisi o latou firmware e masani foi.
E fa ituaiga o kata Nitro.
O se tasi o kata ua mamanuina e galue ai feso'ota'igaVPC. O le mea lea o loʻo vaʻaia i masini komepiuta e pei o se kata fesoʻotaʻiga ENA - Feso'ota'iga Feso'ota'iga Elastic. E faʻapipiʻi ai foʻi feoaiga pe a faʻasalalauina e ala i se fesoʻotaʻiga faʻaletino (o le a tatou talanoa e uiga i lenei mea i le vaega lona lua o le tusiga), pulea le puipui puipui o le Puipuiga, ma e nafa ma le taʻavale ma isi mea fesoʻotaʻiga.
Filifili kata e aoga ma poloka poloka EBS ma tisiki ua fausia i totonu o le server. E foliga mai i le masini virtual malo e pei NVMe adapters. Latou te nafa foʻi ma faʻamatalaga faʻamatalaga ma le mataʻituina o tisiki.
O le faiga o kata Nitro, hypervisor ma le puʻupuʻu saogalemu ua tuʻufaʻatasia i totonu o se SDN network poʻo Feso'ota'iga Fa'atonuina Polokalama. E nafa ma le fa'afoeina o lenei feso'ota'iga (Vaalele Pulea) kata pule.
Ioe, matou te faʻaauau pea ona atiaʻe ASICs fou. Mo se faʻataʻitaʻiga, i le faaiuga o le 2018 na latou faʻatuina le Inferentia chip, lea e mafai ai ona e galue sili atu le lelei i galuega aʻoaʻoga masini.
Inferentia Machine Learning Processor chip.
Fa'amatalaga Fa'amautu
O se fa'amaumauga tu'ufa'atasi e iai se fausaga fa'apipi'i. Ina ia faafaigofie tele, o tulaga nei e iloga.
- SQL — kalani ma talosaga avefe'au e galue i ai.
- Tulaga fefa'ataua'iga - e manino mea uma iinei, ACID ma mea uma.
- Caching, lea e saunia e vaita'ele puipui.
- Fa'amauina - saunia galuega ma toe fai ogalaau. I MySQL ua taʻua i latou o Bin Logs, i PosgreSQL - Tusi Ahead Logs (WAL).
- Teuina – pu'e sa'o ile tisiki.
Layered database structure.
E 'ese'ese auala e fua ai fa'amaumauga: fa'asoa, Fa'asoa E leai se mea fa'ata'ita'iga, fa'asoa tisiki.
Ae ui i lea, o nei metotia uma o loʻo faʻatumauina le faʻatulagaina o faʻamaumauga o le monolithic. O lenei mea e matua fa'atapula'aina le fa'afuainumera. Ina ia foia lenei faafitauli, sa matou fausia la matou lava database − Amazon Aurora. E fetaui ma MySQL ma PostgreSQL.
Amazon Aurora
O le manatu autu faufale o le vavaeeseina o le teuina ma le logging tulaga mai le nofoaga autu autu.
I le vaʻai i luma, ou te fai atu na matou faia foi le tulaga faʻapipiʻi tutoʻatasi. O le fausaga e le toe avea o se monolith, ma tatou maua ni tikeri faaopoopo o le saolotoga i le faʻalauteleina o poloka taʻitasi.
Ole tulaga o le fa'amauina ma le teuina e ese mai le fa'amaumauga.
O se DBMS masani e tusia faʻamaumauga i se faiga e teu ai i foliga o poloka. I le Amazon Aurora, na matou fatuina ai le teuina atamai e mafai ona tautala i le gagana toe fai ogalaau. I totonu, o le teuina e liliu ogalaau i poloka faʻamaumauga, mataʻituina lo latou faʻamaoni ma otometi le tua i luga.
O lenei faiga e mafai ai ona e faʻatinoina mea manaia e pei o fa'a-cloning. E galue faʻavae vave ma sili atu le tamaoaiga ona o le mea moni e le manaʻomia le fatuina o se kopi atoatoa o faʻamaumauga uma.
O le faʻapipiʻi faʻapipiʻi e faʻatinoina e avea o se faiga tufatufaina. E aofia ai se numera tele o 'auʻaunaga faaletino. O ogalaau uma e toe fai e fa'agaoioia ma fa'asaoina i le taimi e tasi ono nonoa. E fa'amautinoaina le puipuiga o fa'amaumauga ma le paleni o uta.
E mafai ona ausia le fuaina o le faitau i le faaaogaina o ata talafeagai. Fa'asoa fa'asoa e fa'ate'aina ai le mana'oga mo le fa'amaopoopoina i le va o fa'amaumauga autu autu, lea tatou te tusia ai fa'amaumauga, ma fa'asologa o totoe. O fa'amatalaga fa'aonaponei e fa'amaonia e avanoa mo fa'atusa uma.
Pau lava le fa'afitauli o le teuina o fa'amaumauga tuai i luga o fa'asologa faitau. Ae o lenei faafitauli o loʻo foʻia fesiitaiga uma toe fai ogalaau e fa'atusa i luga ole feso'otaiga i totonu. Afai o le ogalaau o loʻo i totonu o le cache, e faʻailogaina e le saʻo ma faʻasolo. Afai e le oi totonu o le cache, e na ona lafoai.
Ua matou fa'avasega le teuina.
Faʻafefea ona faʻatupuina faʻailoga DBMS
I'inei, e sili atu ona faigata le fa'alava fa'alava. Ia tatou o i lalo i le ala ua sasaina fa'aliga tūsa'o masani.
Se'i fa'apea o lo'o i ai sau talosaga e feso'ota'i ma le DBMS e ala i se node matai.
Pe a fa'asolo i luga, matou te tu'uina atu se node fou o le a tele atu masini ma manatua.
O le isi, matou te fesuiaʻi le talosaga mai le matua matua node i le fou. Ua tulai mai faafitauli.
- O lenei mea o le a mana'omia ai se taimi fa'aletonu tele o le fa'aoga.
- O le matai pona fou o le ai ai le malulu malulu. O le fa'atinoga o fa'amaumauga o le a maualuga pe a mae'a fa'amafanafana le cache.
E faapefea ona faaleleia le tulaga? Seti se sui i le va o le talosaga ma le matai node.
O le a le mea o le a aumaia e lenei mea ia i tatou? Ole taimi nei e le mana'omia ona toe fa'afeiloa'i ma le lima talosaga uma ile node fou. O le ki e mafai ona faia i lalo o se sui ma e sili atu le vave.
E foliga mai ua uma ona foia le faafitauli. Ae leai, o loʻo matou mafatia pea i le manaʻoga e faʻamafanafana le faʻaoga. E le gata i lea, ua aliali mai se faʻafitauli fou - o lea ua avea le sui o se tulaga e ono faʻaletonu.
Fa'ai'uga fofo ma Amazon Aurora serverless
Na faapefea ona tatou foia nei faafitauli?
Tu'ua se sui. E le o se fa'ata'ita'iga tu'ese'ese, ae o se va'a fa'asoa atoa o sui e fa'aogaina ai talosaga e feso'ota'i i fa'amaumauga. I le tulaga o le toilalo, soo se tasi o pona e mafai ona suia toetoe lava a vave.
Fa'aopoopoina le vaita'ele o pona mafanafana o lapopo'a eseese. O le mea lea, afai e manaʻomia le tuʻufaʻatasia o se node fou o se lapoʻa tele pe laʻititi, e vave ona maua. Le tau faatali se'i uta.
O le faʻagasologa atoa o le faʻaogaina o loʻo pulea e se faiga faʻapitoa mataʻituina. O le mata'ituina e mata'ituina pea le tulaga o le node matai o lo'o iai nei. Afai na te iloa, mo se faʻataʻitaʻiga, ua oʻo le uta o le gaosiga i se taua taua, e logoina le vaitaele o taimi mafanafana e uiga i le manaʻoga e tuʻuina atu se node fou.
Fa'asoa fa'asoa, mea mafanafana ma le mata'ituina.
O lo'o maua se node ma le mana mana'omia. O vaitaele faʻapipiʻi e kopi i ai, ma o le polokalama e amata ona faʻatali mo se taimi saogalemu e sui ai.
E masani lava ona vave oo mai le taimi e sui ai. Ona taofia lea o fesootaiga i le va o le sui ma le matua matua pona, o sauniga uma e sui i le node fou.
Galulue fa'atasi ma fa'amaumauga fa'amaumauga toe amata.
O le kalafi o loʻo faʻaalia ai o le faʻamalologa e matua puupuu lava. O le kalafi lanumoana o loʻo faʻaalia ai le uta, ma o laʻasaga mumu e faʻaalia ai taimi faʻavave. O pa'u pupuu i le kalafi lanumoana o le fa'atuai puupuu lava lena.
I le auala, Amazon Aurora e faʻatagaina oe e teu atoa tupe ma tape le faʻamaumauga pe a le faʻaaogaina, mo se faʻataʻitaʻiga, i faaiuga o vaiaso. A uma ona taofi le uta, e faasolosolo malie ona faʻaitiitia e le DB lona malosi ma tape mo sina taimi. Pe a toe foʻi mai le uta, o le a toe tulaʻi malie.
I le isi vaega o le tala e uiga i le masini Amazon, o le a tatou talanoa e uiga i fesoʻotaʻiga scaling. Fa'asoa ma nofo fa'alogo ina ia e le misia le tala.
i Vasily Pantyukhin o le a tuuina atu se lipoti "" O a mamanu mamanu mo faiga tufatufaina o loʻo faʻaaogaina e le au atinaʻe Amazon, o a mafuaʻaga mo le toilalo o le tautua, o le a le faʻaogaina o le Cell-based architecture, Constant Work, Shuffle Sharding - o le a manaia. E le'i atoa se masina ae o'o i le fonotaga - . Oketopa 24 siitaga mulimuli tau.
puna: www.habr.com