Tá scamaill cosúil le bosca draíochta - iarrann tú cad atá uait, agus níl na hacmhainní le feiceáil ach as áit ar bith. Meaisíní fíorúla, bunachair shonraí, líonra - baineann sé seo go léir leatsa amháin. Tá tionóntaí scamall eile ann, ach is tusa an t-aon rialóir i do Cruinne. Tá tú cinnte go bhfaighidh tú na hacmhainní riachtanacha i gcónaí, ní chuireann tú aon duine san áireamh agus cinneann tú go neamhspleách cad a bheidh ar an líonra. Conas a oibríonn an draíocht seo a dhéanann an scamall acmhainní a leithdháileadh go leaisteach agus tionóntaí a leithlisiú go hiomlán óna chéile?
Is córas mega-super casta é scamall AWS atá ag forbairt go héabhlóideach ó 2006 i leith. Tharla cuid den fhorbairt seo Vasily Pantyukhin - Amazon Web Services Ailtire. Mar ailtire, faigheann sé léargas ón taobh istigh ní hamháin ar an toradh deiridh, ach freisin ar na dúshláin a sháraíonn AWS. Dá mhéad an tuiscint ar an gcaoi a n-oibríonn an córas, is ea is mó an muinín. Dá bhrí sin, roinnfidh Vasily rúin na seirbhísí scamall AWS. Anseo thíos tá dearadh freastalaithe fisiceacha AWS, scalability bunachar sonraí leaisteacha, bunachar sonraí saincheaptha Amazon agus modhanna chun feidhmíocht meaisíní fíorúla a mhéadú agus a bpraghas á laghdú ag an am céanna. Cabhróidh eolas ar chur chuige ailtireachta Amazon leat úsáid níos éifeachtaí a bhaint as seirbhísí AWS agus féadfaidh sé smaointe nua a thabhairt duit maidir le do réitigh féin a thógáil.
Maidir leis an gcainteoir: Vasily Pantyukhin () thosaigh sé mar riarthóir Unix ag cuideachtaí .ru, d'oibrigh sé ar chrua-earraí móra Sun Microsystem ar feadh 6 bliana, agus rinne sé seanmóir ar domhan sonraí-lárnach ag EMC ar feadh 11 bliain. Tháinig sé chun cinn go nádúrtha ina scamaill phríobháideacha, agus in 2017 bhog sé go dtí cinn phoiblí. Anois cuireann sé comhairle theicniúil ar fáil chun cabhrú le maireachtáil agus le forbairt i scamall AWS.
Séanadh: is é tuairim phearsanta Vasily gach rud thíos agus b'fhéidir nach mbeidh sé ag teacht le seasamh Amazon Web Services. Tá an tuarascáil ar a bhfuil an t-alt bunaithe ar fáil ar ár gcainéal YouTube.
Cén fáth a bhfuil mé ag caint faoi ghléas Amazon?
Bhí tarchur láimhe ag mo chéad charr. Bhí sé iontach mar gheall ar an mothú go raibh mé in ann an carr a thiomáint agus smacht iomlán a bheith agam air. Ba thaitin liom freisin gur thuig mé a bheag nó a mhór prionsabal a oibríochta. Ar ndóigh, shamhlú mé struchtúr an bhosca a bheith sách primitive - rud éigin cosúil le giarbhosca ar rothar.
Bhí gach rud go hiontach, ach amháin i gcás rud amháin - bhfostú i subha tráchta. Is cosúil go bhfuil tú i do shuí agus gan rud ar bith a dhéanamh, ach bíonn tú ag athrú giaranna de shíor, ag brú an bhruitíneach, an gháis, an choscáin - cuireann sé an-tuirseach tú. Réitíodh go páirteach an fhadhb thranglam tráchta nuair a fuair an teaghlach carr uathoibríoch. Agus mé ag tiomáint, bhí am agam smaoineamh ar rud éigin agus éisteacht le audiobook.
Mystery eile le feiceáil i mo shaol, mar gheall ar stop mé go hiomlán a thuiscint conas a oibríonn mo charr. Is gléas casta é carr nua-aimseartha. Déanann an carr oiriúnú ag an am céanna le mórán paraiméadair éagsúla: brú an gháis, coscáin, stíl tiomána, cáilíocht an bhóthair. Ní thuigim conas a oibríonn sé a thuilleadh.
Nuair a thosaigh mé ag obair ar scamall Amazon, bhí sé ina rúndiamhair dom freisin. Níl ach an rúndiamhair seo ord méide níos mó, toisc go bhfuil tiománaí amháin sa charr, agus in AWS tá na milliúin acu. Stiúrann gach úsáideoir ag an am céanna, brúigh an gás agus coscán. Is iontach an rud é go dtéann siad áit ar mhaith leo - is míorúilt domsa é! Déanann an córas oiriúnú go huathoibríoch, scálaí agus coigeartú leaisteacha do gach úsáideoir ionas go bhfeictear dó go bhfuil sé ina aonar sa Cruinne seo.
Chaith an draíocht as beagán nuair a tháinig mé níos déanaí ag obair mar ailtire ag Amazon. Chonaic mé cad iad na fadhbanna atá romhainn, conas a réitímid iad, agus conas a fhorbraímid seirbhísí. Agus tuiscint ag méadú ar an gcaoi a n-oibríonn an córas, tá níos mó muiníne sa tseirbhís le feiceáil. Mar sin ba mhaith liom pictiúr a roinnt de na rudaí atá faoi chochall scamall AWS.
Cad a bheidh muid ag caint faoi
Roghnaigh mé cur chuige éagsúlaithe - roghnaigh mé 4 sheirbhís suimiúla ar fiú labhairt fúthu.
Leas iomlán a bhaint freastalaí. Scamaill ghearrshaolacha le corprú fisiceach: ionaid sonraí fisiceacha ina bhfuil freastalaithe fisiceacha a chromaíonn, a théann suas agus a chaochann soilse.
Feidhmeanna gan fhreastalaí Is dócha gurb é (Lambda) an tseirbhís is inscálaithe sa scamall.
Scálú bunachar sonraí. Inseoidh mé duit faoi conas a thógaimid ár mbunachair shonraí inscálaithe féin.
Scálú líonra. An chuid dheireanach ina n-osclóidh mé gléas ár líonra. Is rud iontach é seo - creideann gach úsáideoir scamall go bhfuil sé ina aonar sa scamall agus ní fheiceann sé tionóntaí eile ar chor ar bith.
Nóta. Pléifidh an t-alt seo leas iomlán a bhaint freastalaí agus scálú bunachar sonraí. Déanfaimid machnamh ar scálú líonra sa chéad alt eile. Cá bhfuil na feidhmeanna gan fhreastalaí? Foilsíodh tras-scríbhinn ar leith fúthu “" Labhraíonn sé faoi roinnt modhanna scálaithe éagsúla, agus pléann sé go mion an réiteach Firecracker - symbiosis de na cáilíochtaí is fearr de mheaisín fíorúil agus coimeádáin.
Freastalaithe
Tá an scamall gearrshaolach. Ach tá an ephemerality fós embodiment fisiciúil - freastalaithe. Ar dtús, bhí a n-ailtireacht clasaiceach. Chipset caighdeánach x86, cártaí líonra, Linux, Xen hypervisor ar a ritheadh meaisíní fíorúla.
In 2012, dhéileáil an ailtireacht seo lena tascanna go maith. Is hypervisor iontach é Xen, ach tá míbhuntáiste mór amháin aige. Tá a dhóthain faighte aige forchostais ard le haghaidh aithrise gléas. De réir mar a thagann cártaí líonra nua níos tapúla nó thiomáineann SSD ar fáil, éiríonn an forchostas seo ró-ard. Conas déileáil leis an bhfadhb seo? Shocraigh muid oibriú ar dhá thaobh ag an am céanna - leas iomlán a bhaint as crua-earraí agus hypervisor araon. Tá an tasc an-tromchúiseach.
Optimizing crua-earraí agus hypervisor
Ní éireoidh le gach rud a dhéanamh láithreach agus é a dhéanamh go maith. Ní raibh sé soiléir freisin cad a bhí “maith” ar dtús.
Shocraigh muid cur chuige éabhlóideach a ghlacadh - athraíonn muid gné thábhachtach amháin den ailtireacht agus caithimid isteach i dtáirgeadh í.
Déanaimid céim ar gach raic, éistimid le gearáin agus moltaí. Ansin athraíonn muid comhpháirt eile. Mar sin, in incrimintí beaga, déanaimid athrú mór ar an ailtireacht iomlán bunaithe ar aiseolas ó úsáideoirí agus tacaíocht.
Thosaigh an claochlú i 2013 leis an rud is casta - an líonra. IN С3 cásanna, cuireadh cárta Luasaire Líonra speisialta leis an gcárta líonra caighdeánach. Bhí sé ceangailte go litriúil le cábla gearr loopback ar an bpainéal tosaigh. Níl sé go leor, ach níl sé le feiceáil sa scamall. Ach d'fheabhsaigh idirghníomhú díreach le crua-earraí Giodam agus tréchur líonra.
Ansin shocraigh muid rochtain ar stóráil sonraí bloc EBS - Stóráil Bloc Leaisteacha a fheabhsú. Is meascán de líonra agus stórála é. Is é an deacracht atá ann ná cé go raibh cártaí Luasaire Líonra ar an margadh, ní raibh aon rogha ann ach crua-earraí Luasaire Stórála a cheannach. Mar sin chasamar chuig tosaithe Saotharlanna Annapurna, a d'fhorbair sceallóga ASIC speisialta dúinn. Cheadaigh siad méideanna iargúlta EBS a shuiteáil mar fheistí NVMe.
I gcásanna C4 réitigh muid dhá fhadhb. Is é an chéad cheann ná gur chuireamar bunús i bhfeidhm maidir le todhchaí na teicneolaíochta NVMe a bhfuil gealladh fúthu, ach nua ag an am sin. Ar an dara dul síos, dhíluchtaigh muid an próiseálaí lárnach go suntasach trí phróiseáil na n-iarratas chuig EBS a aistriú chuig cárta nua. Tharla sé go maith, mar sin anois tá Annapurna Labs mar chuid de Amazon.
Faoi mhí na Samhna 2017, thuig muid go raibh sé in am an hypervisor féin a athrú.
Forbraíodh an hypervisor nua bunaithe ar mhodúil eithne KVM modhnaithe.
Bhíothas in ann forchostais aithrise gléas a laghdú go bunúsach agus oibriú go díreach le hASICanna nua. cásanna С5 na chéad mheaisíní fíorúla le hypervisor nua ag rith faoi na cochall. Thugamar ainm air Nitro.
Éabhlóid na gcásanna ar an amlíne.
Ritheann gach cineál nua meaisíní fíorúla atá le feiceáil ó mhí na Samhna 2017 ar an hypervisor seo. Ní bhíonn hypervisor ag cásanna Bare Metal, ach tugtar Nitro orthu freisin, ós rud é go n-úsáideann siad cártaí Nitro speisialaithe.
Thar an dá bhliain atá romhainn, sháraigh líon na gcineálacha cásanna Nitro cúpla dosaen: A1, C5, M5, T3 agus daoine eile.
Cineálacha cásanna.
Conas a oibríonn meaisíní Nitro nua-aimseartha
Tá trí phríomhchuid acu: an hypervisor Nitro (a pléadh thuas), an sliseanna slándála agus na cártaí Nitro.
Sliseanna slándála comhtháite go díreach isteach sa motherboard. Rialaíonn sé go leor feidhmeanna tábhachtacha, mar shampla luchtú an OS óstach a rialú.
Cártaí nitro - Tá ceithre chineál acu. Is iad Annapurna Labs a fhorbraíonn iad go léir agus tá siad bunaithe ar ASICanna coitianta. Tá cuid dá firmware coitianta freisin.
Ceithre chineál cártaí Nitro.
Tá ceann de na cártaí deartha chun oibriú leis líonraVPC. Is é seo an rud atá le feiceáil i meaisíní fíorúla mar chárta líonra ENA - Adaptor Líonra Leaisteacha. Cuimsíonn sé freisin trácht agus é á tharchur trí líonra fisiciúil (beidh muid ag caint faoi seo sa dara cuid den alt), rialaíonn balla dóiteáin na nGrúpaí Slándála, agus tá sé freagrach as ródú agus rudaí líonra eile.
Oibríonn cártaí Roghnaigh le blocstóráil EBS agus dioscaí atá ionsuite sa fhreastalaí. Dealraíonn siad don aoi meaisín fíorúil mar Adapters NVMe. Tá siad freagrach freisin as criptiú sonraí agus monatóireacht diosca.
Tá an córas cártaí Nitro, hypervisor agus sliseanna slándála comhtháite i líonra SDN nó Líonra Sainithe Bogearraí. Freagrach as an líonra seo a bhainistiú (Plána Rialaithe) cárta rialtóir.
Ar ndóigh, leanaimid ar aghaidh ag forbairt ASICanna nua. Mar shampla, ag deireadh 2018 d'eisigh siad an sliseanna Inferentia, rud a ligeann duit oibriú níos éifeachtaí le tascanna meaisínfhoghlama.
Sliseanna próiseálaí foghlama meaisín Inferentia.
Bunachar Sonraí Inscálaithe
Tá struchtúr sraitheach ag bunachar sonraí traidisiúnta. Chun a shimpliú go mór, déantar idirdhealú a dhéanamh ar na leibhéil seo a leanas.
- SQL — oibríonn cliant agus seoltóirí iarratas air.
- Forálacha idirbhearta - tá gach rud soiléir anseo, ACID agus sin go léir.
- taisceadh, a sholáthraíonn linnte maolánacha.
- Logáil — cuireann sé obair ar fáil le logaí athdhéanta. I MySQL tugtar Logchomhaid Araid orthu, in PosgreSQL - Logchomhaid Scríobh Chun Tosaigh (WAL).
- Stóráil – taifeadadh díreach chuig diosca.
Struchtúr sraitheach bunachar sonraí.
Tá bealaí éagsúla ann le bunachair shonraí a scála: sharding, ailtireacht Shared Nothing, dioscaí roinnte.
Mar sin féin, coinníonn na modhanna seo go léir an struchtúr bunachar sonraí monolithic céanna. Cuireann sé seo srian suntasach ar an scálú. Chun an fhadhb seo a réiteach, d'fhorbraíomar ár mbunachar sonraí féin - Amazon Aurora. Tá sé ag luí le MySQL agus PostgreSQL.
Amazon Aurora
Is é an príomh-smaoineamh ailtireachta na leibhéil stórála agus logála a scaradh ón bpríomhbhunachar sonraí.
Ag féachaint amach romhainn, déarfaidh mé go ndearnamar an leibhéal taisce neamhspleách freisin. Scoirfidh an ailtireacht de bheith ina monolith, agus a fháil againn céimeanna breise saoirse i scálú bloic aonair.
Tá na leibhéil logáil agus stórála ar leithligh ón mbunachar sonraí.
Scríobhann DBMS traidisiúnta sonraí chuig córas stórála i bhfoirm bloic. Ag Amazon Aurora, chruthaigh muid stóras cliste atá in ann teanga a labhairt athdhéanamh. Laistigh, iompaíonn an stóras logs isteach i mbloic sonraí, déanann sé monatóireacht ar a n-ionracas agus déanann sé cúltaca go huathoibríoch.
Ligeann an cur chuige seo duit rudaí suimiúla den sórt sin a chur i bhfeidhm mar clónáil. Oibríonn sé go bunúsach níos tapúla agus níos eacnamaí mar gheall ar an bhfíric nach bhfuil sé ag teastáil a chruthú cóip iomlán de na sonraí go léir.
Cuirtear an ciseal stórála i bhfeidhm mar chóras dáilte. Tá sé comhdhéanta de líon an-mhór freastalaithe fisiceacha. Déantar gach logáil athdhéan a phróiseáil agus a shábháil ag an am céanna sé snaidhm. Cinntíonn sé seo cosaint sonraí agus cothromaíocht ualaigh.
Is féidir scálú léite a bhaint amach ag baint úsáide as macasamhla cuí. Cuireann stóráil dáilte deireadh leis an ngá atá le sioncrónú idir an phríomhshampla bunachar sonraí, trína scríobhaimid sonraí, agus na macasamhla atá fágtha. Cinntítear go mbeidh sonraí cothrom le dáta ar fáil do gach macasamhail.
Is í an t-aon fhadhb atá ann ná seanshonraí a thaisceadh ar mhacasamhla léite. Ach tá an fhadhb seo á réiteach aistriú na logaí athdhéanta go léir chun macasamhla a dhéanamh thar an líonra inmheánach. Má tá an logáil isteach sa taisce, tá sé marcáilte mar mícheart agus overwrited. Mura bhfuil sé sa taisce, cuirtear i leataobh é.
Rinneamar an stóráil a réiteach.
Conas sraitheanna DBMS a scála
Anseo, tá scálú cothrománach i bhfad níos deacra. Mar sin a ligean ar dul síos an cosán buailte scálú ingearach clasaiceach.
Glacaimid leis go bhfuil feidhmchlár againn a dhéanann cumarsáid leis an DBMS trí mháistir nód.
Agus muid ag scálú go hingearach, leithdháilimid nód nua a mbeidh níos mó próiseálaithe agus cuimhne aige.
Ansin, aistrímid an t-iarratas ón seanmháistir nód go dtí an ceann nua. Tagann fadhbanna chun cinn.
- Éileoidh sé seo aga neamhfhónaimh iarratais shuntasach.
- Beidh taisce fuar ag an máistir nód nua. Ní bheidh feidhmíocht bunachar sonraí uasta ach amháin tar éis an taisce a théamh suas.
Conas an scéal a fheabhsú? Socraigh seachfhreastalaí idir an feidhmchlár agus an máistir nód.
Cad a thabharfaidh sé seo dúinn? Anois ní gá gach iarratas a atreorú de láimh chuig an nód nua. Is féidir an lasc a dhéanamh faoi seachfhreastalaí agus tá sé níos tapúla go bunúsach.
Dealraíonn sé go bhfuil an fhadhb réitithe. Ach ní hea, táimid fós ag fulaingt ón ngá atá le téamh suas an taisce. Ina theannta sin, tá fadhb nua le feiceáil - anois tá an seachfhreastalaí pointe féideartha teip.
Réiteach deiridh le Amazon Aurora gan fhreastalaí
Conas a réitigh muid na fadhbanna seo?
D'fhág seachfhreastalaí. Ní sampla ar leith é seo, ach cabhlach iomlán dáilte seachvótálaithe trína nascann feidhmchláir leis an mbunachar sonraí. I gcás teipe, is féidir aon cheann de na nóid a athsholáthar beagnach láithreach.
Cuireadh linn de nóid te de mhéideanna éagsúla. Dá bhrí sin, má tá sé riachtanach nód nua de mhéid níos mó nó níos lú a leithdháileadh, tá sé ar fáil láithreach. Ní gá fanacht chun é a luchtú.
Tá an próiseas scálaithe iomlán á rialú ag córas monatóireachta speisialta. Déanann monatóireacht monatóireacht leanúnach ar staid an mháistir-nód reatha. Má bhraitheann sé, mar shampla, go bhfuil luach ríthábhachtach bainte amach ag ualach an phróiseálaí, cuireann sé in iúl don chomhthiomsú cásanna te faoin ngá atá le nód nua a leithdháileadh.
Proxies dáilte, cásanna te agus monatóireacht.
Tá nód leis an gcumhacht riachtanach ar fáil. Déantar linnte maolánacha a chóipeáil chuige, agus tosaíonn an córas ag fanacht ar feadh nóiméad sábháilte chun aistriú.
De ghnáth tagann an t-athrú go tapa. Ansin cuirtear cumarsáid idir an seachfhreastalaí agus an sean-nód máistir ar fionraí, aistrítear gach seisiún go dtí an nód nua.
Oibriú leis an mbunachar sonraí a atosú.
Léiríonn an graf go bhfuil an fionraí go deimhin an-ghearr. Taispeánann an graf gorm an t-ualach, agus léiríonn na céimeanna dearga na chuimhneacháin scálaithe. Is ionann laghduithe gearrthéarmacha sa ghraf gorm agus an mhoill ghearr sin.
Dála an scéil, ligeann Amazon Aurora duit airgead a shábháil go hiomlán agus an bunachar sonraí a mhúchadh nuair nach bhfuil sé in úsáid, mar shampla, ar an deireadh seachtaine. Tar éis an t-ualach a stopadh, laghdaíonn an DB a chumhacht de réir a chéile agus é a mhúchadh ar feadh tamaill. Nuair a fhilleann an t-ualach, ardóidh sé go réidh arís.
Sa chéad chuid eile den scéal faoi ghléas Amazon, labhróimid faoi scálú líonra. Liostáil agus coinnigh ort chun nach gcaillfidh tú an t-alt.
Ar Tabharfaidh Vasily Pantyukhin tuairisc." Cad iad na patrúin dearaidh do chórais dáilte a úsáideann forbróirí Amazon, cad iad na cúiseanna atá le teipeanna seirbhíse, cad é ailtireacht Cell-bhunaithe, Obair Tairiseach, Roinnt Shuffle - beidh sé suimiúil. Níos lú ná mí go dtí an chomhdháil - . 24 Deireadh Fómhair ardú praghais deiridh.
Foinse: will.com