Tha sgòthan coltach ri bogsa draoidheachd - bidh thu a’ faighneachd dè a tha a dhìth ort, agus tha na goireasan dìreach a’ nochdadh a-mach à àite sam bith. Innealan mas-fhìor, stòran-dàta, lìonra - buinidh seo uile dhutsa a-mhàin. Tha luchd-gabhail sgòthan eile ann, ach anns a’ Cruinne-cè agad is tusa an aon riaghladair. Tha thu cinnteach gum faigh thu an-còmhnaidh na goireasan a tha a dhìth, cha leig thu leas aire a thoirt do dhuine sam bith agus bidh thu gu neo-eisimeileach a’ dearbhadh cò ris a bhios an lìonra coltach. Ciamar a tha an draoidheachd seo ag obair a bheir air an sgòth goireasan a riarachadh gu elastic agus luchd-gabhail a sgaradh gu tur bho chèile?
Tha an sgòth AWS na shiostam mega-super iom-fhillte a tha air a bhith ag atharrachadh gu mean-fhàs bho 2006. Thachair pàirt den leasachadh seo Vasily Pantyukhin - Ailtire Seirbheisean Lìn Amazon. Mar ailtire, bidh e a’ faighinn sealladh bhon taobh a-staigh chan ann a-mhàin air an toradh deireannach, ach cuideachd air na dùbhlain a tha AWS a’ faighinn thairis air. Mar as motha an tuigse air mar a tha an siostam ag obair, is ann as motha a bhios earbsa ann. Mar sin, roinnidh Vasily na dìomhaireachdan mu sheirbheisean sgòthan AWS. Gu h-ìosal tha dealbhadh luchd-frithealaidh corporra AWS, scalability stòr-dàta elastagach, stòr-dàta àbhaisteach Amazon agus dòighean airson coileanadh innealan brìgheil a mheudachadh agus aig an aon àm a ’lughdachadh a’ phrìs aca. Cuidichidh eòlas air dòighean ailtireachd Amazon thu gus seirbheisean AWS a chleachdadh ann an dòigh nas èifeachdaiche agus is dòcha gun toir e dhut beachdan ùra airson na fuasglaidhean agad fhèin a thogail.
Mu dheidhinn an neach-labhairt: Vasily Pantyukhin () thòisich e mar rianadair Unix aig companaidhean .ru, ag obair air bathar-cruaidh mòr Sun Microsystem airson 6 bliadhna, agus a’ searmonachadh saoghal stèidhichte air dàta aig EMC airson 11 bliadhna. Thàinig e gu nàdarrach gu sgòthan prìobhaideach, agus ann an 2017 ghluais e gu feadhainn poblach. A-nis tha e a’ toirt seachad comhairle theicnigeach gus cuideachadh le bhith a’ fuireach agus a’ leasachadh ann an sgòth AWS.
Àicheadh: tha a h-uile dad gu h-ìosal na bheachd pearsanta aig Vasily agus is dòcha nach eil e aig an aon àm ri suidheachadh Seirbheisean Lìn Amazon. Tha an aithisg air a bheil an artaigil stèidhichte ri fhaighinn air an t-sianal YouTube againn.
Carson a tha mi a 'bruidhinn mu dheidhinn inneal Amazon?
Bha tar-chuir làimhe aig a’ chiad chàr agam. Bha e sgoinneil air sgàth an fhaireachdainn gum b’ urrainn dhomh an càr a dhràibheadh agus smachd iomlan a bhith agam air. Chòrd e rium cuideachd gun robh mi co-dhiù a’ tuigsinn prionnsapal na h-obrach aige. Gu nàdarra, shaoil mi gum biodh structar a 'bhogsa gu math prìomhadail - rudeigin mar bhogsa gèar air baidhsagal.
Bha a h-uile dad glè mhath, ach a-mhàin aon rud - an sàs ann an tagaichean trafaic. Tha e coltach gu bheil thu nad shuidhe agus gun dad a dhèanamh, ach bidh thu an-còmhnaidh ag atharrachadh gèaraichean, a’ brùthadh air a’ chliabh, gas, breic - tha e dha-rìribh gad fhàgail sgìth. Chaidh an duilgheadas trafaic fhuasgladh gu ìre nuair a fhuair an teaghlach càr fèin-ghluasadach. Fhad ‘s a bha mi a’ draibheadh, bha ùine agam smaoineachadh air rudeigin agus èisteachd ri leabhar claisneachd.
Nochd dìomhaireachd eile nam bheatha, oir stad mi gu tur a 'tuigsinn mar a tha mo chàr ag obair. Tha càr ùr-nodha na inneal iom-fhillte. Bidh an càr ag atharrachadh aig an aon àm ri dusanan de pharamadairean eadar-dhealaichte: putadh air a’ ghas, breic, stoidhle dràibhidh, càileachd rathaid. Chan eil mi a’ tuigsinn mar a tha e ag obair tuilleadh.
Nuair a thòisich mi ag obair air sgòth Amazon, bha e cuideachd na dhìomhaireachd dhomh. Is e dìreach an dìomhaireachd seo òrdugh meudachd nas motha, leis gu bheil aon dhràibhear sa chàr, agus ann an AWS tha milleanan dhiubh. Bidh a h-uile neach-cleachdaidh aig an aon àm a’ stiùireadh, a’ brùthadh air a’ ghas agus a’ breic. Tha e iongantach gun tèid iad far a bheil iad ag iarraidh - tha e na mhìorbhail dhomh! Bidh an siostam ag atharrachadh gu fèin-ghluasadach, a 'sgèileadh agus ag atharrachadh gu elastic airson gach neach-cleachdaidh gus am bi e coltach dha gu bheil e na aonar anns a' Cruinne-cè seo.
Chaidh beagan dragh air an draoidheachd nuair a thàinig mi gu obair mar ailtire aig Amazon nas fhaide air adhart. Chunnaic mi dè na duilgheadasan a tha romhainn, mar a dh’ fhuasglas sinn iad, agus mar a leasaicheas sinn seirbheisean. Le barrachd tuigse air mar a tha an siostam ag obair, tha barrachd misneachd san t-seirbheis a’ nochdadh. Mar sin tha mi airson dealbh a cho-roinn de na tha fo chochall sgòth AWS.
Dè mu dheidhinn a bhios sinn a 'bruidhinn
Thagh mi dòigh-obrach eugsamhail - thagh mi 4 seirbheisean inntinneach as fhiach bruidhinn mu dheidhinn.
Optimization an fhrithealaiche. Sgòthan geàrr-ùine le sgeadachadh corporra: ionadan dàta corporra far a bheil frithealaichean corporra a bhios a’ cromadh, a’ teasachadh agus a’ frasadh le solais.
Gnìomhan gun fhrithealaiche (Lambda) is dòcha an t-seirbheis as so-ruigsinneach san sgòth.
Sgèileadh stòr-dàta. Innsidh mi dhut mu mar a thogas sinn ar stòran-dàta scalable fhèin.
Sgèileadh lìonra. Am pàirt mu dheireadh anns am fosgail mi inneal ar lìonra. Is e rud iongantach a tha seo - tha a h-uile neach-cleachdaidh sgòthan den bheachd gu bheil e na aonar san sgòth agus nach fhaic e luchd-gabhail eile idir.
Thoir an aire. Bruidhnidh an artaigil seo air optimization frithealaiche agus sgèileadh stòr-dàta. Beachdaichidh sinn air sgèileadh lìonra san ath artaigil. Càite bheil na gnìomhan gun fhrithealaiche? Chaidh tar-sgrìobhadh fa-leth fhoillseachadh mun deidhinn “" Tha e a 'bruidhinn air grunn dhòighean sgèileadh eadar-dhealaichte, agus a' beachdachadh gu mionaideach air fuasgladh Firecracker - symbiosis de na feartan as fheàrr aig inneal mas-fhìor agus soithichean.
Frithealaichean
Tha an neul sealach. Ach tha ìomhaigh corporra fhathast aig an t-seallaidheachd seo - frithealaichean. An toiseach, bha an ailtireachd aca clasaigeach. Chipset x86 àbhaisteach, cairtean lìonra, Linux, Xen hypervisor air an deach innealan brìgheil a ruith.
Ann an 2012, dhèilig an ailtireachd seo gu math ris na gnìomhan aige. Tha Xen na hypervisor mòr, ach tha aon phrìomh dhuilgheadas ann. Tha gu leòr aige os cionn àrd airson aithris inneal. Mar a bhios cairtean lìonra ùra, nas luaithe no draibhearan SSD rim faighinn, bidh an còrr seo a’ fàs ro àrd. Ciamar a dèiligeadh ris an duilgheadas seo? Cho-dhùin sinn a bhith ag obair air dà thaobh aig an aon àm - an dà chuid bathar-cruaidh agus hypervisor a bharrachadh. Tha an obair gu math trom.
A’ dèanamh an fheum as fheàrr de bhathar-cruaidh is hypervisor
Chan obraich a h-uile càil aig an aon àm agus ga dhèanamh gu math. Cha robh e soilleir an toiseach dè bha “math” a’ ciallachadh.
Cho-dhùin sinn dòigh-obrach mean-fhàs a ghabhail - bidh sinn ag atharrachadh aon eileamaid chudromach den ailtireachd agus ga thilgeil a-steach gu cinneasachadh.
Bidh sinn a’ ceumadh air gach ràcan, ag èisteachd ri gearanan is molaidhean. An uairsin bidh sinn ag atharrachadh pàirt eile. Mar sin, ann an àrdachaidhean beaga, bidh sinn gu mòr ag atharrachadh an ailtireachd gu lèir stèidhichte air fios air ais bho luchd-cleachdaidh agus taic.
Thòisich an cruth-atharrachadh ann an 2013 leis an rud as iom-fhillte - an lìonra. ANNS С3 suidheachaidhean, chaidh cairt sònraichte Network Accelerator a chur ris a’ chairt lìonra àbhaisteach. Bha e ceangailte gu litireil le càball lùbte goirid air a’ phannal aghaidh. Chan eil e breagha, ach chan eil e ri fhaicinn san sgòth. Ach bha eadar-obrachadh dìreach le bathar-cruaidh gu ìre mhòr air leasachadh jitter agus trochur lìonra.
An uairsin chuir sinn romhainn ruigsinneachd air stòradh dàta bloc EBS - Stòradh Bloc Elastic a leasachadh. Tha e na mheasgachadh de lìonra agus stòradh. Is e an duilgheadas a th’ ann, ged a bha cairtean Network Accelerator ann air a ’mhargaidh, cha robh roghainn ann dìreach bathar-cruaidh Storage Accelerator a cheannach. Mar sin thionndaidh sinn gu toiseach tòiseachaidh Labs Annapurna, a leasaich chips ASIC sònraichte dhuinn. Leig iad le meudan EBS iomallach a bhith air an cur suas mar innealan NVMe.
Ann an suidheachaidhean C4 dh’fhuasgail sinn dà dhuilgheadas. Is e a’ chiad fhear gun do chuir sinn an gnìomh bunait airson teicneòlas NVMe gealltanach, ach ùr aig an àm sin. San dàrna h-àite, chuir sinn sìos am pròiseasar meadhanach gu mòr le bhith a’ gluasad giollachd iarrtasan gu EBS gu cairt ùr. Thionndaidh e a-mach gu math, agus mar sin a-nis tha Annapurna Labs mar phàirt de Amazon.
Ron t-Samhain 2017, thuig sinn gu robh an t-àm ann an hypervisor fhèin atharrachadh.
Chaidh an hypervisor ùr a leasachadh stèidhichte air modalan kernel KVM atharraichte.
Rinn e comasach lùghdachadh bunaiteach a dhèanamh air cosgaisean atharrais innealan agus obrachadh gu dìreach le ASICn ùra. Cùisean С5 B’ iad a’ chiad innealan brìgheil le hypervisor ùr a’ ruith fon chochall. Thug sinn ainm air Nitro.
Leasachadh shuidheachaidhean air an loidhne-tìm.
Bidh a h-uile seòrsa ùr de dh ’innealan brìgheil a tha air nochdadh bhon t-Samhain 2017 a’ ruith air an hypervisor seo. Chan eil hypervisor aig suidheachaidhean Bare Metal, ach canar Nitro riutha cuideachd, leis gu bheil iad a’ cleachdadh cairtean sònraichte Nitro.
Thairis air an ath dhà bhliadhna, chaidh an àireamh de sheòrsan Nitro thairis air dusan no dhà: A1, C5, M5, T3 agus feadhainn eile.
Seòrsan eisimpleirean.
Mar a tha innealan Nitro an latha an-diugh ag obair
Tha trì prìomh phàirtean aca: an Nitro hypervisor (air a dheasbad gu h-àrd), a’ chip tèarainteachd agus na cairtean Nitro.
Chip tèarainteachd amalaichte gu dìreach a-steach don motherboard. Bidh e a’ cumail smachd air iomadh gnìomh cudromach, leithid smachd a chumail air luchdachadh an OS aoigheachd.
Cairtean nitro - Tha ceithir seòrsaichean dhiubh ann. Tha iad uile air an leasachadh le Annapurna Labs agus tha iad stèidhichte air ASICan cumanta. Tha cuid den firmware aca cumanta cuideachd.
Ceithir seòrsaichean de chairtean Nitro.
Tha aon de na cairtean air a dhealbhadh gus obrachadh leis lìonraVPC. Is e seo a tha ri fhaicinn ann an innealan brìgheil mar chairt lìonra ENA - Elastic Network Adapter. Bidh e cuideachd a’ toirt a-steach trafaic nuair a thèid a chuir tro lìonra fiosaigeach (bruidhnidh sinn mu dheidhinn seo san dàrna pàirt den artaigil), smachd air balla-teine buidhnean tèarainteachd, agus tha e an urra ri slighe agus rudan lìonra eile.
Tagh cairtean ag obair le stòradh bloc EBS agus diosgan a tha air an togail a-steach don fhrithealaiche. Bidh iad a’ nochdadh don inneal brìgheil aoighean mar Luchd-atharrachaidh NVMe. Tha iad cuideachd an urra ri crioptachadh dàta agus sgrùdadh diosc.
Tha an siostam de chairtean Nitro, hypervisor agus chip tèarainteachd air fhilleadh a-steach do lìonra SDN no Lìonra air a mhìneachadh le bathar-bog. Uallach airson an lìonra seo a stiùireadh (Plèana Smachd) cairt-smachd.
Gu dearbh, tha sinn a 'leantainn oirnn a' leasachadh ASICan ùra. Mar eisimpleir, aig deireadh 2018 leig iad a-mach a 'chip Inferentia, a leigeas leat a bhith ag obair nas èifeachdaiche le innealan ionnsachadh gnìomhan.
Chip Pròiseasar Ionnsachaidh Inneal Inferentia.
Stòr-dàta scalable
Tha structar sreathach aig stòr-dàta traidiseanta. Gus a dhèanamh nas sìmplidhe, tha na h-ìrean a leanas air an comharrachadh.
- SQL - bidh teachdaichean agus luchd-tagraidh ag obair air.
- Ullachaidhean gnothaichean - tha a h-uile dad soilleir an seo, ACID agus sin uile.
- caching, a tha air a thoirt seachad le amaran bufair.
- Logadh - a’ toirt seachad obair le logaichean ath-dhèanamh. Ann am MySQL canar Logaichean Bin riutha, ann am PosgreSQL - Write Ahead Logs (WAL).
- Stòradh - clàradh dìreach gu diosc.
Structar stòr-dàta sreathach.
Tha diofar dhòighean ann air stòran-dàta a sgèileadh: sharding, ailtireachd Shared Nothing, diosgan co-roinnte.
Ach, tha na dòighean sin uile a’ cumail an aon structar stòr-dàta monolithic. Tha seo gu mòr a’ cuingealachadh sgèileadh. Gus an duilgheadas seo fhuasgladh, leasaich sinn an stòr-dàta againn fhèin - Amazon Aurora. Tha e co-chòrdail ri MySQL agus PostgreSQL.
Amazon Aurora
Is e am prìomh bheachd ailtireil na h-ìrean stòraidh is logaidh a sgaradh bhon phrìomh stòr-dàta.
A’ coimhead air adhart, canaidh mi gun do rinn sinn an ìre caching neo-eisimeileach cuideachd. Sguir an ailtireachd a bhith na monolith, agus bidh sinn a’ faighinn ìrean saorsa a bharrachd ann a bhith a’ sgèileadh bhlocaichean fa-leth.
Tha na h-ìrean logaidh is stòraidh air leth bhon stòr-dàta.
Bidh DBMS traidiseanta a’ sgrìobhadh dàta gu siostam stòraidh ann an cruth bhlocaichean. Aig Amazon Aurora, chruthaich sinn stòradh snasail as urrainn cànan a bhruidhinn ath-dhèanamh. Taobh a-staigh, bidh an stòradh a’ tionndadh logaichean gu blocaichean dàta, a’ cumail sùil air an ionracas agus a’ dèanamh cùl-taic gu fèin-ghluasadach.
Tha an dòigh-obrach seo a 'toirt cothrom dhut rudan inntinneach a chur an gnìomh mar clonadh. Bidh e ag obair gu bunaiteach nas luaithe agus nas eaconomach air sgàth nach eil feum air leth-bhreac iomlan den dàta gu lèir a chruthachadh.
Tha an ìre stòraidh air a chuir an gnìomh mar shiostam sgaoilte. Tha e air a dhèanamh suas de àireamh mhòr de luchd-frithealaidh corporra. Bidh gach log ath-dhèanamh air a phròiseasadh agus air a shàbhaladh aig an aon àm sia snaidhmean. Bidh seo a’ dèanamh cinnteach à dìon dàta agus cothromachadh luchdan.
Faodar sgèile leughaidh a choileanadh le bhith a’ cleachdadh mac-samhail iomchaidh. Bidh stòradh sgaoilte a’ cur às don fheum air sioncronadh eadar prìomh eisimpleir an stòr-dàta, tro bheil sinn a’ sgrìobhadh dàta, agus na mac-samhail a tha air fhàgail. Tha cinnt gum bi an dàta as ùire ri fhaighinn airson a h-uile mac-samhail.
Is e an aon dhuilgheadas a bhith a’ gleidheadh seann dàta air mac-samhail leughaidh. Ach tha an duilgheadas seo ga fhuasgladh gluasad a h-uile clàr ath-dhèanamh airson mac-samhail thairis air an lìonra a-staigh. Ma tha an loga san tasgadan, tha e air a chomharrachadh mar ceàrr agus air ath-sgrìobhadh. Mura h-eil e san tasgadan, tha e dìreach air a thilgeil air falbh.
Chuir sinn air dòigh an stòradh.
Mar a nì thu sgèile air ìrean DBMS
An seo, tha sgèileadh còmhnard tòrr nas duilghe. Mar sin rachamaid sìos an t-slighe air a bhualadh sgèileadh dìreach clasaigeach.
Gabhamaid ris gu bheil tagradh againn a bhios a’ conaltradh ris an DBMS tro phrìomh nód.
Nuair a bhios sinn a’ sgèileadh gu dìreach, bidh sinn a’ riarachadh nód ùr anns am bi barrachd phròiseasan agus cuimhne.
An uairsin, bidh sinn ag atharrachadh an tagradh bhon t-seann phrìomh nód chun fhear ùr. Bidh duilgheadasan ag èirigh.
- Bidh seo a' cur feum air mòran ùine airson tagradh.
- Bidh tasgadan fuar aig a’ phrìomh nód ùr. Cha bhith coileanadh stòr-dàta aig a’ char as àirde ach às deidh don tasgadan blàthachadh.
Ciamar a leasaicheas tu an suidheachadh? Stèidhich neach-ionaid eadar an tagradh agus am prìomh nód.
Dè bheir seo dhuinn? A-nis chan fheum a h-uile tagradh a bhith air ath-stiùireadh le làimh chun nód ùr. Faodar an tionndadh a dhèanamh fo neach-ionaid agus tha e gu bunaiteach nas luaithe.
Tha e coltach gu bheil an duilgheadas air a rèiteachadh. Ach chan e, tha sinn fhathast a’ fulang leis an fheum air an tasgadan a bhlàthachadh. A bharrachd air an sin, tha duilgheadas ùr air nochdadh - a-nis tha an neach-ionaid na phuing fàilligeadh.
Fuasgladh deireannach le Amazon Aurora gun fhrithealaiche
Ciamar a fhuair sinn fuasgladh air na duilgheadasan sin?
Dh’ fhàg e neach-ionaid. Chan e eisimpleir air leth a tha seo, ach cabhlach sgaoilte de luchd-ionaid tro am bi tagraidhean a’ ceangal ris an stòr-dàta. Ma thachras fàilligeadh, faodar gin de na nodan a chuir an àite cha mhòr sa bhad.
Chaidh cruinneachadh de nodan blàth de dhiofar mheudan a chur ris. Mar sin, ma tha feum air nód ùr de mheud nas motha no nas lugha a riarachadh, tha e ri fhaighinn sa bhad. Chan eil feum air feitheamh gus a luchdadh.
Tha am pròiseas sgèileachaidh gu lèir fo smachd siostam sgrùdaidh sònraichte. Bidh sgrùdadh an-còmhnaidh a’ cumail sùil air staid a’ phrìomh nód gnàthach. Ma lorgas e, mar eisimpleir, gu bheil an luchd pròiseasar air luach riatanach a ruighinn, bheir e fios don amar de shuidheachaidhean blàth mun fheum air nód ùr a riarachadh.
Proxies air an cuairteachadh, suidheachaidhean blàth agus sgrùdadh.
Tha nód leis a’ chumhachd riatanach ri fhaighinn. Bidh amaran bufair air an lethbhreacadh thuige, agus tha an siostam a’ tòiseachadh a’ feitheamh ri mionaid shàbhailte airson tionndadh.
Mar as trice thig an t-àm airson tionndadh gu math luath. An uairsin tha conaltradh eadar an neach-ionaid agus an t-seann phrìomh nód air a chuir dheth, tha na seiseanan uile air an tionndadh chun nód ùr.
Obraich còmhla ris an stòr-dàta ath-thòiseachadh.
Tha an graf a 'sealltainn gu bheil an crochadh gu dearbh glè ghoirid. Tha an graf gorm a’ sealltainn an luchd, agus tha na ceumannan dearga a’ sealltainn na h-amannan sgèileachaidh. Tha tuiteam geàrr-ùine sa ghraf gorm dìreach mar an dàil ghoirid sin.
Air an t-slighe, leigidh Amazon Aurora leat airgead a shàbhaladh gu tur agus an stòr-dàta a chuir dheth nuair nach eilear ga chleachdadh, mar eisimpleir, air deireadh-sheachdainean. Às deidh stad a chuir air an luchd, bidh am DB a ’lughdachadh a chumhachd mean air mhean agus a’ tionndadh dheth airson ùine. Nuair a thilleas an luchd, èiridh e gu rèidh a-rithist.
Anns an ath phàirt den sgeulachd mu inneal Amazon, bruidhnidh sinn mu sgèileadh lìonra. Subscribe agus cùm sùil ort gus nach caill thu an artaigil.
air a ' Bheir Vasily Pantyukhin aithisg seachad." Dè na pàtrain dealbhaidh airson siostaman sgaoilte a bhios luchd-leasachaidh Amazon a’ cleachdadh, dè na h-adhbharan airson fàilligidhean seirbheis, dè a th’ ann an ailtireachd stèidhichte air Cell, Constant Work, Shuffle Sharding - bidh e inntinneach. Nas lugha na mìos ron cho-labhairt - . 24 Dàmhair àrdachadh prìse mu dheireadh.
Source: www.habr.com