Tha Netflix na stiùiriche air a’ mhargaidh telebhisean eadar-lìn - a ’chompanaidh a chruthaich agus a tha gu gnìomhach a’ leasachadh an roinn seo. Tha Netflix ainmeil chan ann a-mhàin airson a chatalog farsaing de fhilmichean agus sreathan Tbh a tha rim faighinn bho cha mhòr a h-uile ceàrnaidh den phlanaid agus inneal sam bith le taisbeanadh, ach cuideachd airson a bhun-structair earbsach agus a chultar innleadaireachd gun samhail.
Chaidh eisimpleir soilleir de dhòigh-obrach Netflix a thaobh leasachadh agus taic a thoirt do shiostaman iom-fhillte a thaisbeanadh aig DevOops 2019 - Stiùiriche Leasachaidh aig Netflix. Ceumnaiche bho Dàmh Matamataig Coimpiutaireachd agus Matamataig Oilthigh Stàite Nizhny Novgorod. Lobachevsky, Sergey aon de na ciad innleadairean ann an Open Connect - sgioba CDN aig Netflix. Thog e siostaman airson sgrùdadh agus mion-sgrùdadh dàta bhidio, chuir e air bhog seirbheis mòr-chòrdte airson astar ceangail eadar-lìn a mheasadh FAST.com, agus airson na beagan bhliadhnaichean a dh’ fhalbh tha e air a bhith ag obair air iarrtasan eadar-lìn a bharrachadh gus am bi an tagradh Netflix ag obair cho luath ‘s a ghabhas airson luchd-cleachdaidh.
Fhuair an aithisg na lèirmheasan as fheàrr bho chom-pàirtichean na co-labhairt, agus tha sinn air dreach teacsa ullachadh dhut.
Anns an aithisg aige, bhruidhinn Sergei gu mionaideach
- mu dè a bheir buaidh air dàil iarrtasan eadar-lìn eadar an neach-dèiligidh agus an frithealaiche;
- ciamar a lùghdaicheas tu an dàil seo;
- mar a dhealbhaicheas, a ghlèidheas agus a nì thu sgrùdadh air siostaman a tha a’ fulang le mearachdan;
- mar a gheibhear toraidhean ann an ùine ghoirid, agus le glè bheag de chunnart don ghnìomhachas;
- mar a nì thu mion-sgrùdadh air toraidhean agus ionnsachadh bho mhearachdan.
Tha feum air freagairtean do na ceistean sin chan ann a-mhàin leis an fheadhainn a tha ag obair ann an corporaidean mòra.
Bu chòir na prionnsapalan agus na dòighean a tha air an taisbeanadh a bhith eòlach agus air an cleachdadh leis a h-uile duine a bhios a’ leasachadh agus a’ toirt taic do thoraidhean eadar-lìn.
An ath rud tha an aithris bho shealladh an neach-labhairt.
Cho cudromach sa tha astar eadar-lìn
Tha astar iarrtasan eadar-lìn ceangailte gu dìreach ri gnìomhachas. Beachdaich air gnìomhachas nam bùthan: Amazon ann an 2009 gu bheil dàil 100ms a’ leantainn gu call de 1% de reic.
Tha barrachd is barrachd innealan gluasadach ann, air a leantainn le làraich-lìn agus tagraidhean gluasadach. Ma bheir do dhuilleag nas fhaide na 3 diogan ri luchdachadh, tha thu a’ call mu leth de na cleachdaichean agad. LEIS Bidh Google a’ toirt aire do astar luchdachadh do dhuilleag ann an toraidhean rannsachaidh: mar as luaithe a bhios an duilleag, is ann as àirde a shuidheachadh ann an Google.
Tha astar ceangail cudromach cuideachd ann an ionadan ionmhais far a bheil latency deatamach. Ann an 2015, Hibernia Networks càball $ 400 millean eadar New York agus Lunnainn gus latency eadar na bailtean-mòra a lughdachadh 6ms. Smaoinich air $ 66 millean airson 1 ms de lughdachadh latency!
A rèir , chan eil astaran ceangail os cionn 5 Mbit/s a’ toirt buaidh dhìreach air astar luchdachadh làrach-lìn àbhaisteach. Ach, tha dàimh sreathach eadar latency ceangail agus astar luchdachadh duilleag:
Ach, chan e toradh àbhaisteach a th’ ann an Netflix. Tha buaidh latency agus luaths air an neach-cleachdaidh na raon gnìomhach de mhion-sgrùdadh agus leasachadh. Tha luchdachadh tagraidh agus taghadh susbaint an urra ri latency, ach tha luchdachadh eileamaidean statach agus sruthadh cuideachd an urra ri astar ceangail. Tha a bhith a’ sgrùdadh agus a’ dèanamh an fheum as fheàrr de na prìomh nithean a bheir buaidh air eòlas an neach-cleachdaidh na raon leasachaidh gnìomhach airson grunn sgiobaidhean aig Netflix. Is e aon de na h-amasan a bhith a’ lughdachadh cianalas iarrtasan eadar innealan Netflix agus bun-structar sgòthan.
Anns an aithisg cuiridh sinn fòcas gu sònraichte air a bhith a’ lughdachadh latency a’ cleachdadh eisimpleir bun-structair Netflix. Beachdaichidh sinn bho shealladh practaigeach mar a dhèiligeas sinn ri pròiseasan dealbhaidh, leasachaidh agus obrachaidh shiostaman sgaoilte iom-fhillte agus ùine a chaitheamh air ùr-ghnàthachadh agus toraidhean, seach a bhith a’ lorg duilgheadasan obrachaidh agus briseadh sìos.
Taobh a-staigh Netflix
Bidh mìltean de dhiofar innealan a’ toirt taic do aplacaidean Netflix. Tha iad air an leasachadh le ceithir sgiobaidhean eadar-dhealaichte, a bhios a’ dèanamh dreachan eadar-dhealaichte den neach-dèiligidh airson Android, iOS, Tbh agus brobhsairean lìn. Agus bidh sinn a’ caitheamh tòrr oidhirp air eòlas an neach-cleachdaidh a leasachadh agus a phearsanachadh. Gus seo a dhèanamh, bidh sinn a’ ruith ceudan de dheuchainnean A/B aig an aon àm.
Tha pearsanachadh a’ faighinn taic bho na ceudan de mhicro-sheirbheisean ann an sgòth AWS, a’ toirt seachad dàta cleachdaiche pearsanaichte, cur ceiste, telemetry, Dàta Mòr agus còdachadh. Tha sealladh trafaic a’ coimhead mar seo:
Air an taobh chlì tha an t-àite inntrigidh, agus an uairsin tha an trafaic air a chuairteachadh am measg grunn cheudan microservices a tha a ’faighinn taic bho dhiofar sgiobaidhean backend.
Is e pàirt chudromach eile den bhun-structar againn an Open Connect CDN, a lìbhrigeas susbaint statach don neach-cleachdaidh deireannach - bhideothan, ìomhaighean, còd teachdaiche, msaa. Tha an CDN suidhichte air frithealaichean àbhaisteach (OCA - Open Connect Appliance). Taobh a-staigh tha sreath de dhràibhearan SSD agus HDD a’ ruith FreeBSD làn-leasaichte, le NGINX agus seata de sheirbheisean. Bidh sinn a’ dealbhadh agus a’ dèanamh feum de cho-phàirtean bathar-cruaidh is bathar-bog gus an urrainn don t-seirbheisiche CDN sin nas urrainn dhuinn de dhàta a chuir gu luchd-cleachdaidh.
Tha “balla” nan frithealaichean sin aig an àite iomlaid trafaic eadar-lìn (Internet eXchange - IX) a’ coimhead mar seo:
Tha Internet Exchange a’ toirt comas do sholaraichean seirbheis eadar-lìn agus solaraichean susbaint “ceangal” a dhèanamh ri chèile gus dàta iomlaid nas dìriche air an eadar-lìn. Tha timcheall air 70-80 puing iomlaid eadar-lìn air feadh an t-saoghail far a bheil na frithealaichean againn air an stàladh, agus bidh sinn gan stàladh agus gan cumail suas gu neo-eisimeileach:
A bharrachd air an sin, bidh sinn cuideachd a’ toirt seachad frithealaichean gu dìreach do sholaraichean eadar-lìn, a bhios iad a’ stàladh san lìonra aca, ag adhartachadh sgìreachadh trafaic Netflix agus càileachd sruthadh do luchd-cleachdaidh:
Tha uallach air seata de sheirbheisean AWS airson iarrtasan bhidio a chuir bho luchd-dèiligidh gu frithealaichean CDN, a bharrachd air a bhith a’ rèiteachadh na frithealaichean fhèin - ag ùrachadh susbaint, còd prògram, roghainnean, msaa. Airson an fheadhainn mu dheireadh, thog sinn cuideachd lìonra cnàimh-droma a cheanglas frithealaichean ann am puingean iomlaid eadar-lìn le AWS. Tha an lìonra cnàimh-droma na lìonra cruinne de chàbaill agus routers fibre optic as urrainn dhuinn a dhealbhadh agus a rèiteachadh a rèir ar feumalachdan.
Le , tha am bun-structar CDN againn a’ lìbhrigeadh timcheall air ⅛ de thrafaig eadar-lìn an t-saoghail aig amannan as àirde agus ⅓ den trafaic ann an Ameireaga a Tuath, far a bheil Netflix air a bhith timcheall air an ìre as fhaide. Àireamhan drùidhteach, ach dhòmhsa is e aon de na coileanaidhean as iongantach gu bheil an siostam CDN gu lèir air a leasachadh agus air a chumail suas le sgioba de nas lugha na 150 neach.
An toiseach, chaidh bun-structar CDN a dhealbhadh gus dàta bhidio a lìbhrigeadh. Ach, thar ùine thuig sinn gun urrainn dhuinn cuideachd a chleachdadh gus iarrtasan fiùghantach bho luchd-dèiligidh ann an sgòth AWS a bharrachadh.
Mu dheidhinn an eadar-Lìn luathachadh
An-diugh, tha 3 roinnean AWS aig Netflix, agus bidh cianalas iarrtasan chun sgòth an urra ri dè cho fada ‘s a tha an neach-ceannach bhon roinn as fhaisge. Aig an aon àm, tha mòran de luchd-frithealaidh CDN againn a thathas a’ cleachdadh gus susbaint statach a lìbhrigeadh. A bheil dòigh sam bith air am frèam seo a chleachdadh gus ceistean fiùghantach a luathachadh? Ach, gu mì-fhortanach, tha e do-dhèanta na h-iarrtasan sin a thasgadh - tha APIan pearsanaichte agus tha gach toradh gun samhail.
Dèanamaid neach-ionaid air an fhrithealaiche CDN agus tòisichidh sinn a 'cur trafaig troimhe. Am bi e nas luaithe?
Mathar
Cuimhnichidh sinn mar a tha protocolaidhean lìonra ag obair. An-diugh, bidh a’ mhòr-chuid de thrafaig air an eadar-lìn a’ cleachdadh HTTPs, a tha an urra ri protocols ìre nas ìsle TCP agus TLS. Gus am bi neach-dèiligidh a 'ceangal ris an fhrithealaiche, bidh e a' dèanamh crathadh làimhe, agus gus ceangal tèarainte a stèidheachadh, feumaidh an neach-dèiligidh teachdaireachdan iomlaid leis an fhrithealaiche trì tursan agus co-dhiù aon uair eile airson dàta a ghluasad. Le latency gach turas cruinn (RTT) de 100 ms, bheireadh e 400 ms dhuinn a’ chiad pìos dàta fhaighinn:
Ma chuireas sinn na teisteanasan air an fhrithealaiche CDN, faodar an ùine crathadh làimhe eadar an neach-dèiligidh agus an frithealaiche a lughdachadh gu mòr ma tha an CDN nas fhaisge. Gabhamaid ris gur e 30ms an latency don t-seirbheisiche CDN. An uairsin bheir e 220 ms airson a’ chiad phìos fhaighinn:
Ach chan eil na buannachdan a 'tighinn gu crìch an sin. Aon uair ‘s gu bheil ceangal air a stèidheachadh, bidh TCP ag àrdachadh an uinneag dùmhlachd (an ìre fiosrachaidh as urrainn dha a chuir thairis air a’ cheangal sin aig an aon àm). Ma thèid pasgan dàta a chall, an uairsin bidh buileachadh clasaigeach den phròtacal TCP (mar TCP New Reno) a’ lughdachadh an “uinneag” fhosgailte le leth. Tha fàs na h-uinneige dùmhlachd, agus astar faighinn seachad air call a-rithist an urra ris an dàil (RTT) don fhrithealaiche. Mura tèid an ceangal seo ach cho fada ris an fhrithealaiche CDN, bidh an ath-bheothachadh seo nas luaithe. Aig an aon àm, tha call pacaid na rud àbhaisteach, gu sònraichte airson lìonraidhean gun uèir.
Dh’ fhaodadh leud-bann eadar-lìn a bhith air a lughdachadh, gu sònraichte aig amannan as àirde, air sgàth trafaic bho luchd-cleachdaidh, a dh’ fhaodadh tagaichean trafaic adhbhrachadh. Ach, chan eil dòigh air an eadar-lìon prìomhachas a thoirt do chuid de dh'iarrtasan thairis air feadhainn eile. Mar eisimpleir, thoir prìomhachas do dh’ iarrtasan beaga a tha mothachail air latency thairis air sruthan dàta “trom” a bhios a’ luchdachadh an lìonraidh. Ach, anns a 'chùis againn, tha an lìonra cnàimh-droma againn fhèin a' leigeil leinn seo a dhèanamh air pàirt den t-slighe iarrtas - eadar an CDN agus an sgòth, agus is urrainn dhuinn a rèiteachadh gu h-iomlan. Faodaidh tu dèanamh cinnteach gu bheilear a’ toirt prìomhachas do phasganan beaga agus mothachail air latency, agus bidh sruthan dàta mòr a’ dol beagan nas fhaide air adhart. Mar as fhaisge a tha an CDN don neach-dèiligidh, is ann as èifeachdaiche a bhios e.
Bidh protocolaidhean ìre tagraidh (Ìre 7 OSI) cuideachd a’ toirt buaidh air latency. Bidh protocolaidhean ùra leithid HTTP/2 a’ dèanamh an fheum as fheàrr de dh’ iarrtasan co-shìnte. Ach, tha teachdaichean Netflix againn le seann innealan nach eil a’ toirt taic do na protocolaidhean ùra. Chan urrainnear a h-uile neach-dèiligidh ùrachadh no an rèiteachadh as fheàrr. Aig an aon àm, eadar an neach-ionaid CDN agus an sgòth tha smachd iomlan ann agus an comas protocolaidhean agus suidheachaidhean ùra, as fheàrr a chleachdadh. Chan obraich am pàirt neo-èifeachdach le seann phròtacalan ach eadar an neach-dèiligidh agus an frithealaiche CDN. A bharrachd air an sin, is urrainn dhuinn iarrtasan ioma-fhillte a dhèanamh air ceangal a tha stèidhichte mar-thà eadar an CDN agus an sgòth, a’ leasachadh cleachdadh ceangail aig ìre TCP:
Bidh sinn a 'tomhas
A dh 'aindeoin gu bheil an teòiridh a' gealltainn leasachaidhean, chan eil sinn a 'dèanamh cabhag sa bhad gus an siostam a chuir air bhog ann an riochdachadh. An àite sin, feumaidh sinn an toiseach dearbhadh gun obraich am beachd ann an cleachdadh. Gus seo a dhèanamh feumaidh tu grunn cheistean a fhreagairt:
- Astar: am bi neach-ionaid nas luaithe?
- Fiachan: Am bris e nas trice?
- Duilgheadas: mar a dh'aona-ghnothach le iarrtasan?
- cosgais: Dè a chosgas e bun-structar a bharrachd a chleachdadh?
Beachdaichidh sinn gu mionaideach air ar dòigh-obrach airson a’ chiad phuing a mheasadh. Thathas a’ dèiligeadh ris a’ chòrr san aon dòigh.
Gus mion-sgrùdadh a dhèanamh air astar iarrtasan, tha sinn airson dàta fhaighinn airson a h-uile neach-cleachdaidh, gun a bhith a 'caitheamh mòran ùine air leasachadh agus gun a bhith a' briseadh riochdachadh. Tha grunn dhòighean-obrach ann airson seo:
- RUM, no tomhas iarrtas fulangach. Bidh sinn a’ tomhas ùine cur an gnìomh iarrtasan làithreach bho luchd-cleachdaidh agus a’ dèanamh cinnteach à làn chòmhdach luchd-cleachdaidh. Is e an ana-cothrom nach eil an comharra gu math seasmhach air sgàth mòran fhactaran, mar eisimpleir, air sgàth diofar mheudan iarrtas, ùine giollachd air an fhrithealaiche agus an neach-dèiligidh. A bharrachd air an sin, chan urrainn dhut rèiteachadh ùr a dhearbhadh gun èifeachd ann an cinneasachadh.
- Deuchainnean obair-lann. Frithealaichean sònraichte agus bun-structar a bhios ag atharrais air teachdaichean. Le an cuideachadh bidh sinn a’ dèanamh nan deuchainnean riatanach. San dòigh seo gheibh sinn làn smachd air na toraidhean tomhais agus comharra soilleir. Ach chan eil còmhdach iomlan ann air innealan agus àiteachan luchd-cleachdaidh (gu sònraichte le seirbheis air feadh an t-saoghail agus taic do mhìltean de mhodalan inneal).
Ciamar a chuireas tu buannachdan an dà dhòigh còmhla?
Tha an sgioba againn air fuasgladh a lorg. Sgrìobh sinn pìos beag de chòd - sampall - a chuir sinn a-steach don tagradh againn. Leigidh probes leinn deuchainnean lìonra làn smachd a dhèanamh bho na h-innealan againn. Bidh e ag obair mar seo:
- Goirid às deidh dhuinn an tagradh a luchdachadh agus a ’chiad ghnìomhachd a chrìochnachadh, bidh sinn a’ ruith ar probes.
- Bidh an neach-dèiligidh a’ cur iarrtas chun t-seirbheisiche agus a’ faighinn “reasabaidh” airson na deuchainn. Tha an reasabaidh na liosta de URLan ris am feumar iarrtas HTTP(ean) a dhèanamh. A bharrachd air an sin, bidh an reasabaidh a’ rèiteachadh paramadairean iarrtas: dàil eadar iarrtasan, meud an dàta a chaidh iarraidh, cinn HTTP(ean), msaa. Aig an aon àm, is urrainn dhuinn grunn reasabaidhean eadar-dhealaichte a dhearbhadh aig an aon àm - nuair a dh'iarras sinn rèiteachadh, bidh sinn a 'dearbhadh air thuaiream dè an reasabaidh a bu chòir a thoirt seachad.
- Tha àm cur air bhog an probe air a thaghadh gus nach bi e an aghaidh cleachdadh gnìomhach ghoireasan lìonraidh air a’ chliant. Gu bunaiteach, tha an ùine air a thaghadh nuair nach eil an neach-dèiligidh gnìomhach.
- Às deidh dha an reasabaidh fhaighinn, bidh an neach-dèiligidh a ’dèanamh iarrtasan gu gach URL, aig an aon àm. Faodar an t-iarrtas gu gach seòladh ath-aithris - ris an canar. "pulses". Air a’ chiad bhuille, bidh sinn a’ tomhas dè cho fada ‘s a thug e gus ceangal a stèidheachadh agus dàta a luchdachadh sìos. Air an dàrna buille, bidh sinn a’ tomhas na h-ùine a bheir e gus dàta a luchdachadh thairis air ceangal a tha stèidhichte mar-thà. Ron treas fear, is urrainn dhuinn dàil a shuidheachadh agus astar stèidheachadh ath-cheangal a thomhas, msaa.
Rè an deuchainn, bidh sinn a 'tomhas a h-uile paramadair a gheibh an inneal:
- DNS iarrtas àm;
- Ùine rèiteachaidh ceangail TCP;
- Ùine rèiteachaidh ceangail TLS;
- àm a 'faighinn a' chiad byte dàta;
- ùine luchdachadh iomlan;
- còd toradh inbhe.
- Às deidh a h-uile buille a bhith deiseil, bidh an sampall a’ luchdachadh a h-uile tomhas airson mion-sgrùdadh.
Is e na prìomh phuingean glè bheag de eisimeileachd air loidsig air an neach-dèiligidh, giollachd dàta air an fhrithealaiche agus tomhas iarrtasan co-shìnte. Mar sin, is urrainn dhuinn buaidh diofar fhactaran a tha a’ toirt buaidh air coileanadh ceiste a sgaradh agus fheuchainn, an atharrachadh taobh a-staigh aon reasabaidh, agus toraidhean fhaighinn bho fhìor luchd-dèiligidh.
Tha am bun-structar seo air a bhith feumail airson barrachd air dìreach mion-sgrùdadh coileanaidh ceist. An-dràsta tha 14 reasabaidhean gnìomhach againn, còrr air 6000 sampall gach diog, a’ faighinn dàta bho gach ceàrnaidh den talamh agus làn chòmhdach inneal. Nan ceannaich Netflix seirbheis den aon seòrsa bho threas phàrtaidh, chosgadh e milleanan dolar sa bhliadhna, le craoladh fada nas miosa.
Teòiridh deuchainn ann an cleachdadh: prototype
Le leithid de shiostam, bha e comasach dhuinn èifeachdas proxies CDN a mheasadh ma thèid iarraidh orra. A-nis feumaidh tu:
- cruthaich prototype proxy;
- cuir am prototype air CDN;
- dearbhadh mar a stiùireas tu teachdaichean gu neach-ionaid air frithealaiche CDN sònraichte;
- Dèan coimeas eadar coileanadh agus iarrtasan ann an AWS às aonais neach-ionaid.
Is e an obair measadh a dhèanamh air èifeachdas an fhuasglaidh a thathar a’ moladh cho luath ‘s a ghabhas. Thagh sinn Go airson am prototype a chuir an gnìomh air sgàth gu robh deagh leabharlannan lìonraidh rim faighinn. Air gach frithealaiche CDN, chuir sinn a-steach am proxy proxy mar dhàna statach gus eisimeileachd a lughdachadh agus amalachadh a dhèanamh nas sìmplidhe. Anns a’ chiad bhuileachadh, chleachd sinn co-phàirtean àbhaisteach cho mòr ‘s a ghabhas agus mion-atharrachaidhean airson cruinneachadh ceangail HTTP/2 agus ioma-fhillteachadh iarraidh.
Gus cothromachadh eadar roinnean AWS, chleachd sinn stòr-dàta DNS cruinn-eòlasach, an aon fhear a chleachdar gus teachdaichean a chothromachadh. Gus frithealaiche CDN a thaghadh airson an neach-dèiligidh, bidh sinn a’ cleachdadh TCP Anycast airson frithealaichean ann an Internet Exchange (IX). Anns an roghainn seo, bidh sinn a’ cleachdadh aon sheòladh IP airson a h-uile frithealaiche CDN, agus thèid an neach-dèiligidh a stiùireadh chun t-seirbheisiche CDN leis an àireamh as lugha de hopan IP. Ann am frithealaichean CDN air an stàladh le solaraichean eadar-lìn (ISPn), chan eil smachd againn air an router gus TCP Anycast a rèiteachadh, agus mar sin bidh sinn a’ cleachdadh , a bhios a’ stiùireadh luchd-ceannach gu solaraichean eadar-lìn airson sruthadh bhidio.
Mar sin, tha trì seòrsaichean de shlighean iarrtas againn: chun sgòth tron eadar-lìn fhosgailte, tro fhrithealaiche CDN ann an IX, no tro fhrithealaiche CDN a tha suidhichte aig solaraiche eadar-lìn. Is e ar n-amas tuigsinn dè an dòigh a tha nas fheàrr, agus dè a’ bhuannachd a tha ann do neach-ionaid, an coimeas ri mar a thèid iarrtasan a chuir gu cinneasachadh. Gus seo a dhèanamh, bidh sinn a’ cleachdadh siostam samplachaidh mar a leanas:
Bidh gach aon de na slighean gu bhith na thargaid fa leth, agus bidh sinn a’ coimhead air an àm a fhuair sinn. Airson mion-sgrùdadh, bidh sinn a’ cothlamadh na toraidhean neach-ionaid ann an aon bhuidheann (tagh an ùine as fheàrr eadar luchd-ionaid IX agus ISP), agus dèan coimeas eadar iad agus àm iarrtasan don sgòth às aonais neach-ionaid:
Mar a chì thu, bha na toraidhean measgaichte - anns a 'mhòr-chuid de chùisean tha an neach-ionaid a' toirt deagh luaths, ach tha àireamh gu leòr de luchd-dèiligidh ann cuideachd far am fàs an suidheachadh gu mòr.
Mar thoradh air an sin, rinn sinn grunn rudan cudromach:
- Rinn sinn measadh air coileanadh iarrtasan bho luchd-dèiligidh chun sgòth tro neach-ionaid CDN.
- Fhuair sinn dàta bho fhìor luchd-dèiligidh, bho gach seòrsa inneal.
- Thuig sinn nach deach an teòiridh a dhearbhadh 100% agus nach obraich a’ chiad tairgse le neach-ionaid CDN dhuinn.
- Cha do ghabh sinn cunnartan - cha do dh'atharraich sinn rèiteachadh toraidh airson teachdaichean.
- Cha robh dad briste.
Prototype 2.0
Mar sin, till air ais chun bhòrd dealbhaidh agus cuir a-rithist am pròiseas a-rithist.
Is e am beachd an àite a bhith a’ cleachdadh neach-ionaid 100%, suidhichidh sinn an t-slighe as luaithe airson gach neach-dèiligidh, agus cuiridh sinn iarrtasan an sin - is e sin, nì sinn rud ris an canar stiùireadh teachdaiche.
Ciamar a chur an gnìomh seo? Chan urrainn dhuinn loidsig a chleachdadh air taobh an fhrithealaiche, oir ... Is e an t-amas ceangal a dhèanamh ris an fhrithealaiche seo. Feumaidh dòigh air choireigin seo a dhèanamh air an neach-dèiligidh. Agus na b 'fheàrr, dèan seo leis a' char as lugha de loidsig iom-fhillte, gus nach cuir thu fuasgladh air a 'chùis mu amalachadh le àireamh mhòr de àrd-ùrlaran luchd-cleachdaidh.
Is e am freagairt DNS a chleachdadh. Anns a ’chùis againn, tha am bun-structar DNS againn fhèin, agus is urrainn dhuinn raon fearainn a stèidheachadh far am bi na frithealaichean againn ùghdarrasach. Bidh e ag obair mar seo:
- Bidh an neach-dèiligidh a’ dèanamh iarrtas don t-seirbheisiche DNS a’ cleachdadh òstair, mar eisimpleir api.netflix.xom.
- Bidh an t-iarrtas a’ ruighinn ar frithealaiche DNS
- Tha fios aig an t-seirbheisiche DNS dè an t-slighe as luaithe airson an neach-dèiligidh seo agus cuiridh e seachad an seòladh IP co-fhreagarrach.
Tha iom-fhillteachd a bharrachd aig an fhuasgladh: chan eil solaraichean DNS ùghdarrasach a’ faicinn seòladh IP an neach-dèiligidh agus chan urrainn dhaibh ach seòladh IP an rèitiche ath-chuairteachaidh a bhios an neach-dèiligidh a’ cleachdadh a leughadh.
Mar thoradh air an sin, feumaidh an neach-rèiteachaidh ùghdarrasach againn co-dhùnadh a dhèanamh chan ann airson neach-dèiligidh fa-leth, ach airson buidheann de luchd-dèiligidh stèidhichte air an rèiteach ath-chuairteach.
Gus fuasgladh fhaighinn, bidh sinn a’ cleachdadh na h-aon shampaill, a’ cruinneachadh nan toraidhean tomhais bho luchd-dèiligidh airson gach aon de na fuasglaidhean ath-chuairteach agus a’ co-dhùnadh càite an cuir sinn a’ bhuidheann seo dhiubh - neach-ionaid tro IX a’ cleachdadh TCP Anycast, tro neach-ionaid ISP, no gu dìreach chun sgòth.
Gheibh sinn an siostam a leanas:
Leigidh am modal stiùiridh DNS a thig às a dhèidh dhut teachdaichean a stiùireadh stèidhichte air beachdan eachdraidheil air astar cheanglaichean bho luchd-dèiligidh chun sgòth.
A-rithist, is e a’ cheist dè cho èifeachdach sa bhios an dòigh-obrach seo ag obair? Airson freagairt, bidh sinn a-rithist a’ cleachdadh ar siostam sgrùdaidh. Mar sin, bidh sinn a’ rèiteachadh rèiteachadh an neach-lìbhrigidh, far a bheil aon de na targaidean a’ leantainn an stiùiridh bho stiùireadh DNS, bidh am fear eile a’ dol dìreach chun sgòth (cinneasachadh gnàthach).
Mar thoradh air an sin, bidh sinn a 'dèanamh coimeas eadar na toraidhean agus a' faighinn measadh air èifeachdas:
Mar thoradh air an sin, dh’ ionnsaich sinn grunn rudan cudromach:
- Rinn sinn measadh air coileanadh iarrtasan bho luchd-dèiligidh chun sgòth a’ cleachdadh DNS Steering.
- Fhuair sinn dàta bho fhìor luchd-dèiligidh, bho gach seòrsa inneal.
- Tha èifeachdas a’ bheachd a chaidh a mholadh air a dhearbhadh.
- Cha do ghabh sinn cunnartan - cha do dh'atharraich sinn rèiteachadh toraidh airson teachdaichean.
- Cha robh dad briste.
A-nis mun phàirt dhoirbh - bidh sinn ga chuir air bhog ann an riochdachadh
Tha am pàirt furasta seachad a-nis - tha prototype obrach ann. A-nis tha am pàirt cruaidh a’ ruith fuasgladh airson trafaic Netflix gu lèir, a ’cleachdadh gu 150 millean neach-cleachdaidh, mìltean de dh’ innealan, ceudan de mhicro-sheirbheisean, agus toradh agus bun-structar a tha a ’sìor atharrachadh. Bidh luchd-frithealaidh Netflix a 'faighinn milleanan de dh' iarrtasan gach diog, agus tha e furasta an t-seirbheis a bhriseadh le gnìomh gun chùram. Aig an aon àm, tha sinn airson trafaic a stiùireadh gu dinamach tro mhìltean de luchd-frithealaidh CDN air an eadar-lìn, far am bi rudeigin ag atharrachadh agus a’ briseadh an-còmhnaidh agus aig an ìre as neo-iomchaidh.
Agus leis a h-uile càil seo, tha 3 innleadairean aig an sgioba le uallach airson leasachadh, cleachdadh agus làn thaic don t-siostam.
Mar sin, cumaidh sinn oirnn a 'bruidhinn mu dheidhinn cadal fallain agus fois.
Ciamar a chumas tu air adhart le leasachadh agus gun a bhith a’ caitheamh d’ ùine gu lèir air taic? Tha an dòigh-obrach againn stèidhichte air 3 prionnsapalan:
- Bidh sinn a 'lùghdachadh an ìre de bhriseadh a dh'fhaodadh a bhith ann (radius sèididh).
- Tha sinn ag ullachadh airson iongnadh - tha sinn an dùil gum bris rudeigin, a dh’ aindeoin deuchainn agus eòlas pearsanta.
- Truailleadh gràsmhor - mura obraich rudeigin ceart, bu chòir a shuidheachadh gu fèin-obrachail, fiù mura h-eil san dòigh as èifeachdaiche.
Thionndaidh e a-mach gun anns a 'chùis againn, leis an dòigh-obrach seo air an duilgheadas, is urrainn dhuinn fuasgladh sìmplidh agus èifeachdach a lorg agus taic siostam a dhèanamh nas sìmplidhe. Thuig sinn gum b’ urrainn dhuinn pìos beag de chòd a chur ris an neach-dèiligidh agus sùil a chumail airson mearachdan iarrtas lìonra air adhbhrachadh le duilgheadasan ceangail. Ma tha mearachdan lìonra ann, bidh sinn a’ dèanamh tuiteam air ais gu dìreach chun sgòth. Chan eil am fuasgladh seo a 'feumachdainn oidhirp mhòr airson sgiobaidhean luchd-cleachdaidh, ach tha e gu mòr a' lùghdachadh cunnart briseadh sìos agus iongnadh dhuinn.
Gu dearbh, a dh'aindeoin an tuiteam air ais, tha sinn a dh'aindeoin sin a 'leantainn smachd soilleir rè leasachadh:
- Eisimpleir deuchainn.
- Deuchainn A/B no Canaries.
- Sgaoileadh adhartach.
Le sampaill, chaidh an dòigh-obrach a mhìneachadh - thèid atharrachaidhean a dhearbhadh an toiseach le bhith a’ cleachdadh reasabaidh àbhaisteach.
Airson deuchainn canary, feumaidh sinn paidhrichean de luchd-frithealaidh fhaighinn air an urrainn dhuinn coimeas a dhèanamh eadar mar a tha an siostam ag obair ro agus às deidh na h-atharrachaidhean. Gus seo a dhèanamh, bhon iomadh làrach CDN againn, bidh sinn a’ taghadh paidhrichean de luchd-frithealaidh a gheibh trafaic coimeasach:
An uairsin bidh sinn a’ stàladh an togail leis na h-atharrachaidhean air an t-seirbheisiche Canary. Gus na toraidhean a mheasadh, bidh sinn a’ ruith siostam a tha a’ dèanamh coimeas eadar timcheall air 100-150 meatrach le sampall de luchd-frithealaidh smachd:
Ma shoirbhicheas le deuchainn Canary, bidh sinn ga leigeil ma sgaoil mean air mhean, ann an tonnan. Cha bhith sinn ag ùrachadh luchd-frithealaidh air gach làrach aig an aon àm - tha call làrach slàn air sgàth dhuilgheadasan a’ toirt buaidh nas cudromaiche air an t-seirbheis do luchd-cleachdaidh na bhith a’ call an aon àireamh de luchd-frithealaidh ann an diofar àiteachan.
San fharsaingeachd, tha èifeachdas agus sàbhailteachd an dòigh-obrach seo an urra ri meud agus càileachd nan meatrach a chaidh a chruinneachadh. Airson an t-siostam luathachaidh ceist againn, bidh sinn a’ tional metrics bho gach pàirt comasach:
- bho luchd-dèiligidh - an àireamh de sheiseanan agus iarrtasan, ìrean tuiteam air ais;
- neach-ionaid - staitistig air an àireamh agus àm iarrtasan;
- DNS - àireamh agus toraidhean iarrtasan;
- iomall sgòthan - àireamh agus ùine airson a bhith a’ giullachd iarrtasan san sgòth.
Tha seo uile air a chruinneachadh ann an aon loidhne-phìoban, agus, a rèir na feumalachdan, bidh sinn a’ co-dhùnadh dè na meatrach a bu chòir a chuir gu mion-sgrùdaidhean fìor-ùine, agus dè gu Elasticsearch no Big Data airson breithneachadh nas mionaidiche.
Bidh sinn a’ cumail sùil
Anns a 'chùis againn, tha sinn a' dèanamh atharrachaidhean air slighe èiginneach iarrtasan eadar an neach-dèiligidh agus an fhrithealaiche. Aig an aon àm, tha an àireamh de phàirtean eadar-dhealaichte air an neach-dèiligidh, air an fhrithealaiche, agus air an t-slighe tron eadar-lìon gu math mòr. Bidh atharrachaidhean air an neach-dèiligidh agus an fhrithealaiche a 'tachairt daonnan - rè obair dhusanan de sgiobaidhean agus atharrachaidhean nàdarra san eag-shiostam. Tha sinn sa mheadhan - nuair a bhios sinn a’ lorg dhuilgheadasan, tha deagh chothrom ann gum bi sinn an sàs ann. Mar sin, feumaidh sinn tuigsinn gu soilleir mar a mhìnicheas sinn, a chruinnicheas agus a mhion-sgrùdadh meatrach gus duilgheadasan a lorg gu sgiobalta.
Mas fheàrr, làn chothrom air a h-uile seòrsa de mheatrics agus sìoltachain ann an àm fìor. Ach tha tòrr metrics ann, agus mar sin tha ceist cosgais ag èirigh. Anns a 'chùis againn, bidh sinn a' sgaradh mheatairean agus innealan leasachaidh mar a leanas:
Gus duilgheadasan a lorg agus a dhearbhadh bidh sinn a’ cleachdadh an t-siostam stòr fosgailte againn fhèin ann an àm fìor и - airson lèirsinn. Bidh e a’ stòradh meatrach iomlan mar chuimhne, tha e earbsach agus a’ ceangal ris an t-siostam rabhaidh. Airson sgìreachadh agus breithneachadh, tha cothrom againn air logaichean bho Elasticsearch agus Kibana. Airson mion-sgrùdadh staitistigeil agus modaladh, bidh sinn a’ cleachdadh dàta mòr agus fradharc ann an Tableau.
Tha e coltach gu bheil an dòigh-obrach seo gu math duilich obrachadh leis. Ach, le bhith a’ cur air dòigh metrics agus innealan gu rangachd, is urrainn dhuinn duilgheadas a mhion-sgrùdadh gu sgiobalta, an seòrsa duilgheadas a dhearbhadh, agus an uairsin drileadh sìos gu meatrach mionaideach. San fharsaingeachd, bidh sinn a 'caitheamh timcheall air 1-2 mionaidean gus tùs a' bhriseadh a chomharrachadh. Às deidh seo, bidh sinn ag obair le sgioba sònraichte air diagnosachd - bho dheich mionaidean gu grunn uairean a thìde.
Fiù ma thèid am breithneachadh a dhèanamh gu sgiobalta, chan eil sinn airson gun tachair seo gu tric. Mas fheàrr, chan fhaigh sinn rabhadh èiginneach ach nuair a tha buaidh mhòr air an t-seirbheis. Airson an t-siostam luathachaidh ceist againn, chan eil againn ach 2 rabhadh a chuireas fios gu:
- Cliant Fallback sa cheud - measadh air giùlan luchd-cleachdaidh;
- àireamh sa cheud Mearachdan probe - dàta seasmhachd co-phàirtean lìonra.
Bidh na rabhaidhean èiginneach sin a’ cumail sùil a bheil an siostam ag obair airson a’ mhòr-chuid de luchd-cleachdaidh. Bidh sinn a’ coimhead air cia mheud teachdaiche a chleachd cùl-taic mura b’ urrainn dhaibh luathachadh iarrtas fhaighinn. Bidh sinn gu cuibheasach nas lugha na 1 rabhadh èiginneach gach seachdain, eadhon ged a tha tunna de dh’ atharrachaidhean a’ dol air adhart san t-siostam. Carson a tha seo gu leòr dhuinn?
- Tha cùl-taic teachdaiche ann mura h-eil an neach-ionaid againn ag obair.
- Tha siostam stiùiridh fèin-ghluasadach ann a fhreagras duilgheadasan.
Tuilleadh mion-fhiosrachaidh mun fhear mu dheireadh. Tha an siostam deuchainn againn, agus an siostam airson a bhith a’ dearbhadh gu fèin-ghluasadach air an t-slighe as fheàrr airson iarrtasan bhon neach-dèiligidh chun sgòth, a’ leigeil leinn dèiligeadh gu fèin-ghluasadach ri cuid de dhuilgheadasan.
Tillidh sinn chun rèiteachadh sampall againn agus 3 roinnean slighe. A bharrachd air ùine luchdachadh, is urrainn dhuinn coimhead air fìrinn an lìbhrigidh fhèin. Mura robh e comasach an dàta a luchdachadh, an uairsin le bhith a’ coimhead air na toraidhean air diofar shlighean is urrainn dhuinn dearbhadh càite agus dè a bhris, agus an urrainn dhuinn a chàradh gu fèin-ghluasadach le bhith ag atharrachadh slighe an iarrtais.
eisimpleirean:
Faodaidh am pròiseas seo a bhith fèin-ghluasadach. Cuir a-steach e san t-siostam stiùiridh. Agus ionnsaich e gus freagairt a thoirt do dhuilgheadasan coileanaidh agus earbsachd. Ma thòisicheas rudeigin a’ briseadh, freagair ma tha roghainn nas fheàrr ann. Aig an aon àm, chan eil freagairt sa bhad deatamach, mar thoradh air tuiteam air ais air teachdaichean.
Mar sin, faodar prionnsapalan taic siostam a dhealbhadh mar a leanas:
- lùghdachadh an ìre de bhriseadh;
- a 'cruinneachadh slatan-tomhais;
- Bidh sinn a’ càradh briseadh sìos gu fèin-ghluasadach mas urrainn dhuinn;
- mur urrainn, tha sinn a' toirt fios duit ;
- Tha sinn ag obair air deas-bhòrdan agus inneal triage airson freagairt sgiobalta.
Leasanan a chaidh ionnsachadh
Cha toir e mòran ùine airson prototype a sgrìobhadh. Anns a 'chùis againn, bha e deiseil an dèidh 4 mìosan. Le e fhuair sinn metrics ùra, agus 10 mìosan an dèidh toiseach an leasachaidh a fhuair sinn a 'chiad trafaig riochdachaidh. An uairsin thòisich an obair duilich agus gu math duilich: mean air mhean cinneasachadh agus sgèile an t-siostam, imrich a ’phrìomh thrafaig agus ionnsaich bho mhearachdan. Ach, cha bhi am pròiseas èifeachdach seo sreathach - a dh'aindeoin gach oidhirp, chan urrainnear a h-uile dad a ro-innse. Tha e mòran nas èifeachdaiche ath-aithris gu sgiobalta agus freagairt a thoirt do dhàta ùr.
Stèidhichte air an eòlas againn, is urrainn dhuinn na leanas a mholadh:
- Na cuir earbsa anns an intuition agad.
Dh'fhàillig ar n-inntinn sinn daonnan, a dh'aindeoin eòlas mòr ar buill sgioba. Mar eisimpleir, rinn sinn ro-innse ceàrr air an astar ris an robh dùil bho bhith a’ cleachdadh neach-ionaid CDN, no giùlan TCP Anycast.
- Faigh dàta bho riochdachadh.
Tha e cudromach faighinn gu co-dhiù beagan dàta toraidh cho luath ‘s a ghabhas. Tha e cha mhòr do-dhèanta an àireamh de chùisean sònraichte, rèiteachaidhean, agus suidheachaidhean fhaighinn ann an suidheachaidhean obair-lann. Leigidh ruigsinneachd luath air na toraidhean dhut ionnsachadh gu sgiobalta mu dhuilgheadasan a dh’ fhaodadh a bhith ann agus aire a thoirt dhaibh ann an ailtireachd an t-siostaim.
- Na lean comhairle agus toraidhean dhaoine eile - cruinnich an dàta agad fhèin.
Lean na prionnsapalan airson a bhith a 'cruinneachadh agus a' sgrùdadh dàta, ach na gabh gu dall ri toraidhean agus aithrisean dhaoine eile. Is e dìreach thusa as urrainn fios a bhith agad dè dìreach a tha ag obair dha do luchd-cleachdaidh. Faodaidh na siostaman agad agus do luchd-ceannach a bhith gu math eadar-dhealaichte bho chompanaidhean eile. Gu fortanach, tha innealan anailis rim faighinn a-nis agus furasta an cleachdadh. Is dòcha nach e na toraidhean a gheibh thu na tha Netflix, Facebook, Akamai agus companaidhean eile ag ràdh. Anns a ’chùis againn, tha coileanadh TLS, HTTP2 no staitistig air iarrtasan DNS eadar-dhealaichte bho thoraidhean Facebook, Uber, Akamai - leis gu bheil diofar innealan, teachdaichean agus sruthan dàta againn.
- Na lean gluasadan fasan gun fheum agus dèan measadh air èifeachdas.
Tòisich sìmplidh. Tha e nas fheàrr siostam obrach sìmplidh a dhèanamh ann an ùine ghoirid na bhith a’ caitheamh mòran ùine a’ leasachadh phàirtean nach fheum thu. Fuasgail gnìomhan agus duilgheadasan a tha cudromach stèidhichte air na tomhais agus na toraidhean agad.
- Dèan deiseil airson tagraidhean ùra.
Dìreach mar a tha e doirbh ro-innse a h-uile duilgheadas, tha e doirbh ro-innse na buannachdan agus na h-iarrtasan ro-làimh. Gabh beachd bho luchd-tòiseachaidh - an comas atharrachadh a rèir suidheachadh teachdaiche. Anns a 'chùis agad, is dòcha gum faigh thu a-mach duilgheadasan ùra agus na fuasglaidhean aca. Anns a’ phròiseact againn, shuidhich sinn amas gus latency iarrtasan a lughdachadh. Ach, rè an anailis agus na còmhraidhean, thuig sinn gun urrainn dhuinn cuideachd frithealaichean progsaidh a chleachdadh:
- gus trafaic a chothromachadh thar roinnean AWS agus cosgaisean a lughdachadh;
- gus seasmhachd CDN a mhodail;
- DNS a rèiteachadh;
- gus TLS/TCP a rèiteachadh.
co-dhùnadh
Anns an aithisg, thug mi cunntas air mar a tha Netflix a’ fuasgladh na duilgheadas ann a bhith a’ luathachadh iarrtasan eadar-lìn eadar teachdaichean agus an sgòth. Mar a bhios sinn a’ cruinneachadh dàta a’ cleachdadh siostam samplachaidh air teachdaichean, agus a’ cleachdadh an dàta eachdraidheil a chaidh a chruinneachadh gus iarrtasan cinneasachaidh bho luchd-dèiligidh a stiùireadh tron t-slighe as luaithe air an eadar-lìn. Mar a chleachdas sinn prionnsapalan protocolaidhean lìonra, ar bun-structar CDN, lìonra cnàimh-droma, agus frithealaichean DNS gus an obair seo a choileanadh.
Ach, chan eil anns an fhuasgladh againn ach eisimpleir air mar a chuir sinn aig Netflix an leithid de shiostam an gnìomh. Dè dh’ obraich dhuinne. Is e am pàirt gnìomhaichte den aithisg agam dhut na prionnsapalan leasachaidh agus taic a bhios sinn a’ leantainn agus a’ coileanadh deagh thoraidhean.
Is dòcha nach bi ar fuasgladh don duilgheadas freagarrach dhut. Ach, tha an teòiridh agus na prionnsapalan dealbhaidh ann fhathast, eadhon mura h-eil am bun-structar CDN agad fhèin, no ma tha e gu math eadar-dhealaichte bhon fheadhainn againn.
Tha cudromachd astar iarrtasan gnìomhachais cuideachd cudromach. Agus eadhon airson seirbheis shìmplidh feumaidh tu roghainn a dhèanamh: eadar solaraichean sgòthan, àite an fhrithealaiche, solaraichean CDN agus DNS. Bheir do roghainn buaidh air èifeachdas cheistean eadar-lìn don luchd-ceannach agad. Agus tha e cudromach dhut a 'bhuaidh seo a thomhas agus a thuigsinn.
Tòisich le fuasglaidhean sìmplidh, cùram mu mar a dh'atharraicheas tu an toradh. Ionnsaich mar a thèid thu air adhart agus leasaich an siostam stèidhichte air dàta bhon luchd-ceannach agad, do bhun-structar, agus do ghnìomhachas. Smaoinich air mar a dh’ fhaodadh briseadh dùil ris nach robh dùil tron phròiseas dealbhaidh. Agus an uairsin faodaidh tu do phròiseas leasachaidh a luathachadh, èifeachdas an fhuasglaidh adhartachadh, eallach taic neo-riatanach a sheachnadh agus cadal gu sìtheil.
Am-bliadhna ann an cruth air-loidhne. Faodaidh tu ceistean fhaighneachd do aon de na h-athraichean aig DevOps, John Willis fhèin!
Source: www.habr.com