Is é Netflix an ceannaire sa mhargadh teilifíse Idirlín - an chuideachta a chruthaigh an deighleog seo agus atá ag forbairt go gníomhach. Tá Netflix ar eolas ní hamháin as a chatalóg leathan de scannáin agus sraitheanna teilifíse atá ar fáil ó beagnach gach cúinne den phláinéid agus aon fheiste le taispeáint, ach freisin as a bhonneagar iontaofa agus a chultúr innealtóireachta uathúil.
Cuireadh i láthair ag DevOops 2019 sampla soiléir de chur chuige Netflix maidir le córais chasta a fhorbairt agus a thacú - Stiúrthóir Forbartha ag Netflix. Céimí de chuid Dámh na Matamaitice Ríomhaireachta agus na Matamaitice de chuid Ollscoil Stáit Nizhny Novgorod. Lobachevsky, Sergey ar cheann de na chéad innealtóirí i Open Connect - foireann CDN ag Netflix. Thóg sé córais chun monatóireacht agus anailís a dhéanamh ar shonraí físeáin, sheol sé seirbhís mhóréilimh chun luas nasc Idirlín a mheas FAST.com, agus le cúpla bliain anuas tá sé ag obair ar iarratais Idirlín a bharrfheabhsú ionas go n-oibríonn an t-iarratas Netflix chomh tapa agus is féidir d'úsáideoirí.
Fuair an tuarascáil na léirmheasanna is fearr ó rannpháirtithe na comhdhála, agus tá leagan téacs ullmhaithe againn duit.
Ina thuarascáil, labhair Sergei go mion
- faoi na rudaí a théann i bhfeidhm ar an moill ar iarratais Idirlín idir an cliant agus an freastalaí;
- conas an mhoill seo a laghdú;
- conas córais a fhulaingíonn earráidí a dhearadh, a chothabháil agus monatóireacht a dhéanamh orthu;
- conas torthaí a bhaint amach i mbeagán ama, agus gan mórán riosca don ghnó;
- conas torthaí a anailísiú agus foghlaim ó bhotúin.
Tá freagraí ar na ceisteanna seo ag teastáil ní hamháin dóibh siúd a oibríonn i gcorparáidí móra.
Ba cheart go mbeadh na prionsabail agus na teicnící curtha i láthair ar eolas agus á gcleachtadh ag gach duine a fhorbraíonn agus a thacaíonn le táirgí Idirlín.
Ansin tá an scéal ó dhearcadh an chainteora.
An tábhacht a bhaineann le luas idirlín
Baineann luas na n-iarratas Idirlín go díreach le gnó. Smaoinigh ar an tionscal siopadóireachta: Amazon i 2009 go gcailltear 100% de na díolacháin mar thoradh ar mhoill 1ms.
Tá níos mó agus níos mó gléasanna soghluaiste ann, agus suíomhanna soghluaiste agus feidhmchláir ina dhiaidh sin. Má thógann sé níos mó ná 3 soicind do leathanach a luchtú, tá thart ar leath de do chuid úsáideoirí amú ort. LE Cuireann Google luas luchtaithe do leathanaigh san áireamh i dtorthaí cuardaigh: dá tapúla an leathanach, is airde a shuíomh in Google.
Tá luas an naisc tábhachtach freisin in institiúidí airgeadais ina bhfuil an fhoighne ríthábhachtach. In 2015, Hibernia Networks cábla $400 milliún idir Nua-Eabhrac agus Londain chun an fhola idir na cathracha a laghdú 6m. Samhlaigh $66 milliún le haghaidh 1 ms de laghdú folaigh!
De réir , ní chuireann luasanna nasctha os cionn 5 Mbit/s isteach go díreach ar luas luchtaithe gnáthláithreáin ghréasáin. Mar sin féin, tá gaol líneach idir latency nasctha agus luas luchtaithe leathanaigh:
Mar sin féin, ní táirge tipiciúil é Netflix. Is réimse gníomhach anailíse agus forbartha é an tionchar a bhíonn ag latency agus luas ar an úsáideoir. Tá luchtú feidhmchlár agus roghnú ábhar ann a bhraitheann ar latency, ach tá luchtú eilimintí statacha agus sruthú ag brath ar luas nasc freisin. Réimse gníomhach forbartha do roinnt foirne ag Netflix is ea anailís agus barrfheabhsú a dhéanamh ar na príomhfhachtóirí a mbíonn tionchar acu ar eispéireas an úsáideora. Is é ceann de na spriocanna ná latency na n-iarratas idir feistí Netflix agus an bonneagar scamall a laghdú.
Sa tuarascáil díreoimid go sonrach ar latency a laghdú ag baint úsáide as an sampla de bhonneagar Netflix. Déanaimis machnamh ó thaobh praiticiúil de conas dul i ngleic le próisis deartha, forbartha agus oibríochta na gcóras dáilte casta agus am a chaitheamh ar nuálaíocht agus ar thorthaí, seachas ag diagnóisiú fadhbanna agus cliseadh oibriúcháin.
Taobh istigh Netflix
Tacaíonn na mílte gléasanna éagsúla le apps Netflix. Forbraíonn ceithre fhoireann éagsúla iad, a dhéanann leaganacha ar leith den chliant le haghaidh Android, iOS, teilifíse agus brabhsálaithe gréasáin. Agus caithfimid go leor iarracht ar eispéireas an úsáideora a fheabhsú agus a phearsantú. Chun seo a dhéanamh, déanaimid na céadta tástáil A/B go comhthreomhar.
Tacaíonn na céadta micrisheirbhísí sa scamall AWS le pearsanú, a sholáthraíonn sonraí pearsantaithe úsáideora, seoladh fiosrúchán, teiliméadracht, Sonraí Móra agus Ionchódú. Breathnaíonn léirshamhlú tráchta mar seo:
Ar thaobh na láimhe clé tá an pointe iontrála, agus ansin déantar an trácht a dháileadh i measc na gcéadta microservices a fhaigheann tacaíocht ó fhoireann backend éagsúla.
Comhpháirt thábhachtach eile dár mbonneagar is ea an Open Connect CDN, a sheachadann ábhar statach don úsáideoir deiridh - físeáin, íomhánna, cód cliaint, etc. Tá an CDN suite ar fhreastalaithe saincheaptha (OCA - Open Connect Appliance). Taobh istigh tá eagair de thiomáineann SSD agus HDD ag rith FreeBSD optamaithe, le NGINX agus sraith seirbhísí. Déanaimid comhpháirteanna crua-earraí agus bogearraí a dhearadh agus a bharrfheabhsú ionas gur féidir le freastalaí CDN den sórt sin a oiread sonraí agus is féidir a sheoladh chuig úsáideoirí.
Breathnaíonn “balla” na bhfreastalaithe seo ag an bpointe malartaithe tráchta Idirlín (Internet eXchange - IX): mar seo:
Soláthraíonn Malartú Idirlín an cumas do sholáthróirí seirbhísí Idirlín agus soláthraithe ábhair “nascadh” lena chéile chun sonraí a mhalartú ar bhealach níos dírí ar an Idirlíon. Tá thart ar 70-80 pointe Malartaithe Idirlín ar fud an domhain ina bhfuil ár bhfreastalaithe suiteáilte, agus déanaimid iad a shuiteáil agus a chothabháil go neamhspleách:
Ina theannta sin, cuirimid freastalaithe ar fáil go díreach do sholáthraithe Idirlín freisin, a shuiteálann siad ina líonra, ag feabhsú logánú tráchta Netflix agus cáilíocht an tsruthaithe d’úsáideoirí:
Tá sraith de sheirbhísí AWS freagrach as iarratais físe ó chliaint a sheoladh chuig freastalaithe CDN, chomh maith leis na freastalaithe iad féin a chumrú - ábhar, cód cláir, socruithe, etc. Maidir leis an dara ceann, thógamar líonra cnámh droma freisin a nascann freastalaithe i bpointí Malartú Idirlín le AWS. Is líonra domhanda de cháblaí snáthoptaice agus ródairí é an líonra cnámh droma ar féidir linn a dhearadh agus a chumrú bunaithe ar ár gcuid riachtanas.
Ar , seachadann ár mbonneagar CDN thart ar ⅛ de thrácht Idirlín an domhain le linn buaicuaireanta agus ⅓ den trácht i Meiriceá Thuaidh, áit a bhfuil Netflix thart ar an gceann is faide. Uimhreacha iontacha, ach is é ceann de na héachtaí is iontach domsa ná go bhfuil an córas CDN ar fad á fhorbairt agus á chothabháil ag foireann de níos lú ná 150 duine.
Ar dtús, ceapadh an bonneagar CDN chun sonraí físeáin a sheachadadh. Mar sin féin, le himeacht ama thuig muid gur féidir linn é a úsáid freisin chun iarratais dinimiciúla ó chliaint sa scamall AWS a bharrfheabhsú.
Faoi luasghéarú Idirlín
Sa lá atá inniu ann, tá 3 réigiún AWS ag Netflix, agus beidh latency na n-iarratas chuig an scamall ag brath ar cé chomh fada agus atá an custaiméir ón réigiún is gaire. Ag an am céanna, tá go leor freastalaithe CDN againn a úsáidtear chun ábhar statach a sheachadadh. An bhfuil aon bhealach chun an creat seo a úsáid chun dlús a chur le fiosruithe dinimiciúla? Ach, ar an drochuair, tá sé dodhéanta na hiarratais seo a thaisceadh - tá APIanna pearsantaithe agus tá gach toradh uathúil.
Déanaimis seachfhreastalaí ar an bhfreastalaí CDN agus cuirimis tús le trácht a sheoladh tríd. An mbeidh sé níos tapúla?
Materiel
A ligean ar cuimhneamh conas a oibríonn prótacail líonra. Sa lá atá inniu ann, úsáideann an chuid is mó de thrácht ar an Idirlíon HTTPanna, a bhraitheann ar na prótacail ciseal níos ísle TCP agus TLS. Chun gur féidir le cliant ceangal leis an bhfreastalaí, déanann sé croitheadh láimhe, agus chun nasc slán a bhunú, ní mór don chliant teachtaireachtaí a mhalartú leis an bhfreastalaí trí huaire agus uair amháin eile ar a laghad chun sonraí a aistriú. Le latency in aghaidh an turais bhabhta (RTT) de 100 ms, thógfadh sé 400 ms orainn an chéad ghiotán sonraí a fháil:
Má chuirimid na deimhnithe ar an bhfreastalaí CDN, is féidir an t-am croitheadh láimhe idir an cliant agus an freastalaí a laghdú go suntasach má tá an CDN níos dlúithe. Glacaimid leis gurb é 30ms an fhoighne don fhreastalaí CDN. Ansin tógfaidh sé 220 ms chun an chéad ghiotán a fháil:
Ach ní chríochnaíonn na buntáistí ann. Nuair a bhíonn nasc bunaithe, méadaíonn TCP an fhuinneog plódaithe (an méid faisnéise is féidir leis a tharchur thar an nasc sin go comhthreomhar). Má chailltear paicéad sonraí, laghdaítear an “fuinneog” oscailte faoi leath le cur i bhfeidhm clasaiceach an phrótacail TCP (cosúil le TCP New Reno). Braitheann fás na fuinneoige plódaithe, agus luas a ghnóthú ó chaillteanas arís ar an moill (RTT) don fhreastalaí. Mura dtéann an nasc seo ach chomh fada leis an bhfreastalaí CDN, beidh an aisghabháil seo níos tapúla. Ag an am céanna, is feiniméan caighdeánach é caillteanas paicéad, go háirithe do líonraí gan sreang.
D’fhéadfaí bandaleithead idirlín a laghdú, go háirithe le linn buaicuaireanta, mar gheall ar thrácht ó úsáideoirí, rud a d’fhéadfadh a bheith ina thranglam tráchta. Mar sin féin, níl aon bhealach ar an Idirlíon chun tosaíocht a thabhairt do roinnt iarratas thar cinn eile. Mar shampla, tabhair tosaíocht d’iarratais bheaga atá íogair ó thaobh folaigh de thar shruthanna sonraí “troma” a lódálann an líonra. Mar sin féin, inár gcás, ceadaíonn ár líonra cnámh droma féin dúinn é seo a dhéanamh ar chuid de chonair an iarratais - idir an CDN agus an scamall, agus is féidir linn é a chumrú go hiomlán. Is féidir leat a bheith cinnte go dtugtar tosaíocht do phaicéid bheaga agus latency-íogair, agus téann sreabhadh sonraí mór beagán níos déanaí. Dá gaire an CDN don chliant, is mó an éifeachtúlacht.
Bíonn tionchar ag prótacail leibhéal feidhmchláir (Leibhéal 7 OSI) ar an bhfola chomh maith. Déanann prótacail nua ar nós HTTP/2 feidhmíocht na n-iarratas comhthreomhar a bharrfheabhsú. Mar sin féin, tá cliaint Netflix againn le feistí níos sine nach dtacaíonn leis na prótacail nua. Ní féidir gach cliant a nuashonrú nó a chumrú go barrmhaith. Ag an am céanna, idir an seachfhreastalaí CDN agus an scamall tá rialú iomlán agus an cumas chun prótacail agus socruithe nua is fearr a úsáid. Ní oibreoidh an chuid neamhéifeachtach le seanphrótacail ach idir an cliant agus an freastalaí CDN. Ina theannta sin, is féidir linn iarratais ilphléacs a dhéanamh ar nasc atá bunaithe cheana féin idir an CDN agus an néal, ag cur feabhas ar úsáid nasc ag leibhéal TCP:
Tomhaisimid
In ainneoin go bhfuil an teoiric geallúintí feabhsuithe, ní féidir linn Rush láithreach a sheoladh ar an gcóras i dtáirgeadh. Ina áit sin, ní mór dúinn a chruthú ar dtús go n-oibreoidh an smaoineamh go praiticiúil. Chun seo a dhéanamh ní mór duit roinnt ceisteanna a fhreagairt:
- Speed: an mbeidh seachfhreastalaí níos tapúla?
- Iontaofacht: An mbrisfidh sé níos minice?
- Castacht: conas a chomhtháthú le hiarratais?
- Costas: Cé mhéad a chosnaíonn sé bonneagar breise a imscaradh?
Déanaimis machnamh go mion ar ár gcur chuige maidir le measúnú a dhéanamh ar an gcéad phointe. Déileáiltear leis an gcuid eile ar an mbealach céanna.
Chun luas na n-iarratas a anailísiú, ba mhaith linn sonraí a fháil do gach úsáideoir, gan go leor ama a chaitheamh ar fhorbairt agus gan táirgeadh a bhriseadh. Tá roinnt cur chuige ann chuige seo:
- RUM, nó tomhas iarratais éighníomhach. Tomhaisimid am forghníomhaithe na n-iarratas reatha ó úsáideoirí agus cinntímid clúdach iomlán úsáideoirí. Is é an míbhuntáiste nach bhfuil an comhartha an-chobhsaí mar gheall ar go leor fachtóirí, mar shampla, mar gheall ar mhéideanna éagsúla iarratais, am próiseála ar an bhfreastalaí agus ar an gcliant. Ina theannta sin, ní féidir leat cumraíocht nua a thástáil gan éifeacht i dtáirgeadh.
- Tástálacha saotharlainne. Freastalaithe speisialta agus bonneagar a insamhail cliaint. Le cabhair uathu déanaimid na tástálacha riachtanacha. Ar an mbealach seo faigheann muid smacht iomlán ar na torthaí tomhais agus comhartha soiléir. Ach níl aon chlúdach iomlán ar fheistí agus ar shuíomhanna úsáideoirí (go háirithe le seirbhís ar fud an domhain agus tacaíocht do na mílte samhlacha gléas).
Conas is féidir leat buntáistí an dá mhodh a chomhcheangal?
Tá réiteach aimsithe ag ár bhfoireann. Scríobhamar píosa beag cód - sampla - a chuireamar isteach inár bhfeidhmchlár. Ligeann tóireadóirí dúinn tástálacha líonra lánrialaithe a dhéanamh ónár bhfeistí. Oibríonn sé mar seo:
- Go gairid tar éis an t-iarratas a luchtú agus an ghníomhaíocht tosaigh a chríochnú, reáchtálaimid ár dtóirithe.
- Déanann an cliant iarratas chuig an bhfreastalaí agus faigheann sé “oideas” don tástáil. Is éard atá san oideas ná liosta URLanna ar gá iarratas HTTP(í) a dhéanamh orthu. Ina theannta sin, socraíonn an t-oideas paraiméadair iarratais: moilleanna idir iarratais, méid na sonraí a iarrtar, ceanntásca HTTP(í), etc. Ag an am céanna, is féidir linn roinnt oidis éagsúla a thástáil ag an am céanna - nuair a iarraimid cumraíocht, cinnimid go randamach cén t-oideas atá le heisiúint.
- Roghnaítear am seolta an taiscéalaithe ionas nach mbeidh sé ag teacht salach ar úsáid ghníomhach acmhainní líonra ar an gcliant. Go bunúsach, roghnaítear an t-am nuair nach bhfuil an cliant gníomhach.
- Tar éis an t-oideas a fháil, déanann an cliant iarratais ar gach ceann de na URLanna, ag an am céanna. Is féidir an t-iarratas chuig gach ceann de na seoltaí a athdhéanamh - mar a thugtar air. "pulses". Ar an gcéad chuisle, tomhaisimid cé chomh fada agus a thóg sé nasc a bhunú agus sonraí a íoslódáil. Ar an dara cuisle, tomhaisimid an t-am a thógann sé sonraí a luchtú thar nasc atá bunaithe cheana féin. Roimh an tríú ceann, is féidir linn moill a shocrú agus luas athcheangail a bhunú, etc.
Le linn na tástála, tomhaisimid na paraiméadair go léir is féidir leis an bhfeiste a fháil:
- Am iarratais DNS;
- Am socraithe nasc TCP;
- Am socraithe nasc TLS;
- an t-am a fuarthas an chéad bheart sonraí;
- am luchtaithe iomlán;
- cód toradh stádais.
- Tar éis gach bíoga a bheith críochnaithe, luchtaíonn an sampla gach tomhas le haghaidh anailíse.
Is iad na príomhphointí ná spleáchas íosta ar loighic an chliaint, próiseáil sonraí ar an bhfreastalaí agus tomhas iarratais comhthreomhara. Mar sin, is féidir linn tionchar na bhfachtóirí éagsúla a théann i bhfeidhm ar fheidhmíocht fiosrúcháin a leithlisiú agus a thástáil, iad a athrú laistigh d'oideas amháin, agus torthaí a fháil ó fhíorchliant.
Tá an bonneagar seo úsáideach le haghaidh níos mó ná anailís feidhmíochta ceisteanna amháin. Faoi láthair tá 14 oideas gníomhach againn, níos mó ná 6000 sampla in aghaidh an tsoicind, ag fáil sonraí ó gach cearn den domhan agus clúdach gléas iomlán. Dá gceannódh Netflix seirbhís chomhchosúil ó thríú páirtí, chosnódh sé na milliúin dollar in aghaidh na bliana, le clúdach i bhfad níos measa.
Teoiric tástála i gcleachtas: fréamhshamhail
Le córas den sórt sin, bhíomar in ann éifeachtúlacht seachvótálaithe CDN a mheas nuair a iarrtar iad. Anois is gá duit:
- fréamhshamhail seachfhreastalaí a chruthú;
- cuir an fhréamhshamhail ar CDN;
- a chinneadh conas cliaint a threorú chuig seachfhreastalaí ar fhreastalaí CDN ar leith;
- Cuir feidhmíocht i gcomparáid le hiarratais in AWS gan seachfhreastalaí.
Is é an tasc ná éifeachtúlacht an réitigh mholta a mheas chomh tapa agus is féidir. Roghnaigh muid Go chun an fhréamhshamhail a chur i bhfeidhm mar gheall ar infhaighteacht leabharlanna líonraithe maith. Ar gach freastalaí CDN, chuireamar an seachfhreastalaí fréamhshamhail isteach mar dhénártha statach chun spleáchais a íoslaghdú agus comhtháthú a shimpliú. Sa chur i bhfeidhm tosaigh, d'úsáideamar comhpháirteanna caighdeánacha oiread agus ab fhéidir agus mionathruithe do chomhthiomsú nasc HTTP/2 agus ilphléacsáil iarratais.
Chun cothromaíocht a dhéanamh idir réigiúin AWS, d'úsáideamar bunachar sonraí DNS geografach, an ceann céanna a úsáidtear chun cliaint a chothromú. Chun freastalaí CDN a roghnú don chliant, úsáidimid TCP Anycast le haghaidh freastalaithe in Internet Exchange (IX). Sa rogha seo, úsáidimid seoladh IP amháin do gach freastalaithe CDN, agus díreofar an cliant chuig an bhfreastalaí CDN leis an líon is lú de leannlusanna IP. I bhfreastalaithe CDN atá suiteáilte ag soláthraithe Idirlín (ISPanna), níl smacht againn ar an ródaire chun TCP Anycast a chumrú, mar sin úsáidimid , a threoraíonn custaiméirí chuig soláthraithe Idirlín le haghaidh sruthú físeáin.
Mar sin, tá trí chineál conair iarratais againn: chuig an scamall tríd an Idirlíon oscailte, trí fhreastalaí CDN in IX, nó trí fhreastalaí CDN atá suite ag soláthraí Idirlín. Is é an sprioc atá againn a thuiscint cén bealach is fearr, agus cad é an leas a bhaineann le seachfhreastalaí, i gcomparáid leis an gcaoi a gcuirtear iarratais chuig táirgeadh. Chun seo a dhéanamh, úsáidimid córas samplála mar seo a leanas:
Thiocfaidh chun bheith gach ceann de na cosáin sprioc ar leith, agus táimid ag an am a fuair muid. Le haghaidh anailíse, cuirimid na torthaí seachfhreastalaí le chéile i ngrúpa amháin (roghnaigh an t-am is fearr idir seachfhreastalaí IX agus ISP), agus cuirimid i gcomparáid iad le ham na n-iarratas chuig an scamall gan seachfhreastalaí:
Mar a fheiceann tú, bhí na torthaí measctha - i bhformhór na gcásanna tugann an seachfhreastalaí luas suas maith, ach tá líon leordhóthanach cliant ann freisin a rachaidh an scéal in olcas go suntasach.
Mar thoradh air sin, rinneamar roinnt rudaí tábhachtacha:
- Rinneamar measúnú ar fheidhmíocht ionchais na n-iarratas ó chliaint chuig an néal trí sheachvótálaí CDN.
- Fuair muid sonraí ó chliaint fíor, ó gach cineál feiste.
- Thuig muid nach raibh an teoiric deimhnithe 100% agus nach n-oibreodh an tairiscint tosaigh le seachfhreastalaí CDN dúinn.
- Níor ghlacamar rioscaí - níor athraigh muid cumraíochtaí táirgeachta do chliaint.
- Ní raibh aon rud briste.
Fréamhshamhail 2.0
Mar sin, ar ais go dtí an clár líníochta agus arís ar an bpróiseas ar fad arís.
Is é an smaoineamh ná in ionad seachfhreastalaí 100% a úsáid, déanfaimid an cosán is tapúla do gach cliant a chinneadh, agus cuirfimid iarratais ann - is é sin, déanfaimid rud ar a dtugtar stiúradh cliant.
Conas é seo a chur i bhfeidhm? Ní féidir linn loighic a úsáid ar thaobh an fhreastalaí, mar... Is é an sprioc ná ceangal leis an bhfreastalaí seo. Ní mór bealach éigin chun é seo a dhéanamh ar an gcliant. Agus go hidéalach, é seo a dhéanamh le méid íosta de loighic casta, ionas nach a réiteach ar an gceist maidir le comhtháthú le líon mór na n-ardán cliant.
Is é an freagra ná DNS a úsáid. Inár gcás, tá ár mbonneagar DNS féin againn, agus is féidir linn crios fearainn a bhunú a mbeidh ár bhfreastalaithe údarásach ina leith. Oibríonn sé mar seo:
- Déanann an cliant iarratas chuig an bhfreastalaí DNS ag baint úsáide as óstach, mar shampla api.netflix.xom.
- Tagann an t-iarratas chuig ár bhfreastalaí DNS
- Tá a fhios ag an bhfreastalaí DNS cén cosán is tapúla don chliant seo agus eisíonn sé an seoladh IP comhfhreagrach.
Tá castacht bhreise ag baint leis an réiteach: ní fheiceann soláthraithe údarásacha DNS seoladh IP an chliaint agus ní féidir leo ach seoladh IP an réitigh athfhillteach a úsáideann an cliant a léamh.
Mar thoradh air sin, ní mór dár réiteoir údarásach cinneadh a dhéanamh ní le haghaidh cliant aonair, ach le haghaidh grúpa cliant atá bunaithe ar an réititheoir athchúrsach.
Chun a réiteach, úsáidimid na samplaí céanna, comhiomlán na torthaí tomhais ó chliaint do gach ceann de na réititheoirí athchúrsach agus cinneadh a dhéanamh nuair a sheoladh chuig an ngrúpa seo acu - seachfhreastalaí trí IX ag baint úsáide as TCP Anycast, trí seachfhreastalaí ISP, nó go díreach chuig an scamall.
Faighimid an córas seo a leanas:
Ligeann an tsamhail stiúrtha DNS mar thoradh air seo duit cliaint a threorú bunaithe ar bhreathnuithe stairiúla ar luas na nasc ó chliaint go dtí an scamall.
Arís, is í an cheist ná cé chomh héifeachtach agus a oibreoidh an cur chuige seo? Chun freagra a thabhairt, úsáidimid ár gcóras taiscéalaithe arís. Dá bhrí sin, déanaimid cumraíocht an láithreora a chumrú, áit a leanann ceann de na spriocanna an treo ó stiúradh DNS, téann an ceann eile go díreach chuig an scamall (táirgeadh reatha).
Mar thoradh air sin, déanaimid comparáid idir na torthaí agus faighimid measúnú ar an éifeachtúlacht:
Mar thoradh air sin, d'fhoghlaim muid roinnt rudaí tábhachtacha:
- Rinneamar measúnú ar fheidhmíocht ionchais na n-iarratas ó chliaint chuig an néal ag baint úsáide as DNS Steering.
- Fuair muid sonraí ó chliaint fíor, ó gach cineál feiste.
- Tá éifeachtacht an smaoineamh molta cruthaithe.
- Níor ghlacamar rioscaí - níor athraigh muid cumraíochtaí táirgeachta do chliaint.
- Ní raibh aon rud briste.
Anois mar gheall ar an gcuid deacair - táimid ag seoladh é i dtáirgeadh
Tá an chuid éasca thart anois - tá fréamhshamhail oibre ann. Anois tá an chuid is deacra ag seoladh réiteach do thrácht Netflix go léir, ag imscaradh chuig 150 milliún úsáideoir, na mílte gléas, na céadta micrisheirbhísí, agus táirge agus bonneagar atá ag athrú de shíor. Faigheann freastalaithe Netflix na milliúin iarratas in aghaidh an tsoicind, agus tá sé éasca an tseirbhís a bhriseadh le gníomh míchúramach. Ag an am céanna, ba mhaith linn trácht a dhéanamh go dinimiciúil trí na mílte freastalaithe CDN ar an Idirlíon, áit a n-athraíonn agus a bhriseann rud éigin i gcónaí agus ag an nóiméad is mí-oiriúnach.
Agus leis seo go léir, tá 3 innealtóir ag an bhfoireann atá freagrach as forbairt, imscaradh agus tacaíocht iomlán an chórais.
Dá bhrí sin, leanfaimid orainn ag caint faoi chodladh restful agus sláintiúil.
Conas leanúint leis an bhforbairt agus gan do chuid ama ar fad a chaitheamh ar thacaíocht? Tá ár gcur chuige bunaithe ar 3 phrionsabal:
- Laghdaímid scála féideartha na miondealuithe (ga soinneáin).
- Táimid ag ullmhú le haghaidh iontas - táimid ag súil go mbrisfidh rud éigin, in ainneoin tástála agus taithí phearsanta.
- Díghrádú galánta - mura n-oibríonn rud éigin i gceart, ba cheart é a shocrú go huathoibríoch, fiú mura bhfuil sé ar an mbealach is éifeachtaí.
D'éirigh sé amach gur féidir linn, inár gcás, leis an gcur chuige seo ar an bhfadhb, réiteach simplí agus éifeachtach a aimsiú agus tacaíocht an chórais a shimpliú go suntasach. Thuigeamar go bhféadfaimis píosa beag cód a chur leis an gcliant agus monatóireacht a dhéanamh ar earráidí iarratais líonra de bharr fadhbanna ceangail. I gcás earráidí líonra, déanaimid cúltaca díreach chuig an scamall. Ní éilíonn an réiteach seo iarracht shuntasach d'fhoirne na gcliant, ach laghdaíonn sé go mór an baol go dtarlóidh briseadh agus iontas gan choinne dúinn.
Ar ndóigh, in ainneoin an chúlaithe, leanaimid disciplín soiléir le linn na forbartha:
- Tástáil samplach.
- Tástáil A/B nó Chanáracha.
- Rolladh amach forásach.
Le samplaí, tá cur síos déanta ar an gcur chuige - déantar athruithe a thástáil ar dtús ag baint úsáide as oideas saincheaptha.
Le haghaidh tástála canáraí, ní mór dúinn péirí inchomparáide de fhreastalaithe a fháil ar ar féidir linn comparáid a dhéanamh idir an chaoi a n-oibríonn an córas roimh na hathruithe agus ina dhiaidh. Chun seo a dhéanamh, ónár go leor suíomhanna CDN, roghnaimid péirí freastalaithe a fhaigheann trácht inchomparáide:
Ansin déanaimid an tógáil a shuiteáil leis na hathruithe ar an bhfreastalaí Canárach. Chun na torthaí a mheas, tá córas á reáchtáil againn a dhéanann comparáid idir thart ar 100-150 méadracht le sampla de fhreastalaithe Rialaithe:
Má éiríonn le tástáil Chanáracha, ansin scaoilfimid é de réir a chéile, i dtonnta. Ní nuashonraímid freastalaithe ar gach suíomh ag an am céanna - bíonn tionchar níos suntasaí ar an tseirbhís d'úsáideoirí ag cailliúint suíomh iomlán de bharr fadhbanna ná an líon céanna freastalaithe a chailliúint in áiteanna éagsúla.
Go ginearálta, braitheann éifeachtacht agus sábháilteacht an chur chuige seo ar chainníocht agus ar cháilíocht na méadrachta a bhailítear. Le haghaidh ár gcóras luasghéaraithe fiosrúcháin, bailímid méadracht ó gach comhpháirt féideartha:
- ó chliaint - líon na seisiún agus na n-iarratas, rátaí cúltaca;
- seachfhreastalaí - staitisticí ar líon agus am na n-iarratas;
- DNS - líon agus torthaí na n-iarratas;
- imeall scamall - líon agus am chun iarratais a phróiseáil sa scamall.
Bailítear é seo go léir i bpíblíne amháin, agus, ag brath ar na riachtanais, déanaimid cinneadh maidir leis na méadrachtaí atá le cur chuig anailísíocht fíor-ama, agus cé acu chuig Elasticsearch nó Big Data le haghaidh diagnóisic níos mionsonraithe.
Déanaimid monatóireacht
Inár gcás, táimid ag déanamh athruithe ar chonair chriticiúil na n-iarratas idir an cliant agus an freastalaí. Ag an am céanna, tá líon na gcomhpháirteanna éagsúla ar an gcliant, ar an bhfreastalaí, agus ar an mbealach tríd an Idirlíon ollmhór. Tarlaíonn athruithe ar an gcliant agus ar an bhfreastalaí i gcónaí - le linn obair mórán foirne agus athruithe nádúrtha san éiceachóras. Táimid i lár - agus fadhbanna á diagnóisiú, tá seans maith ann go mbeidh baint againn. Mar sin, ní mór dúinn a thuiscint go soiléir conas méadracht a shainiú, a bhailiú agus a anailísiú chun fadhbanna a leithlisiú go tapa.
Go hidéalach, rochtain iomlán ar gach cineál méadrachta agus scagairí i bhfíor-am. Ach tá go leor méadrachta ann, mar sin eascraíonn ceist an chostais. Inár gcás, scaraimid uirlisí méadrachta agus forbartha mar seo a leanas:
Bainimid úsáid as ár gcóras foinse oscailte fíor-ama féin chun fadhbanna a bhrath agus a thriaisteáil и - le haghaidh léirshamhlú. Stórálann sé méadracht chomhiomlán sa chuimhne, tá sé iontaofa agus comhtháthaíonn sé leis an gcóras foláirimh. Le haghaidh logánú agus diagnóisic, tá rochtain againn ar logaí ó Elasticsearch agus Kibana. Le haghaidh anailíse staitistiúla agus samhaltú, úsáidimid sonraí móra agus léirshamhlú in Tableau.
Dealraíonn sé go bhfuil sé an-deacair oibriú leis an gcur chuige seo. Mar sin féin, trí mhéadracht agus uirlisí a eagrú go ordlathach, is féidir linn fadhb a anailísiú go tapa, an cineál faidhbe a chinneadh, agus ansin druileáil síos go méadracht mhionsonraithe. Go ginearálta, caitheann muid thart ar 1-2 nóiméad chun foinse an bhriseadh a aithint. Tar éis seo, oibrímid le foireann ar leith ar dhiagnóisic - ó na deich nóiméad go dtí roinnt uaireanta.
Fiú má dhéantar an diagnóis go tapa, ní theastaíonn uainn go dtarlódh sé seo go minic. Go hidéalach, ní bhfaighidh muid foláireamh criticiúil ach amháin nuair a bhíonn tionchar suntasach ar an tseirbhís. Maidir lenár gcóras luasghéaraithe fiosrúchán, níl ach 2 foláireamh againn a chuirfidh in iúl:
- Céatadán Cúltaca Cliant - measúnú ar iompar custaiméirí;
- céatadán Earráidí probe - sonraí cobhsaíochta na gcomhpháirteanna líonra.
Déanann na foláirimh ríthábhachtacha seo monatóireacht ar cibé an bhfuil an córas ag obair d'fhormhór na n-úsáideoirí. Breathnaímid ar cé mhéad cliant a d'úsáid cúltaca mura raibh siad in ann luasghéarú iarratais a fháil. Déanaimid níos lú ná 1 foláireamh criticiúil ar an meán in aghaidh na seachtaine, cé go bhfuil tonna athruithe ar siúl sa chóras. Cén fáth go bhfuil sé seo go leor dúinn?
- Tá cúltaca cliant ann mura n-oibríonn ár seachfhreastalaí.
- Tá córas stiúrtha uathoibríoch ann a fhreagraíonn d'fhadhbanna.
Tuilleadh sonraí faoin dara ceann. Ceadaíonn ár gcóras trialach, agus an córas chun an cosán is fearr d'iarratais ón gcliant go dtí an scamall a chinneadh go huathoibríoch, dúinn dul i ngleic go huathoibríoch le roinnt fadhbanna.
Fillfimid ar ár gcumraíocht shamplach agus 3 chatagóir cosáin. Chomh maith leis an am a luchtú, is féidir linn breathnú ar an bhfíric an tseachadta féin. Murarbh fhéidir na sonraí a luchtú, ansin trí bhreathnú ar na torthaí feadh cosáin éagsúla is féidir linn a chinneadh cén áit agus cad a bhris, agus an féidir linn é a shocrú go huathoibríoch trí chonair an iarratais a athrú.
Samplaí:
Is féidir an próiseas seo a uathoibriú. Cuir sa chóras stiúrtha é. Agus é a mhúineadh chun freagra a thabhairt ar fhadhbanna feidhmíochta agus iontaofachta. Má thosaíonn rud éigin ag briseadh, freagair má tá rogha níos fearr ann. Ag an am céanna, níl imoibriú láithreach ríthábhachtach, a bhuíochas sin do chliaint.
Mar sin, is féidir prionsabail na tacaíochta córais a fhoirmiú mar seo a leanas:
- laghdú ar scála na miondealuithe;
- méadracht a bhailiú;
- Déanaimid miondealuithe a dheisiú go huathoibríoch más féidir linn;
- mura féidir, cuirimid in iúl duit;
- Táimid ag obair ar dheais agus ar thacar uirlisí triáise le haghaidh freagra tapa.
Ceachtanna a foghlaimíodh
Ní thógann sé mórán ama fréamhshamhail a scríobh. In ár gcás, bhí sé réidh tar éis 4 mhí. Leis sin fuaireamar méadracht nua, agus 10 mí tar éis thús na forbartha fuaireamar an chéad trácht táirgeachta. Ansin cuireadh tús leis an obair dhian agus an-deacair: déan an córas a tháirgeadh agus a scála de réir a chéile, aistrigh an príomhthrácht agus foghlaim ó bhotúin. Mar sin féin, ní bheidh an próiseas éifeachtach seo líneach - in ainneoin gach iarracht, ní féidir gach rud a thuar. Tá sé i bhfad níos éifeachtaí sonraí nua a aithris go tapa agus freagairt dóibh.
Bunaithe ar ár dtaithí, is féidir linn na nithe seo a leanas a mholadh:
- Ná muinín do intuition.
Theip ar ár n-intleacht orainn i gcónaí, in ainneoin taithí ollmhór ár mbaill foirne. Mar shampla, thuar muid go mícheart an luas a rabhthas ag súil leis ó úsáid seachfhreastalaí CDN, nó iompar TCP Anycast.
- Faigh sonraí ó tháirgeadh.
Tá sé tábhachtach rochtain a fháil ar mhéid beag sonraí táirgthe ar a laghad chomh tapa agus is féidir. Tá sé beagnach dodhéanta líon na gcásanna uathúla, cumraíochtaí agus suíomhanna a fháil i gcoinníollacha saotharlainne. Tabharfaidh rochtain thapa ar na torthaí deis duit foghlaim go tapa faoi fhadhbanna féideartha agus iad a chur san áireamh in ailtireacht an chórais.
- Ná lean comhairle agus torthaí daoine eile - bailigh do shonraí féin.
Lean na prionsabail chun sonraí a bhailiú agus a anailísiú, ach ná glac go dall le torthaí agus ráitis daoine eile. Ní féidir ach leat a fhios go díreach cad a oibríonn do d'úsáideoirí. D’fhéadfadh go mbeadh difríocht shuntasach idir do chórais agus do chustaiméirí agus cuideachtaí eile. Ar ámharaí an tsaoil, tá uirlisí anailíse ar fáil anois agus éasca le húsáid. Seans nach iad na torthaí a gheobhaidh tú mar a éilíonn Netflix, Facebook, Akamai agus cuideachtaí eile. Is é ár gcás, tá feidhmíocht TLS, HTTP2 nó staitisticí ar iarratais DNS difriúil ó thorthaí Facebook, Uber, Akamai - toisc go bhfuil feistí, cliaint agus sreafaí sonraí éagsúla againn.
- Ná lean treochtaí faisin gan ghá agus déan meastóireacht ar éifeachtacht.
Tosaigh simplí. Is fearr córas simplí oibre a dhéanamh i mbeagán ama ná cuid mhór ama a chaitheamh ag forbairt comhpháirteanna nach bhfuil de dhíth ort. Réitigh tascanna agus fadhbanna atá tábhachtach bunaithe ar do thomhais agus do thorthaí.
- Faigh réidh le haghaidh feidhmchláir nua.
Díreach mar go bhfuil sé deacair na fadhbanna go léir a thuar, tá sé deacair na buntáistí agus na hiarratais a thuar roimh ré. Glac leid ó ghnólachtaí tosaithe - a gcumas dul in oiriúint do choinníollacha an chustaiméara. I do chás féin, b’fhéidir go bhfaighidh tú amach fadhbanna nua agus a réitigh. Inár dtionscadal, leagamar síos sprioc chun latency iarratais a laghdú. Mar sin féin, le linn na hanailíse agus an phlé, thuig muid gur féidir linn freastalaithe seachfhreastalaí a úsáid freisin:
- chun trácht a chothromú thar réigiúin AWS agus costais a laghdú;
- cobhsaíocht CDN a shamhaltú;
- DNS a chumrú;
- chun TLS/TCP a chumrú.
Conclúid
Sa tuarascáil, rinne mé cur síos ar conas a réitíonn Netflix an fhadhb a bhaineann le luasghéarú ar iarratais Idirlín idir cliaint agus an scamall. Conas a bhailímid sonraí trí úsáid a bhaint as córas samplála ar chliaint, agus an úsáidimid na sonraí stairiúla a bhailítear chun iarratais táirgeachta ó chliaint a threorú tríd an gcosán is tapúla ar an Idirlíon. Conas a úsáidimid prionsabail na bprótacal líonra, ár mbonneagar CDN, líonra cnámh droma, agus freastalaithe DNS chun an tasc seo a bhaint amach.
Mar sin féin, níl sa réiteach atá againn ach sampla den chaoi ar chuireamar córas den sórt sin i bhfeidhm ag Netflix. Cad a d'oibrigh dúinn. Is é an chuid a fheidhmítear duit de mo thuarascáil ná prionsabail na forbartha agus na tacaíochta a leanaimid agus a bhainimid amach torthaí maithe.
Seans nach mbeidh ár réiteach ar an bhfadhb oiriúnach duitse. Mar sin féin, tá na prionsabail teoiric agus dearaidh fós, fiú mura bhfuil do bhonneagar CDN féin agat, nó má tá difríocht shuntasach idir é agus ár mbonneagar.
Tá tábhacht i gcónaí le luas na n-iarratas gnó freisin. Agus fiú le haghaidh seirbhís shimplí ní mór duit rogha a dhéanamh: idir soláthraithe scamall, suíomh freastalaí, CDN agus soláthraithe DNS. Beidh tionchar ag do rogha ar éifeachtacht na bhfiosruithe Idirlín do do chustaiméirí. Agus tá sé tábhachtach duit an tionchar seo a thomhas agus a thuiscint.
Tosaigh le réitigh shimplí, cúram faoi conas a athraíonn tú an táirge. Foghlaim mar a théann tú ar aghaidh agus feabhsaigh an córas bunaithe ar shonraí ó do chustaiméirí, ó do bhonneagar agus ó do ghnó. Smaoinigh ar an bhféidearthacht go dtarlódh miondealuithe gan choinne le linn an phróisis dearaidh. Agus ansin is féidir leat do phróiseas forbartha a bhrostú, éifeachtúlacht réitigh a fheabhsú, ualach tacaíochta gan ghá a sheachaint agus codladh go síochánta.
I mbliana i bhformáid ar líne. Is féidir leat ceisteanna a chur ar dhuine d’aithreacha DevOps, John Willis é féin!
Foinse: will.com