Ceev internet thov thiab pw tsaug zog

Netflix yog tus thawj coj hauv kev lag luam hauv Internet TV - lub tuam txhab uas tsim thiab nquag tsim cov ntu no. Netflix paub tsis yog tsuas yog rau nws cov phau ntawv nthuav dav ntawm cov yeeb yaj kiab thiab TV series muaj los ntawm yuav luag txhua lub ces kaum ntawm lub ntiaj teb thiab txhua yam khoom siv nrog cov zaub, tab sis kuj rau nws cov kev txhim kho txhim khu kev qha thiab cov kab lis kev cai tshwj xeeb engineering.

Ib qho piv txwv meej ntawm Netflix txoj hauv kev los tsim thiab txhawb nqa cov txheej txheem nyuaj tau nthuav tawm ntawm DevOops 2019 Sergey Fedorov - Tus Thawj Coj Kev Txhim Kho ntawm Netflix. Kawm tiav ntawm Kws Qhia Ntawv ntawm Kev Ua lej thiab lej ntawm Nizhny Novgorod State University. Lobachevsky, Sergey yog ib tus thawj engineers hauv Open Connect - CDN pab neeg ntawm Netflix. Nws tau tsim cov txheej txheem rau kev saib xyuas thiab tshuaj xyuas cov ntaub ntawv video, tau tsim cov kev pabcuam nrov rau kev ntsuas kev sib txuas hauv Is Taws Nem ceev FAST.com, thiab ob peb xyoos dhau los tau ua haujlwm rau kev ua kom zoo dua hauv Is Taws Nem thov kom daim ntawv thov Netflix ua haujlwm sai li sai tau rau cov neeg siv.

Daim ntawv tshaj tawm tau txais cov kev tshuaj xyuas zoo tshaj plaws los ntawm cov neeg koom nrog lub rooj sib tham, thiab peb tau npaj cov ntawv sau rau koj.

Hauv nws daim ntawv tshaj tawm, Sergei tau hais meej meej

• hais txog dab tsi cuam tshuam qhov ncua sij hawm ntawm kev thov hauv Is Taws Nem ntawm tus neeg siv khoom thiab cov neeg rau zaub mov;
• yuav ua li cas txo qhov ncua sij hawm;
• yuav ua li cas tsim, tswj thiab saib xyuas cov txheej txheem ua yuam kev;
• yuav ua li cas kom ua tiav cov txiaj ntsig hauv lub sijhawm luv luv, thiab muaj kev pheej hmoo tsawg kawg rau kev lag luam;
• yuav ua li cas txheeb xyuas cov txiaj ntsig thiab kawm los ntawm qhov yuam kev.

Cov lus teb rau cov lus nug no yog xav tau tsis yog los ntawm cov neeg ua haujlwm hauv cov tuam txhab loj xwb.

Cov ntsiab cai thiab cov txheej txheem yuav tsum paub thiab xyaum los ntawm txhua tus neeg uas tsim thiab txhawb nqa cov khoom hauv Internet.

Tom ntej no yog cov lus piav qhia los ntawm tus neeg hais lus pom.

Qhov tseem ceeb ntawm internet ceev

Qhov ceev ntawm kev thov hauv Is Taws Nem yog ncaj qha ntsig txog kev lag luam. Xav txog kev lag luam khw: Amazon hauv 2009 hais lustias 100ms ncua ua rau poob ntawm 1% ntawm kev muag khoom.

Muaj ntau thiab ntau cov khoom siv mobile, ua raws li cov chaw txawb thiab cov ntawv thov. Yog tias koj nplooj ntawv siv sijhawm ntev dua 3 vib nas this los thauj khoom, koj poob li ib nrab ntawm koj cov neeg siv. Nrog Lub Xya Hli 2018 Google yuav siv sij hawm mus rau hauv tus account lub loading ceev ntawm koj nplooj ntawv nyob rau hauv kev tshawb fawb cov ntsiab lus: qhov ceev ntawm nplooj ntawv, lub siab dua nws txoj hauj lwm nyob rau hauv Google.

Kev sib txuas ceev kuj tseem ceeb hauv cov tuam txhab nyiaj txiag uas latency tseem ceeb heev. Xyoo 2015, Hibernia Networks tiav $ 400 lab cable ntawm New York thiab London kom txo qis latency ntawm cov nroog los ntawm 6ms. Xav txog $66 lab rau 1 ms ntawm latency txo!

Raws li kev tshawb nrhiav, kev sib txuas ceev tshaj 5 Mbit / s tsis cuam tshuam ncaj qha rau kev thauj khoom ceev ntawm lub vev xaib raug cai. Txawm li cas los xij, muaj kev sib raug zoo ntawm kev sib txuas latency thiab nplooj ntawv nrawm:

Txawm li cas los xij, Netflix tsis yog cov khoom lag luam raug. Qhov cuam tshuam ntawm latency thiab ceev ntawm tus neeg siv yog qhov chaw ua haujlwm ntawm kev tshuaj xyuas thiab kev txhim kho. Muaj daim ntawv thov thauj khoom thiab xaiv cov ntsiab lus uas nyob ntawm latency, tab sis kev thauj khoom zoo li qub thiab streaming kuj nyob ntawm kev sib txuas ceev. Kev tshuaj xyuas thiab ua kom zoo tshaj qhov tseem ceeb uas cuam tshuam rau cov neeg siv kev paub dhau los yog thaj chaw nquag ntawm kev txhim kho rau ntau pab pawg ntawm Netflix. Ib qho ntawm cov hom phiaj yog kom txo qis latency ntawm kev thov ntawm Netflix cov cuab yeej thiab cov huab vaj tse.

Hauv tsab ntawv tshaj tawm peb yuav tsom tshwj xeeb rau kev txo qis latency siv tus piv txwv ntawm Netflix infrastructure. Cia peb xav txog qhov ua tau zoo ntawm kev saib yuav ua li cas los ntawm cov txheej txheem ntawm kev tsim, kev tsim kho thiab kev ua haujlwm ntawm cov txheej txheem sib faib thiab siv sijhawm rau kev tsim kho tshiab thiab cov txiaj ntsig, tsis yog kuaj xyuas cov teeb meem kev ua haujlwm thiab kev puas tsuaj.

Hauv Netflix

Ntau txhiab yam khoom siv sib txawv txhawb Netflix apps. Lawv tau tsim los ntawm plaub pawg sib txawv, uas ua rau cov neeg siv sib txawv rau Android, iOS, TV thiab web browsers. Thiab peb siv zog ntau rau kev txhim kho thiab kho tus kheej ntawm cov neeg siv kev paub. Txhawm rau ua qhov no, peb khiav ntau pua qhov kev xeem A / B nyob rau tib lub sijhawm.

Personalization yog txhawb nqa los ntawm ntau pua microservices hauv AWS huab, muab cov ntaub ntawv tus kheej rau cov neeg siv, nug xa ntawv, telemetry, Cov ntaub ntawv loj thiab kev nkag. Traffic visualization zoo li no:

Txuas rau video nrog ua qauv qhia (6:04-6:23)

Ntawm sab laug yog lub ntsiab lus nkag, thiab tom qab ntawd cov tsheb khiav tawm ntawm ntau pua microservices uas tau txais kev txhawb nqa los ntawm cov pab pawg sib txawv.

Lwm qhov tseem ceeb ntawm peb cov txheej txheem yog Open Connect CDN, uas muab cov ntsiab lus zoo li qub rau cov neeg siv kawg - yeeb yaj kiab, duab, cov neeg siv khoom, thiab lwm yam. CDN yog nyob rau ntawm cov servers kev cai (OCA - Qhib Txuas Khoom). Sab hauv muaj arrays ntawm SSD thiab HDD drives khiav optimized FreeBSD, nrog NGINX thiab ib txheej ntawm cov kev pab cuam. Peb tsim thiab txhim kho cov khoom siv kho vajtse thiab software kom zoo li CDN server tuaj yeem xa cov ntaub ntawv ntau li ntau tau rau cov neeg siv.

Lub "phab ntsa" ntawm cov servers ntawm qhov sib pauv tsheb hauv Internet (Internet eXchange - IX) zoo li no:

Internet Exchange muab lub peev xwm rau cov chaw muab kev pabcuam hauv Is Taws Nem thiab cov chaw muab kev pabcuam "txuas" nrog rau ib leeg kom sib pauv cov ntaub ntawv ncaj qha hauv Is Taws Nem. Muaj kwv yees li 70-80 Internet Txauv cov ntsiab lus thoob ntiaj teb uas peb cov servers raug teeb tsa, thiab peb tus kheej nruab thiab tswj lawv:

Tsis tas li ntawd, peb kuj muab cov servers ncaj qha rau cov chaw muab kev pabcuam hauv Is Taws Nem, uas lawv nruab rau hauv lawv lub network, txhim kho thaj chaw ntawm Netflix tsheb thiab qhov zoo ntawm streaming rau cov neeg siv:

Ib txheej ntawm AWS cov kev pabcuam yog lub luag haujlwm rau xa cov video thov los ntawm cov neeg siv khoom mus rau CDN servers, nrog rau kev teeb tsa servers lawv tus kheej - hloov kho cov ntsiab lus, program code, teeb tsa, thiab lwm yam. Rau yav tom ntej, peb kuj tau tsim lub pob txha caj qaum uas txuas cov servers hauv Internet Exchange cov ntsiab lus nrog AWS. Lub pob txha caj qaum yog lub ntiaj teb network ntawm fiber ntau optic cables thiab routers uas peb tuaj yeem tsim thiab teeb tsa raws li peb xav tau.

Los ntawm Sandvine kwv yees, peb cov txheej txheem CDN xa tawm kwv yees li ⅛ ntawm lub ntiaj teb kev lag luam hauv Is Taws Nem thaum lub sijhawm siab tshaj plaws thiab ⅓ ntawm cov tsheb khiav hauv North America, qhov twg Netflix tau nyob ib puag ncig ntev tshaj plaws. Cov lej zoo siab, tab sis rau kuv ib qho kev ua tiav zoo tshaj plaws yog tias tag nrho CDN system tau tsim thiab tswj los ntawm pab pawg tsawg dua 150 tus neeg.

Thaum pib, CDN infrastructure tau tsim los xa cov ntaub ntawv video. Txawm li cas los xij, dhau sijhawm peb pom tau tias peb kuj tuaj yeem siv nws los ua kom zoo dua qhov kev thov dynamic los ntawm cov neeg siv khoom hauv AWS huab.

Hais txog Internet acceleration

Niaj hnub no, Netflix muaj 3 AWS cheeb tsam, thiab latency ntawm kev thov rau huab yuav nyob ntawm seb tus neeg siv khoom nyob deb npaum li cas los ntawm thaj chaw ze tshaj plaws. Tib lub sijhawm, peb muaj ntau CDN servers uas siv los xa cov ntsiab lus zoo li qub. Puas muaj ib txoj hauv kev los siv lub moj khaum no txhawm rau ua kom cov lus nug dynamic? Txawm li cas los xij, hmoov tsis, nws tsis tuaj yeem cache cov kev thov no - APIs yog tus kheej thiab txhua qhov txiaj ntsig yog qhov tshwj xeeb.

Cia peb ua tus tso npe ntawm CDN server thiab pib xa tsheb mus los ntawm nws. Nws puas yuav sai dua?

Khoom siv

Cia peb nco ntsoov tias network raws tu qauv ua haujlwm li cas. Niaj hnub no, feem ntau cov tsheb khiav hauv Is Taws Nem siv HTTPs, uas nyob ntawm cov txheej txheem qis dua TCP thiab TLS. Txhawm rau kom tus neeg siv txuas mus rau tus neeg rau zaub mov, nws tuav tes, thiab tsim kom muaj kev sib txuas ruaj ntseg, tus neeg siv yuav tsum tau sib pauv lus nrog tus neeg rau zaub mov peb zaug thiab tsawg kawg ib zaug ntxiv kom hloov cov ntaub ntawv. Nrog latency ib puag ncig mus ncig (RTT) ntawm 100 ms, nws yuav coj peb 400 ms kom tau txais thawj me ntsis ntawm cov ntaub ntawv:

Yog tias peb tso cov ntawv pov thawj ntawm CDN server, ces lub sijhawm sib tuav tes ntawm tus neeg siv khoom thiab tus neeg rau zaub mov tuaj yeem txo qis yog tias CDN ze dua. Cia peb xav tias qhov latency rau CDN server yog 30ms. Tom qab ntawd nws yuav siv 220 ms kom tau txais thawj me ntsis:

Tab sis qhov zoo tsis xaus rau ntawd. Thaum ib qho kev sib txuas tau tsim, TCP nce lub qhov rais congestion (tus nqi ntawm cov ntaub ntawv nws tuaj yeem xa mus rau qhov kev sib txuas ntawm qhov sib npaug). Yog tias ib pob ntawv cov ntaub ntawv ploj lawm, tom qab ntawd qhov kev siv ntawm TCP raws tu qauv (xws li TCP New Reno) txo qhov qhib "qhov rais" los ntawm ib nrab. Kev loj hlob ntawm lub qhov rais congestion, thiab qhov ceev ntawm nws rov qab los ntawm kev poob dua nyob ntawm qhov ncua sij hawm (RTT) rau lub server. Yog tias qhov kev sib txuas no tsuas yog mus deb ntawm CDN server, qhov kev rov qab yuav sai dua. Nyob rau tib lub sijhawm, pob ntawv poob yog qhov tshwm sim tus qauv, tshwj xeeb tshaj yog rau cov wireless networks.

Internet bandwidth tej zaum yuav raug txo, tshwj xeeb tshaj yog thaum lub sij hawm siab tshaj plaws, vim yog kev khiav tsheb los ntawm cov neeg siv, uas tuaj yeem ua rau muaj kev sib tsoo. Txawm li cas los xij, tsis muaj txoj hauv kev hauv Is Taws Nem los muab qhov tseem ceeb rau qee qhov kev thov dua lwm tus. Piv txwv li, muab qhov tseem ceeb rau me me thiab latency-sensitive thov tshaj "hnyav" cov ntaub ntawv ntws uas thauj lub network. Txawm li cas los xij, nyob rau hauv peb rooj plaub, muaj peb tus kheej caj qaum network tso cai rau peb ua qhov no ntawm ib feem ntawm txoj kev thov - nruab nrab ntawm CDN thiab huab, thiab peb tuaj yeem ua tiav nws. Koj tuaj yeem paub tseeb tias cov pob ntawv me me thiab latency-rhiab heev yog qhov tseem ceeb, thiab cov ntaub ntawv loj ntws mus me ntsis tom qab. Qhov ze ntawm CDN yog rau cov neeg siv khoom, qhov ua tau zoo dua.

Daim ntawv thov qib kev cai (OSI Theem 7) kuj muaj kev cuam tshuam rau latency. Cov txheej txheem tshiab xws li HTTP / 2 optimize qhov kev ua tau zoo ntawm kev thov sib npaug. Txawm li cas los xij, peb muaj cov neeg siv Netflix nrog cov cuab yeej qub uas tsis txhawb nqa cov txheej txheem tshiab. Tsis yog txhua tus neeg siv khoom tuaj yeem hloov kho lossis kho kom zoo. Nyob rau tib lub sijhawm, nruab nrab ntawm CDN npe thiab huab muaj kev tswj kom tiav thiab muaj peev xwm siv cov txheej txheem tshiab, kev pom zoo thiab kev teeb tsa. Qhov tsis zoo nrog cov txheej txheem qub tsuas yog ua haujlwm ntawm tus neeg siv khoom thiab CDN server. Ntxiv mus, peb tuaj yeem ua qhov kev thov multiplex ntawm qhov twb tau tsim kev sib txuas ntawm CDN thiab huab, txhim kho kev sib txuas siv ntawm qib TCP:

Peb ntsuas

Txawm hais tias qhov tseeb tias txoj kev xav tau cog lus tias yuav txhim kho, peb tsis maj nrawm los tsim lub kaw lus hauv kev tsim khoom. Hloov chaw, peb yuav tsum xub ua pov thawj tias lub tswv yim yuav ua haujlwm hauv kev xyaum. Txhawm rau ua qhov no koj yuav tsum tau teb ntau cov lus nug:

• Ceev: Puas yog tus neeg sawv cev yuav nrawm dua?
• Kev ntseeg tau: Nws puas yuav tawg ntau zaus?
• Complexity: Yuav ua li cas koom nrog cov ntawv thov?
• nqi ntawm: Nws raug nqi ntau npaum li cas rau kev xa khoom ntxiv?

Cia peb xav txog qhov nthuav dav peb txoj hauv kev los ntsuam xyuas thawj lub ntsiab lus. Tus so yog dealt nrog rau hauv ib txoj kev zoo sib xws.

Txhawm rau txheeb xyuas qhov nrawm ntawm kev thov, peb xav kom tau txais cov ntaub ntawv rau txhua tus neeg siv, tsis tas siv sijhawm ntau ntawm kev txhim kho thiab tsis muaj kev tsim khoom tawg. Muaj ntau txoj hauv kev rau qhov no:

1. RUM, lossis passive thov ntsuas. Peb ntsuas lub sijhawm ua tiav ntawm qhov kev thov tam sim no los ntawm cov neeg siv khoom thiab xyuas kom tag nrho cov neeg siv kev pab them nqi. Qhov tsis zoo yog tias lub teeb liab tsis ruaj khov vim muaj ntau yam, piv txwv li, vim muaj qhov sib txawv ntawm qhov kev thov, lub sijhawm ua haujlwm ntawm lub server thiab cov neeg siv khoom. Tsis tas li ntawd, koj tsis tuaj yeem sim qhov kev teeb tsa tshiab yam tsis muaj txiaj ntsig hauv kev tsim khoom.
2. Kev sim kuaj. Tshwj xeeb servers thiab infrastructure uas simulate cov neeg siv khoom. Nrog lawv pab peb ua cov kev xeem tsim nyog. Txoj kev no peb tau txais kev tswj xyuas tag nrho ntawm qhov ntsuas ntsuas thiab lub teeb liab pom tseeb. Tab sis tsis muaj tag nrho cov kev pab cuam ntawm cov khoom siv thiab cov neeg siv qhov chaw (tshwj xeeb yog nrog kev pabcuam thoob ntiaj teb thiab kev txhawb nqa rau ntau txhiab tus qauv ntaus ntawv).

Yuav ua li cas koj muab qhov zoo ntawm ob txoj kev?

Peb pab neeg tau nrhiav kev daws teeb meem. Peb tau sau ib daim ntawv me me - ib qho qauv - uas peb tsim rau hauv peb daim ntawv thov. Kev sojntsuam tso cai rau peb ua cov kev ntsuam xyuas kev tswj xyuas network los ntawm peb cov khoom siv. Nws ua haujlwm zoo li no:

1. Tsis ntev tom qab thauj daim ntawv thov thiab ua tiav cov haujlwm pib, peb khiav peb cov kev sojntsuam.
2. Tus neeg siv khoom thov rau lub server thiab tau txais "daim ntawv qhia" rau kev xeem. Daim ntawv qhia yog ib daim ntawv teev cov URLs uas yuav tsum tau ua HTTP(s) thov. Tsis tas li ntawd, daim ntawv qhia teeb tsa qhov kev thov tsis pub dhau: ncua ntawm kev thov, tus nqi ntawm cov ntaub ntawv thov, HTTP(s) headers, thiab lwm yam. Nyob rau tib lub sijhawm, peb tuaj yeem sim ntau yam zaub mov txawv nyob rau tib lub sijhawm - thaum thov kev teeb tsa, peb random txiav txim siab seb daim ntawv qhia twg yuav tawm.
3. Lub sijhawm sojntsuam pib raug xaiv kom tsis txhob cuam tshuam nrog kev siv cov kev pabcuam hauv network ntawm tus neeg siv khoom. Qhov tseem ceeb, lub sijhawm raug xaiv thaum tus neeg siv khoom tsis ua haujlwm.
4. Tom qab tau txais daim ntawv qhia, tus neeg siv khoom thov rau txhua qhov URLs, ua ke. Kev thov rau txhua qhov chaw nyob tuaj yeem rov ua dua - lub npe hu ua. "pulses". Ntawm thawj pulse, peb ntsuas nws siv sijhawm ntev npaum li cas los tsim kev sib txuas thiab rub cov ntaub ntawv. Ntawm qhov thib ob mem tes, peb ntsuas lub sijhawm nws yuav siv los thauj cov ntaub ntawv dhau qhov kev sib txuas uas twb tau tsim lawm. Ua ntej thib peb, peb tuaj yeem teem sijhawm ncua thiab ntsuas qhov nrawm ntawm kev tsim kom muaj kev sib txuas, thiab lwm yam.

   Thaum lub sij hawm xeem, peb ntsuas tag nrho cov tsis uas lub cuab yeej yuav tau txais:

   • DNS thov sijhawm;
   • TCP kev twb kev txuas teeb tsa lub sij hawm;
   • TLS kev teeb tsa lub sijhawm;
   • lub sijhawm tau txais thawj byte ntawm cov ntaub ntawv;
   • tag nrho lub sijhawm thauj khoom;
   • xwm txheej tshwm sim code.
5. Tom qab tag nrho cov pulses tau ua tiav, tus qauv thauj khoom tag nrho cov kev ntsuas rau kev tshuaj xyuas.

Cov ntsiab lus tseem ceeb yog kev cia siab tsawg kawg nkaus ntawm cov laj thawj ntawm tus neeg siv khoom, kev ua cov ntaub ntawv ntawm tus neeg rau zaub mov thiab ntsuas qhov kev thov sib npaug. Yog li, peb muaj peev xwm cais tawm thiab ntsuas qhov cuam tshuam ntawm ntau yam cuam tshuam rau cov lus nug kev ua tau zoo, sib txawv hauv ib daim ntawv qhia, thiab tau txais txiaj ntsig los ntawm cov neeg siv khoom tiag.

Qhov kev tsim kho vaj tse no tau ua pov thawj muaj txiaj ntsig zoo rau ntau dua li tsuas yog nug txog kev ntsuas kev ua tau zoo. Tam sim no peb muaj 14 cov zaub mov txawv, ntau dua 6000 tus qauv ib ob, tau txais cov ntaub ntawv los ntawm txhua lub ces kaum ntawm lub ntiaj teb thiab tag nrho cov cuab yeej siv. Yog tias Netflix yuav qhov kev pabcuam zoo sib xws los ntawm tus thib peb, nws yuav raug nqi ntau lab daus las hauv ib xyoos, nrog kev pab them nqi ntau dua.

Kev sim txoj kev xav hauv kev xyaum: qauv qauv

Nrog rau cov txheej txheem zoo li no, peb tuaj yeem ntsuas qhov ua tau zoo ntawm CDN proxies ntawm kev thov latency. Tam sim no koj xav tau:

• tsim ib daim ntawv pov thawj;
• tso tus qauv rau ntawm CDN;
• txiav txim siab yuav ua li cas coj cov neeg siv khoom mus rau lub npe ntawm ib qho CDN server tshwj xeeb;
• Sib piv kev ua tau zoo rau kev thov hauv AWS yam tsis muaj npe.

Lub luag haujlwm yog txhawm rau ntsuas qhov ua tau zoo ntawm cov lus pom zoo kom sai li sai tau. Peb xaiv Mus rau kev siv tus qauv vim muaj cov tsev qiv ntawv zoo sib tham. Ntawm txhua tus neeg rau zaub mov CDN, peb tau teeb tsa tus qauv proxy ua qhov zoo li qub binary kom txo qis kev vam khom thiab ua kom yooj yim rau kev koom ua ke. Hauv kev pib ua haujlwm, peb tau siv cov qauv sib xyaw kom ntau li ntau tau thiab kev hloov kho me me rau HTTP / 2 kev sib txuas sib txuas thiab thov multiplexing.

Txhawm rau sib npaug ntawm thaj chaw AWS, peb siv thaj chaw DNS database, tib yam siv los sib npaug cov neeg siv khoom. Txhawm rau xaiv CDN server rau cov neeg siv khoom, peb siv TCP Anycast rau cov servers hauv Internet Exchange (IX). Hauv qhov kev xaiv no, peb siv ib tus IP chaw nyob rau tag nrho CDN servers, thiab tus neeg siv yuav raug xa mus rau CDN server nrog tsawg kawg ntawm IP hops. Hauv CDN servers tau teeb tsa los ntawm cov chaw muab kev pabcuam hauv Is Taws Nem (ISPs), peb tsis muaj kev tswj hwm lub router los teeb tsa TCP Anycast, yog li peb siv. tib logic, uas coj cov neeg siv khoom mus rau cov chaw muab kev pabcuam hauv Internet rau kev tshaj tawm video.

Yog li, peb muaj peb hom kev thov: mus rau huab los ntawm kev qhib Is Taws Nem, ntawm CDN server hauv IX, lossis ntawm CDN server nyob ntawm tus neeg muab kev pabcuam Is Taws Nem. Peb lub hom phiaj yog kom nkag siab tias txoj kev twg zoo dua, thiab qhov txiaj ntsig ntawm tus neeg sawv cev yog dab tsi, piv rau qhov kev thov raug xa mus rau ntau lawm. Txhawm rau ua qhov no, peb siv cov qauv ntsuas raws li hauv qab no:

Txhua txoj hauv kev dhau los ua lub hom phiaj sib cais, thiab peb saib lub sijhawm peb tau txais. Rau kev tsom xam, peb muab cov txiaj ntsig tso npe ua ke rau hauv ib pab pawg (xaiv lub sijhawm zoo tshaj plaws ntawm IX thiab ISP proxies), thiab muab piv nrog lub sijhawm thov rau huab yam tsis muaj npe:

Raws li koj tuaj yeem pom, cov txiaj ntsig tau sib xyaw - feem ntau tus neeg sawv cev muab qhov nrawm nrawm, tab sis kuj tseem muaj cov neeg siv txaus txaus rau qhov xwm txheej yuav ua rau muaj kev cuam tshuam loj heev.

Yog li ntawd, peb tau ua ntau yam tseem ceeb:

1. Peb tau soj ntsuam qhov kev xav tau ntawm kev thov los ntawm cov neeg siv khoom mus rau huab ntawm CDN npe.
2. Peb tau txais cov ntaub ntawv los ntawm cov neeg siv khoom tiag, los ntawm txhua hom khoom siv.
3. Peb pom tau hais tias txoj kev xav tsis yog 100% lees paub thiab thawj qhov kev thov nrog CDN npe yuav tsis ua haujlwm rau peb.
4. Peb tsis muaj kev pheej hmoo - peb tsis tau hloov cov kev tsim khoom rau cov neeg siv khoom.
5. Tsis muaj dab tsi tawg.

Prototype 2.0

Yog li, rov qab mus rau daim duab kos duab thiab rov ua cov txheej txheem dua.

Lub tswv yim yog tias es tsis txhob siv 100% tso npe, peb yuav txiav txim siab txoj hauv kev sai tshaj plaws rau txhua tus neeg siv khoom, thiab peb yuav xa cov lus thov mus rau qhov ntawd - uas yog, peb yuav ua qhov hu ua cov neeg siv khoom.

Yuav siv li cas? Peb tsis tuaj yeem siv logic ntawm server sab, vim ... Lub hom phiaj yog txuas rau lub server no. Yuav tsum muaj qee txoj hauv kev los ua qhov no ntawm tus neeg siv khoom. Thiab qhov zoo tshaj plaws, ua qhov no nrog qhov tsawg kawg nkaus ntawm cov logic nyuaj, kom tsis txhob daws qhov teeb meem ntawm kev koom ua ke nrog ntau tus neeg siv khoom platform.

Cov lus teb yog siv DNS. Hauv peb qhov xwm txheej, peb muaj peb tus kheej DNS infrastructure, thiab peb tuaj yeem teeb tsa thaj chaw sau npe uas peb cov servers yuav yog tus tswj hwm. Nws ua haujlwm zoo li no:

1. Tus neeg siv khoom thov rau DNS server siv tus tswv tsev, piv txwv li api.netflix.xom.
2. Qhov kev thov tuaj txog ntawm peb DNS server
3. DNS neeg rau zaub mov paub tias txoj kev twg yog qhov ceev tshaj plaws rau cov neeg siv khoom no thiab teeb tsa tus IP chaw nyob.

Cov kev daws teeb meem muaj qhov nyuaj ntxiv: cov neeg muab kev tswj hwm DNS tsis pom tus neeg siv khoom tus IP chaw nyob thiab tsuas tuaj yeem nyeem tus IP chaw nyob ntawm tus neeg daws teeb meem uas tus neeg siv khoom siv.

Raws li qhov tshwm sim, peb tus neeg txiav txim siab txiav txim siab yuav tsum txiav txim siab tsis yog rau ib tus neeg siv khoom, tab sis rau ib pawg ntawm cov neeg siv khoom raws li tus neeg daws teeb meem rov qab.

Txhawm rau daws, peb siv tib cov qauv, sib sau ua ke cov txiaj ntsig kev ntsuas los ntawm cov neeg siv khoom rau txhua tus neeg daws teeb meem rov qab thiab txiav txim siab qhov twg yuav xa cov pab pawg no ntawm lawv - tus neeg sawv cev los ntawm IX siv TCP Anycast, los ntawm ISP npe, lossis ncaj qha rau huab.

Peb tau txais qhov system hauv qab no:

Qhov txiaj ntsig DNS steering qauv tso cai rau koj coj cov neeg siv khoom raws li keeb kwm kev soj ntsuam ntawm kev ceev ntawm kev sib txuas ntawm cov neeg siv khoom mus rau huab.

Ntxiv dua thiab, lo lus nug yog yuav ua li cas thiaj li ua tau zoo? Txhawm rau teb, peb rov siv peb qhov kev sojntsuam. Yog li ntawd, peb teeb tsa tus txheej txheem nthuav qhia, qhov twg ib qho ntawm lub hom phiaj ua raws li cov kev taw qhia los ntawm DNS steering, lwm qhov ncaj qha mus rau huab (tam sim no ntau lawm).

Yog li ntawd, peb sib piv cov txiaj ntsig thiab tau txais kev ntsuam xyuas ntawm qhov ua tau zoo:

Yog li ntawd, peb tau kawm ntau yam tseem ceeb:

1. Peb tau soj ntsuam qhov kev xav tau ntawm kev thov los ntawm cov neeg siv khoom mus rau huab siv DNS Steering.
2. Peb tau txais cov ntaub ntawv los ntawm cov neeg siv khoom tiag, los ntawm txhua hom khoom siv.
3. Qhov kev ua tau zoo ntawm lub tswv yim tau raug pov thawj.
4. Peb tsis muaj kev pheej hmoo - peb tsis tau hloov cov kev tsim khoom rau cov neeg siv khoom.
5. Tsis muaj dab tsi tawg.

Tam sim no hais txog qhov nyuaj - peb tso nws hauv kev tsim khoom

Qhov yooj yim yog tam sim no dhau lawm - muaj cov qauv ua haujlwm. Tam sim no qhov nyuaj yog pib qhov kev daws teeb meem rau tag nrho Netflix txoj kev khiav tsheb, xa mus rau 150 lab tus neeg siv, ntau txhiab lub cuab yeej, ntau pua microservices, thiab cov khoom lag luam hloov pauv thiab cov txheej txheem. Netflix servers tau txais ntau lab qhov kev thov ib ob, thiab nws yooj yim los rhuav tshem cov kev pabcuam nrog kev ua haujlwm tsis tu ncua. Nyob rau tib lub sijhawm, peb xav kom hloov pauv kev khiav tsheb mus los ntawm ntau txhiab CDN servers hauv Is Taws Nem, qhov twg qee yam hloov pauv thiab tawg tas li thiab nyob rau lub sijhawm tsis tsim nyog.

Thiab nrog rau tag nrho cov no, pab pawg muaj 3 engineers lub luag haujlwm rau kev txhim kho, xa tawm thiab kev txhawb nqa tag nrho ntawm lub kaw lus.

Yog li ntawd, peb yuav tham ntxiv txog kev pw tsaug zog thiab noj qab nyob zoo.

Yuav ua li cas txuas ntxiv kev txhim kho thiab tsis siv tag nrho koj lub sijhawm ntawm kev txhawb nqa? Peb txoj hauv kev yog los ntawm 3 lub hauv paus ntsiab lus:

1. Peb txo cov peev txheej ntawm kev tawg (lub vojvoog tawg).
2. Peb tab tom npaj rau kev xav tsis thoob - peb cia siab tias qee yam yuav tawg, txawm tias kev sim thiab kev paub ntawm tus kheej.
3. Graceful degradation - yog tias ib yam dab tsi tsis ua haujlwm zoo, nws yuav tsum raug kho kom raug, txawm tias tsis yog txoj hauv kev zoo tshaj plaws.

Nws muab tawm hais tias nyob rau hauv peb cov ntaub ntawv, nrog rau qhov no mus kom ze rau qhov teeb meem, peb yuav nrhiav tau ib tug yooj yim thiab zoo kev daws teeb meem thiab ua kom yooj yim rau kev txhawb nqa system. Peb pom tau hais tias peb tuaj yeem ntxiv ib qho me me ntawm cov lej rau tus neeg siv khoom thiab saib xyuas cov kev thov hauv network yuam kev los ntawm teeb meem kev sib txuas. Nyob rau hauv cov ntaub ntawv ntawm network yuam kev, peb ua ib tug poob ncaj qha mus rau huab. Qhov kev daws teeb meem no tsis xav tau kev siv zog loj rau cov neeg siv khoom, tab sis txo qis kev pheej hmoo ntawm kev poob siab thiab kev xav tsis thoob rau peb.

Tau kawg, txawm tias qhov kev poob qis, txawm li cas los xij peb ua raws li kev qhuab qhia meej thaum lub sijhawm kev loj hlob:

1. Qauv kuaj.
2. Kev xeem A/B lossis Canaries.
3. Progressive rollout.

Nrog rau cov qauv, txoj hauv kev tau piav qhia - cov kev hloov pauv yog thawj zaug sim siv daim ntawv qhia kev cai.

Rau kev sim canary, peb yuav tsum tau txais cov khub sib piv ntawm cov servers uas peb tuaj yeem sib piv yuav ua li cas lub kaw lus ua haujlwm ua ntej thiab tom qab hloov pauv. Ua li no, los ntawm peb ntau qhov chaw CDN, peb xaiv khub ntawm cov servers uas tau txais kev sib piv:

Tom qab ntawd peb nruab qhov tsim nrog cov kev hloov pauv ntawm Canary server. Txhawm rau ntsuas cov txiaj ntsig, peb khiav lub kaw lus uas sib piv kwv yees li 100-150 metrics nrog rau cov piv txwv ntawm Tswj servers:

Yog tias kev sim Canary ua tiav, ces peb tso nws maj mam, hauv nthwv dej. Peb tsis hloov kho cov servers ntawm txhua qhov chaw nyob rau tib lub sijhawm - poob tag nrho lub xaib vim muaj teeb meem muaj feem cuam tshuam rau kev pabcuam rau cov neeg siv ntau dua li poob tib lub servers hauv ntau qhov chaw.

Feem ntau, kev ua tau zoo thiab kev nyab xeeb ntawm txoj hauv kev no yog nyob ntawm qhov ntau thiab qhov zoo ntawm cov metrics sau. Rau peb cov lus nug acceleration system, peb sau cov metrics los ntawm txhua qhov ua tau:

• los ntawm cov neeg siv khoom - tus naj npawb ntawm kev sib tham thiab kev thov, tus nqi poob qis;
• proxy - txheeb cais ntawm tus lej thiab lub sijhawm thov;
• DNS - tus naj npawb thiab cov txiaj ntsig ntawm kev thov;
• huab ntug - tus naj npawb thiab sijhawm rau kev thov hauv huab.

Tag nrho cov no tau sau rau hauv ib lub raj xa dej, thiab, nyob ntawm qhov xav tau, peb txiav txim siab seb qhov ntsuas twg yuav xa mus rau lub sijhawm ntsuas tiag tiag, thiab qhov twg rau Elasticsearch lossis Cov Ntaub Ntawv Loj rau kev kuaj mob kom ntxaws ntxiv.

Peb saib xyuas

Hauv peb qhov xwm txheej, peb tab tom hloov pauv ntawm txoj hauv kev tseem ceeb ntawm kev thov ntawm tus neeg siv khoom thiab lub server. Nyob rau tib lub sijhawm, tus naj npawb ntawm cov khoom sib txawv ntawm tus neeg siv khoom, ntawm lub server, thiab ntawm txoj kev hauv Is Taws Nem yog loj heev. Cov kev hloov pauv ntawm tus neeg siv khoom thiab cov neeg rau zaub mov tshwm sim tas li - thaum lub sijhawm ua haujlwm ntawm kaum ob pab pawg thiab kev hloov pauv hauv cov ecosystem. Peb nyob nruab nrab - thaum kuaj pom cov teeb meem, muaj lub caij nyoog zoo uas peb yuav koom nrog. Yog li ntawd, peb yuav tsum to taub meej txog yuav ua li cas los txhais, sau thiab txheeb xyuas cov metrics kom cais cov teeb meem sai.

Qhov zoo tshaj plaws, nkag mus rau txhua hom kev ntsuas thiab cov lim dej hauv lub sijhawm. Tab sis muaj ntau qhov kev ntsuas, yog li cov lus nug ntawm tus nqi tshwm sim. Hauv peb qhov xwm txheej, peb cais cov ntsuas ntsuas thiab cov cuab yeej tsim kho raws li hauv qab no:

Txhawm rau kuaj xyuas thiab teeb meem peb siv peb tus kheej qhib qhov system real-time Atlas и Lumen - rau visualization. Nws khaws cov metrics sib sau ua ke hauv lub cim xeeb, txhim khu kev qha thiab koom nrog kev ceeb toom. Rau thaj chaw thiab kev kuaj mob, peb muaj kev nkag mus rau cov cav los ntawm Elasticsearch thiab Kibana. Rau kev txheeb xyuas thiab kev ua qauv, peb siv cov ntaub ntawv loj thiab kev pom hauv Tableau.

Nws zoo nkaus li tias txoj hauv kev no nyuaj heev los ua haujlwm nrog. Txawm li cas los xij, los ntawm kev teeb tsa metrics thiab cov cuab yeej hierarchically, peb tuaj yeem tshawb xyuas qhov teeb meem sai sai, txiav txim siab txog hom teeb meem, thiab tom qab ntawd kos rau hauv cov lus qhia ntxaws. Feem ntau, peb siv sijhawm li 1-2 feeb los txheeb xyuas lub hauv paus ntawm kev tawg. Tom qab no, peb ua haujlwm nrog ib pab neeg tshwj xeeb ntawm kev kuaj mob - los ntawm kaum tawm feeb mus rau ob peb teev.

Txawm hais tias qhov kev kuaj mob tau ua tiav sai, peb tsis xav kom qhov no tshwm sim ntau zaus. Qhov zoo tshaj plaws, peb tsuas yog tau txais kev ceeb toom tseem ceeb thaum muaj kev cuam tshuam loj rau kev pabcuam. Rau peb cov lus nug acceleration system, peb tsuas muaj 2 ceeb toom uas yuav ceeb toom:

• Client Fallback feem pua ​​- kev soj ntsuam ntawm cov neeg siv khoom tus cwj pwm;
• Qhov feem pua ​​​​Probe yuam kev - cov ntaub ntawv ruaj khov ntawm cov khoom siv network.

Cov lus ceeb toom tseem ceeb no saib xyuas seb lub kaw lus puas ua haujlwm rau feem coob ntawm cov neeg siv. Peb saib seb muaj pes tsawg tus neeg siv khoom poob rov qab yog tias lawv tsis tuaj yeem tau txais kev thov nrawm. Peb nruab nrab tsawg dua 1 qhov kev ceeb toom tseem ceeb hauv ib lub lis piam, txawm tias muaj ntau qhov kev hloov pauv mus rau hauv qhov system. Vim li cas qhov no txaus rau peb?

1. Muaj tus neeg siv khoom rov qab yog tias peb lub npe tsis ua haujlwm.
2. Nws muaj lub kauj tsheb tsis siv neeg uas teb cov teeb meem.

Xav paub ntau ntxiv txog tom kawg. Peb qhov kev sim siab, thiab lub kaw lus txiav txim siab txoj hauv kev zoo rau kev thov los ntawm tus neeg siv khoom mus rau huab, tso cai rau peb tuaj yeem daws qee qhov teeb meem.

Cia peb rov qab mus rau peb cov qauv kev teeb tsa thiab 3 txoj hauv kev. Ntxiv rau lub sijhawm thauj khoom, peb tuaj yeem saib qhov tseeb ntawm kev xa khoom nws tus kheej. Yog tias nws tsis tuaj yeem thauj cov ntaub ntawv, tom qab ntawd los ntawm kev saib cov txiaj ntsig ntawm txoj kev sib txawv peb tuaj yeem txiav txim siab qhov twg thiab qhov tawg, thiab seb peb puas tuaj yeem kho nws los ntawm kev hloov txoj kev thov.

piv txwv:

Cov txheej txheem no tuaj yeem ua tiav. Muab nws tso rau hauv lub steering system. Thiab qhia nws los teb cov teeb meem kev ua tau zoo thiab kev ntseeg siab. Yog tias ib yam dab tsi pib tawg, hnov ​​​​qab yog tias muaj kev xaiv zoo dua. Nyob rau tib lub sijhawm, cov tshuaj tiv thaiv tam sim tsis yog qhov tseem ceeb, ua tsaug rau kev poob qis rau cov neeg siv khoom.

Yog li, cov hauv paus ntsiab lus ntawm kev txhawb nqa system tuaj yeem tsim raws li hauv qab no:

• txo cov nplai ntawm kev tawg;
• sau metrics;
• Peb tuaj yeem kho qhov tawg yog tias peb tuaj yeem ua tau;
• yog tias tsis tuaj yeem, peb ceeb toom koj;
• Peb tab tom ua haujlwm ntawm dashboards thiab triage toolset kom teb sai.

Cov Lus Qhia Kawm

Nws tsis siv sijhawm ntau los sau tus qauv. Hauv peb qhov xwm txheej, nws tau npaj tiav tom qab 4 lub hlis. Nrog nws peb tau txais cov metrics tshiab, thiab 10 lub hlis tom qab pib ntawm txoj kev loj hlob peb tau txais thawj cov khoom lag luam. Tom qab ntawd qhov kev ua haujlwm nyuaj thiab nyuaj heev tau pib: maj mam ua kom tiav thiab ntsuas qhov system, txav cov tsheb loj thiab kawm los ntawm kev ua yuam kev. Txawm li cas los xij, cov txheej txheem zoo no yuav tsis yog linear - txawm tias txhua qhov kev siv zog, txhua yam tsis tuaj yeem kwv yees. Nws muaj txiaj ntsig zoo dua los ua kom nrawm dua thiab teb rau cov ntaub ntawv tshiab.

Raws li peb qhov kev paub dhau los, peb tuaj yeem pom zoo cov hauv qab no:

1. Tsis txhob ntseeg koj qhov kev xav.

   Peb qhov kev xav ua rau peb tsis tu ncua, txawm tias muaj kev paub dhau los ntawm peb cov neeg koom tes. Piv txwv li, peb tsis raug kwv yees qhov kev xav tau nrawm los ntawm kev siv CDN npe, lossis tus cwj pwm ntawm TCP Anycast.

2. Tau txais cov ntaub ntawv los ntawm kev tsim khoom.

   Nws yog ib qho tseem ceeb kom tau txais kev nkag mus rau tsawg kawg me me ntawm cov ntaub ntawv tsim khoom sai li sai tau. Nws yuav luag tsis yooj yim sua kom tau txais tus lej ntawm cov xwm txheej tshwj xeeb, teeb tsa, thiab teeb tsa hauv chav kuaj mob. Kev nkag mus sai rau cov txiaj ntsig yuav cia koj kawm sai sai txog cov teeb meem uas muaj peev xwm thiab coj mus rau hauv tus account hauv qhov system architecture.

3. Tsis txhob ua raws li lwm tus neeg cov lus qhia thiab cov txiaj ntsig - sau koj cov ntaub ntawv.

   Ua raws li cov hauv paus ntsiab lus rau kev sau thiab tshuaj xyuas cov ntaub ntawv, tab sis tsis txhob ua qhov muag tsis pom kev lees txais lwm tus neeg cov txiaj ntsig thiab cov nqe lus. Tsuas yog koj tuaj yeem paub meej tias dab tsi ua haujlwm rau koj cov neeg siv. Koj lub tshuab thiab koj cov neeg siv khoom yuav txawv ntawm lwm lub tuam txhab. Hmoov zoo, cov cuab yeej tsom xam tam sim no muaj thiab siv tau yooj yim. Cov txiaj ntsig koj tau txais yuav tsis yog qhov Netflix, Facebook, Akamai thiab lwm lub tuam txhab thov. Hauv peb cov ntaub ntawv, kev ua tau zoo ntawm TLS, HTTP2 lossis kev txheeb cais ntawm DNS thov txawv ntawm cov txiaj ntsig ntawm Facebook, Uber, Akamai - vim tias peb muaj cov khoom sib txawv, cov neeg siv khoom thiab cov ntaub ntawv ntws.

4. Tsis txhob ua raws li kev zam tsis tsim nyog thiab ntsuas qhov ua tau zoo.

   Pib yooj yim. Nws yog qhov zoo dua los ua kom yooj yim ua haujlwm hauv lub sijhawm luv dua li siv sijhawm ntau los tsim cov khoom uas koj tsis xav tau. Kho cov dej num thiab teeb meem uas tseem ceeb raws li koj qhov kev ntsuas thiab cov txiaj ntsig.

5. Npaj txhij rau daim ntawv thov tshiab.

   Ib yam li nws nyuaj rau kwv yees tag nrho cov teeb meem, nws nyuaj rau kwv yees cov txiaj ntsig thiab kev siv ua ntej. Siv ib qho cue los ntawm startups - lawv muaj peev xwm hloov mus rau cov neeg siv khoom. Hauv koj qhov xwm txheej, koj tuaj yeem pom cov teeb meem tshiab thiab lawv cov kev daws teeb meem. Hauv peb qhov project, peb teem lub hom phiaj los txo qhov kev thov latency. Txawm li cas los xij, thaum kev tshuaj xyuas thiab kev sib tham, peb pom tau hais tias peb kuj tuaj yeem siv cov npe servers:

   • kom sib npaug tsheb khiav thoob plaws AWS cheeb tsam thiab txo cov nqi;
   • rau qauv CDN stability;
   • txhim kho DNS;
   • rau configure TLS/TCP.

xaus

Hauv tsab ntawv tshaj tawm, kuv tau piav qhia yuav ua li cas Netflix daws qhov teeb meem nrawm nrawm ntawm Is Taws Nem thov ntawm cov neeg siv khoom thiab huab. Yuav ua li cas peb sau cov ntaub ntawv siv ib qho kev ua piv txwv ntawm cov neeg siv khoom, thiab siv cov ntaub ntawv keeb kwm khaws tseg los ua cov kev thov tsim khoom los ntawm cov neeg siv khoom los ntawm txoj kev ceev tshaj plaws hauv Is Taws Nem. Yuav ua li cas peb siv cov hauv paus ntsiab lus ntawm kev sib txuas lus network, peb cov CDN infrastructure, qaum network, thiab DNS servers kom ua tiav txoj haujlwm no.

Txawm li cas los xij, peb cov kev daws teeb meem tsuas yog ib qho piv txwv ntawm qhov peb ntawm Netflix tau siv cov txheej txheem zoo li no. Dab tsi ua haujlwm rau peb. Ib feem ntawm kuv tsab ntawv ceeb toom rau koj yog cov hauv paus ntsiab lus ntawm kev txhim kho thiab kev txhawb nqa uas peb ua raws thiab ua tiav cov txiaj ntsig zoo.

Peb txoj kev daws teeb meem yuav tsis haum rau koj. Txawm li cas los xij, txoj kev xav thiab kev tsim qauv tseem nyob, txawm tias koj tsis muaj koj tus kheej CDN infrastructure, los yog nws txawv ntawm peb li.

Qhov tseem ceeb ntawm kev nrawm ntawm kev thov kev lag luam kuj tseem tseem ceeb. Thiab txawm tias qhov kev pabcuam yooj yim koj yuav tsum xaiv: nruab nrab ntawm cov chaw muab huab, qhov chaw server, CDN thiab DNS cov chaw muab kev pabcuam. Koj qhov kev xaiv yuav cuam tshuam cov txiaj ntsig ntawm cov lus nug hauv Internet rau koj cov neeg siv khoom. Thiab nws tseem ceeb heev rau koj los ntsuas thiab nkag siab txog qhov kev cuam tshuam no.

Pib nrog cov kev daws teeb meem yooj yim, saib xyuas koj li cas koj hloov cov khoom. Kawm thaum koj mus thiab txhim kho cov kab ke raws li cov ntaub ntawv los ntawm koj cov neeg siv khoom, koj cov kev tsim kho vaj tse, thiab koj txoj kev lag luam. Xav txog qhov muaj peev xwm ntawm kev npaj txhij txog kev tawg thaum lub sijhawm tsim qauv. Thiab tom qab ntawd koj tuaj yeem ua kom koj txoj kev loj hlob sai, txhim kho kev daws teeb meem, zam kev txhawb nqa tsis tsim nyog thiab pw tsaug zog.

Xyoo no lub rooj sib tham yuav muaj los ntawm Lub Xya Hli 6 txog 10 hauv online format. Koj tuaj yeem nug cov lus nug rau ib tus txiv ntawm DevOps, John Willis nws tus kheej!

Tau qhov twg los: www.hab.com