Ko Netflix te kaihautu i te maakete pouaka whakaata Ipurangi - te kamupene nana i hanga me te kaha ki te whakawhanake i tenei waahanga. Ko te Netflix e mohiotia ana ehara i te mea mo te maha o nga kiriata me nga raupapa pouaka whakaata e waatea ana mai i nga kokonga katoa o te ao me tetahi taputapu whai whakaaturanga, engari mo ona hanganga pono me te ahurea miihini ahurei.
He tauira maamaa mo te huarahi Netflix ki te whakawhanake me te tautoko i nga punaha uaua i whakaatuhia i DevOops 2019 - Kaiwhakahaere Whakawhanake i Netflix. Paetahi o te Faculty of Computational Mathematics and Mathematics of the Nizhny Novgorod State University. Lobachevsky, Sergey tetahi o nga miihini tuatahi i Open Connect - te roopu CDN i Netflix. I hangaia e ia nga punaha mo te aro turuki me te tātari i nga raraunga ataata, i whakarewahia he ratonga rongonui mo te aromatawai i te tere hononga Ipurangi FAST.com, a mo nga tau kua pahure ake nei e mahi ana ki te arotau i nga tono Ipurangi kia tere te mahi a te tono Netflix mo nga kaiwhakamahi.
I whiwhi te ripoata i nga arotake pai mai i nga kaiuru o te huihuinga, a kua whakaritea e matou he tuhinga tuhinga mo koe.
I roto i tana ripoata, i korero a Sergei i nga korero
- mo nga mea e pa ana ki te whakaroa o nga tono Ipurangi i waenga i te kiritaki me te tūmau;
- me pehea te whakaiti i tenei whakaroa;
- me pehea te hoahoa, te pupuri me te aro turuki i nga punaha whakararu i nga hapa;
- me pehea te whakatutuki i nga hua i roto i te wa poto, me te iti o te tupono ki te pakihi;
- me pehea te tātari i nga hua me te ako mai i nga hapa.
Ko nga whakautu ki enei patai e hiahiatia ana ehara i te hunga e mahi ana i nga umanga nunui.
Ko nga maataapono me nga tikanga kua whakaatuhia me mohio me te mahi e nga tangata katoa e whakawhanake ana, e tautoko ana i nga hua Ipurangi.
Whai muri ko te korero mai i te tirohanga a te kaikorero.
Te hiranga o te tere ipurangi
Ko te tere o nga tono Ipurangi e pa ana ki te pakihi. Whakaarohia te ahumahi hokohoko: Amazon i te tau 2009 ko te roa o te 100ms ka ngaro te 1% o nga hoko.
He maha ake nga taputapu pūkoro, ka whai i nga waahi waea me nga tono. Mēnā he roa ake i te 3 hēkona te utaina o tō whārangi, kei te ngaro te haurua o ō kaiwhakamahi. ME Ka whai whakaaro a Google ki te tere o te utaina o to wharangi ki nga hua rapu: ko te tere o te wharangi, ko te teitei ake o tona turanga ki a Google.
He mea nui ano te tere hononga i roto i nga umanga putea he mea nui te torohūtanga. I te tau 2015, Hibernia Networks he $400 miriona te taura i waenga i New York me Raanana hei whakaiti i te nohonga i waenga i nga taone ma te 6ms. Whakaarohia te $66 miriona mo te 1 ms o te whakahekenga roa!
E ai ki , Ko nga tere hononga i runga ake i te 5 Mbit/s kua kore e pa tika ki te tere uta o te paetukutuku angamaheni. Heoi ano, he hononga raina i waenga i te torohūtanga hononga me te tere uta whaarangi:
Heoi, ko Netflix ehara i te hua angamaheni. Ko te paanga o te waatea me te tere ki te kaiwhakamahi he waahi kaha mo te tātari me te whanaketanga. He uta tono me te kowhiringa ihirangi e whakawhirinaki ana ki te roanga, engari ko te uta i nga huānga pateko me te roma ka whakawhirinaki ano ki te tere hononga. Ko te tātari me te arotau i nga mea matua e awe ana i te wheako o te kaiwhakamahi he waahi kaha mo te whakawhanaketanga mo etahi roopu i Netflix. Ko tetahi o nga whainga ko te whakaheke i te waatea o nga tono i waenga i nga taputapu Netflix me te hanganga kapua.
I roto i te purongo ka tino aro atu matou ki te whakaheke i te noho ma te whakamahi i te tauira o te hanganga Netflix. Kia whai whakaaro tatou mai i te tirohanga whaitake me pehea te whakatata atu ki nga tukanga o te hoahoa, te whakawhanaketanga me te mahi o nga punaha toha uaua me te whakapau wa ki nga mahi auaha me nga hua, kaua ki te tarai i nga raru whakahaere me nga pakaru.
Kei roto Netflix
He mano tini nga taputapu rereke e tautoko ana i nga taupānga Netflix. I whakawhanakehia e nga roopu rereke e wha, e hanga ana i nga waahanga motuhake o te kiritaki mo te Android, iOS, TV me nga kaitirotiro paetukutuku. A ka whakapau kaha matou ki te whakapai me te whakawhaiaro i te wheako kaiwhakamahi. Hei mahi i tenei, ka whakahaerehia e matou nga rau o nga whakamatautau A/B i roto i te whakarara.
Ko te whakawhaiaro e tautokohia ana e nga rau o nga microservices i te kapua AWS, e whakarato ana i nga raraunga kaiwhakamahi whaiaro, te tuku patai, te waea waea, te Raraunga Nui me te Whakawaehere. He penei te ahua o te tirohanga waka:
Kei te taha maui te waahi urunga, katahi ka tohatohahia nga waka ki roto i nga rau ratonga miihini e tautokohia ana e nga roopu o muri.
Ko tetahi atu waahanga nui o a maatau hanganga ko te Open Connect CDN, e tuku ana i nga ihirangi pateko ki te kaiwhakamahi mutunga - ataata, whakaahua, waehere kiritaki, aha atu. Ko te CDN kei runga i nga tūmau ritenga (OCA - Open Connect Appliance). Kei roto he raupapa o nga puku SSD me te HDD e whakahaere ana i te FreeBSD kua pai ake, me te NGINX me te huinga o nga ratonga. Ka hoahoa me te arotau i nga waahanga taputapu me nga taputapu rorohiko kia taea ai e taua CDN te tuku raraunga ki nga kaiwhakamahi.
Ko te "taiepa" o enei tūmau i te waahi whakawhiti hokohoko Ipurangi (Internet eXchange - IX) he penei te ahua:
Ko te Whakawhiti Ipurangi e whakarato ana i te kaha mo nga kaiwhakarato ratonga Ipurangi me nga kaiwhakarato ihirangi ki te "hono" ki a raatau ano ki te whakawhiti tika ake i nga raraunga i runga i te Ipurangi. He tata ki te 70-80 nga waahi Whakawhiti Ipurangi huri noa i te ao kei reira e whakauruhia ana a maatau tūmau, a ka whakauruhia e matou me te pupuri takitahi:
I tua atu, ka whakaratohia e matou he kaitoro tika ki nga kaiwhakarato Ipurangi, ka whakauruhia e ratou ki o raatau whatunga, me te whakapai ake i te waahi o nga hokohoko Netflix me te kounga o te rerema mo nga kaiwhakamahi:
Ko te huinga o nga ratonga AWS te kawenga mo te tuku tono ataata mai i nga kaihoko ki nga kaitoro CDN, me te whirihora ano i nga kaitoro - te whakahou i nga ihirangi, te waehere papatono, nga tautuhinga, me era atu. Mo te whakamutunga, i hanga ano e matou he kupenga tuara e hono ana i nga kaitoro ki nga tohu Whakawhiti Ipurangi me te AWS. Ko te whatunga tuara he whatunga ao o nga taura muka me nga pouara ka taea e tatou te hoahoa me te whirihora i runga i o tatou hiahia.
Na , ko ta matou hanganga CDN e tuku tata ana ki te ⅛ o nga hokohoko Ipurangi o te ao i nga haora teitei me te ⅓ o nga waka i Amerika Te Tai Tokerau, ko Netflix te roa rawa atu. He tau whakamiharo, engari ki ahau ko tetahi o nga whakatutukitanga tino miharo ko te katoa o te punaha CDN ka whakawhanakehia, ka tiakina e te roopu iti iho i te 150 tangata.
I te timatanga, i hangaia te hanganga CDN ki te tuku raraunga ataata. Heoi, i te roanga o te wa ka mohio matou ka taea hoki e matou te whakamahi ki te arotau i nga tono hihiri mai i nga kaihoko i te kapua AWS.
Mo te whakatere Ipurangi
I tenei ra, e 3 nga rohe AWS a Netflix, a ko te roa o nga tono ki te kapua ka whakawhirinaki ki te tawhiti o te kaihoko mai i te rohe tata. I te wa ano, he maha nga tuumau CDN e whakamahia ana ki te tuku i nga ihirangi pateko. He huarahi ano hei whakamahi i tenei anga kia tere ake nga patai hihiri? Heoi ano, kaore e taea te keteroki i enei tono - he mea whakawhaiaro nga API, he ahurei ia hua.
Me hanga he takawaenga ki runga i te tūmau CDN ka tiimata ki te tuku waka ki roto. Ka tere ake?
Materiera
Kia maumahara tatou ki te mahi a nga kawa whatunga. I tenei ra, ko te nuinga o nga waka i runga i te Ipurangi e whakamahi ana i nga HTTP, e whakawhirinaki ana ki nga tikanga paparanga raro TCP me TLS. Kia taea ai e te kiritaki te hono atu ki te tūmau, ka mahi he ringaringa, me te whakatu i tetahi hononga haumaru, me whakawhiti e te kiritaki nga karere me te tūmau kia toru nga wa me te iti rawa kia kotahi atu te wa ki te whakawhiti raraunga. Ma te roanga mo ia haerenga a tawhio noa (RTT) 100 ms, ka 400 ms te roa o te tango i te moka raraunga tuatahi:
Mena ka tukuna e matou nga tiwhikete ki runga i te tūmau CDN, ka taea te whakaiti i te wa ruru ringa i waenga i te kiritaki me te tūmau mena ka tata te CDN. Me whakaaro ko te torohūtanga ki te tūmau CDN he 30ms. Ka roa te 220 ms ki te whiwhi i te moka tuatahi:
Engari ko nga painga kaore e mutu i reira. Ina oti he hononga, ka whakanuia e te TCP te matapihi popoketanga (te nui o nga korero ka taea e ia te tuku i runga i taua hononga ki te whakarara). Mena ka ngaro tetahi putea raraunga, katahi ka whakaitihia e nga mahinga matarohia o te kawa TCP (penei i te TCP New Reno) te "matapihi" tuwhera ma te haurua. Ko te tipu o te matapihi maataki, me te tere o te whakaora mai i te mate ka whakawhirinaki ano ki te whakaroa (RTT) ki te tūmau. Mena ka tae noa tenei hononga ki te tūmau CDN, ka tere ake te whakaora. I te wa ano, ko te ngaronga o te paatete he ahuatanga paerewa, ina koa mo nga whatunga ahokore.
Ka whakahekehia pea te bandwidth Ipurangi, ina koa i nga haora teitei, na nga waka mai i nga kaiwhakamahi, ka raru pea nga waka. Heoi, karekau he huarahi i runga i te Ipurangi ki te aro nui ki etahi tono i runga i etahi atu. Hei tauira, hoatu te kaupapa matua ki nga tono iti me te tairongo i runga i nga awa raraunga "taimaha" ka utaina te whatunga. Heoi, i roto i a maatau, na te mea he kupenga tuara ano ka taea e matou te mahi i runga i tetahi waahanga o te ara tono - i waenga i te CDN me te kapua, ka taea e matou te whirihora katoa. Ka taea e koe te whakarite ko nga putea iti me te tairongo-tairongo kei te matua, ka rere nga raraunga nui i muri mai. Ko te tata atu o te CDN ki te kiritaki, ka nui ake te kaha.
Ko nga kawa taumata tono (OSI Taumata 7) ka whai paanga ano ki te roanga. Ko nga kawa hou penei i te HTTP/2 ka arotau i te mahinga o nga tono whakarara. Heoi, kei a matou nga kaihoko Netflix me nga taputapu tawhito kaore i te tautoko i nga tikanga hou. Ehara i te mea ka taea e nga kaihoko katoa te whakahou, te whirihora pai ranei. I te wa ano, i waenganui i te CDN takawaenga me te kapua he mana katoa me te kaha ki te whakamahi i nga tikanga hou, tino pai me nga tautuhinga. Ko te waahanga kore whai hua me nga kawa tawhito ka mahi noa i waenga i te kiritaki me te tūmau CDN. I tua atu, ka taea e maatau te tono tono maha i runga i te hononga kua pumau i waenga i te CDN me te kapua, me te whakapai ake i te whakamahinga hononga ki te taumata TCP:
Ka ine tatou
Ahakoa te mea e kii ana te ariā ki te whakapai ake, kaore matou e tere ki te whakarewa i te punaha ki te whakaputa. Engari, me whakaatu tuatahi ka whai hua te whakaaro. Hei mahi i tenei me whakautu e koe etahi patai:
- Tere: ka tere ake te takawaenga?
- Whaikiko: Ka pakaru noa atu?
- Tuhinga: me pehea te whakauru ki nga tono?
- utu o: E hia te utu mo te whakatakoto i etahi atu hanganga?
Kia ata tirohia ta tatou huarahi ki te aromatawai i te kaupapa tuatahi. Ko te toenga he rite tonu te mahi.
Hei tātari i te tere o nga tono, e hiahia ana matou ki te tiki raraunga mo nga kaiwhakamahi katoa, me te kore e whakapau i te wa roa mo te whakawhanaketanga me te kore e pakaru te hanga. He maha nga huarahi mo tenei:
- RUM, inenga tono hangū ranei. Ka inehia e matou te wa mahi o nga tono o naianei mai i nga kaiwhakamahi me te whakarite kia kapi katoa nga kaiwhakamahi. Ko te ngoikoretanga ko te tohu kaore i te tino pumau na te maha o nga mea, hei tauira, na te rereke o nga rahi tono, te wa tukatuka i runga i te kaimau me te kaihoko. I tua atu, kaore e taea e koe te whakamatautau i tetahi whirihoranga hou kaore he painga ki te whakaputa.
- Nga whakamatautau taiwhanga. Nga tūmau motuhake me nga hanganga e whakataurite ana i nga kaihoko. Ma to raatau awhina ka mahia e matou nga whakamatautau e tika ana. Ma tenei ka whiwhi tatou i te mana katoa mo nga hua ine me te tohu marama. Engari kaore he kapi katoa o nga taputapu me nga waahi kaiwhakamahi (ina koa me te ratonga o te ao me te tautoko mo nga mano o nga tauira taputapu).
Me pehea te whakakotahi i nga painga o nga tikanga e rua?
Kua kitea e ta matou roopu he otinga. I tuhia e matou tetahi waahanga iti o te waehere - he tauira - i hangaia e matou ki to maatau tono. Ma te tirotiro ka taea e maatau te whakahaere i nga whakamatautau whatunga mai i a maatau taputapu. He penei te mahi:
- I muri tata mai i te utaina o te tono me te whakaoti i te mahi tuatahi, ka whakahaerehia e matou a matou tirotiro.
- Ka tono te kaihoko ki te kaimau ka whiwhi "tohanga" mo te whakamatautau. Ko te tunu he rarangi o nga URL e tika ana kia tukuna he tono HTTP. I tua atu, ka whirihorahia e te tunu nga tawhā tono: whakaroa i waenga i nga tono, te nui o nga raraunga i tonoa, nga pane HTTP, me era atu. I te wa ano, ka taea e taatau te whakamatautau i nga momo tohutao rereke - i te wa e tono ana i te whirihoranga, ka whakatau noa maatau ko tehea tunu ka tukuna.
- Ka tohua te wa whakarewanga rangahau kia kore ai e taupatupatu ki te whakamahi kaha o nga rauemi whatunga ki te kiritaki. Ko te tikanga, ka tohua te wa karekau te kaihoko i te hohe.
- I muri i te whiwhinga o te tunu, ka tono tono te kaihoko ki ia URL, i te whakarara. Ko te tono ki ia o nga wahitau ka taea te tukurua - te mea e kiia ana. "pukupuku". I te pupuhi tuatahi, ka inehia e matou te roa o te wa ki te whakatu hononga me te tango raraunga. I te rua o nga pupuhi, ka inehia e matou te waa ki te uta i nga raraunga i runga i tetahi hononga kua pumau. I mua i te tuatoru, ka taea e taatau te whakarite i te whakaroa me te ine i te tere o te whakatuu hononga, aha atu.
I te wa o te whakamatautau, ka inehia e matou nga tawhā katoa ka taea e te taputapu te tiki:
- wa tono DNS;
- Wā tatūnga hononga TCP;
- Te wa tatūnga hononga TLS;
- te wa o te whiwhi i te paita tuatahi o nga raraunga;
- te wa uta katoa;
- waehere hua mana.
- Ka oti katoa nga pupuhi, ka utaina e te tauira nga inenga katoa hei tātari.
Ko nga mea matua ko te iti o te ti'aturi i runga i te arorau o te kiritaki, te tukatuka raraunga i runga i te tūmau me te inenga o nga tono whakarara. No reira, ka taea e taatau te wehe me te whakamatautau i te awe o nga momo ahuatanga e pa ana ki te mahi uiui, rereke i roto i te tunu kotahi, ka whiwhi hua mai i nga kaihoko pono.
Ko tenei hanganga kua kitea he pai ake mo nga mahi rangahau noa. I tenei wa 14 nga tohutoro kaha, neke atu i te 6000 tauira mo ia hekona, e whiwhi raraunga ana mai i nga kokonga katoa o te whenua me te kapi katoa o nga taputapu. Mena ka hokona e Netflix tetahi ratonga rite mai i tetahi roopu tuatoru, he miriona taara te utu i ia tau, me te kino rawa atu o te kapinga.
Te ariā whakamatautau i roto i te mahi: tauira
Na tenei punaha, i taea e matou te arotake i te whai huatanga o nga kaitakawaenga CDN i runga i te waa tono. Inaianei ka hiahia koe:
- hanga he tauira takawaenga;
- tuu te tauira ki runga CDN;
- te whakatau me pehea te arahi i nga kaihoko ki tetahi takawaenga i runga i te tūmau CDN motuhake;
- Whakatauritehia te mahinga ki nga tono i AWS kaore he takawaenga.
Ko te mahi he arotake wawe i te whaihuatanga o te otinga e whakaarohia ana. I whiriwhiria e matou Haere ki te whakatinana i te tauira na te waatea o nga whare pukapuka whatunga pai. I runga i ia tūmau CDN, i whakauruhia e matou te takawaenga tauira hei tohu-rua pateko hei whakaiti i nga whakawhirinakitanga me te ngawari ki te whakauru. I te whakatinanatanga tuatahi, i whakamahia e matou nga waahanga paerewa ka taea me nga whakarereketanga iti mo te whakahiato hononga HTTP/2 me te tono kia maha.
Hei taurite i waenga i nga rohe AWS, i whakamahia e matou he papaaarangi DNS matawhenua, ko taua mea i whakamahia hei whakataurite i nga kaihoko. Hei whiriwhiri i tetahi tūmau CDN mo te kiritaki, ka whakamahia e matou a TCP Anycast mo nga tūmau i roto i te Whakawhiti Ipurangi (IX). I tenei whiringa, ka whakamahi matou i tetahi wahitau IP mo nga tūmau CDN katoa, ka tukuna te kaihoko ki te tūmau CDN me te iti rawa o nga hops IP. I roto i nga tūmau CDN i whakauruhia e nga kaiwhakarato Ipurangi (ISP), karekau he mana mo te pouara hei whirihora i a TCP Anycast, no reira ka whakamahia e matou , e arahi ana i nga kaihoko ki nga kaiwhakarato Ipurangi mo te whakaata ataata.
Na, e toru nga momo huarahi tono: ki te kapua ma te ipurangi tuwhera, ma te CDN tūmau i IX, ma te CDN tūmau kei te kaiwhakarato Ipurangi. Ko ta matou whainga ko te maarama he aha te huarahi pai ake, he aha te painga o te takawaenga, ina whakaritea ki te tuku tono ki te whakaputanga. Hei mahi i tenei, ka whakamahia e matou he punaha tauira e whai ake nei:
Ka noho motuhake nga huarahi katoa, ka titiro tatou ki te wa i tae mai. Mo te tātaritanga, ka whakakotahihia e matou nga hua takawaenga ki roto i te roopu kotahi (tohua te waa pai rawa atu i waenga i te IX me te ISP takawaenga), ka whakatauritea ki te wa tono ki te kapua kaore he takawaenga:
Ka taea e koe te kite, he rereke nga hua - i te nuinga o te waa ka tukuna e te takawaenga he tere tere, engari he nui ano te maha o nga kaihoko ka tino kino te ahuatanga.
Ko te mutunga, he maha nga mea nui i mahia e matou:
- I aromatawaihia e matou te mahinga o nga tono mai i nga kaihoko ki te kapua ma te takawaenga CDN.
- I whiwhi raraunga mai i nga kaihoko pono, mai i nga momo taputapu katoa.
- I mohio matou kaore te ariā i 100% i whakapumautia, a, ko te tuku tuatahi me te takawaenga CDN e kore e pai mo matou.
- Kaore matou i tupono - kaore matou i whakarereke i nga whirihoranga whakaputa mo nga kaihoko.
- Kaore he mea i pakaru.
Prototype 2.0
Na, hoki ki te papa tuhi me te whakahoki ano i te tukanga katoa.
Ko te whakaaro ko te kore e whakamahi i te 100% takawaenga, ka whakatauhia e matou te huarahi tere mo ia kaihoko, ka tukuna atu nga tono ki reira - ara, ka mahia e matou te mea e kiia nei ko te urungi a te kiritaki.
Me pehea te whakatinana i tenei? Kaore e taea e matou te whakamahi i te arorau ki te taha tūmau, na te mea... Ko te whainga kia hono atu ki tenei tūmau. Me whai huarahi hei mahi i tenei ki runga i te kiritaki. A, ko te mea pai, mahia tenei me te iti rawa o te arorau matatini, kia kore ai e whakaoti i te take o te whakaurunga me te maha o nga papaautu kiritaki.
Ko te whakautu ko te whakamahi DNS. I roto i a maatau, kei a matou ake nga hanganga DNS, ka taea e matou te whakarite i tetahi rohe rohe ka noho mana a matou kaimau. He penei te mahi:
- Ka tono te kiritaki ki te tūmau DNS ma te whakamahi i tetahi kaihautu, hei tauira api.netflix.xom.
- Ka tae mai te tono ki ta maatau tūmau DNS
- Kei te mohio te tūmau DNS ko tehea huarahi te tere mo tenei kaihoko me te tuku i te wahitau IP e rite ana.
He uaua ano te otinga: karekau nga kaiwhakarato DNS mana e kite i te wahitau IP o te kiritaki, ka taea anake te panui i te wahitau IP o te kaiwhakatau recursive e whakamahia ana e te kiritaki.
Ko te mutunga mai, me whakatau e to tatou kaiwhakatakoto whakaaro mana kaua mo te kiritaki takitahi, engari mo te roopu o nga kiritaki e pa ana ki te kaiwhakatika recursive.
Hei whakaoti, ka whakamahia e matou nga tauira ano, whakahiatohia nga hua inenga mai i nga kaihoko mo ia o nga kaiwhakatau recursive ka whakatau ki hea ka tukuna atu tenei roopu o ratou - he takawaenga ma IX ma te whakamahi i te TCP Anycast, ma te takawaenga ISP, ki te kapua ranei.
Ka whiwhi tatou i te punaha e whai ake nei:
Ko te tauira urungi DNS ka taea e koe te arahi i nga kaihoko i runga i nga tirohanga o mua mo te tere o nga hononga mai i nga kaihoko ki te kapua.
Ano, ko te patai he pehea te whai hua o tenei huarahi? Hei whakautu, ka whakamahi ano i ta maatau punaha tirotiro. Na reira, ka whirihorahia e matou te whirihoranga kaiwhakataki, kei te whai tetahi o nga whaainga i te ahunga mai i te urungi DNS, ko tetahi atu ka haere tika ki te kapua (whakaputa o naianei).
Ko te mutunga, ka whakatauritehia e matou nga hua ka whiwhi i te aromatawai mo te whai huatanga:
Ko te mutunga, i akohia e matou etahi mea nui:
- I aromatawaihia e matou te mahinga o nga tono mai i nga kaihoko ki te kapua ma te whakamahi i te Kaiwhakahaere DNS.
- I whiwhi raraunga mai i nga kaihoko pono, mai i nga momo taputapu katoa.
- Kua whakamatauria te whai huatanga o te whakaaro i whakaarohia.
- Kaore matou i tupono - kaore matou i whakarereke i nga whirihoranga whakaputa mo nga kaihoko.
- Kaore he mea i pakaru.
Inaianei mo te waahanga uaua - ka whakarewahia e matou ki te hanga
Kua mutu te waahanga ngawari - he tauira mahi. Inaianei ko te mea uaua ko te whakarewa i tetahi otinga mo nga waka katoa a Netflix, ka tukuna ki te 150 miriona nga kaiwhakamahi, nga mano o nga taputapu, nga rau o nga ratonga moroiti, me tetahi hua me nga hanganga rereke tonu. Ka whiwhi nga tūmau Netflix i nga miriona tono mo ia hekona, a he ngawari ki te wawahi i te ratonga me te mahi pohehe. I taua wa ano, kei te pirangi matou ki te huri haere i nga waka ma nga mano tini o nga kaitoro CDN i runga i te Ipurangi, kei reira tetahi mea ka huri ka pakaru tonu, i te waa tino kore.
Na me enei mea katoa, e toru nga miihini a te roopu mo te whakawhanaketanga, te tuku me te tautoko katoa o te punaha.
Na reira, ka korero tonu tatou mo te okiokinga me te moe hauora.
Me pehea te haere tonu o te whakawhanaketanga me te kore e whakapau i to wa katoa ki te tautoko? Ko ta matou huarahi i runga i nga kaupapa e toru:
- Ka whakaitihia e matou te tauine pea o nga pakarutanga (te torotoro pupuhi).
- Kei te whakareri matou mo nga ohorere - ko te tumanako ka pakaru tetahi mea, ahakoa nga whakamatautau me nga wheako whaiaro.
- Te paheketanga ataahua - ki te kore tetahi mea e mahi tika, me whakatika aunoa, ahakoa kaore i te tino pai.
I puta mai i roto i to maatau, me tenei huarahi ki te raruraru, ka kitea e matou he otinga ngawari me te whai hua me te tino whakaiti i te tautoko o te punaha. I mohio matou ka taea e matou te taapiri i tetahi waahanga iti ki te kaihoko me te aro turuki mo nga hapa tono whatunga na nga raru hononga. Mena he hapa whatunga, ka hoki tika matou ki te kapua. Ko tenei otinga kaore e nui te whakapau kaha mo nga roopu kiritaki, engari ka tino whakaitihia te tupono o nga pakaru ohorere me nga ohorere mo tatou.
Ae ra, ahakoa te hokinga mai, ka whai tonu matou i te ako marama i te wa o te whanaketanga:
- Te whakamatautau tauira.
- Te whakamatautau A/B, te Canaries ranei.
- Te whakaputanga ahu whakamua.
Ma nga tauira, kua whakaahuahia te huarahi - ka whakamatauhia nga huringa i te tuatahi ma te whakamahi i te tunu tunu.
Mo te whakamatautau canary, me whiwhi tatou i nga takirua takirua hei whakataurite i te mahi a te punaha i mua me muri i nga huringa. Hei mahi i tenei, mai i a maatau maha o nga waahi CDN, ka tohua e matou nga takirua takirua e whiwhi ana i nga hokohoko rite:
Na ka whakauruhia e matou te hanga me nga huringa ki te tūmau Canary. Hei arotake i nga hua, ka whakahaerehia e matou he punaha e whakataurite ana i te 100-150 inenga me tetahi tauira o nga tūmau Mana:
Mena ka angitu te whakamatautau Canary, ka tukuna e maatau, ma te ngaru. Kaore matou e whakahōu ana i nga tūmau i ia pae i te wa kotahi - ka ngaro te katoa o te pae na te raruraru ka nui ake te paanga ki te ratonga mo nga kaiwhakamahi i te ngaro o te maha o nga kaitoro i nga waahi rereke.
I te nuinga o te waa, ko te whaihua me te haumaru o tenei huarahi ka whakawhirinaki ki te nui me te kounga o nga ine kua kohia. Mo ta matou punaha whakatere patai, ka kohia e matou nga inenga mai i nga waahanga katoa ka taea:
- mai i nga kiritaki - te maha o nga huihuinga me nga tono, nga reiti whakamuri;
- takawaenga - nga tatauranga mo te maha me te wa o nga tono;
- DNS - te nama me nga hua o nga tono;
- tapa kapua - tau me te wa mo te tukatuka tono i roto i te kapua.
Ko enei katoa ka kohia ki roto i te paipa kotahi, a, i runga i nga hiahia, ka whakatauhia e matou ko ehea inenga hei tuku ki nga tātaritanga-waa, a ki a Elasticsearch, Raraunga Nui ranei mo nga tātaritanga taipitopito.
Ka aroturuki matou
I roto i to maatau, kei te whakarereketia e matou te huarahi tino nui o nga tono i waenga i te kaihoko me te tūmau. I te wa ano, ko te maha o nga waahanga rereke i runga i te kiritaki, i runga i te tūmau, i runga i te huarahi i runga i te Ipurangi he nui. Ko nga huringa i runga i te kiritaki me te tūmau ka puta i nga wa katoa - i te wa e mahi ana te tini o nga kapa me nga huringa taiao i roto i te rauwiringa kaiao. Kei waenganui tatou - i te wa e tirotirohia ana he raru, he nui te tupono ka uru atu tatou. No reira, me tino marama tatou ki te tautuhi, ki te kohikohi me te wetewete i nga inenga kia tere te wehe i nga rapanga.
Ko te mea pai, ko te uru katoa ki nga momo inenga me nga tātari i te waa tuuturu. Engari he maha nga inenga, no reira ka puta te patai mo te utu. I a maatau, ka wehea e matou nga inenga me nga taputapu whanaketanga penei:
Hei kimi me te tarai i nga raru ka whakamahia e matou ta matou ake punaha-tuwhera-a-wa-a-tui и - mo te tirohanga. Pupuri ana i nga inenga whakahiato i roto i te mahara, he pono me te whakauru ki te punaha whakatupato. Mo te roherohenga me te tātaritanga, ka whai waahi taatau ki nga raarangi mai i Elasticsearch me Kibana. Mo te tātari tatauranga me te whakatauira, ka whakamahia e matou nga raraunga nui me te tirohanga ki te Ripanga.
Te ahua nei he tino uaua tenei huarahi ki te mahi. Heoi, ma te whakariterite i nga inenga me nga taputapu i runga i te aroraataki, ka taea e tatou te tātari tere i tetahi raru, te whakatau i te momo raru, katahi ka ruku ki nga inenga taipitopito. I te nuinga o te waa, ka pau te 1-2 meneti hei tautuhi i te puna o te pakaru. Whai muri i tenei, ka mahi tahi matou me tetahi roopu motuhake mo nga tātaritanga - mai i nga tekau meneti ki etahi haora.
Ahakoa ka tere te mahi i te tātaritanga, kare matou e pirangi kia tupu pinepine tenei. Ko te mea pai, ka whiwhi matou i te matohi arohaehae ina he nui te paanga ki te ratonga. Mo ta matou punaha whakatere patai, e 2 noa nga matohi ka whakamohio:
- Te ōrau Whakamuri Kiritaki - te aromatawai i te whanonga a te kaihoko;
- ōrau Hapa tirotiro - raraunga pūmautanga o ngā wāhanga whatunga.
Ko enei matohi whakahirahira ka aro turuki mena kei te mahi te punaha mo te nuinga o nga kaiwhakamahi. Ka titiro matou ki te maha o nga kaihoko i whakamahi whakamuri mena kaore i taea e ratou te tono whakaterenga. He iti iho i te 1 te matohi nui ia wiki, ahakoa he maha nga huringa kei te haere ki roto i te punaha. He aha i nui ai tenei mo tatou?
- He hokinga mai te kaihoko ki te kore e mahi to maatau takawaenga.
- He punaha urungi aunoa e whakautu ana i nga raru.
Ētahi atu kōrero mo te whakamutunga. Ko ta maatau punaha whakamatautau, me te punaha mo te whakatau aunoa i te huarahi tino pai mo nga tono mai i te kiritaki ki te kapua, ka taea e maatau te whakatutuki aunoa i etahi raru.
Kia hoki ki ta maatau tauira whirihoranga me nga waahanga ara e 3. I tua atu i te wa uta, ka taea e tatou te titiro ki te meka o te tuku. Ki te kore e taea te uta i nga raraunga, ma te titiro ki nga hua i runga i nga huarahi rereke ka taea e tatou te whakatau i hea me te aha i pakaru, me te whakatika aunoa ma te whakarereke i te ara tono.
tauira:
Ka taea te mahi aunoa. Whakauruhia ki te punaha urungi. Me whakaako ki te whakautu ki nga raruraru mahi me te pono. Mena ka timata tetahi mea ki te pakaru, urupare mena he pai ake te whiringa. I te wa ano, ko te urupare tere kaore he mea nui, he mihi ki te whakahoki mai i nga kaihoko.
Na, ko nga maataapono o te tautoko punaha ka taea te hanga penei:
- te whakaiti i te rahi o nga pakaru;
- kohikohi inenga;
- Ka whakatika aunoa i nga pakaru mena ka taea;
- ki te kore e taea, ka whakamohio atu matou ki a koe;
- Kei te mahi matou i runga i nga papatohu me nga taputapu whakamatautau mo te whakautu tere.
Nga Akoranga i Akona
Kare e roa te wa ki te tuhi tauira. I to maatau, kua rite i muri i te 4 marama. Na tenei i whiwhi i nga inenga hou, a 10 marama i muri mai i te tiimatanga o te whanaketanga ka whiwhi matou i nga waka whakaputa tuatahi. Katahi ka timata te mahi whakararu me te tino uaua: whakangao haere me te whakarahi i te punaha, neke i nga waka matua me te ako mai i nga he. Heoi, karekau tenei mahi whai hua e noho rarangi - ahakoa nga mahi katoa, kaore e taea te matapae i nga mea katoa. He pai ake te tere tere me te whakautu ki nga raraunga hou.
I runga i o maatau wheako, ka taea e matou te taunaki i nga mea e whai ake nei:
- Kaua e whakawhirinaki ki to whakaaro.
I rahua tonu to maatau whakaaro, ahakoa te nui o nga wheako o nga mema o o taatau roopu. Hei tauira, i he te matapae i te tere e tumanakohia ana mai i te whakamahi i te takawaenga CDN, i te whanonga ranei o TCP Anycast.
- Tikina nga raraunga mai i te hanga.
He mea nui kia tere te uru atu ki te iti rawa o nga raraunga whakaputa. Kare e taea te whiwhi i te maha o nga keehi ahurei, nga whirihoranga, me nga tautuhinga i roto i nga tikanga taiwhanga. Ko te uru tere ki nga hua ka taea e koe te ako tere mo nga raru pea ka whai whakaaro ki roto i te hoahoanga punaha.
- Kaua e whai i nga tohutohu me nga hua o etahi atu - kohia o ake raraunga.
Whaia nga tikanga mo te kohikohi me te wetewete i nga raraunga, engari kaua e whakaae matapo ki nga hua me nga korero a etahi atu. Ko koe anake ka mohio he aha te mahi mo o kaiwhakamahi. He rereke pea o punaha me o kaihoko mai i etahi atu kamupene. Waimarie, kei te waatea nga taputapu tātari me te ngawari ki te whakamahi. Ko nga hua ka whiwhi koe ehara pea i ta Netflix, Facebook, Akamai me etahi atu kamupene e kii ana. I roto i to maatau, he rereke nga mahi a TLS, HTTP2, tatauranga ranei mo nga tono DNS mai i nga hua o Facebook, Uber, Akamai - na te mea he rereke nga taputapu, nga kaihoko me nga rerenga raraunga.
- Kaua e whai i nga tikanga ahua me te arotake i te whai huatanga.
Tīmata ngawari. He pai ake te hanga i tetahi punaha mahi ngawari i roto i te wa poto atu i te whakapau i te wa nui ki te whakawhanake i nga waahanga kaore koe e hiahia. Te whakaoti i nga mahi me nga rapanga e pa ana ki o inenga me o hua.
- Kia rite mo nga tono hou.
Ka rite ki te uaua ki te matapae i nga raru katoa, he uaua ki te matapae i nga painga me nga tono i mua. Me whai tohu mai i nga tiimata - to raatau kaha ki te urutau ki nga ahuatanga o nga kaihoko. I to keehi, ka kitea pea e koe nga raru hou me o raatau otinga. I roto i ta maatau kaupapa, i whakatakotohia e matou he whainga ki te whakaiti i te roanga tono. Heoi, i te wa o te tātari me nga korerorero, i mohio matou ka taea ano e matou te whakamahi i nga kaitoro takawaenga:
- ki te whakataurite i nga waka puta noa i nga rohe AWS me te whakaiti i nga utu;
- ki te whakatauira i te pumau CDN;
- ki te whirihora DNS;
- hei whirihora i te TLS/TCP.
mutunga
I roto i te purongo, i whakaahua ahau me pehea a Netflix e whakaoti ai i te raru o te whakatere i nga tono Ipurangi i waenga i nga kaihoko me te kapua. Me pehea ta matou kohikohi raraunga ma te whakamahi i te punaha tauira mo nga kaihoko, me te whakamahi i nga raraunga o mua kua kohia hei arai i nga tono whakaputa mai i nga kaihoko ma te huarahi tere i runga i te Ipurangi. Me pehea te whakamahi i nga maataapono o nga kawa whatunga, o taatau hanganga CDN, te whatunga tuara, me nga tūmau DNS ki te whakatutuki i tenei mahi.
Heoi, ko ta matou otinga he tauira noa mo ta matou i Netflix i whakatinana i taua punaha. He aha te mahi mo matou. Ko te waahanga o taku ripoata mo koe ko nga maataapono o te whakawhanaketanga me te tautoko ka whaia e matou, ka tutuki nga hua pai.
Ko ta maatau otinga mo te raru kaore pea e pai ki a koe. Heoi, kei te noho tonu te ariā me nga maataapono hoahoa, ahakoa kaore koe i a koe ake hanganga CDN, he rereke ranei i a maatau.
He mea nui ano te hiranga o te tere o nga tono pakihi. A ahakoa mo te ratonga ngawari ka hiahia koe ki te whiriwhiri: i waenga i nga kaiwhakarato kapua, te waahi tūmau, CDN me nga kaiwhakarato DNS. Ko to whiringa ka awe i te whaihua o nga patai Ipurangi mo o kaihoko. A he mea nui ki a koe te ine me te mohio ki tenei awe.
Me tiimata me nga otinga ngawari, me pehea e huri ai koe i te hua. Akohia i a koe e haere ana me te whakapai ake i te punaha i runga i nga raraunga mai i o kaihoko, i to hanganga, me to pakihi. Whakaarohia te tupono ka pakaru ohorere i te wa o te mahi hoahoa. Na ka taea e koe te tere ake i to tukanga whanaketanga, te whakapai ake i te pai o te otinga, te karo i nga taumahatanga tautoko kore me te moe marie.
Tenei tau i te whakatakotoranga ipurangi. Ka taea e koe te patai ki tetahi o nga matua o DevOps, ko John Willis tonu!
Source: will.com