I te tatari mo te whakarewatanga o te rerenga hou i te reiti Kua whakaritea e matou he whakamaoritanga o nga mea whakamiharo.
tirohanga
Ka korero tatou mo tetahi tauira tino rongonui e whakamahi ana nga tono i nga toa raraunga maha, kei reira ka whakamahia ia toa mo ona ake kaupapa, hei tauira, ki te rokiroki i te ahua o nga raraunga kano (MySQL, me etahi atu), whakarato i nga kaha rapu matatau (ElasticSearch, etc.) .), te keteroki (Memcached, etc.) me etahi atu. Ko te tikanga, i te wa e whakamahi ana i nga toa raraunga maha, ko tetahi o ratou hei toa tuatahi me etahi atu hei toa whakaputa. Ko te raru anake me pehea te tukutahi i enei toa raraunga.
I titiro matou ki te maha o nga tauira rereke i ngana ki te whakaoti i te raruraru o te tukutahi i nga toa maha, penei i te tuhi rua, nga whakawhitinga tohatoha, me era atu. Heoi ano, he nui nga here o enei huarahi mo te whakamahinga o te ao, te pono, me te tiaki. I tua atu i te tukutahi raraunga, me whakarangatira ano etahi tono ma te waea atu ki nga ratonga o waho.
I whakawhanakehia a Delta hei whakaoti i enei raruraru. I te mutunga ka whakawhiwhia e Delta he papaa riterite, ka akiakihia e nga huihuinga mo te tukutahi raraunga me te whakarangatira.
Nga otinga o naianei
Te urunga rua
Hei pupuri i nga toa raraunga e rua ki te tukutahi, ka taea e koe te whakamahi i te tuhi takirua, ka tuhi ki tetahi toa ka tuhi ki tetahi atu i muri tonu mai. Ko te rekoata tuatahi ka taea te whakamatau ano ka taea te whakakore i te tuarua mena ka rahua te tuatahi i muri i te paunga o te maha o nga nganatanga. Heoi, ka ngaro pea nga toa raraunga e rua ki te rahua te tuhi ki te toa tuarua. I te nuinga o te wa ka whakatauhia tenei raruraru ma te hanga i tetahi tikanga whakaora ka taea te whakawhiti ano i nga raraunga mai i te rokiroki tuatahi ki te tuarua, me mahi mena ka kitea nga rereketanga i roto i nga raraunga.
Nga raruraru:
Ko te mahi i te tikanga whakaora he mahi motuhake e kore e taea te whakamahi ano. I tua atu, ko nga raraunga i waenga i nga waahi rokiroki ka noho kore i te tukutahi tae noa ki te waahi whakaora. Ka uaua ake te otinga mena ka whakamahia kia neke atu i te rua nga toa raraunga. Ka mutu, ka taea e te tikanga whakaora te taapiri i te uta ki te puna raraunga taketake.
Huri te ripanga rangitaki
Ina puta nga huringa ki te huinga ripanga (penei i te whakauru, te whakahou, me te whakakore i te rekoata), ka taapirihia nga rekoata huringa ki te ripanga raarangi hei waahanga o te tauwhitinga kotahi. Ko tetahi atu miro, tukanga ranei e tono ana i nga huihuinga mai i te ripanga raarangi ka tuhia ki tetahi, neke atu ranei o nga toa raraunga, mehemea e tika ana, ka tango i nga kaupapa mai i te ripanga rangitaki i muri i te whakapumautanga o te rekoata e nga toa katoa.
Nga raruraru:
Me whakatinanahia tenei tauira hei whare pukapuka, me te kore e whakarereke i te waehere o te tono e whakamahi ana. I roto i te taiao polyglot, me noho te whakatinanatanga o taua whare pukapuka i roto i nga reo e tika ana, engari he tino uaua ki te whakarite kia rite nga mahi me nga whanonga puta noa i nga reo.
Ko tetahi atu raruraru kei te whiwhi huringa aronuinga i roto i nga punaha kaore i te tautoko i nga huringa aronuinga tauwhitinga [1][2], penei i a MySQL. No reira, ko te tauira o te whakarereketanga (hei tauira, he huringa aronuinga) me te tuhi i nga tauwhitinga ki te ripanga raarangi huringa ka kore e mahi i nga wa katoa.
Nga Tauhokohoko Tohaina
Ka taea te whakamahi i nga tauwhitinga toha ki te wehewehe i tetahi tauwhitinga puta noa i nga toa raraunga rerekee maha kia pai ai te mahi ki nga toa raraunga katoa e whakamahia ana, kaore ranei e piri ki tetahi o ratou.
Nga raruraru:
Ko nga whakawhitinga tohatoha he raruraru nui mo nga toa raraunga rereke. I runga i to raatau ahuatanga, ka taea e raatau te whakawhirinaki ki te iti rawa o nga punaha e uru ana. Hei tauira, ko nga whakawhitinga XA te aukati i te mahi mena ka rahua te tukanga tono i te wa o te wa whakarite. I tua atu, kaore a XA e whakarato i te kitenga kati, i te tautoko ranei i nga kaupapa mana whakahaere pai. I tua atu, ko etahi o nga punaha penei i te ElasticSearch kaore i te tautoko i te XA me etahi atu tauira tauwhitinga rerekee. Na, ko te whakarite i te tuhi ngota i roto i nga momo hangarau rokiroki raraunga ka noho tonu he mahi tino wero mo nga tono [3].
Delta
I hoahoatia a Delta ki te whakatika i nga herenga o nga otinga tukutahitanga raraunga o naianei, me te whakaahei hoki i te whakarangatira raraunga i runga i te rere. Ko ta matou whainga ko te wetewete i enei uauatanga katoa mai i nga kaiwhakawhanake tono kia taea ai e ratou te tino aro ki te whakatinana i nga mahi pakihi. I muri mai ka whakaahuahia e matou "Rapu Whitiāhua", te take whakamahi mo te Delta a Netflix.
Ka whakamahia e Netflix he hoahoanga ratonga moroiti, a ka tukuna e ia ratonga miihini kotahi te momo raraunga. Ko nga korero taketake mo te kiriata kei roto i te ratonga miihini e kiia nei ko te Ratonga Whitiāhua, me nga raraunga e pa ana ki nga korero mo nga kaihanga, kaiwhakaari, kaihoko, me era atu mea kei te whakahaerehia e etahi atu ratonga miihini (ara ko te Deal Service, Talent Service and Vendor Service).
He maha nga wa me rapu nga kaiwhakamahi pakihi i Netflix Studios puta noa i nga momo paearu kiriata, na reira he mea nui kia taea e ratou te rapu puta noa i nga raraunga e pa ana ki te kiriata.
I mua i te Delta, me tango e te roopu rapu kiriata nga raraunga mai i nga ratonga miihini maha i mua i te whakariterite i nga raraunga kiriata. I tua atu, me whakawhanake te roopu i tetahi punaha hei whakahou i te taurangi rapu ma te tono huringa mai i etahi atu ratonga miihini, ahakoa kaore he huringa. I tere tonu te uaua o tenei punaha me te uaua ki te pupuri.
Whakaahua 1. Te punaha pooti ki Delta
Whai muri i te whakamahi i te Delta, i whakangawarihia te punaha ki tetahi punaha whakahaere kaupapa penei i te ahua e whai ake nei. Ka tukuna nga kaupapa CDC (Huri-Raraunga-Hopu) ki nga kaupapa Keystone Kafka ma te whakamahi i te Delta-Connector. Ko tetahi tono Delta i hangaia ma te whakamahi i te Delta Stream Processing Framework (i runga i a Flink) ka whiwhi i nga huihuinga CDC mai i tetahi kaupapa, ka whakarangatira ma te waea atu ki etahi atu microservices, ka mutu ka tukuna nga raraunga whakarangatira ki te taurangi rapu i Elasticsearch. Ko te katoa o nga mahi ka tata ki te waa tuuturu, ara, i te wa ka tau nga huringa ki te whare putunga raraunga, ka whakahouhia nga tohu rapu.
Whakaatu 2. Raraunga paipa ma te whakamahi i te Delta
I roto i nga waahanga e whai ake nei, ka whakaahuahia e matou te mahi a te Delta-Connector, e hono ana ki te rokiroki me te whakaputa i nga kaupapa CDC ki te paparanga waka, he hanganga tuku raraunga tuuturu e arai ana i nga kaupapa CDC ki nga kaupapa Kafka. A i te mutunga, ka korero tatou mo te anga tukatuka awa Delta, ka taea e nga kaihanga tono te whakamahi mo te tukatuka raraunga me te arorau whakarangatira.
CDC (Huri-Raraunga-Hopu)
Kua whakawhanakehia e matou he ratonga CDC e kiia nei ko Delta-Connector, ka taea te hopu i nga huringa i mahia mai i te toa raraunga i te waa tuuturu ka tuhia ki te awa. Ka tangohia nga huringa-a-waa mai i te raarangi tauwhitinga me nga putunga rokiroki. Ka whakamahia nga putunga na te mea kaore nga raarangi tauwhitinga e penapena i nga hitori katoa o nga huringa. Ko nga huringa i te nuinga o te waa ka whakarerihia hei huihuinga Delta, no reira kaore te kaiwhiwhi e awangawanga mo te waahi ka puta mai te huringa.
Ka tautokohia e Delta-Connector etahi atu waahanga penei i:
- Te kaha ki te tuhi i nga raraunga whakaputa ritenga o mua o Kafka.
- Te kaha ki te whakahohe i nga putunga a-ringa i nga wa katoa mo nga ripanga katoa, he ripanga motuhake, mo nga kii matua motuhake ranei.
- Ka taea te tango mai i nga putunga, no reira karekau he take ki te timata ano i te wa ka taka.
- Kaore he take ki te tuu raka ki runga i nga tepu, he mea tino nui ki te whakarite kia kore rawa e aukatihia e ta maatau ratonga nga waka tuhi korero.
- He nui te waatea na te maha o nga waa i roto i nga Rohe Wātea AWS.
I tenei wa kei te tautoko matou i a MySQL me Postgres, tae atu ki nga tukunga ki runga i te AWS RDS me Aurora. Ka tautoko hoki matou i a Cassandra (maha-ariki). Ka kitea e koe etahi atu korero mo Delta-Connector konei .
Kafka me te paparanga kawe
Ko te paparanga kawe kaupapa a Delta kua hangaia ki runga i te ratonga karere a te papa .
I nga wa o mua, ko te tuku i runga i a Netflix kua arotauhia mo te uru atu kaua ki te roa (tirohia ki raro). ). Ko te tauhokohoko ko te koretake o nga raraunga kaihokohoko i roto i nga ahuatanga o te taha. Hei tauira, pooti rangatira poke kei a ia te haepapa mo te kaiwhiwhi ka tupono he taarua, ngaro ranei nga kaupapa.
Ma te Delta, i hiahia matou kia kaha ake te whakamana kia mau tonu te tuku o nga huihuinga CDC ki nga toa i ahu mai. Mo tenei kaupapa, i whakatakotohia e matou he kahui Kafka i hangaia hei ahanoa akomanga tuatahi. Ka taea e koe te titiro ki etahi tautuhinga kaihokohoko i te ripanga i raro nei:
I roto i nga kohinga Keystone Kafka, pooti rangatira poke i te nuinga o te wa ka whakauruhia hei whakarite i te urunga o te kaiwhakaputa. Ka ngaro pea nga karere mena ka pootihia he tauira kore tukutahi hei kaiarahi. Mo te kohinga Kafka hou e waatea ana, ko te whiringa pooti rangatira poke whakawetohia kia kore e ngaro te karere.
I piki ano matou take tukurua mai i te 2 ki te 3 me iti rawa nga tauira insync 1 ki te 2. Ko nga kaiwhakaputa e tuhi ana ki tenei roopu ka tono acks mai i era atu katoa, me te whakarite kia 2 o nga tauira e 3 kei a raatau nga karere o naianei kua tukuna e te kaiwhakaputa.
Ka mutu te tauira kaihokohoko, ka whakakapihia e tetahi tauira hou te mea tawhito. Heoi, me hopu e te kaihokohoko hou nga tauira kore tukutahi, ka roa pea etahi haora. Hei whakaiti i te wa whakaora mo tenei ahuatanga, i timata matou ki te whakamahi i te rokiroki raraunga paraka (Amazon Elastic Block Store) hei utu mo nga kōpae kaihokohoko o te rohe. Ina whakakapihia e tetahi tauira hou tetahi tauira kaihokohoko kua whakamutua, ka whakapirihia e ia te rōrahi EBS i riro i te tauira ka mutu ka timata ki te hopu i nga karere hou. Ma tenei mahi ka whakaiti i te wa whakaatea mai i nga haora ki nga meneti na te mea kua kore te tauira hou e huri mai i te ahua kore. I roto i te katoa, ko nga rokiroki motuhake me nga huringa ora o te kaihokohoko ka tino whakaiti i te paanga o te whakawhiti kaihokohoko.
Hei whakanui ake i te taurangi tuku raraunga, i whakamahia e matou ki te kite i te ngaronga o nga karere i raro i nga ahuatanga tino kino (hei tauira, te whakakorenga karaka i roto i te kaiarahi wehewehe).
Anga Tukatuka Stream
Ko te paparanga tukatuka a Delta he mea hanga ki runga ake o te turanga Netflix SPaaS, e whakarato ana i te whakaurunga a Apache Flink me te punaha rauropi Netflix. Ka whakaratohia e te papaaho he atanga kaiwhakamahi e whakahaere ana i te horahanga o nga mahi a Flink me te whakahiato o nga tautau Flink ki runga ake o to maatau papa whakahaere ipu Titus. Ka whakahaerehia ano e te atanga nga whirihoranga mahi me te tuku i nga kaiwhakamahi ki te whakarereke i nga huringa whirihoranga me te kore e whakahiato i nga mahi a Flink.
Ka whakaratohia e Delta he anga tukatuka awa i runga i te Flink me te SPaaS e whakamahi ana i runga i te tuhipoka DSL (Reo Motuhake Rohe) ki te tango i nga taipitopito hangarau. Hei tauira, ki te tautuhi i te taahiraa e whakarangatirahia ai nga huihuinga ma te karanga i nga ratonga o waho, me tuhi nga kaiwhakamahi i te DSL e whai ake nei, a ka hangaia e te anga he tauira i runga i taua mea, ka mahia e Flink.
Whakaahua 3. Tauira o te whakarangatira i te DSL i Delta
Ko te anga tukatuka e kore e whakaiti noa i te pihi ako, engari e whakarato ana i nga ahuatanga tukatuka awa noa penei i te tangohanga, te whakahiato, me te ngawari me te kaha ki te whakaoti rapanga whakahaere noa.
E rua nga waahanga matua o te Delta Stream Processing Framework, te DSL & API module me te Runtime module. Ka whakaratohia e te DSL & API nga API DSL me te UDF (Kaiwhakamahi-Whakamahinga) kia taea ai e nga kaiwhakamahi te tuhi i a raatau ake arorau tukatuka (penei i te tātari, i nga huringa ranei). Ko te waahanga Runtime e whakarato ana i te whakatinanatanga o te DSL parser e hanga ana i te ahua o roto o nga waahanga tukatuka i roto i nga tauira DAG. Ko te Waahanga Whakatupato he whakamaori i nga tauira DAG hei arawhiti i nga korero a Flink, ka mutu te whakahaere i te tono Flink. Ko te hoahoanga o te anga e whakaatuhia ana i te ahua e whai ake nei.
Whakaatu 4. Delta Stream Tukatuka Anga hoahoanga
He maha nga painga o tenei huarahi:
- Ka taea e nga kaiwhakamahi te aro ki o raatau kaupapa pakihi me te kore e uru ki nga korero motuhake o Flink, te hanganga SPaaS ranei.
- Ka taea te whakapai ake i runga i te maarama ki nga kaiwhakamahi, ka taea te whakatika i nga hapa me te kore e whakarereke i te waehere kaiwhakamahi (UDF).
- Ko te wheako tono Delta he mea ngawari mo nga kaiwhakamahi na te mea ka whakaratohia e te papaahi te ngawari me te kaha mai i te pouaka me te kohikohi i nga momo inenga taipitopito ka taea te whakamahi mo nga matohi.
Whakamahinga whakaputa
Neke atu i te kotahi tau te mahi a Delta me te whai waahi nui ki te maha o nga tono Netflix Studio. I awhina ia i nga roopu ki te whakatinana i nga keehi penei i te tohu tohu rapu, te rokiroki raraunga, me nga rerenga mahi a-takahanga. Kei raro nei he tirohanga mo te hoahoanga taumata teitei o te papa Delta.
Whakaahua 5. Te hoahoanga teitei o Delta.
Nga Mihi
Ka mihi matou ki nga tangata e whai ake nei i uru ki te hanga me te whanaketanga o Delta i Netflix: Allen Wang, Charles Zhao, Jaebin Yoon, Josh Snyder, Kasturi Chatterjee, Mark Cho, Olof Johansson, Piyush Goyal, Prashanth Ramdas, Raghuram Onti Srinivasan, Sandeep Gupta, Steven Wu, Tharanga Gamaethige, Yun Wang and Zhenzhong Xu.
Rauemi
- Martin Kleppmann, Alastair R. Beresford, Boerge Svingen: Tukatuka kaupapa ipurangi. Commun. ACM 62(5): 43–49 (2019). DOI:
: "Utauta Hanga Raraunga mo te Rokiroki Whero a Amazon."
Source: will.com