Ko taku whakaaro kia panui koe i te tuhinga o te purongo o te timatanga o te tau 2020 na Georgy Rylov "WAL-G: nga whai waahi hou me te whakawhanui o te hapori"
He maha nga wero e pa ana ki nga kaipupuri puna tuwhera i a raatau e tipu ana. Me pehea te tuhi i nga ahuatanga e hiahiatia ana, te whakatika i nga take me te whakahaere ki te tiro atu i nga tono toia? Ma te whakamahi i te WAL-G (taputapu-backup mo PostgreSQL) hei tauira, ka korerotia e ahau ki a koe me pehea ta matou whakaoti i enei raruraru ma te whakarewa i tetahi akoranga mo te whanaketanga Open-source i te whare wananga, he aha ta matou i tutuki me te waahi ka neke atu.
Kia ora ano koutou katoa! He kaiwhakawhanake Yandex ahau mai i Yekaterinburg. A i tenei ra ka korero ahau mo te WAL-G.
Ko te taitara o te purongo kaore i kii he mea mo nga taapiri. Kei te mohio tetahi he aha te WAL-G? Kei te mohio ranei te katoa? Whakaarahia to ringa ki te kore koe e mohio. He tapu, i tae mai koe ki te purongo kaore koe e mohio he aha tena.
Kia korero ahau ki a koe he aha nga mea ka tupu i tenei ra. Ko te mea kua roa to taatau roopu e mahi ana i nga taapiri. A he purongo ano tenei i roto i te raupapa e korero ana mo te penapena raraunga i runga i te haumaru, te haumaru, te waatea me te whai hua.
I nga raupapa o mua he maha nga korero a Andrei Borodin me Vladimir Leskov. He tokomaha o matou. A kua maha nga tau e korero ana matou mo te WAL-G.
clck.ru/F8ioz —
clck.ru/Ln8Qw —
He rereke te ahua o tenei purongo mai i era atu i te mea he mea nui ake mo te waahanga hangarau, engari i konei ka korero ahau mo te ahua o nga raru e pa ana ki te tipu o te hapori. A me pehea i puta mai ai he whakaaro iti hei awhina i a maatau ki tenei.
I etahi tau kua pahure ake nei, he kaupapa iti noa te WAL-G i riro mai i a Citus Data. Na ka tangohia noa e matou. Na i whakawhanakehia e te tangata kotahi.
A ko WAL-G anake karekau:
- Pūrua mai i te tauira.
- Karekau he taapiri taapiri.
- Karekau he taapiri WAL-Delta.
- A he nui tonu te ngaro.
I roto i enei tau torutoru, kua nui te tipu o te WAL-G.
A, i te tau 2020, kua puta katoa nga mea o runga ake nei. Na kua tapirihia nga mea kei a tatou inaianei:
- Neke atu i te 1 whetu i runga i GitHub.
- 150 marau.
- Tata ki te 15 nga PR tuwhera.
- Me te maha atu o nga kaikoha.
- A ka tuwhera nga take i nga wa katoa. A ko tenei ahakoa te meka e haere mooni matou ki reira ia ra, me te mahi i tetahi mea mo taua mea.
Na ka tae mai ki te whakatau ko tenei kaupapa e hiahia ana kia nui ake te aro ki a maatau, ahakoa kaore matou e hiahia ki te whakatinana i tetahi mea mo a maatau ratonga Managed Databases i Yandex.
A, i tetahi waahi i te ngahuru o 2018, ka puta mai he whakaaro ki o maatau hinengaro. I te nuinga o te waa he maha nga huarahi a te roopu ki te whakawhanake i etahi ahuatanga, ki te whakatika i nga pepeha mena kaore koe i te nui o o ringaringa. Hei tauira, ka taea e koe te utu i tetahi atu kaiwhakawhanake me te utu moni ki a ia. Ka taea ranei e koe te tango i tetahi kaimahi mo te wa poto ka utua ano he utu ki a ia. Engari he nui tonu te roopu tangata, ko etahi kua tino mohio ki te tuhi waehere. Kare noa koe e mohio he aha te kounga o te waehere.
I whakaarohia e matou, ka whakatau ki te ngana ki te kukume i nga akonga. Engari kaore nga akonga e uru ki nga mea katoa ki a maatau. Ka mahia e ratou etahi waahanga o te mahi. A, hei tauira, ka tuhi i nga whakamatautau, ka whakatika i nga pepeke, ka whakatinana i nga waahanga kaore e pa ki te mahi matua. Ko te mahi matua ko te hanga taapiri me te whakaora i nga taapiri. Ki te he tatou i roto i te hanga i te tārua, ka ite tatou ngaro raraunga. A kaore tetahi e hiahia ana ki tenei, o te akoranga. Kei te pirangi nga tangata katoa kia tino haumaru. Na reira, o te akoranga, e kore matou e hiahia ki te tuku waehere e whakawhirinaki tatou iti iho i to tatou ake. Arā, ko nga waehere kore-arohaehae te mea e hiahia ana matou ki te whiwhi mai i a maatau kaimahi taapiri.
He aha nga tikanga ka whakaaetia te PR tauira?
- E tika ana kia hipokina a raatau waehere me nga whakamatautau. Me mahi nga mea katoa ki CI.
- A ka haere ano matou i roto i nga arotake 2. Na Andrey Borodin tetahi, naku tetahi.
- I tua atu, ki te tirohia e kore e pakaru tetahi mea i roto i ta maatau ratonga, ka tukuna e au te huihuinga me tenei mahi. A ka tirohia e matou nga whakamatautau mutunga-ki-mutunga kaore he mea i taka.
Akoranga motuhake mo Open Source
He korero iti mo te aha e hiahiatia ana me te aha tenei, ki taku whakaaro, he whakaaro pai.
Ki a maatau, ka kitea te painga:
- Ka whiwhi ringa taapiri.
- A kei te rapu tatou mo nga kaitono mo te roopu i waenga i nga akonga mohio e tuhi ana i te waehere atamai.
He aha te painga mo nga akonga?
Kaore pea i te tino kitea, na te mea ko nga akonga, he iti rawa, kaore e whiwhi moni mo te waehere ka tuhia e ratou, engari ka whiwhi tohu anake mo o raatau rekoata akonga.
I patai ahau ki a ratou mo tenei. Na i roto i a ratou kupu:
- He wheako kaikoha i te Open Source.
- Tikina he raina ki to CV.
- Whakamatauhia koe ka tukuna he uiuinga i Yandex.
- Me noho hei mema GSoC.
- +1 akoranga motuhake mo te hunga e hiahia ana ki te tuhi waehere.
E kore ahau e korero mo te hanganga o te akoranga. Me kii noa ahau ko WAL-G te kaupapa matua. I whakauruhia ano e matou nga kaupapa penei i Odyssey, PostgreSQL me ClickHouse i roto i tenei akoranga.
A i hoatu e ratou nga raruraru ehara i te mea anake i tenei akoranga, engari i tukuna ano he tohu me nga mahi akoranga.
He aha te painga mo nga kaiwhakamahi?
Inaianei me neke atu ki te waahanga e pai ana ki a koe. He aha te pai o tenei ki a koe? Ko te take he maha nga pepeke i whakatikahia e nga akonga. Na matou i hanga nga ahuatanga tono i tono mai koe kia mahia.
A ka korero atu ahau ki a koe mo nga mea kua roa e hiahia ana koe, kua tutuki.
Tautoko mokowā tepu. Ko nga mokowā tepu i roto i te WAL-G kua tumanakohia mai i te tukunga o te WAL-G, na te mea ko WAL-G te kai-riiwhi mo tetahi atu taputapu taapiri WAL-E, i tautokohia ai nga taapiri raraunga me nga mokowā ripanga.
Me whakamahara poto ahau ki a koe he aha te mea me te aha e hiahiatia ana. Ko te tikanga, ko o raraunga Postgres katoa kei roto i tetahi raarangi i runga i te punaha konae, ka kiia ko te turanga. A kei roto i tenei raarangi nga konae me nga raarangiroto katoa e hiahiatia ana e Postgres.
Ko nga mokowā tepu he whaiaronga kei roto nga raraunga Postgres, engari kaore i waho o te raarangi turanga. Ko te kiriata e whakaatu ana kei waho nga ripanga i waho o te raarangi turanga.
He aha te ahua o tenei mo Postgres ake? He pg_tblspc motuhake kei roto i te whaiaronga turanga. A kei roto nga hononga hono ki nga raarangi kei roto nga raraunga Postgres kei waho o te raarangi turanga.
Ina whakamahia e koe enei mea katoa, ka penei pea te ahua o enei whakahau. Arā, ka hangaia e koe he ripanga ki etahi mokowātepu kua tohua ka kite kei hea inaianei. Ko nga rarangi whakamutunga e rua enei, ko nga whakahau whakamutunga e rua e kiia ana. A kei reira e marama ana he huarahi ano. Engari i roto i te mooni, ehara tenei i te tino huarahi. Koinei te ara whakamua mai i te whaiaronga turanga ki te mokowā ripanga. A mai i reira ka tauritehia ki te hononga hono e arahi ana ki o raraunga tuuturu.
Kaore matou i te whakamahi i enei mea katoa i roto i ta matou roopu, engari i whakamahia e te maha atu o nga kaiwhakamahi WAL-E i tuhi mai ki a matou e hiahia ana ratou ki te neke ki WAL-G, engari na tenei i aukati i a raatau. Ka tautokohia tenei inaianei.
Ko tetahi atu waahanga i kawea mai e ta maatau akoranga motuhake ko te hopu. Ko nga tangata kua kaha ake te mahi me Oracle i a Postgres e mohio ana mo te hopu.
He korero poto mo te aha. Ko te topology tautau i roto i ta maatau ratonga ka penei pea te ahua. He rangatira to tatou. He tauira e rere ana i te raarangi tuhi-i mua mai i a ia. A ka korero te tauira ki te rangatira ko te LSN kei runga i tenei wa. A, ki tetahi waahi e rite ana ki tenei, ka taea te pupuri i te raarangi. I tua atu i te whakapuranga i te raarangi, ka tukuna ano nga taapiri ki te kapua. A ka tukuna nga taapiri delta.
He aha pea te raru? Ina he nui rawa to papaunga raraunga, ka puta pea ka timata to tauira ki muri i te rangatira. A kei muri rawa atu ia e kore e taea e ia te hopu ia ia. I te nuinga o te waa me whakatika tenei raru.
A ko te huarahi ngawari ko te tango i te tauira ka tukuna ano, na te mea kare rawa e mau, a me whakatika te raruraru. Engari he wa roa tenei, na te mea he wa roa rawa te whakahoki mai i te katoa o te 10 TB putunga raraunga. A e hiahia ana matou ki te mahi i enei mea katoa mena ka ara ake nga raru. A koinei tonu te take o te hopu.
Ka taea e Catchup te whakamahi i nga taapiri delta, ka penapena ki te kapua penei. E kii ana koe ko tehea LSN te tauira takamuri kei runga i tenei wa ka tohua ki roto i te whakahau hopu kia taea ai te hanga i te taapiri delta i waenga i taua LSN me te LSN kei reira to tautau i tenei wa. A muri i tera ka whakahokia e koe tenei taapiri ki te tauira kua taka ki muri.
Ētahi atu turanga
He maha nga ahuatanga i kawea mai e nga tauira i te wa kotahi. I te mea i Yandex ka tunuhia e matou ehara i te Postgres anake, kei a matou ano a MySQL, MongoDB, Redis, ClickHouse, i etahi wa ka hiahia matou ki te mahi i nga taapiri me te whakaora i te wa-waahi mo MySQL, a ka whai waahi ki te tuku. ratou ki te kapua.
A i hiahia matou ki te mahi kia rite ki nga mahi a WAL-G. Na ka whakatau matou ki te whakamatau me te kite i te ahua o te katoa.
A, i te tuatahi, me te kore e tohatoha i tenei arorau, ka tuhia e ratou te waehere ki te marau. I kite ratou he momo tauira mahi a maatau ka taea te rere. Katahi matou ka whakaaro ko to matou hapori matua he poupou, ka whakamahi ratou i te WAL-G. Na reira me wehe e tatou enei waahanga. Arā, ka whakatikahia e matou te waehere mo te Postgres, kaore matou e pakaru i te MySQL; ka whakatikahia e matou a MySQL, kaore matou e pakaru i te Postgres.
Ko te whakaaro tuatahi mo te wehe i tenei ko te whakaaro ki te whakamahi i te huarahi ano e whakamahia ana i roto i nga toronga PostgreSQL. A, me te mea, ki te hanga i tetahi taapiri MySQL me whakauru koe i etahi momo whare pukapuka hihiri.
Engari i konei ka kitea tonutia te asymmetry o tenei huarahi. I te wa e penapena ana koe i nga Postgres, ka tukuna e koe he taapiri mo nga Postgres ki runga ka pai nga mea katoa. Na mo MySQL ka puta ka whakauruhia e koe he taapiri mo te Postgres me te whakauru ano i tetahi whare pukapuka hihiri mo MySQL mo taua mea. He ahua kee te ahua. I penei ano ta matou whakaaro me te whakatau ehara tenei i te otinga e hiahiatia ana.
Nga momo hanga mo Postgres, MySQL, MongoDB, Redis
Engari na tenei ka taea e matou, ki ta matou nei, ki te whakatau tika - ki te tohatoha i nga huihuinga rereke mo nga turanga rereke. Na tenei i taea ai te wehe i te arorau e herea ana ki nga taapiri o nga momo papaa raraunga ka uru ki te API noa e whakamahia ana e WAL-G.
Koinei te waahanga i tuhia e matou ake - i mua i te hoatu ki nga akonga nga raruraru. Arā, koinei tonu te wahanga ka taea e ratou te mahi he, no reira i whakatau matou me mahi penei ka pai nga mea katoa.
I muri i tera ka tukuna e matou nga raru. Ka wetewetehia. Me tautoko nga tauira e toru nga turanga.
Ko MySQL tenei, e tautokohia ana e matou ma te whakamahi i te WAL-G penei mo te neke atu i te kotahi tau.
Inaianei kei te tata atu a MongoDB ki te whakaputa, kei te whakaoti i a raatau me te konae. Inaa, i tuhia e matou te anga mo enei mea katoa. Katahi ka tuhia e nga tauira etahi mea ka taea. Na ka kawea mai e matou ki te ahua ka taea e matou te whakaae ki te whakaputa.
Ko enei raruraru kaore i rite ki nga akonga ki te tuhi i nga taputapu taapiri katoa mo ia o enei papaanga. Karekau he raruraru pera. Ko ta matou raruraru i hiahia matou ki te whakaora i te wa-a-waa ka hiahia matou ki te whakahoki ki te kapua. Na ratou i tono ki nga tauira ki te tuhi i etahi waehere hei whakaoti i tenei. I whakamahia e nga tauira nga taputapu taapiri o mua, ka tango i nga taapiri, ka whakapiri katoa ki te WAL-G, ka tukuna katoa ki te kapua. Na ka taapirihia ano e ratou te whakaora i roto i te waa ki tenei.
He aha atu i mauria mai e nga tauira? I kawea mai e ratou te tautoko whakamunatanga Libsodium ki WAL-G.
Kei a matou ano nga kaupapa here mo te rokiroki. Inaianei ka taea te tohu i nga taapiri hei pumau. A he mea pai ake mo to ratonga ki te whakaaunoa i te mahi rokiroki.
He aha te hua o tenei whakamatautau?
Neke atu i te 100 nga tangata i rehita tuatahi mo te akoranga. I te tuatahi kaore au i kii ko te whare wananga kei Yekaterinburg ko te Ural Federal University. I panuitia e matou nga mea katoa i reira. 100 nga tangata kua rehita. I roto i te meka, he iti noa nga tangata i timata ki te mahi i tetahi mea, tata ki te 30 tangata.
He iti ake nga tangata i oti i te akoranga, na te mea me tuhi nga whakamatautau mo nga waehere kua noho. A whakatika hoki etahi bug ranei hanga etahi āhuatanga. A ka kati tonu etahi tauira i te akoranga.
I tenei wa, i roto i tenei akoranga, 14 pea nga putanga kua whakatikahia e nga akonga, a, 10 nga ahuatanga o te rahi. Na, ki taku whakaaro, he whakakapinga katoa tenei mo te kotahi, e rua ranei nga kaihanga.
I roto i etahi atu mea, i tukuna e matou nga tohu me nga mahi akoranga. A 12 i whiwhi tohu tohu. 6 o ratou kua wawao i a ratou ano i te "5". Ko te hunga i toe kaore ano kia tiakina, engari ki taku whakaaro ka pai nga mea katoa mo ratou.
Mahere mo te heke mai
He aha nga mahere kei a tatou mo te heke mai?
I te iti rawa nga tono ahuatanga kua rongohia e matou mai i nga kaiwhakamahi me te hiahia ki te mahi. Tenei:
- Te aro turuki i te tika o te whai waahi i roto i te puranga taapiri roopu HA. Ka taea e koe tenei me te WAL-G. A ki taku whakaaro ka whai tauira tatou ka hapai i tenei take.
- Kei a matou ano tetahi tangata hei whakawhiti i nga taapiri me te WAL i waenga i nga kapua.
- Ina tata nei i whakaputahia e matou he whakaaro ka taea e matou te tere ake i te WAL-G ma te wetewete i nga taapiri taapiri me te kore e tuhi ano i nga wharangi me te arotau i nga purongo ka tukuna atu e matou ki reira.
Ka taea e koe te tiri i konei
He aha tenei purongo? Inaianei, i tua atu i nga tangata toko 4 e tautoko ana i tenei kaupapa, kei a matou etahi atu ringaringa, he nui noa atu. Ina koa ka tuhi koe ki a raatau i roto i te panui whaiaro. A, ki te tautoko koe i o raraunga me te mahi ma te whakamahi i te WAL-G, kei te pirangi ranei koe ki te nuku ki te WAL-G, katahi ka ngawari noa taatau ki te whakatutuki i o hiahia.
He waehere QR tenei me te hono. Ka taea e koe te haere i roto i a raatau me te tuhi i o hiahia katoa. Hei tauira, kaore matou i te whakatika i etahi pepeha. Kei te tino hiahia ranei koe ki etahi ahuatanga, engari mo etahi take kaore ano i roto i tetahi taapiri, tae atu ki a maatau. Me tuhi koe mo tenei.
Au uiui
Kia ora! Nga mihi mo te ripoata! He patai mo WAL-G, engari kaua mo Postgres. Ka tautokohia e WAL-G a MySQL ka karangahia he taapiri taapiri. Mena ka tango tatou i nga whakaurunga hou i runga i te CentOS a mena ka whakauru koe i a MySQL, ka whakauruhia a MariDB. Mai i te putanga 10.3 kaore i te tautokohia te taapiri taapiri, kei te tautokohia te taapiri MariDB. Kei te pehea koe ki tenei?
I tenei wa kaore ano matou i ngana ki te taapiri i a MariDB. He tono mo te tautoko a FoundationDB, engari i te nuinga o te waa, mena he tono pera, katahi ka kitea nga tangata ka mahia. Ehara i te roa, i te uaua ranei ki taku whakaaro.
Kia pai te ahiahi Nga mihi mo te ripoata! He patai mo nga ahuatanga hou pea. Kua reri koe ki te mahi WAL-G me nga riipene kia taea ai e koe te whakahoki ki nga riipene?
Ko te tikanga o te penapena rīpene?
Ae.
Kei a Andrei Borodin, he pai ake te whakautu i tenei patai i ahau.
(Andrey) Ae, mihi mo te patai! I tono matou ki te whakawhiti i tetahi taapiri ki te rīpene mai i te rokiroki kapua. Na mo tenei whakawhiti i waenganui i nga kapua. Na te mea ko te whakawhiti kapua-ki-kapua he putanga whanui o te whakawhiti rīpene. I tua atu, kei a matou he hoahoanga whanui mo nga Rokiroki. I te ara, he maha nga Storoges i tuhia e nga akonga. A, ki te tuhi koe i te Rokiroki mo te rīpene, katahi ka tautokohia. Kua reri matou ki te whai whakaaro ki nga tono toia. I reira me tuhi koe i tetahi konae, panuihia he konae. Mena ka mahia e koe enei mea i roto i te Haere, ka mutu ka 50 nga rarangi waehere. Na ka tautokohia te rīpene i WAL-G.
Nga mihi mo te ripoata! Te tukanga whanaketanga whakamere. Ko te taapiri he waahanga mahi nui e tika ana kia hipokina e nga whakamatautau. I a koe i whakatinana i nga mahi mo nga papaa raraunga hou, i tuhia ano e nga tauira nga whakamatautau, i tuhia ranei e koe nga whakamatautau ka tukuna e koe te whakatinanatanga ki nga akonga?
I tuhia hoki e nga tauira nga whakamatautau. Engari he maha ake nga tuhinga a nga akonga mo nga ahuatanga penei i nga papaa raraunga hou. I tuhia e ratou nga whakamatautau whakauru. Na ka tuhia e ratou nga whakamatautau waahanga. Mena ka paahitia te whakaurunga, ara, i tenei wa, he tuhinga tenei ka mahia e koe ma te ringa, he cron ranei e mahi ana, hei tauira. Arā, he tino marama te tuhinga ki reira.
Karekau he wheako nui o nga akonga. He roa te wa ki te arotake?
Ae, he roa nga wa arotake. Arā, i te nuinga o te wā, ka tae mai te maha o nga kaitaunaki i te wa kotahi ka kii i mahia e au tenei, i mahia e au, katahi koe me whakaaro me te wehe mo te hawhe ra ki te mohio he aha ta ratou i tuhi ki reira. No te mea me ata panui te waehere. Karekau he uiuinga. Kaore matou i te tino mohio ki a raatau, na reira ka roa te waa.
Nga mihi mo te ripoata! I mua, i kii a Andrey Borodin ko te archive_command i WAL-G me karanga tika. Engari mo te ahua o te kaata kariri, me whai whakaaro ano tatou hei whakatau i te node hei tuku i nga rakau. Me pehea koe e whakaoti ai i tenei raru?
He aha to raru i konei? Me kii kei a koe he tauira tukutahi mai i a koe e hanga ana i te taapiri? He aha ranei?
(Andrey) Ko te mea pono ko te WAL-G te tikanga kia whakamahia kaore he tuhinga anga. Mena kei te ngaro tetahi mea, katahi ka taapirihia te arorau me uru ki roto i te WAL-G. Mo te take i ahu mai ai te whakapuranga, e whakapono ana matou me ahu mai te purongo i te rangatira o naianei kei roto i te roopu. Ko te whakapuranga mai i te tauira he whakaaro kino. He maha nga ahuatanga ka taea te raru. Otirā, he raru ki te whakapūranga wātaka me ētahi atu pārongo. Nga mihi mo te patai!
(Whakamaramatanga: I whakakorea e matou nga tuhinga anga )
Te ahiahi pai! Nga mihi mo te ripoata! Kei te pirangi ahau ki te waahanga hopu i korerohia e koe. I anga matou ki tetahi ahuatanga kei muri tetahi tauira kaore e taea te hopu. A kaore au i kitea he whakaahuatanga mo tenei ahuatanga i roto i nga tuhinga WAL-G.
I puta mai a Catchup i te 20 o Hanuere 2020. Me mahi ano pea nga tuhinga. Ka tuhia e matou ake, kaore matou e tuhi pai. A tera pea me timata taatau ki te tono kia tuhia e nga akonga.
Kua tukuna kētia?
Kua mate kē te tono kume, ara, i tirohia e au. I whakamatauria e ahau tenei i runga i te roopu whakamatautau. I tenei wa kaore ano matou i te waahi ka taea e matou te whakamatautau i tenei i roto i te tauira whawhai.
Ahea te tumanako?
Kare au e mohio. Tatari mo te marama, ka tino tirohia e matou.
Source: will.com