Nissuġġerixxi li taqra t-traskrizzjoni tar-rapport tal-bidu tal-2020 minn Georgy Rylov "WAL-G: opportunitajiet ġodda u espansjoni tal-komunità"
Il-manutenzjoni ta' sors miftuħ jiffaċċjaw ħafna sfidi hekk kif jikbru. Kif tikteb aktar u aktar karatteristiċi meħtieġa, tirranġa aktar u aktar kwistjonijiet u tirnexxi tara aktar u aktar talbiet ta 'ġibda? Bl-użu ta’ WAL-G (għodda ta’ backup għal PostgreSQL) bħala eżempju, ngħidlek kif solvejna dawn il-problemi billi nediet kors dwar l-iżvilupp ta’ sors miftuħ fl-università, x’ksibna u fejn se nimxu wara.
Hello mill-ġdid lil kulħadd! Jiena żviluppatur Yandex minn Yekaterinburg. U llum se nitkellem dwar WAL-G.
It-titlu tar-rapport ma qalx li kienet xi ħaġa dwar backups. Xi ħadd jaf x'inhu WAL-G? Jew kulħadd jaf? Għolli idejk jekk ma tafx. Qaddisa, ġejt għar-rapport u ma tafx dwar xiex ikun.
Ħa ngħidilkom x’se jiġri llum. Jiġri li t-tim tagħna ilu jagħmel backups għal żmien mhux ħażin. U dan huwa rapport ieħor f'sensiela fejn nitkellmu dwar kif naħżnu d-dejta b'mod sikur, sigur, konvenjenti u effiċjenti.
Fis-serje preċedenti kien hemm ħafna rapporti minn Andrei Borodin u Vladimir Leskov. Konna ħafna minna. U ilna nitkellmu dwar WAL-G għal ħafna snin.
clck.ru/F8ioz —
clck.ru/Ln8Qw —
Dan ir-rapport se jkun xi ftit differenti mill-oħrajn peress li kien aktar dwar il-parti teknika, iżda hawn se nitkellem dwar kif iltqajna ma’ problemi assoċjati mat-tkabbir tal-komunità. U kif ħriġna idea żgħira li tgħinna nkampaw ma’ dan.
Ftit snin ilu, WAL-G kien proġett pjuttost żgħir li ksibna minn Citus Data. U ħadna biss. U ġie żviluppat minn persuna waħda.
U WAL-G biss ma kellux:
- Backup minn replika.
- Ma kien hemm ebda backups inkrementali.
- Ma kien hemm ebda backups WAL-Delta.
- U kien għad hemm ħafna nieqes.
Matul dawn il-ftit snin, WAL-G kiber ħafna.
U sal-2020, dak kollu ta 'hawn fuq diġà deher. U ma’ dan ġie miżjud dak li issa għandna:
- Aktar minn 1 stilla fuq GitHub.
- 150 frieket.
- Madwar 15-il PR miftuħ.
- U ħafna aktar kontributuri.
- U kwistjonijiet miftuħa l-ħin kollu. U dan minkejja l-fatt li litteralment immorru hemm kuljum u nagħmlu xi ħaġa dwarha.
U wasalna għall-konklużjoni li dan il-proġett jeħtieġ aktar attenzjoni tagħna, anke meta aħna stess m'għandna bżonn nimplimentaw xejn għas-servizz tagħna ta 'Databases Immaniġġjati f'Yandex.
U x'imkien fil-ħarifa tal-2018, ġiet f'moħħna idea. Normalment it-tim ikollu diversi modi biex jiżviluppa xi karatteristiċi jew jirranġa bugs jekk ma jkollokx biżżejjed idejn. Pereżempju, tista' tikri żviluppatur ieħor u tħallaslu l-flus. Jew tista' tieħu intern għal xi żmien u wkoll tħallaslu xi salarju. Iżda għad hemm grupp pjuttost kbir ta 'nies, li wħud minnhom diġà jafu verament kif jiktbu l-kodiċi. Inti sempliċiment mhux dejjem tkun taf liema kwalità huwa l-kodiċi.
Ħsibna dwarha u ddeċidejna li nippruvaw nattiraw studenti. Iżda l-istudenti mhux se jipparteċipaw f’kollox magħna. Huma se jagħmlu biss xi parti mix-xogħol. U huma, pereżempju, jiktbu testijiet, jiffissaw bugs, jimplimentaw karatteristiċi li ma jaffettwawx il-funzjonalità ewlenija. Il-funzjonalità ewlenija hija li toħloq backups u tirrestawra backups. Jekk nagħmlu żball fil-ħolqien ta 'backup, se nesperjenzaw telf ta' data. U ħadd ma jrid dan, ovvjament. Kulħadd irid li kollox ikun sigur ħafna. Għalhekk, ovvjament, ma rridux inħallu kodiċi li aħna nafdaw inqas minn tagħna. Jiġifieri, kwalunkwe kodiċi mhux kritiku huwa dak li nixtiequ nirċievu mingħand il-ħaddiema addizzjonali tagħna.
Taħt liema kundizzjonijiet huwa aċċettat il-PR tal-istudenti?
- Huma meħtieġa li jkopru l-kodiċi tagħhom bit-testijiet. Kollox għandu jseħħ f'CI.
- U ngħaddu wkoll minn 2 reviżjonijiet. Wieħed minn Andrey Borodin u ieħor minni.
- U barra minn hekk, biex niċċekkja li dan ma jkisser xejn fis-servizz tagħna, intella separatament l-assemblaġġ b'dan il-kommit. U niċċekkjaw fit-testijiet minn tarf sa tarf li xejn ma jfalli.
Kors speċjali dwar Open Source
Ftit dwar għaliex dan huwa meħtieġ u għaliex din, jidhirli, hija idea friska.
Għalina, il-profitt huwa ovvju:
- Ikollna idejn żejda.
- U qed infittxu kandidati għat-tim fost studenti intelliġenti li jiktbu kodiċi intelliġenti.
X'inhu l-benefiċċju għall-istudenti?
Jistgħu jkunu inqas ovvji, għax l-istudenti, bħala minimu, ma jirċievux flus għall-kodiċi li jiktbu, iżda jirċievu biss gradi għar-rekords tal-istudenti tagħhom.
Staqsejthom dwar dan. U fi kliemhom:
- Esperjenza ta' kontributur f'Open Source.
- Ikseb linja fis-CV tiegħek.
- Ipprova lilek innifsek u tgħaddi intervista f'Yandex.
- Issir membru tal-GSoC.
- +1 kors speċjali għal dawk li jridu jiktbu kodiċi.
Mhux se nitkellem dwar kif kien strutturat il-kors. Jien ngħid biss li WAL-G kien il-proġett ewlieni. Inkludejna wkoll proġetti bħal Odyssey, PostgreSQL u ClickHouse f’dan il-kors.
U taw problemi mhux biss f'dan il-kors, iżda taw ukoll diplomi u xogħol tal-kors.
Xi ngħidu dwar il-benefiċċju għall-utenti?
Issa ejja ngħaddu għall-parti li tinteressak l-aktar. Xi ġid jagħmel dan? Il-punt huwa li l-istudenti ffissaw ħafna bugs. U għamilna l-karatteristiċi tat-talba li tlabtna nagħmlu.
U ħa ngħidlek dwar l-affarijiet li ilek xtaqt u li ilhom realizzati.
Appoġġ ta' tablespaces. Tablespaces f'WAL-G kienu mistennija probabbilment mir-rilaxx ta 'WAL-G, minħabba li WAL-G huwa s-suċċessur ta' għodda oħra ta 'backup WAL-E, fejn backups tad-databases bi tablespaces kienu appoġġjati.
Ħa nfakkarkom fil-qosor x'inhu u għaliex huwa kollu meħtieġ. Tipikament, id-dejta kollha tiegħek Postgres tokkupa direttorju wieħed fis-sistema tal-fajls, imsejħa l-bażi. U dan id-direttorju diġà fih il-fajls u s-subdirettorji kollha meħtieġa minn Postgres.
L-ispazji tat-tabella huma direttorji li fihom dejta ta' Postgres, iżda ma jinsabux barra mid-direttorju bażi. Is-slide turi li t-tablespacs jinsabu barra mid-direttorju bażi.
Kif jidher dan għal Postgres innifsu? Hemm subdirettorju separat pg_tblspc fid-direttorju bażi. U fih symlinks għal direttorji li fil-fatt fihom dejta Postgres barra mid-direttorju bażi.
Meta tuża dan kollu, allura għalik dawn il-kmandi jistgħu jidhru xi ħaġa bħal din. Jiġifieri, toħloq tabella f'xi tablespace speċifikat u tara fejn tinsab issa. Dawn huma l-aħħar żewġ linji, l-aħħar żewġ kmandi msejħa. U hemm jidher ċar li hemm xi mod. Imma fir-realtà, dan mhuwiex il-mod reali. Din hija l-passaġġ prefissat mid-direttorju bażi għal tablespace. U minn hemm titqabbel ma' symlink li jwassal għad-dejta reali tiegħek.
Dan kollu ma nużawx fit-tim tagħna, iżda kien użat minn ħafna utenti oħra tal-WAL-E li kitbulna li riedu jimxu lejn WAL-G, iżda dan kien qed iwaqqafhom. Dan issa huwa appoġġjat.
Fattur ieħor li ġabilna l-kors speċjali huwa l-catchup. Nies li probabbilment ħadmu aktar ma 'Oracle milli ma' Postgres jafu dwar catchup.
Fil-qosor dwar x'inhu. It-topoloġija tal-cluster fis-servizz tagħna normalment tista' tidher xi ħaġa bħal din. Għandna kaptan. Hemm replika li tixxandar log write-ahead minnha. U r-replika tgħid lill-kaptan fuq liema LSN tinsab bħalissa. U x'imkien b'mod parallel ma 'dan, il-ġurnal jista' jiġi arkivjat. U minbarra l-arkivjar tal-ġurnal, il-backups jintbagħtu wkoll fis-sħaba. U backups delta jintbagħtu.
X'tista' tkun il-problema? Meta jkollok database pjuttost kbira, jista 'jirriżulta li r-replika tiegħek tibda tibqa' lura ħafna wara l-kaptan. U tant tibqa’ lura li qatt ma tista’ tlaħħaq miegħu. Din il-problema ġeneralment teħtieġ li tiġi solvuta b'xi mod.
U l-eħfef mod huwa li tneħħi r-replika u terġa 'ttella', għax qatt ma tlaħħaq, u l-problema trid tiġi ttrattata. Iżda dan huwa żmien pjuttost twil, għaliex ir-restawr ta 'backup kollu tad-database ta' 10 TB huwa żmien twil ħafna, ħafna. U rridu nagħmlu dan kollu kemm jista’ jkun malajr jekk jinqalgħu problemi bħal dawn. U dan huwa eżattament dak catchup huwa għal.
Catchup jippermettilek tuża backups delta, li huma maħżuna fis-sħab b'dan il-mod. Tgħid liema LSN tinsab fuq ir-replika li għadha lura bħalissa u speċifikaha fil-kmand tal-catchup sabiex toħloq backup delta bejn dak l-LSN u l-LSN li fih jinsab il-cluster tiegħek bħalissa. U wara li tirrestawra din il-backup għar-replika li kienet għadha lura.
Bażijiet oħra
L-istudenti ġabulna wkoll ħafna karatteristiċi f'daqqa. Peress li f'Yandex insajru mhux biss Postgres, għandna wkoll MySQL, MongoDB, Redis, ClickHouse, f'xi punt kellna nkunu nistgħu nagħmlu backups b'irkupru punt fil-ħin għall-MySQL, u sabiex ikun hemm opportunità li ntellgħu minnhom lejn is-sħaba.
U ridna nagħmluha b'xi mod simili għal dak li jagħmel WAL-G. U ddeċidejna li nesperimentaw u naraw kif se jidher kollu.
U għall-ewwel, mingħajr ma jaqsmu din il-loġika bl-ebda mod, kitbu l-kodiċi fil-furketta. Huma raw li għandna xi tip ta’ mudell ta’ xogħol u jista’ jtir. Imbagħad ħsibna li l-komunità ewlenija tagħna hija postgresists, huma jużaw WAL-G. U għalhekk irridu nisseparaw b'xi mod dawn il-partijiet. Jiġifieri, meta neditjaw il-kodiċi għal Postgres, ma nkissrux il-MySQL; meta neditjaw il-MySQL, ma nkissrux lil Postgres.
L-ewwel idea dwar kif tissepara dan kienet l-idea li jintuża l-istess approċċ li jintuża fl-estensjonijiet PostgreSQL. U, fil-fatt, biex tagħmel backup MySQL kellek tinstalla xi tip ta 'librerija dinamika.
Iżda hawnhekk l-assimetrija ta 'dan l-approċċ hija immedjatament viżibbli. Meta tagħmel backup ta 'Postgres, tpoġġi backup normali għal Postgres fuqha u kollox huwa tajjeb. U għal MySQL jirriżulta li tinstalla backup għal Postgres u tinstalla wkoll librerija dinamika għal MySQL għaliha. Din tinstema tip stramba. Hekk ħsibna wkoll u ddeċidejna li din ma kinitx is-soluzzjoni li kellna bżonn.
Diversi bini għal Postgres, MySQL, MongoDB, Redis
Iżda dan ippermetta lilna, jidhirna, li naslu għad-deċiżjoni t-tajba - li nallokaw assemblaġġi differenti għal bażijiet differenti. Dan għamilha possibbli li tiġi iżolata l-loġika marbuta ma 'backups ta' diversi databases li se jkollhom aċċess għall-API komuni li jimplimenta WAL-G.
Din hija l-parti li ktibna aħna stess - qabel tajna l-problemi lill-istudenti. Jiġifieri din hija eżattament il-parti fejn jistgħu jagħmlu xi ħaġa ħażina, għalhekk iddeċidejna li aħjar nagħmlu xi ħaġa bħal din u kollox ikun tajjeb.
Wara tajna l-problemi. Ġew żarmati immedjatament. L-istudenti kienu meħtieġa jappoġġaw tliet bażijiet.
Dan huwa MySQL, li ilna nappoġġjawh billi nużaw WAL-G b'dan il-mod għal aktar minn sena.
U issa MongoDB qed joqrob lejn il-produzzjoni, fejn qed jispiċċawha b'fajl. Fil-fatt, ktibna l-qafas għal dan kollu. Imbagħad l-istudenti kitbu xi affarijiet li jistgħu jaħdmu. U mbagħad inġibuhom fi stat li nistgħu naċċettaw fil-produzzjoni.
Dawn il-problemi ma dehrux qishom studenti meħtieġa biex jiktbu għodod ta 'backup kompluti għal kull waħda minn dawn id-databases. Ma kellniex problema bħal din. Il-problema tagħna kienet li ridna irkupru fil-ħin u ridna nagħmlu backup għall-cloud. U talbu lill-istudenti biex jiktbu xi kodiċi li jsolvi dan. L-istudenti użaw għodod ta 'backup diġà eżistenti, li b'xi mod jieħdu backups, u mbagħad inkollawha kollha flimkien ma' WAL-G, li bagħtu kollox lill-cloud. U żiedu wkoll l-irkupru fil-ħin għal dan.
X'iktar ġabu l-istudenti? Huma ġabu appoġġ għall-encryption Libsodium lil WAL-G.
Għandna wkoll politiki ta 'ħażna ta' backup. Issa backups jistgħu jiġu mmarkati bħala permanenti. U b'xi mod huwa aktar konvenjenti għas-servizz tiegħek li awtomat il-proċess tal-ħażna tagħhom.
X’kien ir-riżultat ta’ dan l-esperiment?
Aktar minn 100 persuna fil-bidu rreġistraw għall-kors. Għall-ewwel ma għedtx li l-università f'Yekaterinburg hija l-Università Federali Ural. Ħabbru kollox hemmhekk. 100 persuna reġistrati. Fir-realtà, ħafna inqas nies bdew jagħmlu xi ħaġa, madwar 30 persuna.
Anke inqas nies temmew il-kors, għax kien meħtieġ li jinkitbu testijiet għall-kodiċijiet li diġà jeżistu. U wkoll tiffissa xi bug jew tagħmel xi karatteristika. U xi studenti xorta għalqu l-kors.
Bħalissa, matul dan il-kors, l-istudenti rranġaw madwar 14-il kwistjoni u għamlu 10 karatteristiċi ta’ diversi daqsijiet. U, jidhirli, dan huwa sostituzzjoni sħiħa ta 'żviluppatur wieħed jew tnejn.
Fost affarijiet oħra, ħriġna diplomi u xogħol tal-kors. U 12 irċevew diplomi. 6 minnhom diġà ddefendew lilhom infushom f'"5". Dawk li baqgħu ma kellhomx protezzjoni, imma naħseb li kollox se jkun tajjeb għalihom ukoll.
Pjanijiet għall-futur
X'pjanijiet għandna għall-futur?
Mill-inqas dawk it-talbiet għall-karatteristiċi li diġà smajna mingħand l-utenti u li rridu nagħmlu. Dan:
- Il-monitoraġġ tal-korrettezza tat-traċċar tal-kronoloġija fl-arkivju tal-backup tal-cluster HA. Tista' tagħmel dan b'WAL-G. U naħseb li se jkollna studenti li se jieħdu din il-materja.
- Diġà għandna persuna responsabbli għat-trasferiment tal-backups u l-WAL bejn is-sħab.
- U dan l-aħħar ppubblikajna idea li nistgħu nħaffu l-WAL-G saħansitra aktar billi nispakkjaw backups inkrementali mingħajr ma nikteb paġni mill-ġdid u ottimizzaw l-arkivji li nibagħtu hemmhekk.
Tista' taqsamhom hawn
Għal xiex kien dan ir-rapport? Barra minn hekk, issa, minbarra l-4 persuni li jappoġġjaw dan il-proġett, għandna idejn addizzjonali, li minnhom hemm ħafna. Speċjalment jekk tikteb lilhom f'messaġġ personali. U jekk tagħmel backup tad-dejta tiegħek u tagħmel dan billi tuża WAL-G jew tixtieq timxi għal WAL-G, allura nistgħu nakkomodaw faċilment ix-xewqat tiegħek.
Dan huwa kodiċi QR u link. Tista' tgħaddi minnhom u tikteb ix-xewqat kollha tiegħek. Pereżempju, mhux qed nirranġaw xi bug. Jew int verament trid xi karatteristika, iżda għal xi raġuni għadha mhix fl-ebda backup, inkluż tagħna. Kun żgur li tikteb dwar dan.
mistoqsijiet
Bongu! Grazzi tar-rapport! Mistoqsija dwar WAL-G, iżda mhux dwar Postgres. WAL-G jappoġġa MySQL u jitlob backup żejjed. Jekk nieħdu installazzjonijiet moderni fuq CentOS u jekk tinstalla yum MySQL, MariDB jiġi installat. Mill-verżjoni 10.3 backup żejda mhix appoġġjata, backup MariDB hija appoġġjata. Kif sejjer b’dan?
Fil-mument aħna ma ppruvawx tagħmel backup MariDB. Kellna talbiet għall-appoġġ tal-FoundationDB, iżda b'mod ġenerali, jekk hemm talba bħal din, allura nistgħu nsibu nies li jagħmluha. Mhuwiex twil jew diffiċli daqs kemm naħseb.
Il-waranofsinhar it-tajjeb Grazzi tar-rapport! Mistoqsija dwar karatteristiċi ġodda potenzjali. Inti lest li tagħmel WAL-G jaħdem ma 'tejps sabiex inti tista' tagħmel backup għal tejps?
Backup fuq il-ħażna tat-tejp apparentement ifisser?
Iva.
Hemm Andrei Borodin, li jista’ jwieġeb din il-mistoqsija aħjar minni.
(Andrey) Iva, grazzi tal-mistoqsija! Kellna talba biex tittrasferixxi backup għal tejp mill-ħażna tas-sħab. U għal dan trasferiment bejn is-sħab. Minħabba li t-trasferiment minn sħab għal sħab huwa verżjoni ġeneralizzata tat-trasferiment tat-tejp. Barra minn hekk, għandna arkitettura estensibbli f'termini ta 'Ħażniet. Mill-mod, ħafna Storoges inkitbu minn studenti. U jekk tikteb Ħażna għat-tejp, allura, ovvjament, tkun appoġġjata. Aħna lesti li nikkunsidraw it-talbiet tal-ġibda. Hemm bżonn tikteb fajl, aqra fajl. Jekk tagħmel dawn l-affarijiet f'Go, normalment tispiċċa b'50 linja ta 'kodiċi. U mbagħad it-tejp se jkun appoġġjat f'WAL-G.
Grazzi tar-rapport! Proċess ta 'żvilupp interessanti. Il-backup huwa biċċa funzjonalità serja li għandha tkun koperta sew mit-testijiet. Meta implimentajt il-funzjonalità għal databases ġodda, l-istudenti kitbu wkoll it-testijiet, jew ktibt it-testijiet int u mbagħad tajt l-implimentazzjoni lill-istudenti?
L-istudenti kitbu wkoll testijiet. Iżda l-istudenti kitbu aktar għal karatteristiċi bħal databases ġodda. Huma kitbu testijiet ta 'integrazzjoni. U kitbu unit tests. Jekk l-integrazzjoni tgħaddi, jiġifieri, fil-mument, dan huwa script li tesegwixxi manwalment jew għandek cron tagħmel dan, pereżempju. Jiġifieri, l-iskrittura hemm hija ċara ħafna.
L-istudenti ma tantx għandhom esperjenza. Ir-reviżjoni tieħu ħafna ħin?
Iva, ir-reviżjonijiet jieħdu ħafna ħin. Jiġifieri, ġeneralment, meta jiġu diversi committers f'daqqa u jgħidu li jien għamilt dan, għamilt hekk, imbagħad trid taħseb u twarrab madwar nofs ġurnata biex tara x'kitbu hemmhekk. Minħabba li l-kodiċi għandu jinqara bir-reqqa. Ma kellhomx intervista. Aħna ma nafuhomx tajjeb ħafna, għalhekk jieħu ammont sinifikanti ta 'żmien.
Grazzi tar-rapport! Preċedentement, Andrey Borodin iddikjara li archive_command f'WAL-G għandu jissejjaħ direttament. Iżda fil-każ ta 'xi tip ta' skartoċċ cluster, neħtieġu loġika addizzjonali biex niddeterminaw in-nodu minn fejn tibgħat ix-xaftijiet. Kif issolvi din il-problema lilek innifsek?
X'inhi l-problema tiegħek hawn? Ejja ngħidu li għandek replika sinkronika li magħha qed tagħmel backup? Jew xiex?
(Andrey) Il-fatt hu li tabilħaqq WAL-G huwa maħsub biex jintuża mingħajr skripts tal-qoxra. Jekk xi ħaġa tkun nieqsa, allura ejja nżidu l-loġika li għandha tkun ġewwa WAL-G. Fir-rigward minn fejn għandu jiġi l-arkivjar, nemmnu li l-arkivjar għandu jkun mill-kaptan attwali fil-cluster. L-arkivjar minn replika hija idea ħażina. Hemm diversi xenarji possibbli bi problemi. B'mod partikolari, problemi bl-arkivjar tal-kalendarji u kwalunkwe informazzjoni addizzjonali. Grazzi tal-mistoqsija!
(Kjarifika: Neħlesna l-iskripts tal-qoxra )
Il-lejla t-tajba! Grazzi tar-rapport! Jien interessat fil-karatteristika catchup li tkellimt dwarha. Konna ffaċċjati b’sitwazzjoni fejn replika kienet lura u ma setgħetx tlaħħaq. U ma sibtx deskrizzjoni ta 'din il-karatteristika fid-dokumenti WAL-G.
Catchup deher litteralment fl-20 ta' Jannar 2020. Id-dokumentazzjoni tista' teħtieġ ftit aktar xogħol. Niktbuha aħna u ma niktbuhiex super tajjeb. U forsi għandna nibdew neħtieġu li l-istudenti jiktbuha.
Huwa diġà rilaxxat?
It-talba tal-ġibda hija diġà mejta, jiġifieri ċċekkjaha. Ippruvajt dan fuq cluster tat-test. S'issa ma kellniex sitwazzjoni fejn nistgħu nittestjaw dan f'eżempju ta 'ġlieda.
Meta tistenna?
ma nafx. Stenna xahar, niċċekkjaw żgur.
Sors: www.habr.com