Ech proposéieren Iech den Transkript vum fréien 2020 Bericht vum Georgy Rylov "WAL-G: nei Méiglechkeeten an Expansioun vun der Gemeinschaft" ze liesen
Open-Source Ënnerhalter stellen vill Erausfuerderunge wéi se wuessen. Wéi schreiwen ech ëmmer méi erfuerderlech Features, fixen ëmmer méi Themen a verwalten ëmmer méi Pull Ufroen ze gesinn? Mat WAL-G (Backup-Tool fir PostgreSQL) als Beispill, wäert ech Iech soen wéi mir dës Probleemer geléist hunn andeems mir e Cours iwwer Open Source Entwécklung op der Uni lancéiert hunn, wat mir erreecht hunn a wou mir nächst wäerte plënneren.
Moien nach eng Kéier alleguer! Ech sinn e Yandex Entwéckler aus Jekaterinburg. An haut wäert ech iwwer WAL-G schwätzen.
Den Titel vum Bericht huet net gesot datt et eppes iwwer Backups wier. Weess een wat WAL-G ass? Oder weess jiddereen? Huelt Är Hand wann Dir net wësst. Hellege Schäiss, Dir sidd an de Bericht komm a wësst net ëm wat et geet.
Loosst mech Iech soen wat haut wäert geschéien. Et geschitt sou datt eis Team fir eng laang Zäit Backupe gemaach huet. An dëst ass en anere Bericht an enger Serie wou mir schwätzen iwwer wéi mir Daten sécher, sécher, bequem an effizient späicheren.
An der viregter Serie goufen et vill Berichter vum Andrei Borodin a Vladimir Leskov. Et waren vill vun eis. A mir schwätze scho vill Joer iwwer WAL-G.
clck.ru/F8ioz —
clck.ru/Ln8Qw —
Dëse Rapport wäert e bëssen anescht wéi déi aner sinn, datt et méi iwwer den techneschen Deel war, awer hei wäert ech schwätzen iwwer wéi mir Problemer mat dem Wuesstum vun der Gemeinschaft begéint hunn. A wéi mir op eng kleng Iddi entstane sinn, déi eis hëllefe mat deem ëmzegoen.
Virun e puer Joer war WAL-G e relativ klenge Projet dee mir vun Citus Data kruten. A mir hunn et just geholl. An et gouf vun enger Persoun entwéckelt.
An nëmmen WAL-G huet net:
- Backup vun enger Replica.
- Et goufe keng inkrementell Backups.
- Et goufe keng WAL-Delta Backups.
- An et gouf nach vill gefeelt.
Iwwer dës puer Joer ass WAL-G vill gewuess.
A bis 2020 ass alles uewen erschéngt. An dozou koum wat mir elo hunn:
- Méi wéi 1 Stären op GitHub.
- 150 Gabel.
- Ongeféier 15 oppe PRs.
- A vill méi Mataarbechter.
- An oppen Themen déi ganzen Zäit. An dat trotz der Tatsaach, datt mir wuertwiertlech all Dag dohinner goen an eppes doriwwer maachen.
A mir sinn zur Conclusioun komm datt dëse Projet méi vun eiser Opmierksamkeet erfuerdert, och wa mir selwer näischt brauchen fir eise Managed Databases Service zu Yandex ëmzesetzen.
An iergendwou am Hierscht 2018 koum eng Iddi an de Kapp. Normalerweis huet d'Team verschidde Weeër fir e puer Features z'entwéckelen oder Bugs ze fixéieren wann Dir net genuch Hänn hutt. Zum Beispill kënnt Dir en aneren Entwéckler astellen an him Sue bezuelen. Oder Dir kënnt e Stagiaire fir eng Zäit huelen an him och eng Pai bezuelen. Mee et gëtt nach ëmmer eng zimlech grouss Grupp vu Leit, vun deenen e puer scho wierklech wëssen, wéi een Code schreift. Dir wësst just net ëmmer wéi eng Qualitéit de Code ass.
Mir hunn driwwer nogeduecht an décidéiert ze probéieren Studenten unzezéien. Mee Schüler wäerten net un alles mat eis deelhuelen. Si wäerten nëmmen en Deel vun der Aarbecht maachen. A si wäerten zum Beispill Tester schreiwen, Bugs fixéieren, Features implementéieren déi d'Haaptfunktionalitéit net beaflossen. D'Haaptfunktioun ass Backups erstellen a Backups restauréieren. Wa mir e Feeler bei der Schafung vun engem Backup maachen, wäerte mir Datenverloscht erliewen. A keen wëll dat, natierlech. Jidderee wëll datt alles ganz sécher ass. Dofir wëlle mir selbstverständlech kee Code loossen, dee mir manner vertrauen wéi eisen eegenen. Dat ass, all net kritesche Code ass wat mir vun eisen zousätzlechen Aarbechter gäre kréien.
Ënner wéi enge Konditioune gëtt Student PR ugeholl?
- Si sinn verlaangt hire Code mat Tester ze decken. Alles soll am CI stattfannen.
- A mir ginn och duerch 2 Rezensiounen. Ee vum Andrey Borodin an een vu mir.
- An zousätzlech, fir ze kontrolléieren datt dëst näischt an eisem Service brécht, lued ech separat d'Versammlung mat dësem Engagement erop. A mir kontrolléieren an end-to-end Tester datt näischt klappt.
Special Cours op Open Source
E bëssen iwwer firwat dat gebraucht gëtt a firwat dëst, et schéngt mir, eng cool Iddi ass.
Fir eis ass de Gewënn evident:
- Mir kréien extra Hänn.
- A mir sichen no Kandidaten fir d'Team ënner Smart Studenten déi Smart Code schreiwen.
Wat ass de Virdeel fir Studenten?
Si kënne manner offensichtlech sinn, well d'Studenten op e Minimum keng Sue kréien fir de Code dee se schreiwen, awer nëmmen d'Bewäertunge fir hir Studenterekorder kréien.
Ech gefrot hinnen doriwwer. An an hire Wierder:
- Contributor Erfahrung an Open Source.
- Kritt eng Zeil an Ärem CV.
- Beweist Iech selwer a passt en Interview am Yandex.
- GSoC Member ginn.
- +1 spezielle Cours fir déi, déi Code schreiwen wëllen.
Ech wäert net schwätzen iwwer wéi de Cours strukturéiert war. Ech soen just dass WAL-G den Haaptprojet war. Mir hunn och esou Projete wéi Odyssey, PostgreSQL a ClickHouse an dësem Cours abegraff.
A si hunn net nëmmen an dësem Cours Problemer ginn, mä och Diplomer a Coursen.
Wat iwwer de Virdeel fir d'Benotzer?
Loosst eis elo op deen Deel goen, deen Iech am meeschten interesséiert. Wat gutt mécht Iech dat? De Punkt ass datt d'Schüler vill Käfere fixéiert hunn. A mir hunn d'Ufro Feature gemaach déi Dir eis gefrot hutt ze maachen.
A loosst mech Iech iwwer déi Saachen soen, déi Dir scho laang wollt an déi realiséiert goufen.
Tablespaces Ënnerstëtzung. Tablespaces am WAL-G si wahrscheinlech zënter der Verëffentlechung vu WAL-G erwaart ginn, well WAL-G den Nofolger vun engem anere Backup-Tool WAL-E ass, wou Datebank-Backups mat Tablespaces ënnerstëtzt goufen.
Loosst mech Iech kuerz erënneren wat et ass a firwat et alles néideg ass. Normalerweis besetzen all Är Postgres-Daten ee Verzeechnes am Dateiesystem, genannt Basis. An dëse Verzeichnis enthält schonn all d'Dateien an Ënnerverzeechnungen déi Postgres erfuerdert.
Tablespaces sinn Verzeechnes déi Postgres Daten enthalen, awer si sinn net ausserhalb vum Basisverzeechnes. De Rutsch weist datt d'Tablespacs ausserhalb vum Basisverzeechnes sinn.
Wéi gesäit dat fir Postgres selwer aus? Et gëtt eng separat Ënnerverzeechnes pg_tblspc am Basisverzeechnes. An et enthält Symlinks zu Verzeichnisser déi tatsächlech Postgres Daten ausserhalb vum Basisverzeechnes enthalen.
Wann Dir dëst alles benotzt, da fir Iech kënnen dës Befehle sou eppes ausgesinn. Dat ass, Dir erstellt en Dësch an engem spezifizéierte Dëschraum a kuckt wou en elo ass. Dëst sinn déi lescht zwou Zeilen, déi lescht zwee Kommandoen genannt. An do ass kloer, datt et e Wee gëtt. Awer a Wierklechkeet ass dëst net de richtege Wee. Dëst ass de Präfixe Wee vum Basisverzeechnes op den Dëschraum. A vun do ass et mat engem Symlink ugepasst, deen op Är richteg Daten féiert.
Mir benotzen all dëst net an eisem Team, awer et gouf vu villen anere WAL-E Benotzer benotzt, déi eis geschriwwen hunn datt se op WAL-G wollten plënneren, awer dëst huet se gestoppt. Dëst gëtt elo ënnerstëtzt.
Eng aner Feature déi eise spezielle Cours eis bruecht huet ass Catchup. Leit déi wahrscheinlech méi mat Oracle geschafft hunn wéi mat Postgres wëssen iwwer Catchup.
Kuerz iwwer wat et ass. D'Clustertopologie an eisem Service kann normalerweis esou ausgesinn. Mir hunn e Meeschter. Et gëtt eng Replika déi Schreifweis-Log dovun streamt. An d'Replique seet dem Master op wéi engem LSN et de Moment ass. An iergendwou parallel domat kann de Logbuch archivéiert ginn. An nieft dem Archiv vum Logbuch ginn och Backups an d'Wollek geschéckt. An Delta Backups ginn geschéckt.
Wat kéint de Problem sinn? Wann Dir eng zimlech grouss Datebank hutt, kënnt et erausstellen datt Är Replika wäit hannert dem Meeschter ufänkt. A si läit esou wäit hannendrun, datt si him ni ophalen kann. Dëse Problem muss normalerweis iergendwéi geléist ginn.
An deen einfachste Wee ass d'Replika ze läschen an se erëm eropzelueden, well et wäert ni ophalen, an de Problem muss behandelt ginn. Awer dëst ass zimmlech laang, well d'Restauratioun vun engem ganzen 10 TB Datebank Backup ass eng ganz, ganz laang Zäit. A mir wëllen dat alles esou séier wéi méiglech maachen, wann esou Problemer optrieden. A genee dat ass fir de Catchup.
Catchup erlaabt Iech Delta-Backups ze benotzen, déi op dës Manéier an der Wollek gespäichert ginn. Dir sot op wéi eng LSN déi lagging Replika momentan ass a spezifizéiert se am Catchup Kommando fir en Delta-Backup tëscht deem LSN an dem LSN ze kreéieren, op deem Äre Stärekoup de Moment läit. An duerno restauréiert Dir dëse Backup op d'Replique déi hannendrun war.
Aner Basen
D'Schüler hunn eis och vill Feature gläichzäiteg bruecht. Well bei Yandex kachen mir net nëmmen Postgres, mir hunn och MySQL, MongoDB, Redis, ClickHouse, iergendwann musse mir fäeg sinn Backupe mat Point-in-Time Erhuelung fir MySQL ze maachen, a sou datt et eng Geleeënheet gouf fir eropzelueden hinnen op d'Wollek.
A mir wollten et op eng ähnlech Manéier maachen wéi wat WAL-G mécht. A mir hu beschloss ze experimentéieren a kucken wéi et alles ausgesäit.
An am Ufank, ouni dës Logik op iergendeng Manéier ze deelen, hunn se de Code an der Gabel geschriwwen. Si hunn gesinn, datt mir eng Aart vun Aarbechtsmodell hunn an et ka fléien. Dunn hu mir geduecht datt eis Haaptgemeinschaft Postgresisten ass, si benotze WAL-G. An dofir musse mir dës Deeler iergendwéi trennen. Dat ass, wa mir Code fir Postgres änneren, briechen mir MySQL net; wa mir MySQL änneren, briechen mir Postgres net.
Déi éischt Iddi iwwer wéi dëst ze trennen war d'Iddi fir déiselwecht Approche ze benotzen déi a PostgreSQL Extensiounen benotzt gëtt. An, tatsächlech, fir e MySQL Backup ze maachen, musst Dir eng Zort dynamesch Bibliothéik installéieren.
Awer hei ass d'Asymmetrie vun dëser Approche direkt sichtbar. Wann Dir Postgres Backup, setzt Dir en normale Backup fir Postgres drop an alles ass gutt. A fir MySQL stellt sech eraus datt Dir e Backup fir Postgres installéiert an och eng dynamesch Bibliothéik fir MySQL dofir installéiert. Et Kläng Zort komesch. Mir hunn dat och geduecht an hu beschloss, dass dat net déi Léisung wier, déi mir brauchen.
Verschidde Builds fir Postgres, MySQL, MongoDB, Redis
Awer dëst erlaabt eis, et schéngt eis, op déi richteg Entscheedung ze kommen - verschidde Versammlungen fir verschidde Basen ze verdeelen. Dëst huet et méiglech gemaach d'Logik ze isoléieren, déi mat Backups vu verschiddenen Datenbanken gebonnen ass, déi Zougang zu der gemeinsamer API kréien, déi WAL-G implementéiert.
Dëst ass deen Deel dee mir selwer geschriwwen hunn - ier de Studenten d'Problemer ginn. Dat ass, dat ass genau deen Deel wou se eppes falsch maache kënnen, also hu mir decidéiert datt mir besser sou eppes maachen an alles wäert gutt sinn.
Duerno hu mir Problemer erausginn. Si goufen direkt ofgebaut. Schüler waren verlaangt dräi Basen ze ënnerstëtzen.
Dëst ass MySQL, déi mir mat WAL-G op dës Manéier fir méi wéi engem Joer ënnerstëtzt hunn.
An elo kënnt MongoDB d'Produktioun un, wou se et mat enger Datei fäerdeg maachen. Tatsächlech hu mir de Kader fir all dëst geschriwwen. Dunn hunn d'Schüler e puer Aarbechtsplazen geschriwwen. An da bréngen mir se an e Staat, dee mir an der Produktioun akzeptéiere kënnen.
Dës Probleemer hunn net ausgesinn wéi d'Studente brauche komplett Backup-Tools fir all eenzel vun dësen Datenbanken ze schreiwen. Mir haten net esou e Problem. Eise Problem war datt mir Punkt-an-Zäit Erhuelung wollten a mir wollte Backup an d'Wollek maachen. A si hunn d'Schüler gefrot fir e Code ze schreiwen, deen dëst léise géif. D’Studenten hunn schonn existéierend Backup-Tools benotzt, déi iergendwéi Backups huelen, an dann alles mat WAL-G zesummegepecht, deen alles an d’Wollek weidergeleet huet. A si hunn och Punkt-an-Zäit Erhuelung zu dësem bäigefüügt.
Wat hunn d'Schüler nach matbruecht? Si bruecht Libsodium Verschlësselung Ënnerstëtzung WAL-G.
Mir hunn och Backupsatellit Politiken. Elo kënnen Backups als permanent markéiert ginn. An iergendwéi ass et méi bequem fir Äre Service de Prozess ze automatiséieren fir se ze späicheren.
Wat war d'Resultat vun dësem Experiment?
Méi wéi 100 Leit hu sech ufanks fir de Cours ageschriwwen. Am Ufank hunn ech net gesot datt d'Universitéit zu Jekaterinburg d'Ural Federal University ass. Mir hunn do alles ugekënnegt. 100 Leit ageschriwwen. A Wierklechkeet hunn vill manner Leit ugefaang eppes ze maachen, ongeféier 30 Leit.
Och manner Leit hunn de Cours ofgeschloss, well et néideg war, Tester ze schreiwen fir déi Coden déi et scho gëtt. An och e puer Feeler fixen oder eng Feature maachen. An e puer Studenten hunn de Cours nach zougemaach.
De Moment, während dësem Cours, hunn d'Schüler ongeféier 14 Themen fixéiert an 10 Feature vu verschiddene Gréissten gemaach. An, et schéngt mir, ass dëst e vollwäertege Ersatz vun engem oder zwee Entwéckler.
Mir hunn ënner anerem Diplomer a Coursen erausginn. An 12 kruten Diplomer. 6 vun hinnen hu sech schonn um "5" verteidegt. Déi, déi bliwwen sinn, haten nach kee Schutz, mee ech mengen, datt och fir si alles gutt geet.
Pläng fir d'Zukunft
Wéi eng Pläng hu mir fir d'Zukunft?
Op d'mannst déi Feature Ufroen déi mir scho vu Benotzer héieren hunn a wëllen maachen. Dëst:
- Iwwerwaachung vun der Richtegkeet vun der Timeline Tracking am HA Cluster Backup Archiv. Dir kënnt dat mat WAL-G maachen. An ech mengen, mir wäerten Schüler hunn, déi dës Saach ophuelen.
- Mir hu schonn eng Persoun verantwortlech fir d'Iwwerdroung vu Backups a WAL tëscht Wolleken.
- A mir hunn viru kuerzem eng Iddi verëffentlecht datt mir WAL-G nach méi séier kënne beschleunegen andeems mir inkrementell Backups auspacken ouni Säiten nei ze schreiwen an d'Archiven ze optimiséieren déi mir dohinner schécken.
Dir kënnt se hei deelen
Fir wat war dëse Bericht? Ausserdeem hu mir elo, nieft deene 4 Leit, déi dëse Projet ënnerstëtzen, zousätzlech Hänn, vun deenen et zimmlech vill sinn. Besonnesch wann Dir hinnen an engem perséinlechen Message schreift. A wann Dir Är Donnéeën opmaacht an et mat WAL-G maacht oder op WAL-G wëllt plënneren, da kënne mir Är Wënsch ganz einfach erfëllen.
Dëst ass e QR Code an e Link. Dir kënnt duerch se goen an all Är Wënsch schreiwen. Zum Beispill, mir fixéieren net e Feeler. Oder Dir wëllt wierklech eng Feature, awer aus iergendengem Grond ass et nach net an engem Backup, och eis. Ginn sécher iwwer dëst ze schreiwen.
Är Froen
Hallo! Merci fir de Bericht! Fro iwwer WAL-G, awer net iwwer Postgres. WAL-G ënnerstëtzt MySQL a rifft en extra Backup. Wa mir modern Installatiounen op CentOS huelen a wann Dir MySQL installéiere wëllt, gëtt MariDB installéiert. Vun der Versioun 10.3 gëtt extra Backup net ënnerstëtzt, MariDB Backup gëtt ënnerstëtzt. Wéi geet et dir mat deem?
Am Moment hu mir net probéiert MariDB ze backen. Mir hunn Ufroe fir FoundationDB Ënnerstëtzung, awer am Allgemengen, wann et esou eng Demande gëtt, da kënne mir Leit fannen déi et maachen. Et ass net sou laang oder esou schwéier wéi ech mengen.
Gudde Mëtteg Merci fir de Bericht! Fro iwwer potenziell nei Funktiounen. Sidd Dir prett fir WAL-G mat Bänner ze maachen fir datt Dir op Bänner Backup kënnt?
Backupsatellit op Band Stockage anscheinend heescht?
Jo.
Et gëtt den Andrei Borodin, deen dës Fro besser beäntwere kann wéi ech.
(Andrey) Jo, merci fir d'Fro! Mir haten eng Ufro fir e Backup op Band aus der Wolleklagerung ze transferéieren. A fir dëst Transfert tëscht Wolleken. Well Wollek-zu-Wollek Transfert ass eng generaliséiert Versioun vun Band Transfermaart. Zousätzlech hu mir eng erweiterbar Architektur a punkto Storages. Iwwregens si vill Storoges vu Studenten geschriwwen. A wann Dir Storage fir Band schreift, da gëtt et natierlech ënnerstëtzt. Mir si prett Pull Ufroen ze betruecht. Do musst Dir e Fichier schreiwen, e Fichier liesen. Wann Dir dës Saachen am Go maacht, sidd Dir normalerweis mat 50 Zeilen Code. An da gëtt de Band am WAL-G ënnerstëtzt.
Merci fir de Bericht! Interessante Entwécklungsprozess. Backup ass e seriöse Stéck Funktionalitéit déi gutt vun Tester ofgedeckt soll ginn. Wann Dir Funktionalitéit fir nei Datenbanken implementéiert hutt, hunn d'Studenten och d'Tester geschriwwen, oder hutt Dir d'Tester selwer geschriwwen an dann de Studenten d'Ëmsetzung ginn?
Studenten hunn och Tester geschriwwen. Awer d'Studenten hunn méi geschriwwen fir Features wéi nei Datenbanken. Si hunn Integratiounstester geschriwwen. A si hunn Eenheetstester geschriwwen. Wann d'Integratioun passéiert, dat ass, am Moment, ass dëst e Skript deen Dir manuell ausféiert oder Dir hutt Cron et maachen, zum Beispill. Dat ass, de Skript do ass ganz kloer.
D'Schüler hunn net vill Erfahrung. Huelt Iwwerpréiwung vill Zäit?
Jo, Kritik huelen zimlech vill Zäit. Dat heescht, normalerweis, wann e puer Engagementer op eemol kommen a soen, datt ech dat gemaach hunn, ech hunn dat gemaach, da musst Dir iwwerdenken an en hallwen Dag ofsetzen fir erauszefannen, wat se do geschriwwen hunn. Well de Code muss virsiichteg gelies ginn. Si haten keen Interview. Mir kennen se net ganz gutt, sou datt et eng bedeitend Zäit brauch.
Merci fir de Bericht! Virdrun huet den Andrey Borodin gesot datt archive_command am WAL-G direkt soll opgeruff ginn. Awer am Fall vun enger Aart vu Clusterpatroun brauche mir zousätzlech Logik fir den Node ze bestëmmen, aus deem d'Schachte geschéckt ginn. Wéi léist Dir dëse Problem selwer?
Wat ass Äre Problem hei? Loosst eis soen datt Dir eng synchron Replika hutt mat där Dir e Backup maacht? Oder wat?
(Andrey) De Fakt ass datt WAL-G wierklech geduecht ass ouni Shell Scripten ze benotzen. Wann eppes fehlt, da loosse mer d'Logik derbäisetzen, déi am WAL-G sollt sinn. Wou d'Archivéierung hierkënnt, gleewen mir datt d'Archivéierung vum aktuelle Master am Cluster sollt sinn. Archivéieren vun enger Replik ass eng schlecht Iddi. Et gi verschidde méiglech Szenarie mat Probleemer. Besonnesch Problemer mat der Archivéierung vun Zäitlinnen an all zousätzlech Informatioun. Merci fir d'Fro!
(Klärung: Mir hunn Shell-Skripte lassgelooss )
Gudden Owend! Merci fir de Bericht! Ech sinn interesséiert an der Catchup Feature iwwer déi Dir geschwat hutt. Mir waren mat enger Situatioun konfrontéiert wou eng Replica hannendrun war an net konnt ophalen. An ech hunn keng Beschreiwung vun dëser Fonktioun an WAL-G Dokumenter fonnt.
Catchup erschéngt wuertwiertlech den 20. Januar 2020. D'Dokumentatioun brauch vläicht méi Aarbecht. Mir schreiwen et selwer a mir schreiwen et net super gutt. A vläicht solle mir ufänken Studenten ze verlaangen et ze schreiwen.
Ass et scho verëffentlecht?
D'Pull-Ufro ass schonn dout, dh ech hunn et gepréift. Ech probéiert dëst op engem Test Cluster. Bis elo hu mir nach keng Situatioun, wou mir dat an engem Kampfbeispill konnten testen.
Wéini ze erwaarden?
Ech wees net. Waart e Mount, mir kontrolléieren sécher.
Source: will.com