Ez ji we re pêşniyar dikim ku hûn nusxeya rapora destpêka 2020-an a Georgy Rylov bixwînin "WAL-G: derfetên nû û berfirehkirina civakê"
Parêzgerên çavkaniya vekirî her ku mezin dibin bi gelek pirsgirêkan re rû bi rû dimînin. Meriv çawa bêtir û bêtir taybetmendiyên hewce binivîsîne, bêtir û bêtir pirsgirêkan rast bike û rêvebirin ku bêtir û bêtir daxwazên kişandinê bibînin? WAL-G (alava paşvekişandinê ji bo PostgreSQL) wekî mînak bikar tîne, ez ê ji we re vebêjim ka me van pirsgirêkan çawa bi destpêkirina qursek li ser pêşkeftina çavkaniya vekirî li zanîngehê çareser kir, me çi bi dest xist û em ê paşerojê li ku derê biçin.
Dîsa silav ji her kesî re! Ez pêşdebirek Yandex ji Yekaterinburg im. Û îro ez ê li ser WAL-G biaxivim.
Sernavê raporê negot ku ew tiştek li ser paşkêşan bû. Ma kes dizane WAL-G çi ye? An jî her kes dizane? Heger tu nizanî destê xwe hilde. Pîroz be, hûn hatine raporê û hûn nizanin ew li ser çi ye.
Ka ez ji we re bibêjim ka dê îro çi bibe. Wusa diqewime ku tîmê me ji demek dirêj ve piştgiran dike. Û ev raporek din e di rêzefîlmê de ku em diaxivin ka em çawa daneyan bi ewlehî, ewledar, rehet û bi bandor hilînin.
Di rêzikên berê de gelek raporên Andrei Borodin û Vladimir Leskov hebûn. Em gelek bûn. Û em gelek salan li ser WAL-G dipeyivin.
clck.ru/F8ioz -
clck.ru/Ln8Qw -
Ev rapor dê ji yên din hinekî cûda be ji ber ku ew bêtir li ser beşa teknîkî bû, lê li vir ez ê biaxivim ka em çawa bi pirsgirêkên mezinbûna civakê re rû bi rû man. Û çawa me ramanek piçûk peyda kir ku ji me re dibe alîkar ku bi vê yekê re rûbirû bibin.
Çend sal berê, WAL-G projeyek pir piçûk bû ku me ji Citus Data girt. Û me tenê ew girt. Û ji aliyê yek kesî ve hate pêşxistin.
Û tenê WAL-G tune bû:
- Piştgiriya ji kopiyek.
- Piştgiriyên zêde tune bûn.
- Piştgiriyên WAL-Delta tune bûn.
- Û hê jî gelek kêm bû.
Di van çend salan de, WAL-G pir mezin bûye.
Û heya sala 2020-an, hemî jorîn jixwe xuya bûne. Û li ser vê yekê hate zêdekirin ku em niha hene:
- Zêdetirî 1 stêrk li ser GitHub.
- 150 qalik.
- Nêzîkî 15 PR vekirî.
- Û gelek beşdarên din.
- Û her dem pirsgirêkan vekin. Û ev tevî wê yekê ku em bi rastî her roj diçin wir û li ser vê yekê tiştek dikin.
Û em gihîştin wê encamê ku ev proje bêtir bala me hewce dike, tewra gava ku em bi xwe ne hewce ne ku ji bo karûbarê xweya Daneyên Rêvebir a li Yandex tiştek bicîh bikin.
Û li cihekî di payîza 2018 de, fikrek hat hişê me. Bi gelemperî tîmê çend awayan hene ku hin taybetmendiyan pêşve bibin an xeletiyan rast bikin ger destê we têr nebe. Mînakî, hûn dikarin pêşdebirek din bixebitin û drav bidin wî. An jî hûn dikarin ji bo demekê stajyerek bigirin û hin meaş jî bidin wî. Lê dîsa jî komeke pir mezin a mirovan heye, ku hin ji wan bi rastî dizanin ka meriv çawa kodê dinivîse. Hûn tenê her gav nizanin ka kod çi kalîteyê ye.
Em li ser wê fikirîn û biryar da ku em hewl bidin ku xwendekaran bikişînin. Lê xwendekar bi me re beşdarî her tiştî nabin. Ew ê tenê beşek ji xebatê bikin. Û ew ê, wek nimûne, ceribandinan binivîsin, xeletiyan rast bikin, taybetmendiyên ku bandorê li fonksiyona sereke nakin bicîh bikin. Karbidestiya sereke çêkirina paşgiran û sererastkirina paşgiran e. Ger em di afirandina hilanînê de xeletiyek bikin, em ê windabûna daneyê biceribînin. Û kes vê yekê naxwaze, bê guman. Her kes dixwaze ku her tişt pir ewledar be. Ji ber vê yekê, bê guman, em naxwazin koda ku em ji ya xwe kêmtir pê bawer dikin bihêlin. Ango, her kodek ne-krîtîk ew e ku em dixwazin ji xebatkarên xwe yên zêde bistînin.
Di bin çi şert û mercan de PR xwendekar tê pejirandin?
- Ji wan tê xwestin ku koda xwe bi ceribandinan veşêrin. Divê her tişt di CI de cih bigire.
- Û em jî di nav 2 nirxandinan re derbas dibin. Yek ji hêla Andrey Borodin û yek ji min.
- Û ji bilî vê, ji bo kontrol bikin ku ev ê di karûbarê me de tiştek neşikîne, ez ji hev veqetandî meclîsê bi vê peywirê re bar dikim. Û em di testên dawî-bi-dawî de kontrol dikin ku tiştek têk naçe.
Kursa taybetî ya li ser Çavkaniya Vekirî
Piçek li ser çima ev hewce ye û çima ev, ji min re xuya dike, ramanek xweş e.
Ji bo me, qezenc eşkere ye:
- Em destên zêde digirin.
- Û em li berendamên tîmê di nav xwendekarên jîr ên ku koda jîr dinivîsin de digerin.
Feydeya xwendekaran çi ye?
Dibe ku ew kêmtir eşkere bin, ji ber ku xwendekar, bi kêmanî, ji bo koda ku dinivîsin drav nagirin, lê tenê ji bo tomarên xwendekaran notan distînin.
Min ev yek ji wan pirsî. Û bi gotina wan:
- Tecrûbeya beşdar di Çavkaniya Vekirî de.
- Di CV-ya xwe de rêzek bistînin.
- Xwe îsbat bikin û hevpeyvînek li Yandex derbas bikin.
- Bibin endamê GSoC.
- +1 qursa taybetî ji bo kesên ku dixwazin kodê binivîsin.
Ez ê qala çawaniya sazkirina qursê nekim. Ez ê tenê bibêjim ku WAL-G projeya sereke bû. Me projeyên wekî Odyssey, PostgreSQL û ClickHouse jî di vê qursê de cîh girt.
Û ne tenê di vê qursê de pirsgirêk dan, di heman demê de dîploma û qurs jî dan.
Li ser berjewendiya bikarhêneran çi ye?
Naha em werin ser beşa ku herî zêde we eleqedar dike. Ev çi feyda te dike? Mesele ev e ku xwendekaran gelek xeletî rast kirin. Û me taybetmendiyên daxwaznameyê yên ku we ji me xwest ku em bikin çêkirin.
Û bihêle ez ji we re behsa tiştên ku we ji mêj ve dixwestin û yên ku hatine cîhbicîh bikim.
Piştgiriya Tablespaces. Mekanên tabloyên di WAL-G-ê de belkî ji derketina WAL-G-ê ve têne hêvî kirin, ji ber ku WAL-G serkêşiya amûrek din a paşvegirtinê ya WAL-E-yê ye, ku li wir paşvekêşana databasê bi cîhên tabloyê ve hatî piştgirî kirin.
Bihêle ez bi kurtî bînim bîra we ew çi ye û çima ew hemî hewce ye. Bi gelemperî, hemî daneyên weya Postgres yek pelrêça li ser pergala pelê, ku jê re bingeh tê gotin, digire. Û ev peldank jixwe hemî pel û jêrderhênerên ku ji hêla Postgres ve têne xwestin vedihewîne.
Tablespaces pelrêç in ku daneyên Postgres dihewîne, lê ew li derveyî pelrêça bingehîn ne. Slide nîşan dide ku tabloyên li derveyî pelrêça bingehîn hene.
Ev ji bo Postgres bixwe çawa xuya dike? Di pelrêça bingehîn de pg_tblspc binerxek veqetandî heye. Û ew di nav pelrêçayên ku bi rastî daneyên Postgres-ê li derveyî pelrêça bingehîn vedihewîne, symlinkan vedihewîne.
Dema ku hûn van hemî bikar bînin, wê hingê ji bo we ev ferman dikarin tiştek wusa xuya bikin. Ango, hûn tabloyek di cîhek tabloyek diyarkirî de çêdikin û dibînin ku ew niha li ku ye. Ev du rêzên paşîn in, du fermanên dawîn têne gotin. Û li wir eşkere ye ku rêyek heye. Lê di rastiyê de, ev ne riya rastîn e. Ev rêça pêşgir e ji pelrêça bingehîn berbi tabloyê. Û ji wir jî ew bi simlînek ku berbi daneyên weya rastîn ve dibe ve tête hev kirin.
Em van hemîyan di tîmê xwe de bikar naynin, lê ew ji hêla gelek bikarhênerên din ên WAL-E ve hate bikar anîn ku ji me re nivîsîbûn ku ew dixwazin biçin WAL-G, lê ev yek wan disekinî. Ev niha piştgirî ye.
Taybetmendiyek din a ku qursa me ya taybetî ji me re aniye, catchup e. Kesên ku belkî bêtir bi Oracle re ji Postgres re xebitîne di derbarê catchup de dizanin.
Bi kurtî li ser çi ye. Topolojiya komê ya di karûbarê me de dibe ku bi gelemperî tiştek wusa xuya bike. Axayê me heye. Kopîyek heye ku têketina pêş-nivîsandinê jê diherike. Û replica ji masterê re dibêje ku ew niha li kîjan LSN-ê ye. Û li deverek paralel bi vê re, têketin dikare were arşîv kirin. Û ji bilî arşîvkirina têketinê, paşgir jî ji ewr re têne şandin. Û paşkêşên delta têne şandin.
Pirsgirêk çi dibe bila bibe? Gava ku we danegehek pir mezin hebe, dibe ku derkeve holê ku kopya we dest pê dike ku pir li paş masterê bimîne. Û ew qas li paş dimîne ku ew çu carî nikare wî bigire. Ev pirsgirêk bi gelemperî pêdivî ye ku bi rengek çareser bibe.
Û riya herî hêsan ev e ku hûn kopiyê jê bikin û wê ji nû ve barkirin, ji ber ku ew ê çu carî nekeve, û pêdivî ye ku pirsgirêk were çareser kirin. Lê ev demek pir dirêj e, ji ber ku vegerandina tevahî 10 TB paşvekêşana databasê demek pir, pir dirêj e. Û em dixwazin van hemûyan bi lez û bez pêk bînin eger pirsgirêkên wiha derkevin. Û ew tam ji bo ku catchup e.
Catchup destûrê dide te ku hûn paşpirtikên delta bikar bînin, ku bi vî rengî di ewr de têne hilanîn. Hûn dibêjin ku kopyaya paşdemayî niha li ser kîjan LSN-ê ye û wê di fermana catchup-ê de destnîşan bikin da ku di navbera wê LSN û LSN-a ku koma we niha li ser e de paşvekêşek delta biafirîne. Û piştî wê hûn vê paşvekêşanê li kopya ku li paş mabû vegerînin.
Bingehên din
Xwendekaran jî bi carekê re gelek taybetmendî ji me re anîn. Ji ber ku li Yandex em ne tenê Postgres çêdikin, di heman demê de me MySQL, MongoDB, Redis, ClickHouse jî hene, di hin deman de me hewce kir ku em karibin bi paşvexistina xala-demê ya ji bo MySQL-yê paşvekêşan çêbikin, û ji ber vê yekê derfetek ji bo barkirinê hebû. wan ber bi ewr ve.
Û me xwest ku em bi rengek mîna ya ku WAL-G dike bikin. Û me biryar da ku ceribandinê bikin û bibînin ka ew ê çawa xuya bike.
Û di destpêkê de, bêyî ku vê mantiqê bi tu awayî parve bikin, wan koda di qalikê de nivîsandin. Wan dît ku modelek me ya xebatê heye û ew dikare bifire. Dûv re me fikirîn ku civaka meya sereke postgresîst e, ew WAL-G bikar tînin. Û ji ber vê yekê divê em bi awayekî van beşan ji hev veqetînin. Ango dema ku em koda Postgres biguherînin, em MySQL naşkînin; dema ku em MySQL biguherînin, em Postgres naşkînin.
Fikra yekem di derheqê veqetandina vê de ramana karanîna heman nêzîkatiya ku di dirêjkirina PostgreSQL de tê bikar anîn bû. Û, bi rastî, ji bo ku hûn paşvekêşek MySQL çêbikin, pêdivî bû ku hûn celebek pirtûkxaneyek dînamîkî saz bikin.
Lê di vir de asîmetrîya vê nêzîkbûnê yekser xuya dibe. Gava ku hûn Postgres hilanînê, hûn ji bo Postgres paşvekişandinek normal didin ser wê û her tişt baş e. Û ji bo MySQL derdikeve holê ku hûn ji bo Postgres hilanînê saz dikin û ji bo wê jî pirtûkxaneyek dînamîkî ji bo MySQL saz dikin. Ev dengên bi awayekî xerîb. Me jî wisa hizir kir û biryar da ku ev ne çareseriya me ye.
Avakirinên cihêreng ji bo Postgres, MySQL, MongoDB, Redis
Lê ev hişt ku me, ji me re xuya dike, em bigihîjin biryara rast - ji bo bingehên cûda meclîsên cihêreng veqetînin. Vê yekê mimkun kir ku meriv mantiqa ku bi paşvekişandina databasên cihêreng ve girêdayî ye veqetîne ku dê bigihîje API-ya hevpar a ku WAL-G bicîh tîne.
Ev beşa ku me bi xwe nivîsand - berî ku pirsgirêkan bidin xwendekaran. Ango, ev tam ew beşê ye ku ew dikarin tiştek xelet bikin, ji ber vê yekê me biryar da ku em çêtir e ku tiştek wusa bikin û her tişt dê baş be.
Piştî wê me pirsgirêkan derxist. Ew yekser hatin hilweşandin. Ji xwendekaran dihat xwestin ku piştgirîya sê bingehan bikin.
Ev MySQL ye, ku em ji salek zêdetir e ku bi karanîna WAL-G-ê bi vî rengî piştgirî dikin.
Û naha MongoDB nêzîkê hilberînê ye, ku ew wê bi pelê diqedînin. Di rastiyê de, me çarçoveya van hemûyan nivîsand. Paşê xwendekaran hin tiştên bikêr nivîsandin. Û paşê em wan bînin rewşeke ku em dikarin di hilberînê de qebûl bikin.
Van pirsgirêkan xuya nedikir ku xwendekar hewce ne ku ji bo her yek ji van databasan amûrên hilanînê yên bêkêmasî binivîsin. Pirsgirêkeke me ya wisa tunebû. Pirsgirêka me ev bû ku me vejandina xala-di-demê dixwest û me dixwest ku em li ewr paşde bikin. Û wan ji xwendekaran xwest ku hin kodek binivîsin ku dê vê yekê çareser bike. Xwendekaran amûrên paşvekêşanê yên heyî bikar anîn, yên ku bi rengek paşvekêşan digirin, û dûv re ew hemî bi WAL-G-ê ve bi hev ve zeliqandin, ku ew hemî ber bi ewr ve şandin. Û wan jî li ser vê yekê başkirina xala-di-dem zêde kir.
Şagirtên din çi anîn? Wan piştgiriya şîfrekirina Libsodium anîn WAL-G.
Di heman demê de polîtîkayên hilanînê yên me jî hene. Naha paşgir dikarin wekî daîmî bêne nîşankirin. Û bi awayekî ji bo karûbarê we hêsantir e ku pêvajoya hilanîna wan bixweber bike.
Encama vê ceribandinê çi bû?
Zêdetirî 100 kesan destpêkê ji bo kursê qeyd kirin. Di destpêkê de min negot ku zanîngeha Yekaterînburgê Zanîngeha Federal a Ural e. Me li wir her tişt ragihand. 100 kes qeyd kirin. Di rastiyê de, pir kêm kesan dest bi kirina tiştekê kirin, li ser 30 kesan.
Kêm kes jî qurs qedandin, ji ber ku hewce bû ku ji bo kodên ku berê hene ceribandinan binivîsin. Û her weha hin xeletiyek rast bikin an hin taybetmendiyek çêbikin. Û hin xwendekar hîn jî qurs girtin.
Heya niha, di vê qursê de, xwendekaran li ser 14 pirsgirêkan rast kirine û 10 taybetmendiyên cûrbecûr çêkirine. Û, ji min re xuya dike, ev guhertoyek bêkêmasî ya yek an du pêşdebiran e.
Di nav tiştên din de, me dîploma û qurs derxistin. Û 12 dîploma wergirtin. 6 ji wan beriya niha di "5"ê de xwe parastin. Yên ku mane hîna parastin nebûne, lê ez difikirim ku dê her tişt ji bo wan jî baş be.
Plana pêşerojê
Ji bo pêşerojê çi planên me hene?
Bi kêmanî ew daxwazên taybetmendiyê yên ku me berê ji bikarhêneran bihîstiye û dixwazin bikin. Ev:
- Şopandina rastbûna şopandina demjimêrê di arşîva hilanînê ya koma HA de. Hûn dikarin vê yekê bi WAL-G-ê bikin. Û ez difikirim ku em ê xwendekarên ku dê vê mijarê bişopînin hebin.
- Berê me kesek berpirsiyar heye ku veguheztina paşgir û WAL di navbera ewran de.
- Û me vê dawiyê ramanek weşand ku em dikarin WAL-G-ê hê bêtir bilezînin bi vekirina paşvekêşên zêdekirî bêyî ji nû ve nivîsandina rûpelan û xweşbînkirina arşîvên ku em li wir dişînin.
Hûn dikarin wan li vir parve bikin
Ev rapor ji bo çi bû? Wekî din, niha ji bilî 4 kesên ku piştgiriyê didin vê projeyê, destên me yên din jî hene, ku pir in. Bi taybetî heke hûn di peyamek kesane de ji wan re binivîsin. Û heke hûn daneyên xwe paşve bikin û bi karanîna WAL-G-ê bikin an jî hûn dixwazin biçin WAL-G, wê hingê em dikarin bi hêsanî daxwazên we bicîh bînin.
Ev kodek QR û girêdanek e. Hûn dikarin bi wan re derbas bibin û hemî daxwazên xwe binivîsin. Mînakî, em hin xeletî rast nakin. An jî hûn bi rastî hin taybetmendî dixwazin, lê ji ber hin sedeman ew hîna ne di tu hilanînê de ye, tevî ya me jî. Bê guman li ser vê yekê binivîsin.
Pirsên
Slav! Spas ji bo raporê! Pirs li ser WAL-G, lê ne di derbarê Postgres de. WAL-G pişta xwe dide MySQL û gazî kopiyek zêde dike. Ger em sazkirinên nûjen li ser CentOS bigirin û heke hûn MySQL saz bikin, dê MariDB were saz kirin. Ji guhertoya 10.3 vekêşana zêde nayê piştgirî kirin, piştgiriya MariDB piştgirî ye. Hûn bi vê yekê re çawa dikin?
Heya niha me hewl nedaye ku MariDB-ê paşve vegerînin. Daxwazên me yên ji bo piştgiriya FoundationDB hebûn, lê bi gelemperî, heke daxwazek wusa hebe, wê hingê em dikarin kesên ku wê bikin bibînin. Ew ne bi qasî ku ez difikirim dirêj an jî dijwar e.
Paş nîvro Spas ji bo raporê! Pirs li ser taybetmendiyên nû yên potansiyel. Ma hûn amade ne ku WAL-G bi kasetan re bixebitin da ku hûn dikarin kasetan paşve bidin?
Piştgiriya li ser hilanîna kasêtê xuya ye ku tê vê wateyê?
Erê
Andrey Borodin heye ku ji min çêtir dikare bersiva vê pirsê bide.
(Andrey) Erê, spas ji bo pirsê! Daxwazek me hebû ku em ji hilanîna ewr hilanînê li kasêtê veguhezînin. Û ji bo vê veguherîna di navbera ewran de. Ji ber ku veguheztina ewr-to-ewr guhertoyek giştî ya veguheztina tape ye. Digel vê yekê, di warê depokirinê de mîmariyek me ya berfireh heye. Bi awayê, gelek Storoge ji hêla xwendekaran ve hatine nivîsandin. Û heke hûn Storage ji bo kasetê binivîsin, wê hingê ew ê, bê guman, were piştgirî kirin. Em amade ne ku daxwazên vekişînê bifikirin. Li wir hûn hewce ne ku pelek binivîsin, pelek bixwînin. Ger hûn van tiştan di Go de bikin, hûn bi gelemperî bi 50 rêzikên kodê diqedin. Û paşê kaset dê di WAL-G-ê de piştgirî bibe.
Spas ji bo raporê! Pêvajoya pêşveçûna balkêş. Backup perçeyek fonksiyonek cidî ye ku divê ji hêla ceribandinan ve baş were vegirtin. Dema ku we fonksiyona ji bo databasên nû pêk anî, xwendekaran jî îmtîhan dinivîsin, an we bi xwe îmtîhan dinivîsand û dûv re pêkanînê da xwendekaran?
Xwendekaran jî test nivîsandin. Lê xwendekaran ji bo taybetmendiyên wekî databasên nû bêtir nivîsandin. Wan testên entegrasyonê nivîsandin. Û wan testên yekîneyê nivîsandin. Ger entegrasyon derbas bibe, ango di vê gavê de, ev skrîptek e ku hûn bi destan darve dikin an jî we kronan dike, mînakî. Yanî senaryo li wir pir zelal e.
Tecrûbeya xwendekaran zêde nîne. Ma vekolîn pir wext digire?
Erê, nirxandinan pir dem digire. Ango, bi gelemperî, gava ku çend committer bi yekcarî têne û dibêjin ku min ev kir, min ew kir, wê hingê hûn hewce ne ku bifikirin û nîv rojê bidin aliyekî da ku hûn fêm bikin ka wan li wir çi nivîsandiye. Ji ber ku kod divê bi baldarî were xwendin. Hevpeyvînek wan çênebû. Em wan pir baş nas nakin, ji ber vê yekê demek girîng digire.
Spas ji bo raporê! Berê, Andrey Borodin diyar kir ku archive_command di WAL-G de divê rasterast were gazî kirin. Lê di mijara celebek kartûka komê de, ji me re mentiqek zêde hewce ye ku em girêka ku jê re şaneyan bişînin diyar bikin. Hûn bi xwe vê pirsgirêkê çawa çareser dikin?
Pirsgirêka te li vir çi ye? Ka em bibêjin we replîkek hevdem heye ku hûn pê re hilanînê çêdikin? An çi?
(Andrey) Rastî ev e ku bi rastî WAL-G tê armanc kirin ku bêyî nivîsarên şêlê were bikar anîn. Ger tiştek wenda ye, wê hingê bila em mantiqa ku divê di hundurê WAL-G de be lê zêde bikin. Ji bo ku arşîvkirin ji ku derê were, em bawer dikin ku arşîvkirin divê ji masterê heyî yê di komê de be. Arşîvkirina ji kopiyek ramanek xirab e. Gelek senaryoyên mimkun ên bi pirsgirêkan hene. Bi taybetî, pirsgirêkên arşîvkirina demjimêr û agahdariya zêde. Spas ji bo pirsê!
(Raşkirin: Me ji nivîsên şêlê xilas kir )
Êvar baş! Spas ji bo raporê! Ez bi taybetmendiya catchup-ê ya ku we behs kir eleqedar im. Em bi rewşek re rû bi rû man ku kopiyek li paş bû û nikarîbû xwe bigirta. Û min di belgeyên WAL-G de şiroveya vê taybetmendiyê nedît.
Catchup bi rastî di 20-ê Rêbendana 2020-an de xuya bû. Belgekirin dibe ku hin xebatek din hewce bike. Em bi xwe wê dinivîsin û em pir baş nanivîsin. Û dibe ku em dest pê bikin ku ji xwendekaran hewce bike ku wê binivîsin.
Ma ew jixwe hatî berdan?
Daxwaza kişandinê jixwe mirî ye, ango min ew kontrol kir. Min ev li ser komek testê ceriband. Heya niha rewşek me çênebûye ku em vê di mînaka şer de biceribînin.
Dema ku li hêviya?
Ez nizanim. Mehek bisekine, em ê bê guman kontrol bikin.
Source: www.habr.com