Waxaan kuu soo jeedinayaa inaad akhrido qoraalka warbixinta laga bilaabo bilawga 2019 ee Andrey Borodin "Backups with WAL-G. What's there in 2019?"
Salaamu calaykum! Magacaygu waa Andrey Borodin. Waxaan horumariye ka ahay Yandex. Waxaan xiiseynayay PostgreSQL tan iyo 2016, ka dib markii aan la hadlay horumarinta waxayna sheegeen in wax walba ay fudud yihiin - waxaad qaadataa koodhka isha oo aad dhisto, wax walbana way shaqeyn doonaan. Tan iyo markaas ma joojin karo - waxaan qoraa dhammaan noocyada kala duwan ee waxyaallaha.
Mid ka mid ah waxyaabaha aan ku shaqeynayo waa nidaamka kaydinta. . Guud ahaan, Yandex waxaan ka shaqaynaynay nidaamyada kaydinta ee PostgreSQL muddo aad u dheer. Waxaadna internetka ka heli kartaa taxane lix warbixinood ah oo ku saabsan sida aan u samayno hababka kaydinta. Sannad kastana in yar ayay horumaraan, in yar ayay horumaraan, oo ay noqdaan kuwo la isku halleyn karo.
Laakiin maanta warbixintu kuma koobna oo keliya waxa aynu samaynay, balse waxa ay sidoo kale ka hadlaysaa sida ay u fududahay iyo waxa ay tahay. Immisa idinka mid ah ayaa horay u daawatay warbixinadeyda ku saabsan WAL-G? Way fiican tahay in dad tiro yar aysan daawan, sababtoo ah waxaan ku bilaabayaa waxa ugu fudud.
Haddii si lama filaan ah aad u haysato koox PostgreSQL ah, oo waxaan u maleynayaa in qof walba uu haysto laba ka mid ah iyaga, oo si lama filaan ah ma jiro nidaam gurmad ah weli, markaa waxaad u baahan tahay inaad hesho kayd S3 ah ama kaydinta Google Cloud ku habboon.
Tusaale ahaan, waxaad iman kartaa meeshayada oo aad ka qaadato koodka xayeysiinta ee Kaydinta Shayga Yandex, kaas oo ku habboon S3.
Kadib samee baaldi. Waa weel xogeed uun.
Abuur adeeg bixiyaha
U samee furaha gelitaanka adeegsadaha adeegga: aws-s3-key.
Soo deji sii dayntii ugu dambeysay ee xasilloon ee WAL-G.
Sidee bay uga duwan yihiin siideynteenna ka hor siidaynta? Inta badan waxa la i waydiiyaa in aan goor hore sii daayo. Oo haddii aysan jirin cillad ku jirta nooca waqti ku filan, tusaale ahaan, bil, ka dibna waan sii daayaa. Waa kan sii deyntan laga bilaabo Noofambar. Taasna waxay ka dhigan tahay in bil kasta aan helnay nooc ka mid ah cayayaanka, sida caadiga ah shaqeyn aan muhiim ahayn, laakiin weli ma aanan sii deynin sii-deynta. Nooca hore waa Noofembar oo keliya. Ma jiraan wax cayayaan ah oo nalagu yaqaan oo ku jira, tusaale ahaan cayayaanka ayaa lagu daray intii uu mashruucu socday.
Marka aad soo dejiso WAL-G, waxa aad samayn kartaa amar fudud oo ah βlist backupβ, adiga oo dhex maraya doorsoomayaasha deegaanka. Waxayna ku xidhi doontaa Kaydinta Shayga oo kuu sheegi doonta waxa kaydinta ah ee aad haysato. Marka hore, dabcan, waa inaadan haysan kayd. Ujeedada boggaani waa in la tuso in wax waliba ay fudud yihiin. Kani waa amar console oo aqbala doorsoomayaasha deegaanka oo fuliyaa amar-hoosaadyo.
Taas ka dib, waxaad samayn kartaa kaydkaaga ugu horreeya. Ku dheh "backup-push" gudaha WAL-G oo ku sheeg WAL-G goobta pgdata ee kooxdaada. Waxay u badan tahay, PostgreSQL ayaa kuu sheegi doonta, haddii aadan hore u haysan nidaam kayd ah, inaad u baahan tahay inaad karti u yeelato "qaabka kaydinta".
Tani waxay ka dhigan tahay inaad u baahan tahay inaad tagto goobaha oo aad shido "archive_mode = shid" oo aad ku darto "archive_command", kaas oo sidoo kale ah amar-hoosaad gudaha WAL-G. Laakin sababo jira dartood dadku badanaa waxay isticmaalaan qoraallada bar mawduucan waxayna ku duubaan WAL-G. Fadlan tan ha samayn. Isticmaal shaqada laga helo WAL-G. Haddii ay wax kaa maqan yihiin, u qor . WAL-G waxa ay u malaynaysaa in uu yahay barnaamijka kaliya ee ku shaqeeya kayd_command.
Waxaan u isticmaalnaa WAL-G inta badan si aan u abuurno koox Helitaanka Sare ee maamulka Yandex Database.
Waxaana inta badan loo isticmaalaa topology hal Master ah iyo dhowr ku celcelin. Isla mar ahaantaana, waxay ku samaynaysaa koobi kayd ah Kaydinta Shayga Yandex.
Dhacdooyinka ugu caansan ayaa abuuraya nuqullo koox ah iyadoo la isticmaalayo Point in time raysashada. Laakiin kiiskan, waxqabadka nidaamka kaydinta maaha mid aad muhiim noogu ah. Waxaan kaliya u baahanahay inaan ka soo rarno koox cusub kaydka
Caadi ahaan, waxaan u baahanahay waxqabadka nidaamka dib u habeynta marka lagu daro nood cusub. Maxay muhiim u tahay? Caadi ahaan dadku waxay ku daraan buro cusub koox sababtoo ah kooxda hadda jirta ma xamili karto culayska akhriska. Waxay u baahan yihiin inay ku daraan nuqul cusub. Haddii aan ku darno culeyska pg_basebackup ilaa Master-ka, markaas Master-ku wuu dumi karaa. Sidaa darteed, aad bay muhiim noogu ahayd in aan si degdeg ah uga soo rogno noodhka cusub ee kaydka, abuurista culayska ugu yar ee Masterka.
Iyo xaalad kale oo la mid ah. Tani waa baahida loo qabo in dib loo bilaabo Master-kii hore ka dib markii laga beddelo Cluster Master-ka Xarunta Xogta ee isku xirnaanta lumay.
- Natiijo ahaan, markii aan samaynaynay shuruudaha nidaamka nuqulka, waxaan ogaanay in pg_basebackup aanu nagu habboonayn markaan ka shaqaynayno daruuraha.
- Waxaan rabnay inaan awoodno inaan ku cadaadinno xogtayada. Laakiin ku dhawaad ββnidaam kasta oo gurmad ah oo aan ahayn waxa ku jira sanduuqa ayaa bixin doona isku-buufin xogta.
- Waxaan rabnay inaan wax walba barbar dhigno sababtoo ah isticmaalaha daruuraha ayaa iibsada tiro badan oo ah kombuyuutarrada processor-ka. Laakiin haddii aynaan haysan isbarbardhigga hawlgalka qaarkood, markaa tiro badan oo ka mid ah koofiyadaha ayaa noqda kuwo aan waxtar lahayn.
- Waxaan u baahanahay qarsoodi sababtoo ah inta badan xogtu ma aha kaaga oo laguma kaydin karo qoraal cad. Jid ahaan, wax ku biirintayada WAL-G waxay ku bilaabantay sir. Waxaan dhameystirnay sirta gudaha WAL-G, ka dib waxaa nala weydiiyay: "Malaga yaabaa in mid naga mid ah uu horumariyo mashruuca?" Tan iyo markaas waxaan la shaqeynayay WAL-G in ka badan hal sano.
- Waxa kale oo aanu u baahnnay in la xakameeyo khayraadka, sababtoo ah wakhti ka dib isticmaalka daruuraha, waxaan ogaanay in mararka qaarkood dadku ay haystaan ββββculays muhiim ah habeenkii oo aan la faragelin karin. Taasi waa sababta aan ugu darnay ceejinta kheyraadka.
- Iyo sidoo kale liiska iyo maamulka.
- Iyo xaqiijinta.
Waxaan eegnay qalab badan oo kala duwan. Nasiib wanaag, waxaan ku haynaa xulasho weyn PostgreSQL. Meel kastana wax baa naga maqnaa, mid hawl yar, midna sifo yar baa naga maqnaa.
Anagoo baarnay nidaamyada jira, waxaan gaadhnay in aan horumarin doono WAL-G. Waxay ahayd mashruuc cusub markaa. Aad bay u fududahay in la saameeyo horumarka dhinaca kaabayaasha daruuriga ah ee nidaamka kaydinta.
Fikradda ugu weyn ee aan ku dheggannahay waa in WAL-G uu ahaado mid fudud sida balalayka.
WAL-G waxa ay leedahay 4 amar Tani:
WAL-PUSH - kaydi usheeda dhexe.
WAL-FETCH - qaado usheeda dhexe.
BACKUP-PUSH β samee gurmad.
BACKUP-FETCH β ka hel kaydinta nidaamka kaydinta.
Dhab ahaantii, WAL-G waxa kale oo ay leedahay maaraynta kaydkan, tusaale ahaan liiska iyo tirtirida diiwaannada iyo kaydinta taariikhda ee aan hadda loo baahnayn.
Mid ka mid ah hawlaha muhiimka noo ah waa shaqada abuurista nuqullada delta.
Nuqullada Delta waxay ka dhigan tahay in aynaan abuurin kayd buuxa oo kutlada oo dhan ah, laakiin kaliya boggaga la beddelay ee faylasha la beddelay ee kutlada. Waxay u ekaan kartaa in si shaqaynaysa tani ay la mid tahay awoodda soo kabashada iyadoo la isticmaalayo WAL. Laakin waxaan soo duubi karnaa WAL hal-threaded delta gurmad ah oo barbar socda. Sidaa darteed, marka aan haysano kaydka aasaasiga ah ee la sameeyo sabtida, kaydinta delta maalin kasta, Khamiistana aan guuldarraysano, markaa waxaan u baahanahay inaan soo duubno 4 delta backups iyo 10 saacadood oo WAL ah. Waxay qaadan doontaa qiyaastii isku wakhti sababtoo ah kaydinta delta waxay isbarbar socotaa.
LSN-based deltas - tani waxay ka dhigan tahay marka la abuurayo kaydka, waxaan u baahan doonaa inaan isku darno bog kasta oo aan hubinno LSN-ka LSN-kii hore ee kaydka si aan u fahamno inuu isbeddelay. Bog kasta oo laga yaabo inuu ku jiro xogta la beddelay waa inuu ku jiraa kaydinta delta.
Sidaan sheegay, fiiro gaar ah ayaa la siiyay isbarbardhigga.
Laakin kaydka API ee PostgreSQL waa mid joogto ah. PostgreSQL waxa ay kaydisaa hal fayl oo WAL ah oo marka dib loo soo celinayo waxa ay codsanaysaa hal fayl oo WAL ah. Laakin marka kaydku codsado hal fayl oo WAL ah anagoo adeegsanayna amarka "WAL-FETCH", waxaan u yeernaa taliska "WAL-PREFETCH", kaas oo diyaariya 8-da fayl ee soo socda si ay xogta uga soo qaataan bakhaarka shayga si barbar socda.
Oo marka xog-ururinta na weydiiso inaan kaydiyo hal fayl, waxaanu eegnaa archive_status oo aanu aragnaa inay jiraan galal kale oo WAL ah. Waxaan sidoo kale isku dayeynaa inaan soo dejino WAL si barbar socda. Tani waxay ku siinaysaa faa'iido waxqabad oo la taaban karo waxayna si weyn u yaraynaysaa fogaanta tirada WAL-yada aan kaydka lahayn. Qaar badan oo ka mid ah horumarinta nidaamka kaydka ayaa aaminsan in tani ay tahay nidaamka khatarta ah sababtoo ah waxaan ku tiirsanahay aqoontayada gudaha code ee aan ahayn PostgreSQL API. PostgreSQL ma dammaanad qaadayso joogitaanka galka archive_status anaga mana dammaanad qaadayo semantiga, joogitaanka calaamadaha u diyaargarowga faylalka WAL halkaas. Si kastaba ha ahaatee, waxaan baraneynaa koodhka isha, waxaan aragnaa in tani ay tahay sidaas oo aan isku dayeyno inaan ka faa'iidaysano. Waxaan xakameyneynaa jihada uu PostgreSQL u horumarinayo; haddii si lama filaan ah habkaan u jabo, waan joojin doonaa isticmaalkiisa.
Qaabkeeda saafiga ah, LSN-ku-saleysan WAL delta waxay u baahan tahay akhrinta fayl kasta oo kutlada kaas oo qaab-waqtigiisa nidaamka faylka uu is beddelay tan iyo kaydkii hore. Waxaan tan la noolaynay muddo dheer, ku dhawaad ββsannad. Aakhirkiina waxa aanu gaadhnay in aanu leenahay WAL deltas.
Taas macneheedu waxa weeye mar kasta oo aan kaydinayno WAL Master-ka, kuma koobno ββoo kaliya, sirin iyo u dirno shabakada, laakiin sidoo kale waanu akhrinnaa isla mar ahaantaana. Waanu taxliilinaynaa oo akhrinay diiwaannada ku jira. Waan fahamsanahay baloogyada beddelay oo aan ururinay faylasha delta
Faylka delta wuxuu qeexayaa faylal gaar ah oo WAL ah, wuxuu qeexayaa macluumaadka ku saabsan baloogyada la beddelay ee kala duwan ee WAL. Kadibna faylashan delta sidoo kale waa la kaydiyay.
Halkan waxa ina soo food saartay xaqiiqada ah in aanu wax walba si degdeg ah isu barbar dhignay, balse ma akhrin karno taariikh taxane ah oo barbar socota, sababtoo ah qayb gaar ah ayaa laga yaabaa in aan la kulanno dhammaadka diiwaankii hore ee WAL, oo ββaan weli wax xiriir ah la lahayn, sababtoo ah. akhrinta barbar socota ayaa keentay in aan marka hore falanqayno mustaqbalka, oo aan weli lahayn taariikh hore.
Natiijo ahaan, waxay ahayd inaan ku dhejino qaybo aan la fahmi karin _delta_partial files. Sidaa darteed, marka aan u soo noqono taariikhdii hore, waxaynu ku dhejin doonaa qaybo ka mid ah diiwaanka WAL, ka dib waxaan u kala saari doonaa oo fahmi doonaa waxa ku beddelay.
Haddii taariikhda falanqeynteena usheeda dhexe ay jirto ugu yaraan hal dhibic oo aynaan fahmin waxa dhacaya, markaa, si waafaqsan, inta lagu jiro kaydinta soo socota waxaan ku qasbi doonaa inaan akhrino kooxda oo dhan mar labaad, sida aan ku samaynay LSN joogto ah. delta ku salaysan.
Natiijo ahaan, dhammaan dhibaatadii ina haysatay waxay keentay in aanu furnay maktabadda falanqaynta WAL-G. Ilaa hadda sida aan ogahay, qofna weli ma isticmaalo, laakiin haddii qof rabo inuu qoro oo isticmaalo, waxay ku jirtaa qaybta dadweynaha. (Xiriirka la cusboonaysiiyay )
Natiijo ahaan, dhammaan socodka macluumaadka ayaa u muuqda mid aad u adag. Master-kayaga waxa uu kaydiyaa usheeda dhexe oo kaydiyaa faylalka delta Iyo nuqulka sameeya nuqulka kaydinta waa inuu helaa faylalka delta inta lagu jiro wakhtiga u dhexeeya kaydinta. Xaaladdan oo kale, qaybo ka mid ah taariikhda waxay u baahan doonaan in lagu daro jumlad iyo kala-soocid, sababtoo ah taariikhda oo dhan kuma habboona qaybo waaweyn. Oo kaliya tan ka dib nuqulku wuxuu kaydin karaa kaydka delta oo buuxa.
Garaafyada wax walba waxay u muuqdaan kuwo aad u fudud. Kani waa soo dejin ka yimid mid ka mid ah rucubyadayada dhabta ah. Waxaan leenahay LSN-ku-saleysan, oo lagu sameeyay hal maalin. Oo waxaan aragnaa in kaydinta LSN-ku-salaysan delta-ku ay socotay saddexdii subaxnimo ilaa shanta subaxnimo. Tani waa culeyska ku jira tirada processor-yada. WAL-delta waxay nagu qaadatay ilaa 20 daqiiqo halkan. Taasi waa, si aad ah ayey u dhaqso badan tahay, laakiin isla mar ahaantaana waxaa jiray iswaydaarsi aad u xoogan oo ku saabsan shabakada.
Maaddaama aan hayno macluumaad ku saabsan baloogyada isbeddelay iyo waqtiga taariikhda xogta xogta, waannu sii soconnay oo waxaan go'aansannay inaan isku xirno shaqeynta - kordhinta PostgreSQL ee loo yaqaan "pg_prefaulter"
Tani waxay ka dhigan tahay in marka saldhigga taagan uu fuliyo amarka soo celinta, waxay u sheegaysaa WAL-G inuu keeno faylka WAL ee xiga. Waxaan fahamsanahay qiyaastii xogta xannibaysa habka soo kabashada WAL ay geli doonto mustaqbalka dhow oo bilaabi doona hawlgal akhris ah oo ku saabsan baloogyadan. Tan waxaa loo sameeyay si kor loogu qaado waxqabadka kontaroolayaasha SSD. Sababtoo ah liiska WAL wuxuu gaari doonaa bogga u baahan in la beddelo. Boggan waxa uu saaran yahay saxan mana ku jiro kaydka bogga. Wuxuuna si isku mid ah u sugi doonaa inuu boggani yimaado. Laakiin waxaa u dhow WAL-G, oo og in dhowrka boqol ee megabytes ee soo socda ee WAL aan u baahan doono bogag gaar ah isla markaana aan bilaabeyno inaan diirino. Wuxuu bilaabayaa galaangal badan oo diskooga ah si loo fuliyo si isbarbar socda. Tani waxay si fiican ugu shaqeysaa SSD-yada, laakiin, nasiib daro, gabi ahaanba maaha mid lagu dabaqi karo darawalka adag, sababtoo ah kaliya waxaan faragelinaa dareenkeena.
Tani waa waxa hadda ku jira koodka.
Waxaa jira astaamo aan rabno inaan ku darno.
Sawirkaani wuxuu muujinayaa in WAL-delta ay qaadato wakhti yar. Waxayna tani akhrinaysaa isbeddelada ka dhacay kaydka xogta maalintii. Waxaan sameyn karnaa WAL-delta kaliya maaha habeenkii, sababtoo ah hadda ma ahan il culeys weyn leh. Waxaan akhrin karnaa WAL-delta daqiiqad kasta sababtoo ah waa raqiis. Hal daqiiqo gudaheed waxaan ku baari karnaa dhammaan isbeddelada ku dhacay kooxda. Taasna waxa loogu yeedhi karaa "isla markiiba WAL-delta".
Ujeedadu waa marka aan dib u soo celino kutlada, waxaan yareynaa tirada sheekooyinka ee ay tahay inaan si isdaba joog ah u duubno. Taasi waa, qadarka WAL ee duubista PostgreSQL waa in la dhimaa, sababtoo ah waxay qaadataa waqti muhiim ah.
Laakiin intaas kuma koobna. Haddii aan ognahay in block qaar ka mid ah loo bedeli doono barta of joogto ah gurmad, ma bedeli karo ee la soo dhaafay. Taasi waa, hadda waxaan haynaa hagaajinta fayl-fayle ee gudbinta WAL-delta. Tani waxay ka dhigan tahay, haddii, tusaale ahaan, Talaadada miis si buuxda loo tirtiray ama faylasha qaar laga tirtiray gebi ahaanba miiska, ka dibna marka delta ay soo wareegto Isniinta iyo Sabtida pg_basebackup la soo celiyo, xitaa ma abuuri doono xogtan.
Waxaan rabnaa inaan ku fidinno tignoolajiyadan heerka bogga. Taasi waa, haddii qayb ka mid ah feylku isbeddelo Isniinta, laakiin waa la qori doonaa Arbacada, ka dibna marka dib loo soo celiyo dhibic Khamiista, uma baahnid inaan ku qorno qaybaha ugu horreeya ee boggaga diskka.
Laakiin tani wali waa fikrad si firfircoon uga hadlaysa gudahayaga, laakiin wali ma gaadhin xeerka.
Waxaan rabnaa inaan hal sifo oo kale ku samayno WAL-G. Waxaan rabnaa inaan ka dhigno mid la fidin karo sababtoo ah waxaan u baahanahay inaan taageerno xog uruurin kala duwan waxaanan jeclaan lahayn inaan awoodno inaan u wajaho maamulka kaydinta si la mid ah. Laakiin dhibaatadu waxay tahay in MySQL API-yada ay aad uga duwan yihiin. MySQL dhexdeeda, PITR kuma salaysna logyga WAL ee jireed, laakiin waxay ku salaysan yihiin binlog. Kuma lihin nidaamka kaydinta MySQL oo u sheegaya qaar ka mid ah nidaamka dibadda in binlog-gan uu dhammaaday oo u baahan yahay in la kaydiyo. Waxaan u baahanahay inaan meel ku istaagno xogta xogta oo aan hubinno haddii ay jiraan wax diyaar ah?
Si la mid ah, inta lagu guda jiro soo celinta MySQL, ma jiro amar soo celin ah oo u sheegi kara nidaamka inaan u baahanahay faylasha noocaas ah iyo sida. Kahor intaadan bilaabin dib u dhiska kooxdaada, waxaad u baahan tahay inaad ogaato faylasha aad u baahan tahay. Adiga laftaadu waxay u baahan tahay inaad qiyaasto faylalka aad u baahan doonto. Laakiin dhibaatooyinkan waxaa laga yaabaa in si uun looga gudbi karo. ( caddayn: MySQL mar hore waa la taageeray)
Warbixinta, waxaan sidoo kale rabay inaan ka hadlo kiisaskaas marka WAL-G aanu kugu habboonayn.
Haddii aadan haysan nuqul isku mid ah, WAL-G ma dammaanad qaadayso in qaybta u dambaysa la ilaalin doono. Oo haddii kaydintu ay ka danbeyso qaybaha ugu dambeeya ee taariikhda, taasi waa khatar. Haddii aysan jirin nuqul isku mid ah, kuma talinayo isticmaalka WAL-G. Weli, waxaa inta badan loogu talagalay rakibaadda daruuraha, taas oo macnaheedu yahay xal Helitaanka Sare leh nuqul isku mid ah, kaas oo mas'uul ka ah badbaadada bytes ee ugu dambeeya ee la sameeyay.
Waxaan inta badan arkaa dad isku dayaya inay isku mar wada wadaan WAL-G iyo WAL-E. Waxaan taageereynaa iswaafajinta gadaalka macnaha in WAL-G uu soo celin karo faylka WAL-E oo uu soo celin karo kaydka lagu sameeyay WAL-E. Laakiin maadaama labadan nidaam ay isticmaalaan wal-push barbar socda, waxay bilaabaan inay midba midka kale xadaan faylasha. Haddii aan ku hagaajino WAL-G, wali way sii jiri doontaa WAL-E. Gudaha WAL-E, waxay eegaysaa heerka-arkive-status, waxay eegtaa faylalka dhammaatay oo ay kaydisaa, halka nidaamyada kale aanay si fudud u ogaan doonin in faylkan WAL uu jiro, sababtoo ah PostgreSQL iskuma dayi doono inuu kaydiyo mar labaad.
Maxaan ku hagaajin doonnaa halkan dhanka WAL-G? Ma ogaysiin doono PostgreSQL in faylkan lagu wareejiyay si isbarbar socda, iyo marka PostgreSQL ay na weydiisato inaan kaydinno, waxaan horeyba u ogaan doonaa in faylka noocaan ah ee wakhtigan iyo md5 uu horay u kaydiyay waxaanan si fudud u odhan doonaa PostgreSQL - OK, wax walba waa diyaar iyada oo aan asal ahaan waxba la samayn.
Laakin dhibkan uma badna in lagu xaliyo dhanka WAL-E, sidaas darteed hadda macquul ma aha in la sameeyo amar kayd ah oo kaydiya faylka WAL-G iyo WAL-E labadaba.
Intaa waxaa dheer, waxaa jira kiisas uusan hadda WAL-G kugu habboonayn, laakiin hubaal waan hagaajin doonaa.
Marka hore, hadda ma hayno xaqiijinta kaabaynta ee ku dhex jirta. Ma hayno xaqiijin inta lagu jiro kaydinta ama soo kabashada. Dabcan, tan waxaa lagu hirgeliyaa daruuraha. Laakiin tan waxaa si fudud loo fuliyaa iyadoo horay loo hubiyay, iyadoo si fudud loo soo celinayo kooxda. Waxaan jeclaan lahaa in aan siiyo shaqadan isticmaalayaasha Laakiin xaqiijinta, waxaan u qaadanayaa in WAL-G ay suurtagal noqon doonto in la soo celiyo kutlada oo la bilaabo, oo la sameeyo tijaabooyinka qiiqa: pg_dumpall ilaa /dev/null iyo xaqiijinta index-ka amcheck.
Hadda gudaha WAL-G ma jirto qaab dib loogu dhigi karo hal kayd oo WAL ah. Taasi waa, waxaan taageernaa daaqadaha qaar. Tusaale ahaan, kaydinta todobada maalmood ee ugu dambeeya, kaydinta tobanka kayd ee ugu dambeeya, kaydinta saddexda kayd ee ugu dambeeya. Inta badan dadku way yimaadaan oo waxay yidhaahdaan: "Waxaan u baahanahay kaydinta wixii dhacay Sannadka Cusub, waxaanan doonaynaa inaan sii wadno weligeed." WAL-G wali ma garanayo sida tan loo sameeyo. (Fiiro gaar ah - Tani mar hore ayaa la hagaajiyay. Wax dheeraad ah ka sii akhri - Xulashada calaamadaynta )
Annagu ma hayno xisaab-ururinta bogga iyo hubinta daacadnimada ee dhammaan qaybaha shaft-ga marka la ansixinayo PITR.
Waxaas oo dhan waxaan ka keenay mashruuc Google Summer Code. Haddii aad taqaan arday xariif ah oo jeclaan lahaa inay wax ku qoraan Go oo ay dhowr kun oo doolar ka helaan hal shirkad oo leh xarafka "G", dabadeed kula tali mashruucayaga. Waxaan u noqon doonaa lataliye ahaan mashruucan, way samayn karaan. Haddii aysan jirin arday, markaas waan qaadan doonaa oo aniga qudhaydu waan samayn doonaa xagaaga.
Waxaana na haysta dhibaatooyin kale oo yar yar oo aan si tartiib tartiib ah uga shaqaynayno. Iyo waxyaabo yaab leh oo qurux badan ayaa dhacaya.
Tusaale ahaan, haddii aad siiso WAL-G kayd madhan, si fudud ayay u dhici doontaa. Tusaale ahaan, haddii aad u sheegto inuu u baahan yahay inuu kaydiyo gal madhan. Faylka pg_control ma jiri doono. Oo wuxuu u malaynayaa inuusan waxba fahmin. Aragti ahaan, kiiskan waxaad u baahan tahay inaad fariin caadi ah u qorto isticmaalaha si aad ugu sharaxdo sida loo isticmaalo qalabka. Laakiin tani xitaa ma aha sifo ka mid ah barnaamijyada, laakiin sifo wanaagsan, luqad la fahmi karo.
Ma naqaano sida loo sameeyo gurmad offline. Haddii xog-ururinta uu been sheegayo, ma kaydin karno Laakiin wax walba waa mid aad u fudud halkan. Waxaan ugu yeernaa kaydka LSN markii ay bilaabatay. LSN-ka saldhigga hoose waa in laga akhriyaa faylka kantaroolka. Tanina waa sifada aan la ogeyn. Nidaamyo badan oo kayd ah ayaa kaydin kara xogta hoose. Waana ku habboon tahay.
Hadda si sax ah uma xamili karno la'aanta booska kaydinta. Sababtoo ah inta badan waxaanu ku shaqaynaa kayd badan oo guriga dhexdiisa ah. Oo aanay ku ag wareegin. Laakin haddii uu qof rabo in uu barnaamijka Go hadda ku jiro, ku dar wax ka qabashada khaladaadka meel ka baxsan baaldiga. Xaqiiqdii waan eegi doonaa codsiga jiidista
Waxa ugu weyn ee na walwalayana waa in aan rabno in badan oo ka mid ah tijaabooyinka isdhexgalka docker ee suurtogalka ah kuwaas oo hubinaya xaalado kala duwan. Hadda waxaan tijaabineynaa kaliya xaaladaha aasaasiga ah. Ballanqaad kasta, laakiin waxaan rabnaa inaan hubinno ballan-qaadka dhammaan howlaha aan taageerno. Gaar ahaan, tusaale ahaan, waxaan u heli doonaa taageero ku filan PostgreSQL 9.4-9.5. Waan taageernaa iyaga sababtoo ah bulshadu waxay taageertaa PostgreSQL, laakiin ma hubinno ballan-qaadka si loo hubiyo in wax walba aysan jabin. Waxayna aniga ila tahay in tani ay tahay khatar aad u daran.
Waxaan haynaa WAL-G oo ku shaqeeya in ka badan kun kooxood oo ku jira maamulka Yandex Database. Waxayna kaydisaa dhowr boqol oo terabyte oo xog ah maalin kasta.
Waxaan ku haynaa wax badan oo TODO ah koodkayaga. Haddii aad rabto inaad barnaamij sameyso, kaalay, waxaan sugeynaa codsiyada jiidista, waxaan sugeynaa su'aalo.
Su'aalahaada
Fiid wanaagsan! Mahadsanid! Malahayga waa in haddii aad isticmaalayso WAL-delta, waxay u badan tahay inaad si weyn ugu tiirsan tahay qoraallada bogga buuxa. Hadday sidaas tahay, ma samaysay imtixaanno? Waxaad muujisay garaaf qurux badan. Intee in le'eg ayay qurux badan tahay haddii FPW la damiyo?
Qoraallada bog-buuxa ah ayaa noo suurtageliyay, iskuma aannu dayin inaan joojino. Taasi waa, aniga, horumariye ahaan, iskuma dayin inaan damiyo. Maamulayaasha nidaamka ee baadhay waxay u badan tahay inay baareen arrintan. Laakiin waxaan u baahanahay FPW. Ku dhawaad ββqofna ma curyaamiyo, sababtoo ah haddii kale suurtagal maaha in nuqul ka mid ah nuqul laga qaato.
Waad ku mahadsan tahay warbixinta! Waxaan qabaa laba su'aalood. Su'aasha koowaad waxay tahay maxaa ku dhici doona meelaha miiska?
Waxaan sugeynaa codsi jiid. Xog ururinteenu waxay ku nool yihiin saxannada SSD iyo NMVE runtiina uma baahnin sifadan. Diyaar uma ihi in aan wakhti dhab ah ku bixiyo hadda sidii aan u samayn lahaa si fiican. Waxaan si kal iyo laab ah ugu ololeynayaa in aan taageerno tan. Waxaa jira dad u hiiliyay, laakiin u taageeray qaab iyaga ku habboon. Waxay sameeyeen fargeeto, laakiin ma sameeyaan codsiyo jiid. (Waxaa lagu daray nooca 0.2.13)
Iyo su'aasha labaad. Waxaad sheegtay bilawgiiba in WAL-G uu u malaynayo inuu keligii shaqaynayo oo aan loo baahnayn wax duuban. Aniga qudhaydu waxaan isticmaalaa duubo. Maxay tahay sababta aan loo isticmaalin?
Waxaan rabnaa inay noqoto mid fudud sida balalaika. Tani waxay ka dhigan tahay inaadan u baahnayn wax aan ahayn balalaika. Waxaan rabnaa in nidaamku noqdo mid fudud. Haddii aad leedahay hawl shaqo oo aad u baahan tahay inaad ku samayso qoraal, markaa kaalay oo noo sheeg - waxaanu ku samayn doonaa Go.
Fiid wanaagsan! Waad ku mahadsan tahay warbixinta! Waanu kari waynay in aanu WAL-G ka shaqayso fur-furista GPG Si caadi ah ayay u siraysaa, laakiin ma rabto inay sirayso. Ma wax aan anaga anaga shaqaynayn? Xaaladdu waa niyad jab.
Abuur arrin GitHub oo aynu ogaano.
Taasi waa, ma aadan la kulmin tan?
Waxaa jira sifo ka mid ah warbixinta khaladka ah oo marka WAL-G uu fahmi waayo nooca faylka uu yahay, uu ku weydiiyo: "Malaha waa la siray?" Waxaa laga yaabaa in dhibaatadu aysan gabi ahaanba ahayn sir. Waxaan rabaa inaan hagaajiyo qoritaanka mawduucan. Waa inuu kala furfuraa. Waxaan hadda ka shaqeyneynaa mawduucan macnaha ah inaanan runtii jeclayn sida nidaamka helitaanka furayaasha dadweynaha iyo kuwa gaarka ah loo habeeyo. Sababtoo ah waxaan u yeernaa GPG dibadda si ay noo siiso furaheeda. Kadibna furayaashan ayaanu qaadanaynaa oo ku wareejinaynaa GPG-ga gudaha ah, kaas oo furan PGP, kaas oo naloogu soo ururiyay gudaha WAL-G, halkaas oo aanu ugu yeedhno encryption. Marka tan la eego, waxaan rabnaa inaan hagaajino nidaamka oo aan rabno inaan taageerno sirta Libsodium (Waxaa lagu daray nooca 0.2.15). Dabcan, codayntu waa inay shaqeysaa, aynu ogaano - waxaad u baahan tahay calaamad ka badan dhowr eray. Waxaad ku soo ururin kartaa qolka afhayeenka mararka qaarkood oo fiiri nidaamka. (PGP sirta aan lahayn GPG dibadeed - v0.2.9)
Hello! Waad ku mahadsan tahay warbixinta! Waxaan qabaa laba su'aalood. Waxaan qabaa rabitaan qariib ah inaan sameeyo pg_basebackup iyo WAL gasho laba bixiye, ie. waxaan rabaa inaan sameeyo hal daruur iyo mid kale. Ma jirtaa hab lagu sameeyo tan?
Tani hadda ma jirto, laakiin waa fikrad xiiso leh.
Kaliya kuma kalsoona hal bixiye, waxaan rabaa inaan isku mid ku yeesho mid kale, waaba haddii ay dhacdo.
Fikradda waa mid xiiso leh. Farsamo ahaan, tani ma aha wax adag in la hirgeliyo. Si looga hortago fikradda inay lunto, ma ku weydiin karaa inaad arrin ku samayso GitHub?
Haa, dabcan.
Kadibna, markay ardaydu yimaadaan Google Summer Code, waxaanu ku dari doonaa mashruuca si ay u jirto shaqo badan si ay wax badan uga soo baxaan.
Iyo su'aasha labaad. Arrin ayaa ka jirta GitHub. Waxaan filayaa inay horeba u xidhan tahay. Waxaa jira argagax inta lagu jiro soo celinta. Si aad uga adkaatona waxaad samaysatay shir gooni ah. Waa sax xagga arrimaha. Oo waxaa jira ikhtiyaar lagu sameeyo jawi doorsooma oo hal dun ah. Taasina waa sababta ay si tartiib tartiib ah u shaqeyso. Dhibkaasna waanu la kulannay, welina lama xallin.
Dhibaatadu waxay tahay in sabab qaar ka mid ah kaydinta (CEPH) ay dib u dejiso isku xirka markaan u nimaadno iyada oo la socota lacag badan. Maxaa laga qaban karaa arrintan? Caqliga dib-u-isku-daygu wuxuu u eg yahay sidan. Waxaan isku dayeynaa inaan soo dejinno faylka mar kale. Hal baas, waxaan haysanay tiro fayl ah oo aan la soo dejin, waxaan u samayn doonaa mid labaad dhammaan kuwa aan soo gelin. Oo ilaa iyo inta ugu yaraan hal fayl la soo shubay mar kasta, waanu ku celinaynaa oo ku celinaynaa oo ku celinaynaa. Waxaan hagaajinay macquulnimada dib-u-isku-dayga - dhabar-jabka jibbaarada. Laakiin gabi ahaanba ma cadda waxa lagu sameeyo xaqiiqda ah in xidhiidhku si fudud u jebiyo dhinaca nidaamka kaydinta. Taasi waa, marka aan ku shubno hal durdur, ma jabiyo xidhiidhadan. Maxaan halkan ku hagaajin karnaa? Waxaan leenahay shabakad trottling, waxaan ku xaddidi karnaa xiriir kasta tirada bytes ay soo dirto. Haddii kale, ma aqaano sida loola macaamilo xaqiiqda ah in kaydinta shayga aysan noo ogolaaneynin inaan ka soo dejisanno ama ka soo dejisanno si isku mid ah.
SLA ma jiro? Miyaan loo qorin sida ay u ogolaadaan in la cadaabo?
Ujeeddadu waxay tahay in dadka su'aashan la yimaadaa ay inta badan leeyihiin khasn u gaar ah. Taasi waa, qofna kama iman Amazon ama Google Cloud ama Yandex Object Storage.
Waxaa laga yaabaa in su'aashu aysan adiga kuu ahayn?
Su'aasha halkan ku saabsan kiiskan dhib kuma laha qofka. Haddii ay jiraan wax fikrado ah oo ku saabsan sidii arrintan wax looga qaban lahaa, aan ku samayno WAL-G. Laakiin ilaa hadda ma hayo fikrado wanaagsan oo arrintan wax looga qabanayo. Waxa jira kayd shay oo si kala duwan u taageera liiska kaydinta. Waxaad waydiisaa inay taxaan walxaha, waxayna ku daraan gal halkaas. WAL-G wuu ka cabsadaa tan - waxaa jira nooc ka mid ah shay halkan aan ahayn fayl, ma soo celin karo, taas oo macnaheedu yahay kaydkii lama soo celin. Taasi waa, dhab ahaantii, waxaad haysataa koox gebi ahaanba dib loo soo celiyay, laakiin waxay kuu soo celinaysaa xaalad khaldan sababtoo ah Kaydinta Shayga ayaa soo celisay macluumaad qariib ah oo aanay si buuxda u fahmin.
Tani waa wax ku dhaca daruuraha Boostada.
Haddii aad dhisi karto taran...
Si joogto ah ayaa loo soo saaray...
Haddii ay jirto taran, markaas waxaan u maleynayaa inaan tijaabin doono xeeladaha dib-u-dejinta oo aan ogaanno sida dib loo tijaabiyo loona fahmo waxa daruurtu nooga baahan tahay. Waxaa laga yaabaa in ay nagu xasili doonto saddex xiriir oo ma jebin doono xiriirka, ka dibna waxaan si taxadar leh u gaari doonaa saddex. Sababtoo ah hadda waxaan hoos u dhignaa xiriirka si dhakhso ah, i.e. haddii aan bilownay dib u soo kabasho leh 16 threads, ka dib isku daygii ugu horeeyay waxaa jiri doona 8 threads, 4 threads, 2 threads iyo hal. Kadibna waxay u jiidi doontaa faylka hal durdur. Haddii ay jiraan qaar ka mid ah qiyamka sixirka sida 7,5 dunta ayaa ah kuwa ugu fiican ee bamgareynta, ka dibna waxaan ku noolaan doonnaa iyaga oo isku dayi doona inaan sameyno 7,5 kale oo xadhig ah. Waa tan fikrad
Waad ku mahadsan tahay warbixinta! Sidee buu u eg yahay socodka shaqada ee dhameystiran ee la shaqeynta WAL-G? Tusaale ahaan, kiiska nacasnimada ah marka aysan jirin delta guud ahaan boggaga. Oo waxaan qaadan oo ka saartaa kaydka bilowga ah, ka dibna kaydi usheeda dhexe ilaa aan buluug wejiga. Halkan, sida aan u fahmay, waxaa jira burbur. Mar marka qaarkood waxaad u baahan tahay inaad samaysato kaydka delta ee boggaga, ie. qaar ka mid ah nidaamka dibadeed ayaa tan wada ama sidee tani u dhacdaa?
Kaydinta delta API waa mid fudud. Waxaa jira nambar - tillaabooyinka ugu sarreeya ee delta, taasi waa waxa loo yaqaan. Waxay ku jirtaa eber. Tani waxay ka dhigan tahay in mar kasta oo aad sameyso Backup-push, waxay soo dejisanaysaa kayd buuxa. Haddii aad u beddesho lambar kasta oo togan, tusaale ahaan, 3, ka dib marka xigta ee aad sameyso Backup-push, waxay eegaysaa taariikhda kaydkii hore. Wuxuu arkaa inaadan dhaafin silsiladda 3 deltas oo wuxuu sameeyaa delta.
Taasi waa, mar kasta oo aan furno WAL-G, waxay isku daydaa inay samayso kayd buuxa?
Maya, waxaanu maamulnaa WAL-G, waxayna isku daydaa inay samayso delta haddii siyaasadahaagu ogolaadaan.
Qiyaas ahaan, haddii aad ku wado eber mar kasta, ma u dhaqmi doontaa sida pg_basebackup?
Maya, wali si dhakhso ah ayay u socon doontaa sababtoo ah waxay isticmaashaa isku-buufin iyo isbarbar-dhig. Pg_basebackup ayaa usheeda ku ag dhigi doonta WAL-G waxay u malaynaysaa in aad kaydisay habaysan. Waxayna soo saari doontaa digniin haddii aan la habeynin.
Pg_basebackup waxa lagu ordi karaa bilaa ulood.
Haa, markaa waxay u dhaqmi doonaan ku dhawaad ββisku mid. Pg_basebackup koobiyada nidaamka faylka By habka, waxaan leenahay sifo cusub oo aan ilaaway in aan sheego. Waxaan hadda dib ugu celin karnaa nidaamka faylka pg_basebackup. Ma garanayo sababta tan loogu baahan yahay, laakiin way jirtaa.
Tusaale ahaan, on CephFS. Qof kastaa ma rabo inuu habeeyo Kaydinta Shayga.
Haa, malaha taasi waa sababta ay u waydiiyeen su'aal ku saabsan sifadan si aan u samayno. Waana yeelnay.
Waad ku mahadsan tahay warbixinta! Waxaa jirta su'aal ku saabsan ku koobiyaynta nidaamka faylka. Marka laga soo tago sanduuqa, hadda miyaad taageertaa koobiyaynta kaydinta fog, tusaale ahaan, haddii ay jiraan xoogaa shelf ah ee xarunta xogta ama wax kale?
Qaabayntan, tani waa su'aal adag. Haa, waan taageersanahay, laakiin shaqadan kuma jirto wax sii dayn ah weli. Taasi waa, dhammaan sii-deynta kahor waxay taageertaa tan, laakiin noocyada sii daynta ma sameeyaan. Shaqadan waxaa lagu daray nooca 0.2. Waxaa hubaal ah in dhawaan la sii deyn doono, isla marka aan hagaajino dhammaan kutaannada la yaqaan. Laakiin hadda tan waxaa la samayn karaa oo keliya sii-deynta ka hor. Waxaa jira laba kutaanno sii-deynta ka hor. Dhibaatada soo kabashada WAL-E, ma aynaan hagaajin. Iyo sii dayntii ugu dambaysay ee sii daynta ka hor waxaa lagu daray kutaan ku saabsan kaydinta delta. Sidaa darteed, waxaan kugula talineynaa qof walba inuu isticmaalo noocyada sii deynta. Sida ugu dhakhsaha badan ma jiraan wax cayayaan ah oo horudhac ah, waxaan dhihi karnaa inaan taageerno Google Cloud, waxyaabaha ku habboon S3 iyo kaydinta faylka.
Salaan, waad ku mahadsan tahay warbixinta. Sida aan u fahmay, WAL-G ma aha nooc ka mid ah nidaamka dhexe sida barmen? Ma qorsheyneysaa inaad u dhaqaaqdo jihadan?
Dhibaatadu waxay tahay in aan ka guurnay dhankan. WAL-G waxa ay ku nooshahay hoyga saldhiga, kooxda martida loo yahay, iyo dhammaan martigeliyayaasha kooxda. Markii aan u soo guurnay dhowr kun oo kooxo ah, waxaan haysanay qalabyo badan oo baartender ah. Mar kasta oo ay wax ku dhacaan iyaga, waa dhibaato weyn. Sababtoo ah waxay u baahan yihiin in la dayactiro, waxaad u baahan tahay inaad fahamto kooxahee aan hadda haysan kaydka. Ma qorsheynayo in aan horumariyo WAL-G jihada qalabka jireed ee nidaamyada kaydinta. Haddii bulshadu rabto waxoogaa shaqayn ah halkan, waxba igama gelin.
Waxaan leenahay kooxo mas'uul ka ah kaydinta. Oo waxaan dareemeynaa si aad u wanaagsan oo aan anaga ahayn, in ay jiraan dad gaar ah oo geliya faylalkayaga halka faylalka ay ammaan yihiin. Waxay sameeyaan dhammaan noocyada kala duwan ee codeing xariif ah si ay u adkaystaan ββluminta tiro gaar ah oo faylasha ah. Waxay mas'uul ka yihiin bandwidth network. Markaad haysato bakhaarle, waxa laga yaabaa inaad si lama filaan ah u ogaato in xog-ururin yar oo taraafig badani ay ku soo urureen isla server-ka. Waxaad u muuqataa in aad haysato meel bannaan oo badan, laakiin sababaha qaar wax walba kuma habboona shabakadda. Waxaa laga yaabaa inay si kale u noqoto. Shabakado badan ayaa jira, waxaa jira kombuyuutarrada processor-ka, laakiin halkan ma jiraan wax disks ah. Waxaanan ka daalay baahidan in wax la isku rogo, waxaana u soo guurnay in kaydinta xogtu ay tahay adeeg gaar ah, oo dad gaar ah ay masuul ka yihiin.
PS Nooc cusub ayaa la soo saaray , kaas oo aad isticmaali karto faylka qaabeynta .walg.json, kaas oo ku yaal tusaha guriga postgres si caadi ah. Waxaad ka tagi kartaa qoraalada bash Tusaale .walg.json ayaa arrintan ku jira
Video:
Source: www.habr.com