Cùl-taic bho WAL-G. Dè a th’ ann an 2019? Andrey Borodin

Tha mi a’ moladh gun leugh thu tar-sgrìobhadh na h-aithisg bho thoiseach 2019 le Andrey Borodin “Cùl-taic le WAL-G. Dè a th’ ann an 2019?

Hi uile! Is e m ’ainm Andrey Borodin. Tha mi nam leasaiche aig Yandex. Tha ùidh agam ann am PostgreSQL bho 2016, às deidh dhomh bruidhinn ris an luchd-leasachaidh agus thuirt iad gu bheil a h-uile dad sìmplidh - bheir thu an còd stòr agus togaidh tu e, agus obraichidh a h-uile càil a-mach. Agus bhon uairsin chan urrainn dhomh stad - bidh mi a’ sgrìobhadh a h-uile seòrsa rud eadar-dhealaichte.

Is e aon de na rudan air a bheil mi ag obair siostam cùl-taic. WAL-G. San fharsaingeachd, aig Yandex tha sinn air a bhith ag obair air siostaman cùl-taic ann am PostgreSQL airson ùine mhòr. Agus gheibh thu air an eadar-lìon sreath de shia aithisgean air mar a nì sinn siostaman cùl-taic. Agus a h-uile bliadhna bidh iad a 'fàs beagan, a' leasachadh beagan, agus a 'fàs nas earbsaiche.

Ach an-diugh tha an aithisg chan ann a-mhàin mu na rinn sinn, ach cuideachd mu cho sìmplidh agus a tha e. Cò mheud agaibh a tha air na h-aithisgean agam mu WAL-G fhaicinn mu thràth? Tha e math nach do choimhead grunn dhaoine, oir tòisichidh mi leis an rud as sìmplidh.

Ma tha cruinneachadh PostgreSQL agad gu h-obann, agus tha mi a’ smaoineachadh gu bheil càraid aca uile còmhla riutha, agus gu h-obann chan eil siostam cùl-taic ann fhathast, feumaidh tu stòradh S3 no stòradh co-chosmhail ri Google Cloud fhaighinn.

Mar eisimpleir, faodaidh tu tighinn chun stand againn agus còd adhartachaidh a ghabhail airson Yandex Object Storage, a tha co-chosmhail ri S3.

An uairsin cruthaich bucaid. Chan eil ann ach soitheach fiosrachaidh.

Cruthaich neach-cleachdaidh seirbheis.

Cruthaich iuchair ruigsinneachd airson neach-cleachdaidh na seirbheis: aws-s3-key.

Luchdaich sìos an sgaoileadh seasmhach as ùire de WAL-G.

Ciamar a tha na ro-fhoillseachaidhean againn eadar-dhealaichte bho sgaoilidhean? Bidh mi tric ag iarraidh a leigeil ma sgaoil tràth. Agus mura h-eil bug anns an dreach airson ùine gu leòr, mar eisimpleir, mìos, bidh mi ga leigeil ma sgaoil. Seo an naidheachd seo bhon t-Samhain. Agus tha seo a’ ciallachadh gun lorg sinn a h-uile mìos bug de sheòrsa air choreigin, mar as trice ann an gnìomhachd neo-èiginneach, ach chan eil sinn air brath a chuir a-mach fhathast. Chan eil an dreach roimhe ach san t-Samhain. Chan eil mialan sam bith as aithne dhuinn innte, i.e. chaidh biastagan a chur ris mar a chaidh am pròiseact air adhart.

Aon uair ‘s gu bheil thu air WAL-G a luchdachadh sìos, faodaidh tu àithne“ liosta cùl-taic ”sìmplidh a ruith, a’ dol seachad air caochladairean na h-àrainneachd. Agus ceangailidh e ri Object Storage agus innsidh e dhut dè na cùl-taic a th’ agad. An toiseach, gu dearbh, cha bu chòir cùl-taic a bhith agad. Is e puing an t-sleamhnag seo sealltainn gu bheil a h-uile dad gu math sìmplidh. Is e seo àithne tòcan a tha a’ gabhail ri caochladairean àrainneachd agus a’ cur an gnìomh fo-òrdughan.

Às deidh seo, faodaidh tu do chiad lethbhreac glèidhidh a dhèanamh. Abair “backup-push” ann an WAL-G agus sònraich ann an WAL-G suidheachadh pgdata a’ bhuidheann agad. Agus as coltaiche, innsidh PostgreSQL dhut, mura h-eil siostam cùl-taic agad mu thràth, gum feum thu “modh tasglann” a chomasachadh.

Tha seo a’ ciallachadh gum feum thu a dhol gu roghainnean agus tionndadh air “archive_mode = on” agus “archive_command” a chur ris, a tha cuideachd na fho-cheannard ann an WAL-G. Ach airson adhbhar air choireigin bidh daoine gu tric a’ cleachdadh sgriobtaichean bàr air a’ chuspair seo agus ga phasgadh timcheall WAL-G. Feuch nach dèan thu seo. Cleachd am feart a lorgar ann an WAL-G. Ma tha rudeigin a dhìth ort, sgrìobh gu GitHub. Tha WAL-G a’ gabhail ris gur e an aon phrògram a tha a’ ruith ann an archive_command.

Bidh sinn a’ cleachdadh WAL-G sa mhòr-chuid gus cruinneachadh de Chothroman Àrd a chruthachadh ann an riaghladh Stòr-dàta Yandex.

Agus mar as trice bidh e air a chleachdadh ann an topology de aon Mhaighstir agus grunn ath-riochdachadh. Aig an aon àm, tha e a 'dèanamh lethbhreac glèidhidh ann an Yandex Object Storage.

Is e na suidheachaidhean as cumanta a bhith a’ cruthachadh lethbhric de bhuidheann a’ cleachdadh Point in time recovery. Ach anns a 'chùis seo, chan eil coileanadh an t-siostam cùl-taic cho cudromach dhuinn. Feumaidh sinn dìreach cruinneachadh ùr a luchdachadh suas bhon chùl-taic.

Mar as trice, feumaidh sinn coileanadh siostam cùl-taic nuair a chuireas sinn nód ùr ris. Carson a tha e cudromach? Mar as trice bidh daoine a’ cur nód ùr ri brabhsair leis nach urrainn don bhuidheann a th’ ann mar-thà an luchd leughaidh a làimhseachadh. Feumaidh iad mac-samhail ùr a chur ris. Ma chuireas sinn an luchd bho pg_basebackup ris a’ Mhaighstir, is dòcha gun tuit am Maighstir. Mar sin, bha e glè chudromach dhuinne gum b’ urrainn dhuinn nód ùr a luchdachadh suas gu sgiobalta bhon tasglann, a ’cruthachadh glè bheag de luchd air a’ Mhaighstir.

Agus suidheachadh eile coltach ris. Is e seo am feum air an t-seann Mhaighstir ath-thòiseachadh às deidh dhut am Maighstir Cluster atharrachadh bhon Ionad Dàta leis an deach ceangal a chall.

• Mar thoradh air an sin, nuair a bha sinn a’ cur ri chèile na riatanasan airson an t-siostam leth-bhreac, thuig sinn nach eil pg_basebackup freagarrach dhuinn nuair a bhios sinn ag obair san sgòth.
• Bha sinn airson a bhith comasach air ar dàta a dhlùthadh. Ach bheir cha mhòr siostam cùl-taic sam bith a bharrachd air na thig sa bhogsa teannachadh dàta.
• Bha sinn airson a h-uile càil a cho-thaobhadh leis gu bheil neach-cleachdaidh san sgòth a’ ceannach àireamh mhòr de choraichean pròiseasar. Ach mura h-eil co-shìnteachd againn ann an cuid de ghnìomhachd, bidh àireamh mhòr de choraichean a’ fàs gun fheum.
• Feumaidh sinn crioptachadh oir gu tric chan ann leinn fhìn a tha an dàta agus chan urrainnear a stòradh ann an teacsa soilleir. Co-dhiù, thòisich ar tabhartas do WAL-G le crioptachadh. Chuir sinn crìoch air a’ chrioptachadh ann an WAL-G, agus às deidh sin chaidh faighneachd dhuinn: “Is dòcha gun leasaich fear againn am pròiseact?” Agus bhon uairsin tha mi air a bhith ag obair le WAL-G airson còrr is bliadhna.
• Bha feum againn cuideachd air smeòrach ghoireasan, oir thar ùine a’ cleachdadh an sgòth, fhuair sinn a-mach gu bheil eallach grosaireachd cudromach aig daoine uaireannan air an oidhche agus nach gabh dragh a chuir air an luchd seo. Sin as coireach gun do chuir sinn spionnadh stòrais ris.
• A bharrachd air clàradh agus riaghladh.
• Agus dearbhadh.

Thug sinn sùil air tòrr innealan eadar-dhealaichte. Gu fortanach, tha taghadh mòr againn ann am PostgreSQL. Agus anns a h-uile àite bha sinn ag ionndrainn rudeigin, cuid aon ghnìomh beag, cuid aon fheart beag.

Agus às deidh dhuinn sgrùdadh a dhèanamh air na siostaman a th’ ann mar-thà, thàinig sinn chun cho-dhùnadh gun leasaich sinn WAL-G. B’ e pròiseact ùr a bh’ ann an uairsin. Bha e gu math furasta buaidh a thoirt air an leasachadh a dh’ ionnsaigh bun-structar sgòthan an t-siostam cùl-taic.

Is e am prìomh ideòlas ris a bheil sinn a’ cumail ris gum bu chòir WAL-G a bhith cho sìmplidh ri balalaika.

Tha 4 òrdughan aig WAL-G. Seo:

WAL-PUSH - tasglann a 'chrann.

WAL-FETCH - faigh cas.

BACKUP-PUSH - dèan cùl-taic.

BACKUP-FETCH - faigh cùl-taic bhon t-siostam cùl-taic.

Gu dearbh, tha riaghladh aig WAL-G air na cùl-taic sin cuideachd, ie a’ liostadh agus a’ cuir às do chlàran agus cùl-taic ann an eachdraidh nach eil a dhìth an-dràsta.

Is e aon de na gnìomhan cudromach dhuinn a bhith a’ cruthachadh lethbhric delta.

Tha lethbhric Delta a’ ciallachadh nach cruthaich sinn cùl-taic slàn den bhuidheann gu lèir, ach dìreach na duilleagan atharraichte de na faidhlichean atharraichte sa bhuidheann. Bhiodh e coltach gu bheil seo gu gnìomhach glè choltach ris a’ chomas faighinn air ais le bhith a’ cleachdadh WAL. Ach is urrainn dhuinn cùl-taic delta aon-snàthainn WAL a thoirt suas aig an aon àm. A rèir sin, nuair a bhios cùl-taic bunaiteach againn air a dhèanamh Disathairne, cùl-taic delta gach latha, agus Diardaoin bidh sinn a’ fàiligeadh, feumaidh sinn 4 cùl-taic delta agus 10 uairean de WAL a roiligeadh suas. Bheir e timcheall air an aon ùine oir bidh na cùl-taic delta a ’dol aig an aon àm.

Deltas stèidhichte air LSN - tha seo a’ ciallachadh nuair a chruthaicheas sinn cùl-taic, gum feum sinn gach duilleag a chur còmhla agus sgrùdadh a dhèanamh air an LSN aige leis an LSN den chùl-taic a bh’ ann roimhe gus tuigsinn gu bheil e air atharrachadh. Bu chòir duilleag sam bith anns am faodadh dàta atharraichte a bhith ann an cùl-taic delta.

Mar a thuirt mi, chaidh mòran aire a thoirt do cho-shìnteachd.

Ach tha an API tasglann ann am PostgreSQL cunbhalach. Bidh PostgreSQL a’ tasglann aon fhaidhle WAL agus nuair a thathar ga ath-nuadhachadh ag iarraidh aon fhaidhle WAL. Ach nuair a dh’ iarras an stòr-dàta aon fhaidhle WAL a’ cleachdadh an àithne “WAL-FETCH”, canaidh sinn an àithne “WAL-PREFETCH”, a bhios ag ullachadh na h-ath 8 faidhlichean gus dàta fhaighinn bhon stòr stuthan aig an aon àm.

Agus nuair a dh’ iarras an stòr-dàta oirnn aon fhaidhle a thasgadh, bheir sinn sùil air archive_status agus faic a bheil faidhlichean WAL eile ann. Agus tha sinn cuideachd a’ feuchainn ri WAL a luchdachadh sìos aig an aon àm. Tha seo a’ toirt buannachd dèanadais cudromach agus a’ lughdachadh gu mòr an astair anns an àireamh de WALn nach eil air an clàradh. Tha mòran de luchd-leasachaidh siostam cùl-taic den bheachd gur e siostam cho cunnartach a tha seo oir tha sinn an urra ris an eòlas againn air taobh a-staigh còd nach e API PostgreSQL. Chan eil PostgreSQL a’ gealltainn gum bi am pasgan archive_status an làthair dhuinn agus chan eil e a ’gealltainn an semantics, làthaireachd comharran ullachaidh airson faidhlichean WAL an sin. Ach a dh’ aindeoin sin, tha sinn a’ sgrùdadh a’ chòd stòr, chì sinn gu bheil seo fìor agus tha sinn a’ feuchainn ri brath a ghabhail air. Agus tha smachd againn air an stiùireadh anns a bheil PostgreSQL a’ leasachadh; ma thèid an uidheamachd seo gu h-obann a bhriseadh, stadaidh sinn ga chleachdadh.

Anns an fhìor chruth aige, feumaidh delta WAL stèidhichte air LSN faidhle brabhsair sam bith a leughadh aig a bheil an ùine modh san t-siostam faidhle air atharrachadh bhon chùl-taic roimhe. Bha sinn a’ fuireach le seo airson ùine mhòr, cha mhòr bliadhna. Agus aig a’ cheann thall thàinig sinn chun cho-dhùnadh gu bheil WAL deltas againn.

Tha seo a’ ciallachadh, a h-uile uair a bhios sinn a’ tasgadh WAL air a’ Mhaighstir, chan e a-mhàin gum bi sinn ga dhlùthadh, ga chrioptachadh agus ga chuir chun lìonra, ach bidh sinn cuideachd ga leughadh aig an aon àm. Bidh sinn a’ sgrùdadh agus a’ leughadh nan clàran a tha ann. Bidh sinn a’ tuigsinn dè na blocaichean a tha air atharrachadh agus a’ cruinneachadh faidhlichean delta.

Tha faidhle delta a’ toirt cunntas air raon sònraichte de fhaidhlichean WAL, a’ toirt cunntas air fiosrachadh mu na blocaichean a chaidh atharrachadh anns an raon seo de WAL. Agus an uairsin tha na faidhlichean delta sin air an tasgadh cuideachd.

An seo tha sinn nar n-aghaidh gun do rinn sinn a h-uile càil co-shìnte gu math luath, ach chan urrainn dhuinn eachdraidh leantalach a leughadh aig an aon àm, oir ann an roinn sònraichte is dòcha gun tig sinn tarsainn air deireadh a’ chlàir WAL roimhe, ris nach eil dad againn ri cheangal fhathast, oir dh’ adhbhraich leughadh co-shìnte gun dèan sinn sgrùdadh an-toiseach air an àm ri teachd, aig nach eil àm a dh’ fhalbh fhathast.

Mar thoradh air an sin, bha againn ri pìosan do-thuigsinn a chuir ann am faidhlichean _delta_partial. Mar thoradh air an sin, nuair a thilleas sinn chun àm a dh’ fhalbh, cuiridh sinn na pìosan de chlàr WAL ann an aon, às deidh sin bidh sinn ga pharsadh agus a ’tuigsinn dè a dh’ atharraich ann.

Ma tha ann an eachdraidh ar parsadh shailean tha co-dhiù aon phuing far nach eil sinn a’ tuigsinn dè bha a’ tachairt, an uairsin, a rèir sin, rè an ath chùl-taic bidh againn ri am brabhsair gu lèir a leughadh a-rithist, dìreach mar a rinn sinn le LSN cunbhalach. - stèidhichte delta.

Mar thoradh air an sin, dh’ adhbhraich ar fulangas gu lèir gun do dh’ fhosgail sinn leabharlann parsaidh WAL-G. Cho fad ‘s as aithne dhomh, chan eil duine ga chleachdadh fhathast, ach ma tha duine ag iarraidh, a sgrìobhadh agus a chleachdadh, tha e san raon phoblach. (Ceangal air ùrachadh https://github.com/wal-g/wal-g/tree/master/internal/walparser)

Mar thoradh air an sin, tha a h-uile sruth fiosrachaidh a’ coimhead gu math toinnte. Bidh ar Maighstir a’ tasglann a’ chrann agus a’ tasglann nam faidhlichean delta. Agus feumaidh am mac-samhail a nì an leth-bhreac cùl-taic faidhlichean delta fhaighinn rè na h-ùine a tha air a dhol seachad eadar cùl-taic. Anns a 'chùis seo, feumar pàirtean den eachdraidh a chur ris gu mòr agus a pharsadh, oir chan eil an eachdraidh gu lèir a' freagairt air earrannan mòra. Agus is ann dìreach às deidh seo as urrainn don mhac-samhail cùl-taic delta slàn a thasgadh.

Air na grafaichean tha a h-uile dad a’ coimhead tòrr nas sìmplidh. Is e seo luchdachadh sìos bho aon de na fìor chlàran againn. Tha sinn stèidhichte air LSN, air a dhèanamh ann an aon latha. Agus chì sinn gu robh an cùl-taic delta stèidhichte air LSN a’ ruith bho thrì sa mhadainn gu còig sa mhadainn. Is e seo an luchd anns an àireamh de choraichean pròiseasar. Thug WAL-delta sinn mu 20 mionaid an seo S an Iar- Is e sin, dh'fhàs e gu math nas luaithe, ach aig an aon àm bha iomlaid nas dian air an lìonra.

Leis gu bheil fiosrachadh againn mu na blocaichean a dh’ atharraich agus aig an àm ann an eachdraidh an stòr-dàta, chaidh sinn nas fhaide agus chuir sinn romhainn gnìomhachd fhilleadh a-steach - leudachadh PostgreSQL ris an canar “pg_prefaulter”

Tha seo a’ ciallachadh nuair a chuireas am bonn cùl-taic an gnìomh an àithne ath-nuadhachaidh, gu bheil e ag iarraidh air WAL-G an ath fhaidhle WAL fhaighinn. Tha sinn a’ tuigsinn dè na blocaichean dàta a gheibh cothrom air pròiseas ath-bheothachaidh WAL a dh’ aithghearr agus tòisichidh sinn gnìomhachd leughaidh air na blocaichean sin. Chaidh seo a dhèanamh gus coileanadh luchd-riaghlaidh SSD a mheudachadh. Leis gun ruig an rolla WAL an duilleag a dh’ fheumar atharrachadh. Tha an duilleag seo air diosga agus chan eil i ann an tasgadan na duilleige. Agus feithidh e gu co-shìnte gus an ruig an duilleag seo. Ach faisg air làimh tha WAL-G, aig a bheil fios gum feum sinn duilleagan sònraichte anns na beagan cheudan megabytes de WAL agus aig an aon àm a’ tòiseachadh gan blàthachadh. A’ tòiseachadh ioma inntrigeadh diosc gus an tèid an cur gu bàs aig an aon àm. Bidh seo ag obair gu math air draibhearan SSD, ach, gu mì-fhortanach, chan eil e gu tur iomchaidh airson draibh cruaidh, oir cha bhith sinn a’ cur bacadh air ach leis na molaidhean againn.

Seo na tha sa chòd a-nis.

Tha feartan ann a bu mhath leinn a chur ris.

Tha an dealbh seo a’ sealltainn gu bheil WAL-delta a’ toirt ùine gu math goirid. Agus tha seo a 'leughadh na h-atharrachaidhean a thachair san stòr-dàta tron ​​​​latha. Dh'fhaodadh sinn WAL-delta a dhèanamh chan ann a-mhàin air an oidhche, oir chan eil e a-nis na stòras mòr de luchd. Is urrainn dhuinn WAL-delta a leughadh a h-uile mionaid oir tha e saor. Ann an aon mhionaid is urrainn dhuinn na h-atharrachaidhean air fad a thachair don bhuidheann a sganadh. Agus dh'fhaodadh seo a bhith air ainmeachadh mar "WAL-delta" sa bhad.

Is e a’ phuing, nuair a bheir sinn air ais a’ bhuidheann, gun lughdaich sinn an àireamh de sgeulachdan a dh’ fheumas sinn a roiligeadh suas ann an sreath. Is e sin, an ìre de WAL a bu chòir rolagan PostgreSQL a lughdachadh, leis gu bheil e a’ toirt mòran ùine.

Ach chan e sin uile. Ma tha fios againn gun tèid cuid de bhloca atharrachadh gu ìre cunbhalachd cùl-taic, chan urrainn dhuinn atharrachadh san àm a dh'fhalbh. Is e sin, a-nis tha optimization faidhle-air-faidhle againn de chuir air adhart WAL-delta. Tha seo a’ ciallachadh ma chaidh, mar eisimpleir, Dimàirt cuid de bhòrd a dhubhadh às gu tur no gun deach cuid de fhaidhlichean a dhubhadh às gu tur bhon chlàr, an uairsin nuair a thèid delta a-steach air ais air pg_basebackup Diluain agus Disathairne, cha chruthaich sinn eadhon an dàta seo.

Tha sinn airson an teicneòlas seo a leudachadh gu ìre na duilleige. Is e sin, ma dh’ atharraicheas pàirt den fhaidhle Diluain, ach gun tèid a sgrìobhadh thairis air Diciadain, an uairsin nuair a thèid ath-nuadhachadh gu puing Diardaoin, chan fheum sinn a’ chiad dreachan de dhuilleagan a sgrìobhadh gu diosc.

Ach tha seo fhathast na bheachd a thathar a 'bruidhinn gu gnìomhach taobh a-staigh sinn, ach chan eil e fhathast air a' chòd a ruighinn.

Tha sinn airson aon fheart eile a dhèanamh ann an WAL-G. Tha sinn airson a dhèanamh leudachail oir feumaidh sinn taic a thoirt do dhiofar stòran-dàta agus bu mhath leinn a bhith comasach air dèiligeadh ri stiùireadh cùl-taic san aon dòigh. Ach is e an duilgheadas a th’ ann gu bheil na APIan MySQL gu tur eadar-dhealaichte. Ann am MySQL, tha PITR stèidhichte chan ann air log corporra WAL, ach air a’ bhiona. Agus chan eil siostam tasglann againn ann am MySQL a dh’ innseadh do shiostam air an taobh a-muigh gu bheil am binlog seo deiseil agus gum feumar a thasgadh. Feumaidh sinn seasamh an àiteigin ann an cron leis an stòr-dàta agus dèanamh cinnteach a bheil rudeigin deiseil?

Agus san aon dòigh, rè ath-nuadhachadh MySQL, chan eil òrdugh ath-nuadhachaidh ann a dh'innseas don t-siostam gu bheil feum agam air faidhlichean mar sin. Mus tòisich thu ag ath-thogail do bhuidheann, feumaidh fios a bhith agad dè na faidhlichean a bhios a dhìth ort. Feumaidh tu fhèin tomhas dè na faidhlichean a bhios a dhìth ort. Ach is dòcha gun tèid na duilgheadasan sin a sheachnadh ann an dòigh air choreigin. (Soillseachadh: tha MySQL a’ faighinn taic mu thràth)

Anns an aithisg, bha mi cuideachd airson bruidhinn mu na cùisean sin nuair nach eil WAL-G freagarrach dhut.

Mura h-eil mac-samhail sioncronaich agad, chan eil WAL-G a’ gealltainn gun tèid an earrann mu dheireadh a ghleidheadh. Agus ma tha tasglann air dheireadh air na beagan earrannan mu dheireadh de dh'eachdraidh, tha sin na chunnart. Mura h-eil mac-samhail sioncronaich ann, cha bhithinn a’ moladh WAL-G a chleachdadh. Ach, tha e air a dhealbhadh sa mhòr-chuid airson stàladh sgòthan, a tha a’ ciallachadh fuasgladh àrd ri fhaighinn le mac-samhail sioncronaich, a tha an urra ri sàbhailteachd nam bytes mu dheireadh a chaidh a ghealltainn.

Bidh mi tric a’ faicinn daoine a’ feuchainn ri WAL-G agus WAL-E a ruith aig an aon àm. Tha sinn a’ toirt taic do cho-fhreagarrachd air ais anns an fhaireachdainn gun urrainn do WAL-G faidhle a thoirt air ais bho WAL-E agus gun urrainn dhaibh cùl-taic a chaidh a dhèanamh ann an WAL-E a thoirt air ais. Ach leis gu bheil an dà shiostam sin a’ cleachdadh wal-push co-shìnte, bidh iad a’ tòiseachadh a’ goid fhaidhlichean bho chèile. Ma chuireas sinn ceart e ann an WAL-G, fuirichidh e fhathast ann an WAL-E. Ann an WAL-E, bidh e a’ coimhead air inbhe tasglann, a’ faicinn na faidhlichean crìochnaichte agus gan tasgadh, fhad ‘s nach bi fios aig siostaman eile gu robh am faidhle WAL seo ann, oir cha bhith PostgreSQL a’ feuchainn ri a thasgadh an dàrna turas.

Dè tha sinn a’ dol a shocrachadh an seo air taobh WAL-G? Cha chuir sinn fios gu PostgreSQL gun deach am faidhle seo a ghluasad aig an aon àm, agus nuair a dh’ iarras PostgreSQL oirnn a thasgadh, bidh fios againn mu thràth gu bheil faidhle mar seo leis a’ mhodh-ùine seo agus leis an md5 seo air a thasgadh mar-thà agus canaidh sinn dìreach PostgreSQL - Ceart gu leòr, tha a h-uile dad deiseil gun a bhith a’ dèanamh dad.

Ach chan eil e coltach gum bi an duilgheadas seo stèidhichte air taobh WAL-E, agus mar sin tha e do-dhèanta aig an àm seo òrdugh tasglann a chruthachadh a nì tasglann air an fhaidhle ann an WAL-G agus WAL-E.

A bharrachd air an sin, tha cùisean ann far nach eil WAL-G freagarrach dhut a-nis, ach cuiridh sinn ceart e gu cinnteach.

An toiseach, chan eil dearbhadh cùl-taic togte againn an-dràsta. Chan eil dearbhadh againn an dàrna cuid rè cùl-taic no ath-bheothachadh. Gu dearbh, tha seo air a chuir an gnìomh san sgòth. Ach tha seo air a chuir an gnìomh dìreach le bhith a’ sgrùdadh ro-làimh, dìreach le bhith ag ath-nuadhachadh a’ bhuidheann. Bu mhath leam an gnìomh seo a thoirt do luchd-cleachdaidh. Ach le dearbhadh, tha mi a’ gabhail ris gum bi e comasach ann an WAL-G an cruinneachadh a thoirt air ais agus a thòiseachadh, agus deuchainnean ceò a ruith: pg_dumpall gu / dev/null agus dearbhadh clàr-amais amcheck.

An-dràsta ann an WAL-G chan eil dòigh ann aon chùl-taic bho WAL a chuir dheth. Is e sin, tha sinn a 'toirt taic do uinneag air choireigin. Mar eisimpleir, a 'stòradh nan seachd latha mu dheireadh, a' stòradh nan deich cùl-taic mu dheireadh, a 'stòradh nan trì cùl-taic slàn mu dheireadh. Gu math tric bidh daoine a’ tighinn agus ag ràdh: “Feumaidh sinn cùl-taic de na thachair air a’ Bhliadhn ’Ùr agus tha sinn airson a chumail gu bràth.” Chan eil fios aig WAL-G fhathast ciamar a nì iad seo. (An aire - Chaidh seo a chàradh mu thràth. Leugh tuilleadh - Roghainn comharra-glèidhidh a-steach https://github.com/wal-g/wal-g/blob/master/PostgreSQL.md)

Agus chan eil checksums duilleag agus sgrùdaidhean ionracas againn airson a h-uile roinn shailean nuair a thathar a’ dearbhadh PITR.

Bho seo uile chuir mi ri chèile pròiseact airson Google Summer of Code. Ma tha thu eòlach air oileanaich sgairteil a bhiodh airson rudeigin a sgrìobhadh ann an Go agus faigh grunn mhìltean dolar bho aon chompanaidh leis an litir “G”, molamaid ar pròiseact dhaibh. Bidh mi nam thaic-iùlaiche airson a’ phròiseict seo, is urrainn dhaibh a dhèanamh. Mura h-eil oileanaich ann, gabhaidh mi e agus nì mi mi fhìn as t-samhradh.

Agus tha mòran dhuilgheadasan beaga eile againn air a bheil sinn ag obair mean air mhean. Agus tha cuid de rudan gu math annasach a’ tachairt.

Mar eisimpleir, ma bheir thu cùl-taic falamh do WAL-G, tuitidh e. Mar eisimpleir, ma dh'innseas tu dha gu feum e cùl-taic a dhèanamh de phasgan falamh. Cha bhi am faidhle pg_control ann. Agus bidh e a 'smaoineachadh nach eil e a' tuigsinn rudeigin. Ann an teòiridh, anns a 'chùis seo feumaidh tu teachdaireachd àbhaisteach a sgrìobhadh chun neach-cleachdaidh a mhìneachadh dha mar a chleachdas e an inneal. Ach chan e feart de phrògramadh a tha seo, ach feart de chànan math, so-thuigsinn.

Chan eil fios againn ciamar a nì sinn cùl-taic far loidhne. Ma tha an stòr-dàta na laighe, chan urrainn dhuinn cùl-taic a dhèanamh dheth. Ach tha a h-uile dad gu math sìmplidh an seo. Canaidh sinn lethbhreacan-glèidhidh le LSN nuair a thòisich e. Feumar LSN a’ bhunait bhunaiteach a leughadh bhon fhaidhle smachd. Agus tha seo na fheart nach deach a choileanadh. Faodaidh mòran de shiostaman cùl-taic cùl-taic a dhèanamh de stòr-dàta bunaiteach. Agus tha e goireasach.

Chan urrainn dhuinn an-dràsta dèiligeadh ri dìth àite cùl-taic mar bu chòir. Leis gu bheil sinn mar as trice ag obair le cùl-taic mòr aig an taigh. Agus cha deach iad timcheall air. Ach ma tha cuideigin airson prògramadh a-steach Rach an-dràsta, cuir làimhseachadh airson mearachdan taobh a-muigh àite ris a’ bhucaid. Bidh mi gu cinnteach a’ coimhead a-steach don iarrtas tarraing.

Agus is e am prìomh rud a tha a’ cur dragh oirnn gu bheil sinn ag iarraidh nas urrainn de dheuchainnean amalachaidh docker a nì sgrùdadh air diofar shuidheachaidhean. An-dràsta chan eil sinn a’ dèanamh deuchainn ach air suidheachaidhean bunaiteach. Air a h-uile gealltanas, ach tha sinn airson sùil a thoirt air gealltanas-le-dealasach a h-uile gnìomh a tha sinn a’ toirt taic. Gu sònraichte, mar eisimpleir, bidh taic gu leòr againn airson PostgreSQL 9.4-9.5. Bidh sinn a’ toirt taic dhaibh leis gu bheil a’ choimhearsnachd a’ toirt taic do PostgreSQL, ach cha bhith sinn a’ sgrùdadh gealltanas-às-dealasach gus dèanamh cinnteach nach eil a h-uile càil briste. Agus tha e coltach riumsa gur e cunnart caran trom a tha seo.

Tha WAL-G againn a’ ruith air còrr air mìle buidheann ann an riaghladh Stòr-dàta Yandex. Agus bidh e a’ cumail suas grunn cheudan terabytes de dhàta gach latha.

Tha tòrr TODO againn nar còd. Ma tha thu airson prògramadh, thig, tha sinn a’ feitheamh ri iarrtasan tarraing, tha sinn a’ feitheamh ri ceistean.

Do cheistean

Feasgar math! Tapadh leat! Is e mo bheachd-sa ma tha thu a’ cleachdadh WAL-delta, is dòcha gu bheil thu gu mòr an urra ri sgrìobhaidhean làn-dhuilleag. Agus ma tha, an do ruith thu deuchainnean? Sheall thu graf àlainn. Dè cho mòr ‘s a bhios e ma thèid FPW a chuir dheth?

Tha sgrìobhadh làn-dhuilleag air a chomasachadh dhuinn, chan eil sinn air feuchainn ri a chur à comas. Is e sin, chan eil mi, mar leasaiche, air feuchainn ri tionndadh dheth. Is dòcha gu bheil luchd-rianachd an t-siostaim a rinn rannsachadh air a' chùis seo a rannsachadh. Ach feumaidh sinn FPW. Cha mhòr nach eil duine ga dhì-chomasachadh, oir air dhòigh eile tha e do-dhèanta cùl-taic a thoirt bho mhac-samhail.

Tapadh leibh airson an aithris! Tha dà cheist agam. Is e a’ chiad cheist dè a thachras dha bùird?

Tha sinn a’ feitheamh ri iarrtas tarraing. Tha na stòran-dàta againn beò air diosgan SSD agus NMVE agus chan eil feum againn air an fheart seo. Chan eil mi deiseil airson ùine mhòr a chaitheamh an-dràsta air a dhèanamh gu math. Tha mi gu mòr a’ tagradh gun cuir sinn taic ri seo. Tha daoine ann a thug taic dha, ach a thug taic dha ann an dòigh a tha iomchaidh dhaibh. Rinn iad forc, ach cha bhith iad a’ tarraing iarrtasan. (Air a chur ris ann an dreach 0.2.13)

Agus an dàrna ceist. Thuirt thu aig an fhìor thoiseach gu bheil WAL-G a’ gabhail ris gu bheil e ag obair leis fhèin agus nach eil feum air pasgain. Bidh mi a’ cleachdadh pasgain mi-fhìn. Carson nach bu chòir an cleachdadh?

Tha sinn airson gum bi e cho sìmplidh ri balalaika. Tha seo a’ ciallachadh nach fheum thu dad idir ach balalaika. Tha sinn airson gum bi an siostam sìmplidh. Ma tha comas-gnìomh agad a dh’ fheumas tu a dhèanamh ann an sgriobt, thig agus innis dhuinn - nì sinn e ann an Go.

Feasgar math! Tapadh leibh airson an aithris! Cha b' urrainn dhuinn WAL-G fhaighinn airson obrachadh le dì-chrioptachadh GPG. Bidh e a’ crioptachadh gu h-àbhaisteach, ach chan eil e airson a dhì-chrioptachadh. An e rud a th’ ann nach do dh’obraich dhuinn? Tha an suidheachadh dubhach.

Cruthaich cùis air GitHub agus leig dhuinn a-mach e.

Is e sin, nach do thachair thu ri seo?

Tha feart den aithisg mhearachd ann nuair nach eil WAL-G a’ tuigsinn dè an seòrsa faidhle a th’ ann, tha e a’ faighneachd: “Is dòcha gu bheil e air a chrioptachadh?” Is dòcha nach e crioptachadh an duilgheadas idir. Tha mi airson an logadh air a’ chuspair seo a leasachadh. Feumaidh e a mhìneachadh. Tha sinn an-dràsta ag obair air a’ chuspair seo leis an fhaireachdainn nach eil sinn a’ còrdadh rinn gu mòr ri mar a tha an siostam airson iuchraichean poblach is prìobhaideach fhaighinn air a chuir air dòigh. Leis gu bheil sinn a’ gairm GPG taobh a-muigh gus an toir e dhuinn na h-iuchraichean aige. Agus an uairsin bidh sinn a’ toirt na h-iuchraichean sin agus gan gluasad chun GPG a-staigh, a tha fosgailte PGP, a tha air a chuir ri chèile dhuinn taobh a-staigh WAL-G, agus an sin canar crioptachadh ris. A thaobh seo, tha sinn airson an siostam a leasachadh agus tha sinn airson taic a thoirt do chrioptachadh Libsodium (Air a chur ris ann an dreach 0.2.15). Gu dearbh, bu chòir dì-chòdachadh obrachadh, leig dhuinn a-mach - feumaidh tu barrachd de chomharradh na facal no dhà. Faodaidh tu cruinneachadh ann an seòmar an neach-labhairt uaireigin agus coimhead air an t-siostam. (Crioptachadh PGP às aonais GPG taobh a-muigh - v0.2.9)

Halò! Tapadh leibh airson an aithris! Tha dà cheist agam. Tha miann neònach agam pg_basebackup agus WAL logadh a-steach dà sholaraiche, i.e. tha mi airson aon sgòth agus fear eile a dhèanamh. A bheil dòigh air choireigin seo a dhèanamh?

Chan eil seo ann a-nis, ach tha e na bheachd inntinneach.

Chan eil earbsa agam ann an aon sholaraiche, tha mi airson an aon rud a bhith agam ann an tè eile, gun fhios nach bi.

Tha am beachd inntinneach. Gu teicnigeach, chan eil seo idir idir doirbh a bhuileachadh. Gus casg a chuir air a’ bheachd a dhol air chall, an urrainn dhomh iarraidh ort cùis a dhèanamh air GitHub?

Tha, gu dearbh.

Agus an uairsin, nuair a thig oileanaich gu Google Summer of Code, cuiridh sinn iad ris a’ phròiseact gus am bi barrachd obrach ann airson barrachd fhaighinn a-mach bhuapa.

Agus an dàrna ceist. Tha duilgheadas ann air GitHub. Tha mi a’ smaoineachadh gu bheil e dùinte mar-thà. Tha clisgeadh ann rè ath-nuadhachadh. 'S gu buaidh a thoirt air, rinn thu co-chruinneachadh fa leth. Tha e ceart ann an cùisean. Agus tha roghainn ann àrainneachd caochlaideach a dhèanamh ann an aon snàithlean. Agus is ann air sgàth sin a tha e ag obair gu math slaodach. Agus choinnich sinn ris an duilgheadas seo, agus cha deach a rèiteachadh fhathast.

Is e an duilgheadas a th ’ann gu bheil an stòradh (CEPH) airson adhbhar air choireigin ag ath-shuidheachadh a’ cheangail nuair a thig sinn thuige le airgead àrd. Dè ghabhas dèanamh mu dheidhinn seo? Tha an loidsig retry coltach ri seo. Tha sinn a' feuchainn ris an fhaidhle a luchdachadh sìos a-rithist. Ann an aon bhealaich, bha grunn fhaidhlichean againn nach deach a luchdachadh sìos, nì sinn dàrna fear dhaibhsan nach do log a-steach. Agus fhad ‘s a tha co-dhiù aon fhaidhle air a luchdachadh gach ath-aithris, bidh sinn ag ath-aithris agus ag ath-aithris agus ag ath-aithris. Leasaich sinn loidsig ath-fheuchainn - cùl-taic exponential. Ach chan eil e gu tur soilleir dè a nì thu leis gu bheil an ceangal dìreach a’ briseadh air taobh an t-siostam stòraidh. Is e sin, nuair a bhios sinn a 'luchdachadh suas gu aon sruth, chan eil e a' briseadh nan ceanglaichean sin. Dè as urrainn dhuinn a leasachadh an seo? Tha smeòrach lìonra againn, is urrainn dhuinn gach ceangal a chuingealachadh leis an àireamh de bytes a chuireas e. Rud eile, chan eil fios agam ciamar a dhèiligeas mi ris nach eil stòradh stuthan a’ leigeil leinn luchdachadh sìos no luchdachadh sìos bhuaithe aig an aon àm.

No SLA? Nach 'eil e sgriobhta dhoibh cionnus a leigeas iad leo fein a bhi air an cràdh ?

Is e a’ phuing gu bheil an seilear fhèin aig daoine a thig a-steach don cheist seo mar as trice. Is e sin, chan eil duine a 'tighinn bho Amazon no Google Cloud no Yandex Object Storage.

Is dòcha nach eil a’ cheist dhut tuilleadh?

Chan eil a’ cheist an seo sa chùis seo gu diofar cò dha. Ma tha beachdan sam bith air mar a dhèiligeas tu ri seo, dèanamaid e ann an WAL-G. Ach gu ruige seo chan eil deagh bheachdan agam air mar a dhèiligeas mi ri seo. Tha cuid de Stòradh Rud ann a bheir taic do bhith a’ liostadh cùl-taic ann an dòigh eadar-dhealaichte. Bidh thu ag iarraidh orra nithean a liostadh, agus cuiridh iad pasgan an sin. Tha WAL-G a’ faighinn eagal mu dheidhinn seo – tha seòrsa de rud an seo nach eil na fhaidhle, chan urrainn dhomh a thoirt air ais, a tha a’ ciallachadh nach deach an cùl-taic ath-nuadhachadh. Is e sin, gu dearbh, tha cruinneachadh gu tur ath-leasaichte agad, ach bheir e air ais inbhe mearachdach dhut oir thill Object Storage fiosrachadh neònach nach do thuig e gu tur.

Is e seo rud a tha a’ tachairt ann an sgòth Mail.

Mas urrainn dhut ath-riochdachadh a thogail ...

Tha e air ath-riochdachadh gu cunbhalach ...

Ma tha ath-riochdachadh ann, tha mi a’ smaoineachadh an uairsin feuchaidh sinn ri ro-innleachdan ath-fheuchainn agus obraich a-mach mar a dh’ fheuchas sinn a-rithist agus tuigidh sinn na tha an sgòth ag iarraidh oirnn. Is dòcha gum bi e seasmhach dhuinn air trì ceanglaichean agus nach bris sinn an ceangal, an uairsin ruigidh sinn trì gu faiceallach. Leis gu bheil sinn a-nis a’ leigeil sìos an ceangal gu math luath, ie ma chuir sinn air bhog ath-bheothachadh le 16 snàithleanan, an uairsin às deidh a’ chiad ath-fheuchainn bidh 8 snàithleanan, 4 snàithleanan, 2 snàithlean agus aon. Agus an uairsin tarraingidh e am faidhle ann an aon sruth. Ma tha cuid de luachan draoidheil mar 7,5 snàithlean as fheàrr airson a phumpadh, an uairsin bidh sinn a ’laighe orra agus a’ feuchainn ri snàithleanan 7,5 eile a dhèanamh. Seo beachd.

Tapadh leibh airson an aithris! Cò ris a tha sruth-obrach iomlan airson a bhith ag obair le WAL-G coltach? Mar eisimpleir, anns a 'chùis gòrach nuair nach eil delta thairis air duilleagan. Agus bidh sinn a’ toirt agus a’ toirt air falbh a’ chiad chùl-taic, an uairsin a’ tasgadh a’ chrann gus am bi sinn gorm nar n-aghaidh. An seo, mar a tha mi ga thuigsinn, tha briseadh sìos. Aig àm air choreigin feumaidh tu cùl-taic de dhuilleagan a dhèanamh de dhuilleagan, i.e. tha pròiseas air an taobh a-muigh a’ stiùireadh seo no ciamar a tha seo a’ tachairt?

Tha an delta backup API gu math sìmplidh. Tha àireamh ann - ceumannan delta as àirde, sin an t-ainm a th’ air. Bidh e a’ dol sìos gu neoni. Tha seo a’ ciallachadh gum bi e a’ luchdachadh sìos cùl-taic slàn a h-uile uair a nì thu cùl-taic. Ma dh'atharraicheas tu e gu àireamh dearbhach sam bith, mar eisimpleir, 3, an ath thuras a nì thu cùl-taic, bidh e a 'coimhead air eachdraidh nan cùl-taic a bh' ann roimhe. Tha e a 'faicinn nach tèid thu thairis air an t-sreath de 3 deltas agus a' dèanamh delta.

Is e sin, a h-uile uair a chuireas sinn WAL-G air bhog, bidh e a’ feuchainn ri cùl-taic slàn a dhèanamh?

Chan e, tha sinn a’ ruith WAL-G, agus bidh e a’ feuchainn ri delta a dhèanamh ma cheadaicheas na poileasaidhean agad e.

Gu ìre mhòr, ma ruitheas tu e le neoni a h-uile turas, am bi e gad ghiùlan fhèin mar pg_basebackup?

Chan e, ruithidh e nas luaithe fhathast oir bidh e a’ cleachdadh teannachadh agus co-shìnteachd. Cuiridh Pg_basebackup an cas ri do thaobh. Tha WAL-G a' gabhail ris gu bheil an tasglann agad air a rèiteachadh. Agus bheir e seachad rabhadh mura h-eil e air a rèiteachadh.

Faodar pg_basebackup a ruith às aonais shailean.

Tha, an uairsin giùlainidh iad cha mhòr an aon rud. Pg_basebackup lethbhreacan dhan t-siostam faidhle. Co-dhiù, tha feart ùr againn air an do dhìochuimhnich mi iomradh a thoirt. Faodaidh sinn a-nis cùl-taic a dhèanamh don t-siostam faidhle bho pg_basebackup. Chan eil fios agam carson a tha feum air seo, ach tha e ann.

Mar eisimpleir, air CephFS. Chan eil a h-uile duine airson Stòradh Rud a rèiteachadh.

Seadh, is dòcha gur e sin as coireach gun do chuir iad ceist air an fheart seo gus an urrainn dhuinn a dhèanamh. Agus rinn sinn e.

Tapadh leibh airson an aithris! Chan eil ann ach ceist mu bhith a’ dèanamh lethbhreac dhan t-siostam fhaidhlichean. A-mach às a’ bhogsa, a bheil thu a-nis a’ toirt taic do chopaigeadh gu stòradh iomallach, mar eisimpleir, ma tha sgeilp air choireigin san ionad dàta no rudeigin eile?

Anns an fhoirmle seo, is e ceist dhoirbh a tha seo. Tha, tha sinn a’ toirt taic, ach chan eil an gnìomh seo air a ghabhail a-steach ann am brath sam bith fhathast. Is e sin, tha a h-uile ro-aithris a’ toirt taic dha seo, ach chan eil na dreachan fuasglaidh. Chaidh an gnìomh seo a chur ris ann an dreach 0.2. Bidh e gu cinnteach air a leigeil ma sgaoil a dh’ aithghearr, cho luath ‘s a shocraicheas sinn na mialan aithnichte. Ach an-dràsta chan urrainnear seo a dhèanamh ach ann an ro-sgaoileadh. Tha dà bhiast anns an ro-aithris. Duilgheadas le faighinn seachad air WAL-E, chan eil sinn air a cheartachadh. Agus anns an ro-aithris as ùire chaidh bug mu chùl-taic delta a chuir ris. Mar sin, tha sinn a’ moladh a h-uile duine na dreachan fuasglaidh a chleachdadh. Cho luath ‘s nach eil barrachd bhiteagan anns an ro-aithris, faodaidh sinn a ràdh gu bheil sinn a’ toirt taic do Google Cloud, rudan a tha co-chosmhail ri S3 agus stòradh fhaidhlichean.

Halo, tapadh leat airson na h-aithisg. Mar a tha mi ga thuigsinn, chan e seòrsa de shiostam meadhanaichte a th’ ann an WAL-G mar barmen? A bheil thu an dùil gluasad an taobh seo?

Is e an duilgheadas a th’ ann gu bheil sinn air gluasad air falbh bhon taobh seo. Tha WAL-G a’ fuireach air an aoigh bhunaiteach, air an aoigh bhrais, agus air a h-uile aoigh anns a’ bhuidheann. Nuair a ghluais sinn gu grunn mhìltean de chlàran, bha mòran ionadan bartender againn. Agus a h-uile uair a thuiteas rudeigin annta, tha e na dhuilgheadas mòr. Leis gu feum iad a bhith air an càradh, feumaidh tu tuigsinn dè na cruinneachaidhean a-nis aig nach eil cùl-taic. Chan eil mi an dùil WAL-G a leasachadh a thaobh bathar-cruaidh corporra airson siostaman cùl-taic. Ma tha a’ choimhearsnachd ag iarraidh beagan gnìomh an seo, chan eil dragh agam idir.

Tha sgiobaidhean againn air a bheil uallach airson stòradh. Agus tha sinn a’ faireachdainn cho math nach e sinne a th’ ann, gu bheil daoine sònraichte ann a chuireas na faidhlichean againn far a bheil na faidhlichean sàbhailte. Bidh iad a’ dèanamh a h-uile seòrsa còdadh ciallach an sin gus seasamh an aghaidh call àireamh sònraichte de fhaidhlichean. Tha iad an urra ri leud-bann lìonra. Nuair a bhios bartender agad, is dòcha gum faigh thu a-mach gu h-obann gu bheil stòran-dàta beaga le tòrr trafaic air cruinneachadh air an aon fhrithealaiche. Tha e coltach gu bheil tòrr àite agad air, ach airson adhbhar air choireigin chan eil a h-uile dad a’ freagairt air an lìonra. Is dòcha gun tionndaidh e a-mach an rathad eile. Tha tòrr lìonraidhean ann, tha coraichean pròiseasar ann, ach chan eil diosgan an seo. Agus dh'fhàs sinn sgìth den fheum seo airson rudeigin a dhèanamh, agus ghluais sinn chun fhìrinn gur e seirbheis air leth a th 'ann an stòradh dàta, air a bheil daoine sònraichte an urra.

PS Tha dreach ùr air fhoillseachadh 0.2.15, anns an urrainn dhut am faidhle rèiteachaidh .walg.json a chleachdadh, a tha suidhichte ann an eòlaire dachaigh postgres gu bunaiteach. Faodaidh tu sgriobtaichean bash a thrèigsinn. Tha eisimpleir .walg.json anns an iris seo https://github.com/wal-g/wal-g/issues/545

Bhidio:

Source: www.habr.com