Tha mòran dhaoine eòlach air PostgreSQL DBMS, agus tha e air a dhearbhadh fhèin ann an ionadan beaga. Ach, tha an gluasad a dh’ ionnsaigh Open Source air fàs nas soilleire, eadhon nuair a thig e gu companaidhean mòra agus riatanasan iomairt. San artaigil seo innsidh sinn dhut mar as urrainn dhut Postgres fhilleadh a-steach do àrainneachd chorporra agus ar n-eòlas air cruthachadh siostam cùl-taic (BSS) airson an stòr-dàta seo a’ cleachdadh siostam cùl-taic Commvault mar eisimpleir.
Tha PostgreSQL mar-thà air a luach a dhearbhadh - tha an DBMS ag obair gu math, tha e air a chleachdadh le gnìomhachasan didseatach fasanta leithid Alibaba agus TripAdvisor, agus tha dìth chìsean ceadachd ga fhàgail na roghainn tarraingeach dha uilebheistean leithid MS SQL no Oracle DB. Ach cho luath ‘s a thòisicheas sinn a’ smaoineachadh mu PostgreSQL ann an cruth-tìre na h-Iomairt, ruithidh sinn a-steach gu riatanasan teann sa bhad: “Dè mu dheidhinn fulangas locht rèiteachaidh? strì an aghaidh mòr-thubaist? càite a bheil an sgrùdadh coileanta? Dè mu dheidhinn cùl-taic fèin-ghluasadach? Dè mu dheidhinn a bhith a’ cleachdadh leabharlannan teip an dà chuid gu dìreach agus air stòradh àrd-sgoile?”
Air an aon làimh, chan eil innealan cùl-taic togte aig PostgreSQL, leithid DBMS “inbheach” leithid RMAN ann an Oracle DB no Cùl-taic Stòr-dàta SAP. Air an làimh eile, tha solaraichean de shiostaman cùl-taic corporra (Veeam, Veritas, Commvault) ged a tha iad a’ toirt taic do PostgreSQL, gu dearbh chan obraich iad ach le rèiteachadh sònraichte (mar as trice leotha fhèin) agus le seata de chuingealachaidhean eadar-dhealaichte.
Tha fèill mhòr air siostaman cùl-taic a chaidh an dealbhadh gu sònraichte airson PostgreSQL, leithid Barman, Wal-g, pg_probackup, ann an ionadan beaga den PostgreSQL DBMS no far nach eil feum air cùl-taic trom de eileamaidean eile de chruth-tìre IT. Mar eisimpleir, a bharrachd air PostgreSQL, faodaidh am bun-structar a bhith a’ toirt a-steach frithealaichean corporra is brìgheil, OpenShift, Oracle, MariaDB, Cassandra, msaa. Tha e ciallach cùl-taic a dhèanamh den seo le inneal cumanta. Is e droch bheachd a th’ ann fuasgladh air leth a chuir a-steach a-mhàin airson PostgreSQL: thèid an dàta a chopaigeadh an àiteigin gu diosc, agus an uairsin feumar a thoirt air falbh gu teip. Bidh an cùl-taic dùbailte seo ag àrdachadh an ùine cùl-taic, agus cuideachd, nas cudromaiche, an ùine ath-bheothachaidh.
Ann am fuasgladh iomairt, bidh cùl-taic den stàladh a’ tachairt le àireamh sònraichte de nodan ann am buidheann sònraichte. Aig an aon àm, mar eisimpleir, chan urrainn dha Commvault obrachadh ach le cruinneachadh dà-nòd, anns a bheil Bun-sgoil agus Àrd-sgoil air a shònrachadh gu teann do nodan sònraichte. Agus chan eil e a’ dèanamh ciall ach cùl-taic a dhèanamh bhon Bhun-sgoil, oir tha crìochan aig cùl-taic bhon Àrd-sgoil. Air sgàth cho sònraichte sa tha an DBMS, chan eil dump air a chruthachadh san Àrd-sgoil, agus mar sin chan eil ann ach cùl-taic faidhle.
Gus an cunnart bho ùine downt a lughdachadh, nuair a chruthaicheas tu siostam a tha a’ fulang le lochdan, thèid rèiteachadh brabhsair “beò” a chruthachadh, agus faodaidh Bun-sgoil gluasad mean air mhean eadar diofar luchd-frithealaidh. Mar eisimpleir, bidh bathar-bog Patroni fhèin a’ cur air bhog Bun-sgoil air nód cnuasachaidh air a thaghadh air thuaiream. Chan eil dòigh aig an IBS seo a lorg a-mach às a’ bhogsa, agus ma dh’ atharraicheas an rèiteachadh, brisidh na pròiseasan. Is e sin, tha toirt a-steach smachd bhon taobh a-muigh a’ cur casg air an ISR bho bhith ag obair gu h-èifeachdach, leis nach eil am frithealaiche smachd dìreach a’ tuigsinn càite agus dè an dàta a dh’ fheumar lethbhreac a dhèanamh dheth.
Is e duilgheadas eile a bhith a’ buileachadh cùl-taic ann am Postgres. Tha e comasach tro dump, agus bidh e ag obair air stòran-dàta beaga. Ach ann an stòran-dàta mòra, bidh an dump a’ toirt ùine mhòr, feumach air tòrr ghoireasan agus dh’ fhaodadh sin fàiligeadh san stòr-dàta.
Bidh cùl-taic faidhle a’ ceartachadh an t-suidheachaidh, ach air stòran-dàta mòra tha e slaodach leis gu bheil e ag obair ann am modh aon-snàthainn. A bharrachd air an sin, tha grunn chuingealachaidhean a bharrachd aig luchd-reic. An dàrna cuid chan urrainn dhut cùl-taic fhaidhlichean is dumpadh a chleachdadh aig an aon àm, no chan eil taic ri deduplication. Tha mòran dhuilgheadasan ann, agus mar as trice tha e nas fhasa DBMS daor ach dearbhte a thaghadh an àite Postgres.
Chan eil àite ann airson teicheadh! Tha luchd-leasachaidh Moscow air dheireadh!
Ach, o chionn ghoirid bha dùbhlan duilich aig an sgioba againn: anns a’ phròiseact gus AIS OSAGO 2.0 a chruthachadh, far an do chruthaich sinn am bun-structar IT, thagh an luchd-leasachaidh PostgreSQL airson an t-siostam ùr.
Tha e fada nas fhasa do luchd-leasachaidh bathar-bog mòr fuasglaidhean fosgailte “trendy” a chleachdadh. Tha eòlaichean gu leòr aig Facebook gus taic a thoirt do ghnìomhachd an DBMS seo. Agus a thaobh RSA, thuit a h-uile gnìomh den “dàrna latha” air ar guailnean. Dh'fheumadh sinn dèanamh cinnteach à fulangas sgàinidhean, cruinneachadh agus, gu dearbh, cùl-taic a stèidheachadh. Bha an loidsig gnìomh mar a leanas:
- Teagaisg an SRK gus cùl-taic a dhèanamh bho nód bun-sgoile a’ bhraisle. Gus seo a dhèanamh, feumaidh an SRK a lorg - a tha a’ ciallachadh gu bheil feum air aonachadh le fuasgladh riaghlaidh brabhsair PostgreSQL no fear eile. A thaobh RSA, chaidh bathar-bog Patroni a chleachdadh airson seo.
- Dèan co-dhùnadh air an t-seòrsa cùl-taic stèidhichte air meud dàta agus riatanasan ath-bheothachaidh. Mar eisimpleir, nuair a dh'fheumas tu duilleagan a thoirt air ais gu granular, cleachd dump, agus ma tha na stòran-dàta mòr agus nach eil feum air ath-nuadhachadh granular, obraich aig ìre an fhaidhle.
- Ceangail an comas cùl-taic bloc ris an fhuasgladh gus leth-bhreac cùl-taic a chruthachadh ann am modh ioma-snàithleach.
Aig an aon àm, chuir sinn romhainn an toiseach siostam èifeachdach is sìmplidh a chruthachadh às aonais acfhainn monstrous de cho-phàirtean a bharrachd. Mar as lugha de chnapan-starra, is ann as lugha de dh’ eallach obrach air luchd-obrach agus mar as ìsle an cunnart gun tèid IBS fàiligeadh. Chuir sinn a-mach sa bhad dòighean-obrach a chleachd Veeam agus RMAN, leis gu bheil seata de dhà fhuasgladh mar-thà a’ nochdadh neo-earbsach an t-siostam.
Beagan draoidheachd airson iomairt
Mar sin, dh’ fheumadh sinn cùl-taic earbsach a ghealltainn airson 10 buidhnean de 3 nodan gach fear, leis an aon bhun-structar ri fhaicinn san ionad dàta cùl-taic. Bidh ionadan dàta a thaobh PostgreSQL ag obair air a’ phrionnsapal gnìomhach-fhulangach. B’ e meud an stòr-dàta iomlan 50 TB. Faodaidh siostam smachd ìre corporra sam bith dèiligeadh ri seo gu furasta. Ach is e an caveat nach eil beachd aig Postgres an toiseach airson co-chòrdalachd iomlan agus domhainn le siostaman cùl-taic. Mar sin, bha againn ri coimhead airson fuasgladh aig an robh an comas-gnìomh as àirde an-toiseach an co-bhonn ri PostgreSQL, agus an siostam ùrachadh.
Chùm sinn 3 “hackathon” a-staigh - choimhead sinn air còrr air leth-cheud leasachadh, rinn sinn deuchainn orra, rinn sinn atharrachaidhean co-cheangailte ris na barailean againn, agus rinn sinn deuchainn orra a-rithist. Às deidh dhuinn ath-sgrùdadh a dhèanamh air na roghainnean a tha rim faighinn, thagh sinn Commvault. A-mach às a ’bhogsa, dh’ fhaodadh an toradh seo obrachadh leis an stàladh brabhsair PostgreSQL as sìmplidh, agus thog an ailtireachd fosgailte aige dòchasan (a bha reusanta) airson leasachadh agus amalachadh soirbheachail. Faodaidh Commvault cuideachd cùl-taic a dhèanamh de logaichean PostgreSQL. Mar eisimpleir, chan urrainn dha Veritas NetBackup a thaobh PostgreSQL ach cùl-taic slàn a dhèanamh.
Tuilleadh mu ailtireachd. Chaidh frithealaichean riaghlaidh Commvault a chuir a-steach anns gach aon den dà ionad dàta ann an rèiteachadh CommServ HA. Tha an siostam mar sgàthan, air a stiùireadh tro aon chonsail agus, bho shealladh HA, a’ coinneachadh ri riatanasan iomairt.
Chuir sinn cuideachd dà sheirbheisiche meadhanan corporra air bhog anns gach ionad dàta, ris an do cheangail sinn clàran diosc agus leabharlannan teip a bha gu sònraichte airson cùl-taic tro SAN tro Fiber Channel. Rinn stòran-dàta leudachaidh dùblachadh cinnteach gu robh luchd-frithealaidh nam meadhanan a’ fulang le lochdan, agus le bhith a’ ceangal gach frithealaiche ri gach CSV a’ comasachadh obrachadh leantainneach ma dh’ fhàillig pàirt sam bith. Tha ailtireachd an t-siostaim a 'leigeil le cùl-taic cumail a' dol eadhon ged a thuiteas aon de na h-ionadan dàta.
Bidh Patroni a’ mìneachadh nód bun-sgoile airson gach buidheann. Faodaidh e a bhith na nód an-asgaidh sam bith san ionad dàta - ach dìreach sa mhòr-chuid. Anns a’ chùl-taic, tha a h-uile nodan Àrd-sgoile.
Gus an tuig Commvault dè an nód cnuasachaidh a th’ ann am Bun-sgoil, dh’aonaich sinn an siostam (le taing do ailtireachd fosgailte an fhuasglaidh) le Postgres. Airson an adhbhair seo, chaidh sgriobt a chruthachadh a bheir cunntas air far a bheil a’ phrìomh nód aig an t-seirbheisiche riaghlaidh Commvault an-dràsta.
San fharsaingeachd, tha am pròiseas a 'coimhead mar seo:
Bidh Patroni a’ taghadh Bun-sgoil → Keepalived a’ togail a’ bhuidheann IP agus a’ ruith an sgriobt → bidh an t-àidseant Commvault air an nód cnuasachaidh taghte a’ faighinn fios gur e seo am Bun-sgoil → Bidh Commvault ag ath-dhealbhadh gu fèin-obrachail an cùl-taic taobh a-staigh a’ chliant-brèige.
Is e buannachd an dòigh-obrach seo nach eil am fuasgladh a’ toirt buaidh air cunbhalachd, ceartachd nan logaichean, no faighinn air ais eisimpleir Postgres. Tha e furasta scalladh cuideachd, leis nach eil feum tuilleadh air na nodan Commvault Bun-sgoil agus Àrd-sgoil a chàradh. Tha e gu leòr gu bheil an siostam a 'tuigsinn far a bheil Bun-sgoile, agus faodar an àireamh de nodan àrdachadh gu cha mhòr luach sam bith.
Chan eil am fuasgladh a’ leigeil a-mach gu bheil e air leth freagarrach agus tha na nuances aige fhèin. Chan urrainn dha Commvault ach lethbhreac-glèidhidh a dhèanamh den eisimpleir gu lèir, agus chan e stòran-dàta fa leth. Mar sin, chaidh eisimpleir fa leth a chruthachadh airson gach stòr-dàta. Tha fìor luchd-dèiligidh air an cur còmhla ann an luchd-dèiligidh meallta brìgheil. Tha gach neach-dèiligidh Commvault na bhuidheann UNIX. Tha na nodan cnuasachaidh sin air a bheil an t-àidseant Commvault airson Postgres air a chuir ris. Mar thoradh air an sin, thathas a’ toirt taic do gach nod brìgheil den neach-dèiligidh meallta mar aon eisimpleir.
Taobh a-staigh gach neach-dèiligidh pseudo, tha nód gnìomhach a’ bhraisle air a chomharrachadh. Is e seo a tha am fuasgladh amalachaidh againn airson Commvault a’ mìneachadh. Tha prionnsapal a h-obrachaidh gu math sìmplidh: ma thèid brabhsair IP a thogail air nód, bidh an sgriobt a’ suidheachadh am paramadair “nòd gnìomhach” ann am binary àidseant Commvault - gu dearbh, tha an sgriobt a’ suidheachadh “1” anns a’ phàirt riatanach den chuimhne . Bidh an neach-ionaid a’ sgaoileadh an dàta seo gu CommServe, agus bidh Commvault a’ dèanamh cùl-taic bhon nód a tha thu ag iarraidh. A bharrachd air an sin, thathas a’ sgrùdadh ceartachd an rèiteachaidh aig ìre an sgriobt, a ’cuideachadh le bhith a’ seachnadh mhearachdan nuair a thòisicheas tu air cùl-taic.
Aig an aon àm, tha stòran-dàta mòra air an cumail suas ann am blocaichean thairis air iomadh snàithlean, a’ coinneachadh ri riatanasan RPO agus uinneag cùl-taic. Tha an luchd air an t-siostam glè bheag: cha bhith làn lethbhric a’ tachairt cho tric, air làithean eile chan eil ach logaichean air an cruinneachadh, agus aig amannan luchdan ìosal.
Co-dhiù, tha sinn air poileasaidhean fa-leth a chuir an sàs airson taic a chumail ri logaichean tasglann PostgreSQL - tha iad air an stòradh a rèir riaghailtean eadar-dhealaichte, air an lethbhreacadh a rèir clàr-ama eadar-dhealaichte, agus chan eil dùblachadh air a chomasachadh dhaibh, leis gu bheil dàta sònraichte anns na logaichean sin.
Gus dèanamh cinnteach à cunbhalachd thar a’ bhun-structair IT gu lèir, tha teachdaichean faidhle Commvault air leth air an cur a-steach air gach aon de na nodan brabhsair. Bidh iad a’ dùnadh a-mach faidhlichean Postgres bho chùl-taic agus tha iad an dùil dìreach airson cùl-taic OS agus tagradh. Tha poileasaidh agus ùine stòraidh fhèin aig a’ phàirt seo den dàta cuideachd.
An-dràsta, chan eil IBS a’ toirt buaidh air seirbheisean cinneasachd, ach ma dh’ atharraicheas an suidheachadh, faodaidh Commvault cuingealachadh luchdan a chomasachadh.
A bheil e math? Math!
Mar sin, tha sinn air chan e a-mhàin cùl-taic obrachail fhaighinn, ach cuideachd cùl-taic làn fèin-ghluasadach airson stàladh brabhsair PostgreSQL, agus tha e a’ coinneachadh ris na riatanasan airson fiosan iomairt.
Tha crìochan RPO agus RTO de 1 uair agus 2 uair air an còmhdach le iomall, a tha a 'ciallachadh gum bi an siostam a' cumail riutha eadhon le àrdachadh mòr ann an àireamh an dàta a tha air a stòradh. A dh’ aindeoin mòran teagamhan, thionndaidh PostgreSQL agus an àrainneachd iomairt gu bhith gu math co-chòrdail. Agus a-nis tha fios againn bhon eòlas againn fhìn gu bheil cùl-taic airson DBMS mar sin comasach ann an raon farsaing de shuidheachaidhean.
Gu dearbh, air an t-slighe seo bha againn ri seachd paidhrichean de bhrògan iarainn a chaitheamh, faighinn thairis air grunn dhuilgheadasan, ceum air grunn ràcan agus grunn mhearachdan a cheartachadh. Ach a-nis chaidh an dòigh-obrach a dhearbhadh mar-thà agus faodar a chleachdadh gus Open Source a chuir an gnìomh an àite DBMS seilbh ann an suidheachaidhean cruaidh iomairt.
A bheil thu air feuchainn ri bhith ag obair le PostgreSQL ann an àrainneachd chorporra?
Ùghdaran:
Oleg Lavrenov, innleadair dealbhaidh siostaman stòraidh dàta, Jet Infosystems
Dmitry Erykin, innleadair dealbhaidh siostaman coimpiutair aig Jet Infosystems
Source: www.habr.com