Nui ka poʻe i kamaʻāina i ka PostgreSQL DBMS, a ua hōʻoia ʻo ia iā ia iho i nā mea liʻiliʻi. Eia nō naʻe, ua maʻalahi ke ʻano o ka Open Source, ʻoiai e pili ana i nā ʻoihana nui a me nā koi ʻoihana. Ma kēia ʻatikala e haʻi mākou iā ʻoe pehea e hoʻohui ai i nā Postgres i kahi ʻoihana hui a kaʻana like i kā mākou ʻike no ka hana ʻana i kahi ʻōnaehana backup (BSS) no kēia waihona me ka hoʻohana ʻana i ka ʻōnaehana kākoʻo Commvault ma ke ʻano he laʻana.
Ua hōʻoia mua ʻo PostgreSQL i kona waiwai - hana maikaʻi ka DBMS, hoʻohana ʻia ia e nā ʻoihana kikohoʻe e like me Alibaba a me TripAdvisor, a ʻo ka nele o nā uku laikini e lilo ia i mea hoʻowalewale i nā monsters e like me MS SQL a i ʻole Oracle DB. Akā ke hoʻomaka nei mākou e noʻonoʻo e pili ana i ka PostgreSQL i ka ʻāina Enterprise, holo koke mākou i nā koi koʻikoʻi: "Pehea e pili ana i ka hoʻonohonoho hewa ʻana? kūʻē pōʻino? aia i hea ka mākaʻikaʻi piha? Pehea e pili ana i nā waihona ʻakomi? Pehea e pili ana i ka hoʻohana pono ʻana i nā waihona lipine a ma ka waihona lua?"
Ma ka lima hoʻokahi, ʻaʻohe o PostgreSQL i nā mea hana hoʻihoʻi i kūkulu ʻia, e like me nā DBMS "mākua" e like me RMAN ma Oracle DB a i ʻole SAP Database Backup. Ma ka ʻaoʻao ʻē aʻe, nā mea hoʻolako o nā ʻōnaehana kākoʻo ʻoihana (Veeam, Veritas, Commvault) ʻoiai ke kākoʻo nei lākou i ka PostgreSQL, ʻoiaʻiʻo, hana wale lākou me kahi hoʻonohonoho hoʻonohonoho (maʻamau kūʻokoʻa) a me kahi hoʻonohonoho o nā palena.
ʻO nā ʻōnaehana hoʻihoʻi i hoʻolālā kūikawā ʻia no PostgreSQL, e like me Barman, Wal-g, pg_probackup, kaulana loa i nā hoʻonohonoho liʻiliʻi o ka PostgreSQL DBMS a i ʻole kahi e pono ʻole ai nā hoʻihoʻi koʻikoʻi o nā mea ʻē aʻe o ka ʻāina IT. No ka laʻana, ma waho aʻe o PostgreSQL, hiki ke hoʻokomo i nā kikowaena kino a me nā kikowaena virtual, OpenShift, Oracle, MariaDB, Cassandra, etc. Pono e hoʻihoʻi i kēia mau mea a pau me kahi mea hana maʻamau. He manaʻo maikaʻi ʻole ka hoʻokomo ʻana i kahi hopena ʻokoʻa no PostgreSQL: e kope ʻia ka ʻikepili ma kahi o ka disk, a laila pono e wehe ʻia i ka tape. Hoʻonui kēia kākoʻo pālua i ka manawa hoʻihoʻi, a ʻoi aku ka koʻikoʻi, ka manawa hoʻihoʻi.
Ma kahi hoʻonā ʻoihana, hoʻihoʻi ʻia ka hoʻonohonoho ʻana me kahi helu o nā nodes i loko o kahi pūʻulu hoʻolaʻa. I ka manawa like, no ka laʻana, hiki ke hana wale ʻo Commvault me kahi puʻupuʻu ʻelua-node, kahi i hoʻonohonoho pono ʻia ai ka Primary a me ka Secondary i kekahi mau nodes. A he mea maʻalahi wale ke hoʻihoʻi ʻana mai ka Primary, no ka mea, ʻo ke kākoʻo mai ka Secondary he mau palena. Ma muli o nā hiʻohiʻona o ka DBMS, ʻaʻole i hana ʻia kahi dump ma Secondary, a no laila aia wale nō ka hiki ke hoʻihoʻi i ka faila.
No ka ho'ēmiʻana i ka pilikia o ka downtime, i ka hana ʻana i kahi ʻōnaehana hoʻomanawanui hewa, hana ʻia kahi hoʻonohonoho hui "ola", a hiki i ka Primary ke neʻe mālie ma waena o nā kikowaena like ʻole. No ka laʻana, hoʻomaka ka polokalamu ʻo Patroni iā Primary ma kahi puʻupuʻu puʻupuʻu i koho ʻia. ʻAʻohe ala o ka IBS e nānā i kēia ma waho o ka pahu, a inā hoʻololi ka hoʻonohonoho hoʻonohonoho, haki nā kaʻina hana. ʻO ia hoʻi, ʻo ka hoʻokomo ʻana i ka mana o waho e pale aku i ka ISR mai ka hana maikaʻi ʻana, no ka mea, ʻaʻole maopopo ka server mana i kahi a me nā ʻikepili e pono ai ke kope ʻia.
ʻO kekahi pilikia ʻo ka hoʻokō ʻana i ka backup ma Postgres. Hiki iā ia ma o ka dump, a hana ia ma nā waihona liʻiliʻi. Akā i loko o nā ʻikepili nui, lōʻihi ka manawa o ka dump, pono i nā kumuwaiwai he nui a hiki ke alakaʻi i ka hāʻule ʻole o ka waihona waihona.
Hoʻoponopono ka waihona waihona i ke kūlana, akā ma nā ʻikepili nui he lohi no ka mea e hana ana ia ma ke ʻano hoʻokahi. Eia kekahi, loaʻa i nā mea kūʻai aku kekahi mau palena ʻē aʻe. ʻAʻole hiki iā ʻoe ke hoʻohana i ka faila a hoʻolei i nā waihona i ka manawa like, a ʻaʻole kākoʻo ʻia ka unuhi ʻana. Nui nā pilikia, a ʻoi aku ka maʻalahi o ke koho ʻana i kahi DBMS pipiʻi akā i hōʻoia ʻia ma mua o Postgres.
ʻAʻohe wahi e hoʻi hope! Aia ma hope o nā mea hoʻomohala Moscow!
Eia naʻe, i kēia manawa ua loaʻa i kā mākou hui kahi paʻakikī paʻakikī: i ka papahana e hoʻokumu i ka AIS OSAGO 2.0, kahi i hana ai mākou i ka ʻōnaehana IT, ua koho nā mea hoʻomohala iā PostgreSQL no ka ʻōnaehana hou.
ʻOi aku ka maʻalahi o nā mea hoʻomohala polokalamu nui e hoʻohana i nā ʻōnaehana open-source "ʻano". Loaʻa iā Facebook nā loea kūikawā e kākoʻo i ka hana o kēia DBMS. A i ka hihia o RSA, ua hāʻule nā hana a pau o ka "lā lua" ma luna o ko mākou poʻohiwi. Ua koi ʻia mākou e hōʻoia i ka hoʻomanawanui hewa, e hōʻuluʻulu i kahi hui a, ʻoiaʻiʻo, hoʻonohonoho i kahi hoʻihoʻi. Penei ke kumu o ka hana.
- E aʻo i ka SRK e hana i nā hoʻopaʻa ʻana mai ka node Primary o ka pūʻulu. No ka hana ʻana i kēia, pono e loaʻa iā SRK - ʻo ia ka mea e pono ai ka hoʻohui ʻana me kekahi a i ʻole PostgreSQL cluster management solution. I ka hihia o RSA, ua hoʻohana ʻia ka polokalamu Patroni no kēia.
- E hoʻoholo i ke ʻano o ka waihona ma muli o ka nui o ka ʻikepili a me nā koi hoʻihoʻi. No ka laʻana, inā pono ʻoe e hoʻihoʻi i nā ʻaoʻao granularly, e hoʻohana i kahi dump, a inā nui nā waihona a ʻaʻole koi ʻia ka hoʻihoʻi granular, e hana ma ka pae faila.
- E hoʻopili i ka hiki ke hoʻopaʻa i ka pale i ka hopena e hana i kope kope ma ke ʻano multi-threaded.
I ka manawa like, ua hoʻomaka mua mākou e hana i kahi ʻōnaehana maikaʻi a maʻalahi me ka ʻole o nā mea ʻē aʻe. ʻO ka liʻiliʻi o nā koʻokoʻo, ʻoi aku ka liʻiliʻi o ka hana ma nā limahana a ʻoi aku ka haʻahaʻa o ka hiki ʻole o IBS. Hoʻokuʻu koke mākou i nā ala e hoʻohana ai iā Veeam a me RMAN, no ka mea, ua hōʻike mua ʻia kahi hoʻonohonoho o nā hoʻonā ʻelua i ka hilinaʻi ʻole o ka ʻōnaehana.
ʻO kahi kilokilo liʻiliʻi no ka ʻoihana
No laila, pono mākou e hōʻoiaʻiʻo i ke kākoʻo hilinaʻi no nā pūʻulu 10 o 3 nodes i kēlā me kēia, me ka ʻōnaehana like i hoʻohālikelike ʻia i ke kikowaena data backup. ʻO nā kikowaena ʻikepili e pili ana i ka PostgreSQL e hana ma ke kumu hana-passive. ʻO 50 TB ka nui o ka waihona waihona. Hiki i kēlā me kēia ʻōnaehana hoʻomalu pae ʻoihana ke maʻalahi i kēia. Akā ʻo ka hoʻopaʻapaʻa ʻaʻole i loaʻa i ka Postgres kahi clue no ka hoʻokō piha a hohonu me nā ʻōnaehana backup. No laila, pono mākou e ʻimi i kahi hoʻonā i loaʻa ka hana kiʻekiʻe loa i ka hui pū me PostgreSQL, a hoʻomaʻemaʻe i ka ʻōnaehana.
Ua mālama mākou i 3 mau "hackathons" i loko - ua nānā mākou ma mua o kanalima mau hanana, hoʻāʻo iā lākou, hana i nā loli e pili ana i kā mākou hypotheses, a hoʻāʻo hou iā lākou. Ma hope o ka nānā ʻana i nā koho i loaʻa, ua koho mākou iā Commvault. Ma waho o ka pahu, hiki i kēia huahana ke hana me ka maʻalahi o ka PostgreSQL cluster hoʻonohonoho, a ua hoʻāla ka manaʻo o kāna hana wehe i nā manaʻolana (i ʻāpono ʻia) no ka hoʻomohala holomua a me ka hoʻohui ʻana. Hiki i ka Commvault ke hoʻopaʻa i nā lāʻau PostgreSQL. No ka laʻana, hiki i ka Veritas NetBackup ma nā ʻōlelo o PostgreSQL ke hana i nā backup piha.
Nā mea hou aku e pili ana i ka hoʻolālā. Ua hoʻokomo ʻia nā kikowaena hoʻokele Commvault ma kēlā me kēia o nā kikowaena ʻikepili ʻelua ma kahi hoʻonohonoho CommServ HA. Hoʻohālikelike ʻia ka ʻōnaehana, mālama ʻia ma o hoʻokahi console a, mai ka manaʻo HA, e hoʻokō i nā koi ʻoihana āpau.
Ua hoʻolauna pū mākou i ʻelua mau kikowaena media kino i kēlā me kēia kikowaena data, kahi i hoʻopili ai mākou i nā ʻāpana disk a me nā waihona lipine i hoʻolaʻa ʻia no nā hoʻihoʻi ma o SAN ma o Fiber Channel. ʻO ka hoʻonui ʻia ʻana o ka ʻikepili unuhi i hōʻoia i ka hoʻomanawanui hewa ʻana o nā kikowaena media, a ʻo ka hoʻopili ʻana i kēlā me kēia kikowaena i kēlā me kēia CSV hiki ke hana mau inā hāʻule kekahi ʻāpana. Hiki i ka ʻōnaehana ʻōnaehana ke hoʻomau i ke kākoʻo inā hāʻule kekahi o nā kikowaena data.
Hōʻike ʻo Patroni i kahi node Primary no kēlā me kēia hui. Hiki iā ia ke lilo i kekahi node manuahi ma ke kikowaena data - akā ʻo ka hapa nui wale nō. Ma ka waihona, ʻo nā node a pau he Secondary.
I mea e hoʻomaopopo ai ʻo Commvault i ka node cluster ʻo Primary, ua hoʻohui mākou i ka ʻōnaehana (mahalo i ka wehe ʻana o ka hoʻonā) me Postgres. No kēia kumu, ua hana ʻia kahi palapala e hōʻike ana i ka wahi i kēia manawa o ka node Primary i ke kikowaena hoʻokele Commvault.
Ma keʻano laulā, ke ʻano o ke kaʻina hana penei:
Koho ʻo Patroni i ka Primary → Lawe ʻo Keepalived i ka puʻupuʻu IP a holo i ka palapala → loaʻa i ka ʻelele Commvault ma ka node cluster i koho ʻia ʻo ia ka Primary → Commvault e hoʻonohonoho hou i ka waihona i loko o ka pseudo-client.
ʻO ka pōmaikaʻi o kēia ala, ʻaʻole pili ka hopena i ka kūlike, ka pololei o nā lāʻau, a i ʻole ka hoʻihoʻi ʻana i ka hihia Postgres. He mea maʻalahi hoʻi ia, no ka mea, ʻaʻole pono e hoʻoponopono i nā nodes Commvault Primary a me Secondary. Ua lawa ka hoʻomaopopo ʻana o ka ʻōnaehana i kahi o Primary, a hiki ke hoʻonui ʻia ka helu o nā nodes i kahi waiwai.
ʻAʻole hoʻohālike ka hoʻonā i ka mea kūpono a loaʻa i kāna mau nuances. Hiki i ka Commvault ke hoʻopaʻa wale i ka hiʻohiʻona holoʻokoʻa, ʻaʻole i ka ʻikepili pilikino. No laila, ua hana ʻia kahi ʻokoʻa no kēlā me kēia waihona. Hoʻohui ʻia nā mea kūʻai maoli i nā pseudo-clients. ʻO kēlā me kēia Commvault pseudo-client he pūʻulu UNIX. Hoʻohui ʻia kēlā mau puʻupuʻu puʻupuʻu kahi i hoʻokomo ʻia ai ka luna Commvault no Postgres. ʻO ka hopena, ua kākoʻo ʻia nā nodes virtual āpau o ka pseudo-client ma ke ʻano hoʻokahi.
I loko o kēlā me kēia pseudo-client, hōʻike ʻia ka node hana o ka hui. ʻO kēia ka mea i wehewehe ʻia e kā mākou hopena hoʻohui no Commvault. He mea maʻalahi ka manaʻo o kāna hana: inā hoʻokiʻekiʻe ʻia kahi cluster IP ma kahi node, ua hoʻonohonoho ka script i ka "node active" parameter i ka Commvault agent binary - ʻoiaʻiʻo, ua hoʻonohonoho ka script i "1" i ka ʻāpana pono o ka hoʻomanaʻo. . Hoʻouna ka ʻelele i kēia ʻikepili iā CommServe, a hana ʻo Commvault i kahi waihona mai ka node i makemake ʻia. Eia kekahi, nānā ʻia ka pololei o ka hoʻonohonoho ʻana ma ka pae palapala, e kōkua ana e pale i nā hewa i ka wā e hoʻomaka ai i kahi hoʻihoʻi.
I ka manawa like, kākoʻo ʻia nā ʻikepili nui i nā poloka ma nā pae he nui, e hālāwai ana me RPO a me nā koi puka aniani. ʻAʻole nui ka ukana ma ka ʻōnaehana: ʻAʻole loaʻa pinepine nā kope piha, i nā lā ʻē aʻe e hōʻiliʻili wale ʻia nā lāʻau, a i nā wā haʻahaʻa haʻahaʻa.
Ma ke ala, ua noi mākou i nā kulekele ʻokoʻa no ke kākoʻo ʻana i nā waihona waihona PostgreSQL - mālama ʻia lākou e like me nā lula like ʻole, kope ʻia e like me ka papa hana ʻokoʻa, a ʻaʻole hiki ke hoʻopau ʻia no lākou, no ka mea, aia kēia mau logs i nā ʻikepili kūʻokoʻa.
No ka hōʻoia ʻana i ka paʻa ʻana o ka ʻōnaehana IT holoʻokoʻa, ua hoʻokomo ʻia nā mea kūʻai faila Commvault kaʻawale ma kēlā me kēia o nā node cluster. Hoʻokaʻawale lākou i nā faila Postgres mai nā waihona a ua manaʻo ʻia no ka OS a me nā waihona noi. Loaʻa i kēia ʻāpana o ka ʻikepili kona kulekele ponoʻī a me ka manawa mālama.
I kēia manawa, ʻaʻole pili ʻo IBS i nā lawelawe huahana, akā inā hoʻololi ke kūlana, hiki i ka Commvault ke hiki ke hoʻokaʻawale i ka ukana.
He maikai anei? Maikaʻi loa!
No laila, ʻaʻole i loaʻa iā mākou kahi mea hiki ke hana wale ʻia, akā, kahi hoʻihoʻi piha piha no kahi hoʻonohonoho pūʻulu PostgreSQL, a hoʻokō i nā koi āpau no nā kelepona ʻoihana.
Ua uhi ʻia nā ʻāpana RPO a me RTO o 1 hola a me 2 mau hola me kahi palena, ʻo ia ka mea e hoʻokō ka ʻōnaehana iā lākou me ka piʻi nui ʻana o ka nui o ka ʻikepili i mālama ʻia. Kūlike ʻole i nā kānalua he nui, ua kūpono ʻo PostgreSQL a me ka ʻoihana ʻoihana. A i kēia manawa ua ʻike mākou mai kā mākou ʻike ponoʻī e hiki ke hoʻihoʻi i kēlā mau DBMS i nā ʻano hoʻonohonoho like ʻole.
ʻOiaʻiʻo, ma kēia ala, pono mākou e ʻaʻahu i ʻehiku mau kāmaʻa hao, lanakila i nā pilikia he nui, hehi i kekahi mau rake a hoʻoponopono i kekahi mau hewa. Akā i kēia manawa ua hoʻāʻo ʻia ke ala a hiki ke hoʻohana ʻia e hoʻokō i ka Open Source ma kahi o DBMS proprietary i nā kūlana ʻoihana paʻakikī.
Ua ho'āʻo anei ʻoe e hana pū me PostgreSQL i kahi ʻoihana hui?
Nā mea kākau:
ʻO Oleg Lavrenov, ʻenehana hoʻolālā o nā ʻōnaehana mālama ʻikepili, Jet Infosystems
ʻO Dmitry Erykin, ka ʻenekini hoʻolālā o nā ʻōnaehana kamepiula ma Jet Infosystems
Source: www.habr.com