{"id":95322,"date":"2020-09-28T07:42:39","date_gmt":"2020-09-28T05:42:39","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kratkij-obzor-operatorov-postgresql-dlya-kubernetes-nash-vybor-i-opyt"},"modified":"2020-09-28T07:42:39","modified_gmt":"2020-09-28T05:42:39","slug":"kratkij-obzor-operatorov-postgresql-dlya-kubernetes-nash-vybor-i-opyt","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kratkij-obzor-operatorov-postgresql-dlya-kubernetes-nash-vybor-i-opyt","title":{"rendered":"R\u00f6vid \u00e1ttekint\u00e9s a PostgreSQL oper\u00e1torokr\u00f3l Kuberneteshez, v\u00e1laszt\u00e1sunk \u00e9s tapasztalataink","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"R\u00f6vid \u00e1ttekint\u00e9s a PostgreSQL oper\u00e1torokr\u00f3l Kuberneteshez, v\u00e1laszt\u00e1sunk \u00e9s tapasztalataink\" src=\"\/wp-content\/uploads\/2020\/09\/23b2db49941fa5bd5000358c8ffb991b.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEgyre t\u00f6bbsz\u00f6r \u00e9rkeznek olyan k\u00e9r\u00e9sek az \u00fcgyfelekt\u0151l: \u201eOlyan szeretn\u00e9nk, mint az Amazon RDS, de olcs\u00f3bban\u201d; \u201eOlyan RDS-t szeretn\u00e9nk, ami mindenhol m\u0171k\u00f6dik, b\u00e1rmilyen infrastrukt\u00far\u00e1n.\u201d Egy ilyen managed megold\u00e1s Kubernetes-en val\u00f3 megval\u00f3s\u00edt\u00e1sa \u00e9rdek\u00e9ben megvizsg\u00e1ltuk a PostgreSQL legn\u00e9pszer\u0171bb oper\u00e1torainak jelenlegi \u00e1llapot\u00e1t (Stolon, a Crunchy Data \u00e9s Zalando oper\u00e1torai), \u00e9s eld\u00f6nt\u00f6tt\u00fck, hogy melyiket v\u00e1lasztjuk.<\/p>\n<p>Ez a cikk a minket \u00e9rint\u0151 tapasztalatainkat \u00f6sszegzi, elm\u00e9leti szempontb\u00f3l (megold\u00e1sok \u00e1ttekint\u00e9se) \u00e9s gyakorlati oldalr\u00f3l (mi lett kiv\u00e1lasztva \u00e9s mi val\u00f3sult meg bel\u0151le). De el\u0151sz\u00f6r hat\u00e1rozzuk meg, hogy milyen k\u00f6vetelm\u00e9nyek mer\u00fclnek fel a potenci\u00e1lis RDS helyettes\u00edt\u0151kkel szemben...<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h2>Mi is az RDS?<\/h2>\n<p>\nAmikor az emberek az RDS-r\u0151l besz\u00e9lnek, tapasztalataink szerint egy olyan managed adatb\u00e1zis-szolg\u00e1ltat\u00e1st \u00e9rtenek, amely:<\/p>\n<ol>\n<li>k\u00f6nnyen be\u00e1ll\u00edthat\u00f3;<\/li>\n<li>lehet\u0151v\u00e9 teszi a snapshotokkal val\u00f3 munk\u00e1t \u00e9s azokb\u00f3l val\u00f3 helyre\u00e1ll\u00edt\u00e1st (lehet\u0151leg a PITR t\u00e1mogat\u00e1s\u00e1val); <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Point-in-time_recovery\">lehet\u0151v\u00e9 teszi master-slave topol\u00f3gi\u00e1k kialak\u00edt\u00e1s\u00e1t;<\/a><\/noindex>);<\/li>\n<li>gazdag b\u0151v\u00edt\u00e9si list\u00e1val rendelkezik;<\/li>\n<li>audit\u00e1l\u00e1si \u00e9s felhaszn\u00e1l\u00f3- \/ hozz\u00e1f\u00e9r\u00e9skezel\u00e9si funkci\u00f3kat biztos\u00edt.<\/li>\n<li>\u00c1ltal\u00e1noss\u00e1gban elmondhat\u00f3, hogy a feladat megval\u00f3s\u00edt\u00e1s\u00e1nak megk\u00f6zel\u00edt\u00e9sei nagyon elt\u00e9r\u0151ek lehetnek, azonban a felt\u00e9teles Ansible \u00fatja sz\u00e1munkra nem vonz\u00f3. (Hasonl\u00f3 k\u00f6vetkeztet\u00e9sre jutottak a 2GIS munkat\u00e1rsai is az<\/li>\n<\/ol>\n<p>\n\u00e9ppen fell\u00e9pett pr\u00f3b\u00e1lkoz\u00e1suk sor\u00e1n, hogy l\u00e9trehozzanak egy \u201eeszk\u00f6zt a megb\u00edzhat\u00f3 PostgreSQL klaszter gyors telep\u00edt\u00e9s\u00e9hez.\u201d) <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/509926\/\">\u00c9ppen az oper\u00e1torok k\u00edn\u00e1lnak egy \u00e1ltal\u00e1nosan elfogadott megold\u00e1st az ilyen feladatokra a Kubernetes \u00f6kosziszt\u00e9m\u00e1ban. R\u00f3luk, k\u00fcl\u00f6n\u00f6sen a Kubernetes-en bel\u00fcl fut\u00f3 adatb\u00e1zisok vonatkoz\u00e1s\u00e1ban, m\u00e1r besz\u00e9lt a Flanta technikai igazgat\u00f3ja<\/a><\/noindex> az egyik el\u0151ad\u00e1s\u00e1ban.<\/p>\n<p>: A viszonylag egyszer\u0171 oper\u00e1torok gyors l\u00e9trehoz\u00e1s\u00e1hoz aj\u00e1nljuk figyelmetekbe a mi Open Source seg\u00e9dprogramunkat, <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/users\/distol\/\" class=\"user_link\">distol<\/a><\/noindex>, in <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/431500\/\">. Haszn\u00e1lat\u00e1val ez megoldhat\u00f3 Go ismeretek n\u00e9lk\u00fcl, a rendszergazd\u00e1k sz\u00e1m\u00e1ra ismertebb m\u00f3dszerekkel: Bash, Python stb.<\/a><\/noindex>.<\/p>\n<p><i><strong>NB<\/strong><\/i><i>A PostgreSQL-hez t\u00f6bb n\u00e9pszer\u0171 K8s oper\u00e1tor l\u00e9tezik: <\/i><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/flant\/shell-operator\"><i>Stolon;<\/i><\/a><\/noindex><i>Crunchy Data PostgreSQL Oper\u00e1tor;<\/i><\/p>\n<p>Zalando Postgres Oper\u00e1tor.<\/p>\n<ul>\n<li>N\u00e9zz\u00fck meg \u0151ket k\u00f6zelebbr\u0151l.<\/li>\n<li>Oper\u00e1tor kiv\u00e1laszt\u00e1sa<\/li>\n<li>A fent eml\u00edtett fontos lehet\u0151s\u00e9geken k\u00edv\u00fcl mi \u2014 mint infrastrukt\u00fara \u00fczemeltet\u00e9si m\u00e9rn\u00f6k\u00f6k a Kubernetes-ben \u2014 a k\u00f6vetkez\u0151kre is sz\u00e1m\u00edtottunk az oper\u00e1torokt\u00f3l:<\/li>\n<\/ul>\n<p>\nGit alap\u00fa telep\u00edt\u00e9s \u00e9s<\/p>\n<h2>Custom Resources<\/h2>\n<p>\npod anti-affinity t\u00e1mogat\u00e1s;<\/p>\n<ul>\n<li> node affinity vagy node selector be\u00e1ll\u00edt\u00e1sa; <noindex><a rel=\"nofollow\" href=\"https:\/\/kubernetes.io\/docs\/concepts\/extend-kubernetes\/operator\/#deploying-operators\">toler\u00e1ci\u00f3s be\u00e1ll\u00edt\u00e1sok;<\/a><\/noindex>;<\/li>\n<li> finomhangol\u00e1si lehet\u0151s\u00e9gek jelenl\u00e9te;<\/li>\n<li> \u00e9rthet\u0151 technol\u00f3gi\u00e1k \u00e9s m\u00e9g parancsok is.<\/li>\n<li> toler\u00e1ci\u00f3k telep\u00edt\u00e9se;<\/li>\n<li> finomhangol\u00e1si lehet\u0151s\u00e9gek megl\u00e9te;<\/li>\n<li> \u00e9rthet\u0151 technol\u00f3gi\u00e1k \u00e9s m\u00e9g parancsok is.<\/li>\n<\/ul>\n<p>\nAn\u00e9lk\u00fcl, hogy minden egyes pont r\u00e9szleteibe bocs\u00e1tkozn\u00e1nk (k\u00e9rdezzetek a megjegyz\u00e9sekben, ha k\u00e9rd\u00e9sek maradnak a cikk elolvas\u00e1sa ut\u00e1n), az \u00f6sszefoglal\u00e1sban megeml\u00edtem, hogy ezek a param\u00e9terek sz\u00fcks\u00e9gesek a klaszter csom\u00f3pontjainak specializ\u00e1ci\u00f3j\u00e1nak finomabb le\u00edr\u00e1s\u00e1hoz, hogy azokat konkr\u00e9t alkalmaz\u00e1sokhoz rendelhess\u00fck. \u00cdgy optim\u00e1lis egyens\u00falyt \u00e9rhet\u00fcnk el a teljes\u00edtm\u00e9ny \u00e9s a k\u00f6lts\u00e9gek k\u00f6z\u00f6tt.<\/p>\n<p>Most pedig n\u00e9zz\u00fck magukat a PostgreSQL oper\u00e1torokat.<\/p>\n<h3>1. Stolon<\/h3>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/sorintlab\/stolon\">Stolon<\/a><\/noindex> az olasz Sorint.lab c\u00e9gt\u0151l <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/431500\/\">a m\u00e1r eml\u00edtett besz\u00e1mol\u00f3ban<\/a><\/noindex> mint valamilyen referencia az adatb\u00e1ziskezel\u0151 oper\u00e1torai k\u00f6z\u00f6tt. Ez egy el\u00e9g r\u00e9gi projekt: az els\u0151 nyilv\u00e1nos kiad\u00e1s\u00e1ra m\u00e9g 2015 november\u00e9ben ker\u00fclt sor(!), a GitHub-repozit\u00f3rium pedig majdnem 3000 csillaggal \u00e9s 40+ k\u00f6zrem\u0171k\u00f6d\u0151vel b\u00fcszk\u00e9lkedhet.<\/p>\n<p>Val\u00f3ban, a Stolon nagyszer\u0171 p\u00e9lda a j\u00f3l megtervezett architekt\u00far\u00e1ra:<\/p>\n<p><img decoding=\"async\" alt=\"R\u00f6vid \u00e1ttekint\u00e9s a PostgreSQL oper\u00e1torokr\u00f3l Kuberneteshez, v\u00e1laszt\u00e1sunk \u00e9s tapasztalataink\" src=\"\/wp-content\/uploads\/2020\/09\/a34625c130bfd29c5645cf2417042de2.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nEnnek az oper\u00e1tornak a r\u00e9szletei a besz\u00e1mol\u00f3ban ismerhet\u0151k meg, vagy <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/sorintlab\/stolon\/blob\/master\/doc\/architecture.md\">projekt dokument\u00e1ci\u00f3j\u00e1ban<\/a><\/noindex>. \u00c1ltal\u00e1noss\u00e1gban elmondhat\u00f3, hogy mindent tud, amit le\u00edrtunk: failover, proxy az \u00fcgyfelek \u00e1tl\u00e1that\u00f3 hozz\u00e1f\u00e9r\u00e9s\u00e9hez, biztons\u00e1gi m\u00e1solatok\u2026 R\u00e1ad\u00e1sul a proxy egyetlen szolg\u00e1ltat\u00e1s v\u00e9gpontj\u00e1n kereszt\u00fcl biztos\u00edt hozz\u00e1f\u00e9r\u00e9st - ellent\u00e9tben a k\u00e9s\u0151bb bemutatott k\u00e9t m\u00e1sik megold\u00e1ssal (azoknak k\u00e9t szolg\u00e1ltat\u00e1suk van az adatb\u00e1zishoz val\u00f3 hozz\u00e1f\u00e9r\u00e9shez).<\/p>\n<p>Viszont a Stolon <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/sorintlab\/stolon\/issues\/463#issuecomment-379666733\">nem rendelkezik Custom Resources<\/a><\/noindex>, ez\u00e9rt nem lehet \u00fagy telep\u00edteni, hogy egyszer\u0171en \u00e9s gyorsan - \u201emint a forr\u00f3 zsemle\u201d - p\u00e9ld\u00e1nyokat hozzunk l\u00e9tre a Kubernetes-ben. Az ir\u00e1ny\u00edt\u00e1s a <code>stolonctl<\/code>, a telep\u00edt\u00e9s pedig Helm diagramon kereszt\u00fcl t\u00f6rt\u00e9nik, a felhaszn\u00e1l\u00f3i be\u00e1ll\u00edt\u00e1sokat pedig ConfigMap-ben defini\u00e1ljuk.<\/p>\n<p>Egyr\u00e9szt teh\u00e1t \u00fagy t\u0171nik, hogy az oper\u00e1tor nem igaz\u00e1n oper\u00e1tor (hiszen nem haszn\u00e1l CRD-t). M\u00e1sr\u00e9szt viszont ez egy rugalmas rendszer, amely lehet\u0151v\u00e9 teszi az er\u0151forr\u00e1sok testreszab\u00e1s\u00e1t a K8s-ben, ahogy neked k\u00e9nyelmes.<\/p>\n<p>\u00d6sszegz\u00e9sk\u00e9ppen, sz\u00e1munkra nem t\u0171nt optim\u00e1lisnak, hogy minden adatb\u00e1zishoz k\u00fcl\u00f6n diagramot hozzunk l\u00e9tre. Ez\u00e9rt alternat\u00edv\u00e1kat kezdt\u00fcnk keresni.<\/p>\n<h3>2. Crunchy Data PostgreSQL Oper\u00e1tor<\/h3>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/CrunchyData\/postgres-operator\">A Crunchy Data oper\u00e1tora<\/a><\/noindex>, egy fiatal amerikai startupp\u00f3l, \u00e9sszer\u0171 alternat\u00edv\u00e1nak t\u0171nt. Publikus t\u00f6rt\u00e9nete 2017 m\u00e1rcius\u00e1ban kezd\u0151d\u00f6tt az els\u0151 kiad\u00e1ssal, az\u00f3ta a GitHub-repozit\u00f3rium kiss\u00e9 kevesebb mint 1300 csillagot \u00e9s 50+ k\u00f6zrem\u0171k\u00f6d\u0151t kapott. A legut\u00f3bbi szeptemberi kiad\u00e1st a Kubernetes 1.15\u20141.18, OpenShift 3.11+ \u00e9s 4.4+, GKE \u00e9s VMware Enterprise PKS 1.3+ k\u00f6rnyezet\u00e9ben tesztelt\u00e9k.<\/p>\n<p>A Crunchy Data PostgreSQL Oper\u00e1tor architekt\u00far\u00e1ja is megfelel a megjel\u00f6lt k\u00f6vetelm\u00e9nyeknek:<\/p>\n<p><img decoding=\"async\" alt=\"R\u00f6vid \u00e1ttekint\u00e9s a PostgreSQL oper\u00e1torokr\u00f3l Kuberneteshez, v\u00e1laszt\u00e1sunk \u00e9s tapasztalataink\" src=\"\/wp-content\/uploads\/2020\/09\/343cd0494abae42fcf5b47c5bb4eb310.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAz ir\u00e1ny\u00edt\u00e1s a <code>pgo<\/code>, azonban a Crunchy Data gener\u00e1lja a Custom Resources-t a Kubernetes sz\u00e1m\u00e1ra. Ez\u00e9rt, mint potenci\u00e1lis felhaszn\u00e1l\u00f3kat, az \u00fczemeltet\u0151 \u00f6r\u00f6mmel \u00fcdv\u00f6z\u00f6lt minket:<\/p>\n<ul>\n<li> van kezel\u00e9s CRD-n kereszt\u00fcl;<\/li>\n<li> k\u00e9nyelmes felhaszn\u00e1l\u00f3kezel\u00e9s (szint\u00e9n CRD-n kereszt\u00fcl);<\/li>\n<li> integr\u00e1ci\u00f3 m\u00e1s komponensekkel <noindex><a rel=\"nofollow\" href=\"https:\/\/access.crunchydata.com\/documentation\/crunchy-postgres-containers\/4.3.1\/\">Crunchy Data Container Suite<\/a><\/noindex> \u2014 specializ\u00e1lt kont\u00e9nerk\u00e9pek gy\u0171jtem\u00e9nye PostgreSQL sz\u00e1m\u00e1ra, valamint a m\u0171k\u00f6d\u00e9s\u00e9hez sz\u00fcks\u00e9ges eszk\u00f6z\u00f6k (bele\u00e9rtve a pgBackRest, pgAudit, contrib-b\u00f3l sz\u00e1rmaz\u00f3 kiterjeszt\u00e9sek stb.).<\/li>\n<\/ul>\n<p>\nAzonban a Crunchy Data oper\u00e1tor\u00e1nak haszn\u00e1lat\u00e1ra tett k\u00eds\u00e9rletek n\u00e9h\u00e1ny probl\u00e9m\u00e1t felfedtek:<\/p>\n<ul>\n<li>Nem volt lehet\u0151s\u00e9g toleranci\u00e1kra \u2014 csak nodeSelector volt el\u00e9rhet\u0151.<\/li>\n<li>A l\u00e9trehozott pod-ok a Deployment r\u00e9sz\u00e9t k\u00e9pezt\u00e9k, annak ellen\u00e9re, hogy stateful alkalmaz\u00e1st telep\u00edtett\u00fcnk. A StatefulSet-tel ellent\u00e9tben a Deployment-ek nem tudnak lemezeket l\u00e9trehozni.<\/li>\n<\/ul>\n<p>\nEz az utols\u00f3 h\u00e1tr\u00e1ny vicces pillanatokhoz vezetett: a tesztk\u00f6rnyezetben siker\u00fclt 3 replik\u00e1t ind\u00edtani egy lemezzel <i>helyi t\u00e1rol\u00f3<\/i>, aminek k\u00f6vetkezt\u00e9ben az oper\u00e1tor azt jelezte, hogy 3 replika m\u0171k\u00f6dik (b\u00e1r ez nem volt igaz).<\/p>\n<p>E n\u00e9pszer\u0171 oper\u00e1tor egy m\u00e1sik k\u00fcl\u00f6nlegess\u00e9ge, hogy k\u00e9szen \u00e1ll a k\u00fcl\u00f6nb\u00f6z\u0151 seg\u00e9drendszerekkel val\u00f3 integr\u00e1ci\u00f3ra. P\u00e9ld\u00e1ul k\u00f6nnyen telep\u00edthet\u0151 a pgAdmin \u00e9s a pgBounce, valamint <noindex><a rel=\"nofollow\" href=\"https:\/\/access.crunchydata.com\/documentation\/postgres-operator\/4.4.0\/installation\/other\/ansible\/installing-metrics\/\">dokument\u00e1ci\u00f3<\/a><\/noindex> el\u0151re be\u00e1ll\u00edtott Grafana \u00e9s Prometheus is szerepel a tervek k\u00f6z\u00f6tt. A k\u00f6zelm\u00faltban <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/CrunchyData\/postgres-operator\/releases\/tag\/v4.5.0-beta.1\">4.5.0-beta1-es kiad\u00e1sban<\/a><\/noindex> kiemelik a projekt, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/CrunchyData\/pgmonitor\">pgMonitor<\/a><\/noindex>, amely miatt az oper\u00e1tor hasznos vizualiz\u00e1ci\u00f3t k\u00edn\u00e1l a PgSQL metrik\u00e1khoz \"dobozb\u00f3l\".<\/p>\n<p>Mindazon\u00e1ltal a gener\u00e1lt Kubernetes-nyersanyagok furcsa v\u00e1laszt\u00e1sa arra k\u00e9nyszer\u00edtett minket, hogy m\u00e1s megold\u00e1sokat keress\u00fcnk.<\/p>\n<h3>3. Zalando Postgres Operator<\/h3>\n<p>\nA Zalando term\u00e9kei el\u0151tt\u00fcnk ismertek: van tapasztalatunk a Zalenium haszn\u00e1lat\u00e1val, \u00e9s term\u00e9szetesen kipr\u00f3b\u00e1ltuk <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/patroni\">Patroni<\/a><\/noindex> \u2014 n\u00e9pszer\u0171 HA megold\u00e1suk PostgreSQL-hez. A v\u00e1llalat megk\u00f6zel\u00edt\u00e9s\u00e9r\u0151l a <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\">Postgres Operator<\/a><\/noindex> az egyik szerz\u0151je, Alexey Klyukin, besz\u00e9lt a <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/479438\/\">Postgres-kedd 5. epiz\u00f3dj\u00e1ban,<\/a><\/noindex>\u00e9s tetszett nek\u00fcnk.<\/p>\n<p>Ez a legfiatalabb megold\u00e1s a cikkben t\u00e1rgyaltak k\u00f6z\u00f6tt: az els\u0151 kiad\u00e1s 2018 augusztus\u00e1ban t\u00f6rt\u00e9nt. Azonban, m\u00e9g a viszonylag kev\u00e9s hivatalos kiad\u00e1s ellen\u00e9re a projekt nagy utat j\u00e1rt be, m\u00e1r t\u00falsz\u00e1rnyalta a Crunchy Data megold\u00e1s\u00e1t a 1300+ csillaggal a GitHub-on \u00e9s a maxim\u00e1lis sz\u00e1m\u00fa k\u00f6zrem\u0171k\u00f6d\u0151vel (70+).<\/p>\n<p>A \"motorh\u00e1ztet\u0151 alatt\" a tesztelt \u00e9s igazolt megold\u00e1sokkal dolgozik ez az oper\u00e1tor:<\/p>\n<ul>\n<li> Patroni \u00e9s <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/spilo\">Spilo<\/a><\/noindex> a kezel\u00e9shez,<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wal-e\/wal-e\">WAL-E<\/a><\/noindex> \u2014 a biztons\u00e1gi ment\u00e9sekhez,<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/pgbouncer\/pgbouncer\">PgBouncer<\/a><\/noindex> \u2014 a kapcsolatkezel\u00e9shez.<\/li>\n<\/ul>\n<p>\n\u00cdgy van bemutatva a Zalando oper\u00e1tor\u00e1nak architekt\u00far\u00e1ja:<\/p>\n<p><img decoding=\"async\" alt=\"R\u00f6vid \u00e1ttekint\u00e9s a PostgreSQL oper\u00e1torokr\u00f3l Kuberneteshez, v\u00e1laszt\u00e1sunk \u00e9s tapasztalataink\" src=\"\/wp-content\/uploads\/2020\/09\/c66f10c1a818592ecaacd2db4ce5ace5.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAz oper\u00e1tor teljes m\u00e9rt\u00e9kben a Custom Resources-en kereszt\u00fcl kezelhet\u0151, automatikusan l\u00e9trehozza a StatefulSet-et a kont\u00e9nerekb\u0151l, amelyeket azt\u00e1n testreszabhatunk k\u00fcl\u00f6nf\u00e9le sidecar-ok hozz\u00e1ad\u00e1s\u00e1val a podokhoz. Ez jelent\u0151s el\u0151ny a Crunchy Data oper\u00e1tor\u00e1hoz k\u00e9pest.<\/p>\n<p>Mivel a Zalando megold\u00e1s\u00e1t v\u00e1lasztottuk a h\u00e1rom m\u00e9rlegelt opci\u00f3nk k\u00f6z\u00fcl, az al\u00e1bbiakban bemutatjuk annak lehet\u0151s\u00e9geit, az alkalmaz\u00e1si gyakorlat mellett.<\/p>\n<h2>Gyakorlat a Zalando Postgres Oper\u00e1torral<\/h2>\n<p>\nAz oper\u00e1tor telep\u00edt\u00e9se nagyon egyszer\u0171: csak le kell t\u00f6lteni a legfrissebb verzi\u00f3t a GitHub-r\u00f3l, \u00e9s alkalmazni kell a YAML f\u00e1jlokat a k\u00f6nyvt\u00e1rb\u00f3l <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/tree\/master\/manifests\">manifests<\/a><\/noindex>. Alternat\u00edvak\u00e9nt haszn\u00e1lhatja is <noindex><a rel=\"nofollow\" href=\"https:\/\/operatorhub.io\/operator\/postgres-operator\">OperatorHub<\/a><\/noindex>.<\/p>\n<p>A telep\u00edt\u00e9s ut\u00e1n foglalkoznia kell a <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/blob\/master\/docs\/reference\/operator_parameters.md#aws-or-gcp-interaction\">napl\u00f3- \u00e9s biztons\u00e1gi ment\u00e9si t\u00e1rol\u00f3k be\u00e1ll\u00edt\u00e1s\u00e1val<\/a><\/noindex>. Ezeket a ConfigMap-en kereszt\u00fcl \u00e1ll\u00edtj\u00e1k be <code>postgres-operator<\/code> azon a n\u00e9vter\u00fcleten, ahov\u00e1 telep\u00edtette az oper\u00e1tort. Miut\u00e1n a t\u00e1rol\u00f3k be vannak \u00e1ll\u00edtva, elind\u00edthatja az els\u0151 PostgreSQL klasztert.<\/p>\n<p>P\u00e9ld\u00e1ul a standard telep\u00edt\u00e9s\u00fcnk a k\u00f6vetkez\u0151k\u00e9ppen n\u00e9z ki:<\/p>\n<pre><code class=\"plaintext\">apiVersion: acid.zalan.do\/v1\nkind: postgresql\nmetadata:\n name: staging-db\nspec:\n numberOfInstances: 3\n patroni:\n   synchronous_mode: true\n postgresql:\n   version: \"12\"\n resources:\n   limits:\n     cpu: 100m\n     memory: 1Gi\n   requests:\n     cpu: 100m\n     memory: 1Gi\n sidecars:\n - env:\n   - name: DATA_SOURCE_URI\n     value: 127.0.0.1:5432\n   - name: DATA_SOURCE_PASS\n     valueFrom:\n       secretKeyRef:\n         key: password\n         name: postgres.staging-db.credentials\n   - name: DATA_SOURCE_USER\n     value: postgres\n   image: wrouesnel\/postgres_exporter\n   name: prometheus-exporter\n   resources:\n     limits:\n       cpu: 500m\n       memory: 100Mi\n     requests:\n       cpu: 100m\n       memory: 100Mi\n teamId: staging\n volume:\n   size: 2Gi\n<\/code><\/pre>\n<p>\nEz a manifeszt egy 3 p\u00e9ld\u00e1nyb\u00f3l \u00e1ll\u00f3 klasztert telep\u00edt, sidecar form\u00e1j\u00e1ban <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wrouesnel\/postgres_exporter\">postgres_exporter<\/a><\/noindex>, amelyb\u0151l az alkalmaz\u00e1s metrik\u00e1it szerezz\u00fck be. Mint l\u00e1that\u00f3, minden nagyon egyszer\u0171, \u00e9s ha szeretn\u00e9nk, gyakorlatilag korl\u00e1tlan sz\u00e1m\u00fa klasztert hozhatunk l\u00e9tre.<\/p>\n<p>\u00c9rdemes figyelni a <b>webes adminisztr\u00e1ci\u00f3s panelra<\/b> \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/blob\/master\/docs\/operator-ui.md\">postgres-operator-ui<\/a><\/noindex>. Ez az oper\u00e1torral egy\u00fctt sz\u00e1ll\u00edtva \u00e9rkezik, \u00e9s lehet\u0151v\u00e9 teszi klaszterek l\u00e9trehoz\u00e1s\u00e1t \u00e9s t\u00f6rl\u00e9s\u00e9t, valamint a biztons\u00e1gi ment\u00e9sek kezel\u00e9s\u00e9t, amelyeket az oper\u00e1tor k\u00e9sz\u00edt.<\/p>\n<p><img decoding=\"async\" alt=\"R\u00f6vid \u00e1ttekint\u00e9s a PostgreSQL oper\u00e1torokr\u00f3l Kuberneteshez, v\u00e1laszt\u00e1sunk \u00e9s tapasztalataink\" src=\"\/wp-content\/uploads\/2020\/09\/2e9ae033a9817d101c843ce061aafdb5.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>PostgreSQL klaszterek list\u00e1ja<\/i><\/p>\n<p><img decoding=\"async\" alt=\"R\u00f6vid \u00e1ttekint\u00e9s a PostgreSQL oper\u00e1torokr\u00f3l Kuberneteshez, v\u00e1laszt\u00e1sunk \u00e9s tapasztalataink\" src=\"\/wp-content\/uploads\/2020\/09\/74a65f7f301da14a0cb7bea6d5ef84ec.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Biztons\u00e1gi ment\u00e9sek kezel\u00e9se<\/i><\/p>\n<p>Egy m\u00e1sik \u00e9rdekes funkci\u00f3 a <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/blob\/master\/docs\/user.md#teams-api-roles\">Teams API<\/a><\/noindex>. Ez a mechanizmus automatikusan l\u00e9trehozza <b>a PostgreSQL szerepk\u00f6r\u00f6ket<\/b>, a kapott felhaszn\u00e1l\u00f3n\u00e9v-lista alapj\u00e1n. Ezut\u00e1n az API lehet\u0151v\u00e9 teszi, hogy visszaadja azoknak a felhaszn\u00e1l\u00f3knak a list\u00e1j\u00e1t, akik sz\u00e1m\u00e1ra automatikusan l\u00e9trehozz\u00e1k a szerepk\u00f6r\u00f6ket.<\/p>\n<h3>Probl\u00e9m\u00e1k \u00e9s megold\u00e1suk<\/h3>\n<p>\nAzonban az oper\u00e1tor haszn\u00e1lata hamarosan n\u00e9h\u00e1ny jelent\u0151s h\u00e1tr\u00e1nyra der\u00edtett f\u00e9nyt:<\/p>\n<ol>\n<li> a nodeSelector t\u00e1mogat\u00e1s\u00e1nak hi\u00e1nya;<\/li>\n<li> a biztons\u00e1gi ment\u00e9sek letilt\u00e1s\u00e1nak lehetetlens\u00e9ge;<\/li>\n<li> az adatb\u00e1zisok l\u00e9trehoz\u00e1s\u00e1nak funkci\u00f3 haszn\u00e1latakor nem jelennek meg az alap\u00e9rtelmezett jogosults\u00e1gok;<\/li>\n<li> id\u0151nk\u00e9nt hi\u00e1nyzik a dokument\u00e1ci\u00f3, vagy elavult \u00e1llapotban van.<\/li>\n<\/ol>\n<p>\nSzerencs\u00e9re sok k\u00f6z\u00fcl\u00fck megoldhat\u00f3. Kezdj\u00fck a v\u00e9g\u00e9vel \u2014 probl\u00e9m\u00e1k a <strong>Microsoft dokument\u00e1ci\u00f3j\u00e1val \u00f6sszhangban konfigur\u00e1ljuk. Az egyetlen megjegyz\u00e9s az, hogy az Ubuntu disztrib\u00faci\u00f3t m\u00e1r let\u00f6lt\u00f6tt\u00fck, \u00e9s a k\u00f6vetkez\u0151 l\u00e9p\u00e9sben fogjuk telep\u00edteni. A f\u0151 konfigur\u00e1l\u00e1s az \"Windows alrendszer Linuxhoz\" \u00e9s a \"Virtu\u00e1lis g\u00e9p platform\" kieg\u00e9sz\u00edt\u0151 komponenseinek aktiv\u00e1l\u00e1s\u00e1ra, valamint a be\u00e1ll\u00edt\u00e1sok alkalmaz\u00e1s\u00e1hoz sz\u00fcks\u00e9ges \u00fajraind\u00edt\u00e1sra korl\u00e1toz\u00f3dik:<\/strong>. <\/p>\n<p>Val\u00f3sz\u00edn\u0171leg azzal fog tal\u00e1lkozni, hogy nem mindig vil\u00e1gos, hogyan kell megadni a biztons\u00e1gi ment\u00e9st \u00e9s hogyan kell csatlakoztatni a biztons\u00e1gi ment\u00e9si t\u00e1rol\u00f3t az Operator UI-hoz. Err\u0151l a dokument\u00e1ci\u00f3 csak fel\u00fcletesen besz\u00e9l, a val\u00f3di le\u00edr\u00e1s pedig <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/pull\/481\">PR<\/a><\/noindex>:<\/p>\n<ol>\n<li>secretet kell k\u00e9sz\u00edteni;<\/li>\n<li>\u00e1tadni az oper\u00e1tornak a param\u00e9terben <code>pod_environment_secret_name<\/code> az oper\u00e1tor be\u00e1ll\u00edt\u00e1sainak CRD-j\u00e9ben vagy ConfigMap-ban (att\u00f3l f\u00fcgg\u0151en, hogyan d\u00f6nt\u00f6tt az oper\u00e1tor telep\u00edt\u00e9s\u00e9r\u0151l).<\/li>\n<\/ol>\n<p>\nAzonban, mint kider\u00fclt, jelenleg ez lehetetlen. \u00c9ppen ez\u00e9rt \u00f6sszegy\u0171jt\u00f6tt\u00fck <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/flant\/postgres-operator\">a saj\u00e1t verzi\u00f3nkat az oper\u00e1torr\u00f3l<\/a><\/noindex> n\u00e9h\u00e1ny tov\u00e1bbi harmadik f\u00e9l \u00e1ltal k\u00e9sz\u00edtett megold\u00e1ssal. R\u00e9szletek\u00e9rt l\u00e1sd al\u00e1bb.<\/p>\n<p>Ha \u00e1tadjuk az oper\u00e1tornak a biztons\u00e1gi ment\u00e9s param\u00e9tereit, m\u00e9gpedig \u2014 <code>wal_s3_bucket<\/code> \u00e9s az AWS S3 hozz\u00e1f\u00e9r\u00e9si kulcsokat, akkor <strong>mindent biztons\u00e1gi menteni fog<\/strong>: nem csak a production adatb\u00e1zisokat, hanem a staginget is. Ez nek\u00fcnk nem volt elfogadhat\u00f3.<\/p>\n<p>A Spilo param\u00e9tereinek le\u00edr\u00e1s\u00e1ban, ami az alap Docker-bor\u00edt\u00f3 PgSQL-hez az oper\u00e1tor haszn\u00e1lata sor\u00e1n, kider\u00fclt: a <code>WAL_S3_BUCKET<\/code> param\u00e9tert \u00fcresen lehet \u00e1tadni, ezzel letiltva a biztons\u00e1gi ment\u00e9seket. S\u0151t, a nagy \u00f6r\u00f6m\u00fcnkre tal\u00e1ltunk egy <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/pull\/908\">k\u00e9sz PR-t,<\/a><\/noindex>amit azonnal elfogadtunk a forkunkba. Most m\u00e1r elegend\u0151 egyszer\u0171en hozz\u00e1adni <code>enableWALArchiving: false<\/code> az PostgreSQL klaszter er\u0151forr\u00e1shoz.<\/p>\n<p>Igen, lett volna lehet\u0151s\u00e9g m\u00e1sk\u00e9pp csin\u00e1lni, k\u00e9t oper\u00e1tort ind\u00edtva: egyet stagingre (ment\u00e9s n\u00e9lk\u00fcl), \u00e9s egyet productionra. De \u00edgy elegend\u0151 volt egy.<\/p>\n<p>Rendben, megtanultuk \u00e1tadni a hozz\u00e1f\u00e9r\u00e9st az S3-hoz az adatb\u00e1zisok sz\u00e1m\u00e1ra, \u00e9s a biztons\u00e1gi ment\u00e9sek elkezdtek a t\u00e1rol\u00f3ba ker\u00fclni. Hogyan lehet m\u0171k\u00f6d\u00e9sbe hozni a biztons\u00e1gi ment\u00e9si oldalak az Operator UI-ban?<\/p>\n<p><img decoding=\"async\" alt=\"R\u00f6vid \u00e1ttekint\u00e9s a PostgreSQL oper\u00e1torokr\u00f3l Kuberneteshez, v\u00e1laszt\u00e1sunk \u00e9s tapasztalataink\" src=\"\/wp-content\/uploads\/2020\/09\/46169b53707b0bbb686798c655022f40.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAz Operator UI-ban 3 v\u00e1ltoz\u00f3t kell hozz\u00e1adni:<\/p>\n<ul>\n<li> <code>SPILO_S3_BACKUP_BUCKET<\/code><\/li>\n<li> <code>AWS_ACCESS_KEY_ID<\/code><\/li>\n<li> <code>AWS_SECRET_ACCESS_KEY<\/code><\/li>\n<\/ul>\n<p>\nEzut\u00e1n a biztons\u00e1gi ment\u00e9sek kezel\u00e9se el\u00e9rhet\u0151v\u00e9 v\u00e1lik, ami az eset\u00fcnkben megk\u00f6nny\u00edti a staginggel val\u00f3 munk\u00e1t, lehet\u0151v\u00e9 t\u00e9ve, hogy productionb\u00f3l k\u00e9szleteket juttathassunk oda tov\u00e1bbi szkriptek n\u00e9lk\u00fcl.<\/p>\n<p>Mint m\u00e9g egy pozit\u00edvum, eml\u00edt\u00e9st nyert a Teams API-val val\u00f3 munka \u00e9s az oper\u00e1tor seg\u00edts\u00e9g\u00e9vel t\u00f6rt\u00e9n\u0151 adatb\u00e1zisok \u00e9s szerepk\u00f6r\u00f6k l\u00e9trehoz\u00e1s\u00e1nak sz\u00e9les lehet\u0151s\u00e9ge. Azonban az el\u0151\u00e1ll\u00edtott <strong>szerepk\u00f6r\u00f6k nem rendelkeztek alap\u00e9rtelmezett jogokkal.<\/strong>Ennek megfelel\u0151en az olvas\u00e1si joggal rendelkez\u0151 felhaszn\u00e1l\u00f3 nem tudta olvasni az \u00faj t\u00e1bl\u00e1kat.<\/p>\n<p>Mi\u00e9rt van ez \u00edgy? Annak ellen\u00e9re, hogy a k\u00f3dban <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/blob\/master\/pkg\/cluster\/database.go#L42\">tartalmaz<\/a><\/noindex> sz\u00fcks\u00e9gesek, <code>GRANT<\/code>ezek messze nem mindig alkalmaz\u00e1sra ker\u00fclnek. K\u00e9t m\u00f3dszer l\u00e9tezik: <code>syncPreparedDatabases<\/code> \u00e9s <code>syncDatabases<\/code>. A <code>syncPreparedDatabases<\/code> \u2014 annak ellen\u00e9re, hogy a szekci\u00f3ban <code>preparedDatabases<\/code> <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/blob\/master\/manifests\/complete-postgres-manifest.yaml#L26\">tartalmaz<\/a><\/noindex> van egy felt\u00e9tel <code>defaultRoles<\/code> \u00e9s <code>defaultUsers<\/code> a szerepk\u00f6r\u00f6k l\u00e9trehoz\u00e1s\u00e1hoz \u2014 az alap\u00e9rtelmezett jogok nem ker\u00fclnek alkalmaz\u00e1sra. Jelenleg egy jav\u00edt\u00f3csomag el\u0151k\u00e9sz\u00edt\u00e9s\u00e9n dolgozunk, amely automatikusan alkalmazza ezeket a jogokat.<\/p>\n<p>\u00c9s az utols\u00f3 dolog a sz\u00e1munkra relev\u00e1ns fejleszt\u00e9sekben \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/pull\/975\">k\u00f3dra ford\u00edt.<\/a><\/noindex>, amely Node Affinity-t ad a l\u00e9trehozott StatefulSet-hez. Az \u00fcgyfeleink gyakran pr\u00f3b\u00e1lj\u00e1k cs\u00f6kkenteni a k\u00f6lts\u00e9geket spot p\u00e9ld\u00e1nyok haszn\u00e1lat\u00e1val, \u00e9s ezeken nyilv\u00e1nval\u00f3an nem \u00e9rdemes adatb\u00e1zis szolg\u00e1ltat\u00e1sokat elhelyezni. Ezt a k\u00e9rd\u00e9st toleranci\u00e1k r\u00e9v\u00e9n is meg lehetett volna oldani, de a Node Affinity megl\u00e9te nagyobb biztons\u00e1got ad.<\/p>\n<h3>Mi lett az eredm\u00e9ny?<\/h3>\n<p>\nA fent eml\u00edtett probl\u00e9m\u00e1k megold\u00e1s\u00e1nak eredm\u00e9nyek\u00e9nt forkoltuk a Postgres Operator-t a Zalando-t\u00f3l <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/flant\/postgres-operator\">saj\u00e1t t\u00e1rol\u00f3nkba<\/a><\/noindex>, ahol hasznos jav\u00edt\u00e1sokkal \u00e9p\u00edtj\u00fck. A m\u00e9g nagyobb k\u00e9nyelem \u00e9rdek\u00e9ben pedig \u00f6sszegy\u0171jt\u00f6tt\u00fck a <noindex><a rel=\"nofollow\" href=\"https:\/\/hub.docker.com\/r\/flant\/postgres-operator\">Docker-k\u00e9pet<\/a><\/noindex>.<\/p>\n<p>A forkolt PR-ek list\u00e1ja:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/pull\/1066\">a biztons\u00e1gos, k\u00f6nny\u0171 k\u00e9p \u00f6ssze\u00e1ll\u00edt\u00e1sa az operatorhoz<\/a><\/noindex>;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/pull\/908\">a biztons\u00e1gi m\u00e1solatok letilt\u00e1sa<\/a><\/noindex>;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/pull\/1121\">az er\u0151forr\u00e1sok verzi\u00f3inak friss\u00edt\u00e9se a leg\u00fajabb k8s verzi\u00f3khoz<\/a><\/noindex>;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/zalando\/postgres-operator\/pull\/975\">Node Affinity bevezet\u00e9se<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>\nJ\u00f3 lenne, ha a k\u00f6z\u00f6ss\u00e9g t\u00e1mogatn\u00e1 ezeket a PR-eket, hogy a k\u00f6vetkez\u0151 operator verzi\u00f3val (1.6) beker\u00fclhessenek az upstreambe.<\/p>\n<h2>B\u00f3nusz! Siker\u00fclt t\u00f6rt\u00e9net a production migr\u00e1ci\u00f3j\u00e1r\u00f3l<\/h2>\n<p>\nHa Patroni-t haszn\u00e1l, az operatorra \u00e9l\u0151 production-ra lehet migr\u00e1lni minim\u00e1lis le\u00e1ll\u00e1ssal.<\/p>\n<p>A Spilo lehet\u0151v\u00e9 teszi a standby klaszterek l\u00e9trehoz\u00e1s\u00e1t S3 t\u00e1rol\u00f3kn\u00e1l a <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wal-e\/wal-e\">Wal-E<\/a><\/noindex>, amikor a PgSQL bin\u00e1ris napl\u00f3 el\u0151sz\u00f6r S3-ba ker\u00fcl ment\u00e9sre, majd egy replik\u00e1val let\u00f6lthet\u0151. De mi a teend\u0151, ha <i>nem<\/i> a Wal-E m\u00e1r az \u00f6reg infrastrukt\u00far\u00e1ban van? Ennek a probl\u00e9m\u00e1nak a megold\u00e1sa m\u00e1r <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/true_engineering\/blog\/437318\/\">javasolt\u00e1k<\/a><\/noindex> a hvg.hu-n.<\/p>\n<p>Seg\u00edts\u00e9gk\u00e9nt j\u00f6n a PostgreSQL logikai replik\u00e1ci\u00f3. \u00c1m nem akarunk belemer\u00fclni a publik\u00e1ci\u00f3k \u00e9s el\u0151fizet\u00e9sek l\u00e9trehoz\u00e1s\u00e1nak r\u00e9szleteibe, mert\u2026 a terv\u00fcnk kudarcot vallott.<\/p>\n<p>A helyzet az, hogy az adatb\u00e1zisban volt n\u00e9h\u00e1ny leterhelt t\u00e1bla t\u00f6bb milli\u00f3 sorral, amelyek r\u00e1ad\u00e1sul folyamatosan t\u00f6lt\u0151dtek fel \u00e9s t\u00f6rl\u0151dtek. <noindex><a rel=\"nofollow\" href=\"https:\/\/postgrespro.ru\/docs\/postgrespro\/12\/sql-createsubscription\">Egyszer\u0171 el\u0151fizet\u00e9s<\/a><\/noindex> a <code>copy_data<\/code>, amikor egy \u00faj replik\u00e1nak a mesterrel val\u00f3 tartalom m\u00e1sol\u00e1sa egyszer\u0171en nem tartott l\u00e9p\u00e9st a mesterrel. A tartalom m\u00e1sol\u00e1sa egy h\u00e9tig m\u0171k\u00f6d\u00f6tt, de sosem \u00e9rte utol a mestert. V\u00e9g\u00fcl a probl\u00e9ma megold\u00e1s\u00e1ban seg\u00edtett <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/avitotech\/recovery-use-cases-for-logical-replication-in-postgresql-10-a1e6bab03072\">cikk<\/a><\/noindex> kolleg\u00e1ink az Avito-t\u00f3l: az adatokat \u00e1t lehet vinni a <code>pg_dump<\/code>. Le\u00edrom a mi (kicsit m\u00f3dos\u00edtott) v\u00e1ltozatunkat ennek az algoritmusnak.<\/p>\n<p>Az \u00f6tlet abban rejlik, hogy l\u00e9trehozzunk egy kikapcsolt el\u0151fizet\u00e9st, amely egy adott replik\u00e1ci\u00f3s slotra van k\u00f6tve, majd kijav\u00edtsuk a tranzakci\u00f3s sz\u00e1mot. Rendelkez\u00e9sre \u00e1lltak replik\u00e1k a production m\u0171k\u00f6d\u00e9s\u00e9hez. Ez fontos, mert a replik\u00e1k seg\u00edtenek konzisztens dumpot l\u00e9trehozni, \u00e9s folytatni a v\u00e1ltoztat\u00e1sok nyer\u00e9s\u00e9t a mestert\u0151l.<\/p>\n<p>A k\u00f6vetkez\u0151 parancsokban, amelyek a migr\u00e1ci\u00f3s folyamatot \u00edrj\u00e1k le, az al\u00e1bbi jel\u00f6l\u00e9seket fogjuk haszn\u00e1lni a hosztokhoz:<\/p>\n<ol>\n<li><i>master<\/i> \u2014 a forr\u00e1s szerver;<\/li>\n<li><i>replica1<\/i> \u2014 a r\u00e9gi production-on l\u00e9v\u0151 stream replika;<\/li>\n<li><i>replica2<\/i> \u2014 az \u00faj logikai replika.<\/li>\n<\/ol>\n<p><\/p>\n<h3>A migr\u00e1ci\u00f3s terv<\/h3>\n<p>\n1. K\u00e9sz\u00edts\u00fck el a publik\u00e1ci\u00f3t az \u00f6sszes t\u00e1bl\u00e1hoz a master-en a sch\u00e9m\u00e1ban <code>public<\/code> adatb\u00e1zis <code>dbname<\/code>:<\/p>\n<pre><code class=\"bash\">psql -h master -d dbname -c \"CREATE PUBLICATION dbname FOR ALL TABLES;\"\n<\/code><\/pre>\n<p>\n2. Hozzunk l\u00e9tre replik\u00e1ci\u00f3s slotot a master-en:<\/p>\n<pre><code class=\"bash\">psql -h master -c \"select pg_create_logical_replication_slot('repl', 'pgoutput');\"\n<\/code><\/pre>\n<p>\n3. \u00c1ll\u00edtsuk le a replik\u00e1ci\u00f3t a r\u00e9gi replik\u00e1n:<\/p>\n<pre><code class=\"bash\">psql -h replica1 -c \"select pg_wal_replay_pause();\"\n<\/code><\/pre>\n<p>\n4. Szerezz\u00fck meg a tranzakci\u00f3s sz\u00e1mot a mestert\u0151l:<\/p>\n<pre><code class=\"bash\">psql -h master -c \"select replay_lsn from pg_stat_replication where client_addr = 'replica1';\"\n<\/code><\/pre>\n<p>\n5. K\u00e9sz\u00edts\u00fcnk dumpot a r\u00e9gi replik\u00e1r\u00f3l. T\u00f6bb sz\u00e1lon fogjuk csin\u00e1lni, ami felgyors\u00edtja a folyamatot:<\/p>\n<pre><code class=\"bash\">pg_dump -h replica1 --no-publications --no-subscriptions -O -C -F d -j 8 -f dump\/ dbname\n<\/code><\/pre>\n<p>\n6. T\u00f6lts\u00fck fel a dumpot az \u00faj szerverre:<\/p>\n<pre><code class=\"bash\">pg_restore -h replica2 -F d -j 8 -d dbname dump\/\n<\/code><\/pre>\n<p>\n7. A dump felt\u00f6lt\u00e9se ut\u00e1n elind\u00edthatjuk a replik\u00e1ci\u00f3t a stream replik\u00e1n:<\/p>\n<pre><code class=\"bash\">psql -h replica1 -c \"select pg_wal_replay_resume();\"\n<\/code><\/pre>\n<p>\n8. Hozzuk l\u00e9tre az el\u0151fizet\u00e9st az \u00faj logikai replik\u00e1n:<\/p>\n<pre><code class=\"bash\">psql -h replica2 -c \"create subscription oldprod connection 'host=replica1 port=5432 user=postgres password=secret dbname=dbname' publication dbname with (enabled = false, create_slot = false, copy_data = false, slot_name='repl');\"\n<\/code><\/pre>\n<p>\n9. Szerezz\u00fck meg <code>oid<\/code> az el\u0151fizet\u00e9shez:<\/p>\n<pre><code class=\"bash\">psql -h replica2 -d dbname -c \"select oid, * from pg_subscription;\"\n<\/code><\/pre>\n<p>\n10. Tegy\u00fck fel, hogy megkaptuk <code>oid=1000<\/code>. Alkalmazzuk a tranzakci\u00f3s sz\u00e1mot az el\u0151fizet\u00e9sre:<\/p>\n<pre><code class=\"bash\">psql -h replica2 -d dbname -c \"select pg_replication_origin_advance('pg_1000', 'AA\/AAAAAAAA');\"\n<\/code><\/pre>\n<p>\n11. Ind\u00edtsuk el a replik\u00e1ci\u00f3t:<\/p>\n<pre><code class=\"bash\">psql -h replica2 -d dbname -c \"alter subscription oldprod enable;\"\n<\/code><\/pre>\n<p>\n12. Ellen\u0151rizz\u00fck az el\u0151fizet\u00e9s st\u00e1tusz\u00e1t, a replik\u00e1ci\u00f3nak m\u0171k\u00f6dnie kell:<\/p>\n<pre><code class=\"bash\">psql -h replica2 -d dbname -c \"select * from pg_replication_origin_status;\"\npsql -h master -d dbname -c \"select slot_name, restart_lsn, confirmed_flush_lsn from pg_replication_slots;\"\n<\/code><\/pre>\n<p>\n13. Miut\u00e1n a replik\u00e1ci\u00f3 elindult \u00e9s az adatb\u00e1zisok szinkronba ker\u00fcltek, v\u00e9grehajthat\u00f3 a v\u00e1lt\u00e1s.<\/p>\n<p>14. A replik\u00e1ci\u00f3 le\u00e1ll\u00edt\u00e1sa ut\u00e1n ki kell jav\u00edtani a szekvenci\u00e1kat. Ezt j\u00f3l le\u00edrj\u00e1k <noindex><a rel=\"nofollow\" href=\"https:\/\/wiki.postgresql.org\/wiki\/Fixing_Sequences\">a wiki.postgresql.org cikk\u00e9ben.<\/a><\/noindex>.<\/p>\n<p>E tervnek k\u00f6sz\u00f6nhet\u0151en a v\u00e1lt\u00e1s minim\u00e1lis k\u00e9sleltet\u00e9ssel zajlott le.<\/p>\n<h2>Z\u00e1r\u00e1s<\/h2>\n<p>\nA Kubernetes oper\u00e1torok lehet\u0151v\u00e9 teszik k\u00fcl\u00f6nb\u00f6z\u0151 m\u0171veletek egyszer\u0171s\u00edt\u00e9s\u00e9t, a K8s-er\u0151forr\u00e1sok l\u00e9trehoz\u00e1s\u00e1ra reduk\u00e1lva \u0151ket. Azonban, miut\u00e1n leny\u0171g\u00f6z\u0151 automatiz\u00e1l\u00e1st \u00e9rt\u00fcnk el vel\u00fck, \u00e9rdemes \u00e9szben tartani, hogy ez v\u00e1ratlan \u00e1rnyalatokat is hozhat, ez\u00e9rt b\u00f6lcsen v\u00e1lasszuk meg az oper\u00e1torokat.<\/p>\n<p>A PostgreSQL sz\u00e1m\u00e1ra legn\u00e9pszer\u0171bb h\u00e1rom Kubernetes-oper\u00e1tor vizsg\u00e1lat\u00e1t k\u00f6vet\u0151en a Zalando projektj\u00e9re esett a v\u00e1laszt\u00e1sunk. B\u00e1r bizonyos neh\u00e9zs\u00e9geket \u00e1t kellett hidalnunk, az eredm\u00e9ny val\u00f3ban \u00f6r\u00f6mteli volt, ez\u00e9rt tervezz\u00fck, hogy ezt a tapasztalatot n\u00e9h\u00e1ny m\u00e1s PgSQL telep\u00edt\u00e9sre is kiterjesztj\u00fck. Ha van tapasztalata hasonl\u00f3 megold\u00e1sokkal kapcsolatban \u2014 \u00f6r\u00f6mmel v\u00e1rjuk a r\u00e9szleteket a megjegyz\u00e9sek k\u00f6z\u00f6tt!<\/p>\n<h2>P.S.<\/h2>\n<p>\nOlvasson tov\u00e1bbi inform\u00e1ci\u00f3kat a blogunkban:<\/p>\n<ul>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/431500\/\">Adatb\u00e1zisok \u00e9s Kubernetes (\u00e1ttekint\u00e9s \u00e9s vide\u00f3el\u0151ad\u00e1s)<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/479438\/\">Postgres-kedd #5: PostgreSQL \u00e9s Kubernetes. CI\/CD. Tesztel\u00e9s automatiz\u00e1l\u00e1sa<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/480722\/\">Egy t\u00f6rt\u00e9net a Redis oper\u00e1torr\u00f3l K8s-ben \u00e9s egy mini \u00e1ttekint\u00e9s a DB elemz\u00e9s\u00e9re szolg\u00e1l\u00f3 eszk\u00f6z\u00f6kr\u0151l.<\/a><\/noindex>\u00bb.<\/li>\n<\/ul>\n<p>Forr\u00e1s: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/520616\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412\u0441\u0451 \u0447\u0430\u0449\u0435 \u043e\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0442\u0430\u043a\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b: \u00ab\u0425\u043e\u0442\u0438\u043c \u043a\u0430\u043a Amazon RDS, \u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043b\u0435\u00bb; \u00ab\u0425\u043e\u0442\u0438\u043c \u043a\u0430\u043a RDS, \u043d\u043e \u0432\u0435\u0437\u0434\u0435, \u0432 \u043b\u044e\u0431\u043e\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435\u00bb. \u0427\u0442\u043e\u0431\u044b \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435 managed-\u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430 Kubernetes, \u043c\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f PostgreSQL (Stolon, \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u043e\u0442 Crunchy Data \u0438 Zalando) \u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0441\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440. \u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u2014 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u043c\u0438 \u043e\u043f\u044b\u0442 \u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":95323,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-95322","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0412\u0441\u0451 \u0447\u0430\u0449\u0435 \u043e\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kratkij-obzor-operatorov-postgresql-dlya-kubernetes-nash-vybor-i-opyt\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"hu_HU\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0440\u0430\u0442\u043a\u0438\u0439 \u043e\u0431\u0437\u043e\u0440 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 PostgreSQL \u0434\u043b\u044f Kubernetes, \u043d\u0430\u0448 \u0432\u044b\u0431\u043e\u0440 \u0438 \u043e\u043f\u044b\u0442 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0412\u0441\u0451 \u0447\u0430\u0449\u0435 \u043e\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kratkij-obzor-operatorov-postgresql-dlya-kubernetes-nash-vybor-i-opyt\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-09-28T05:42:39+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-09-28T05:42:39+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47R\u00f6vid \u00e1ttekint\u00e9s a PostgreSQL oper\u00e1torokr\u00f3l Kuberneteshez, v\u00e1laszt\u00e1sunk \u00e9s tapasztalataink | ProHoster","description":"Egyre gyakrabban \u00e9rkeznek megkeres\u00e9sek az \u00fcgyfelekt\u0151l.","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kratkij-obzor-operatorov-postgresql-dlya-kubernetes-nash-vybor-i-opyt","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0440\u0430\u0442\u043a\u0438\u0439 \u043e\u0431\u0437\u043e\u0440 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 PostgreSQL \u0434\u043b\u044f Kubernetes, \u043d\u0430\u0448 \u0432\u044b\u0431\u043e\u0440 \u0438 \u043e\u043f\u044b\u0442 | ProHoster","og:description":"\u0412\u0441\u0451 \u0447\u0430\u0449\u0435 \u043e\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432.","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kratkij-obzor-operatorov-postgresql-dlya-kubernetes-nash-vybor-i-opyt","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-09-28T05:42:39+00:00","article:modified_time":"2020-09-28T05:42:39+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"95322","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 11:08:22","updated":"2022-09-30 21:12:08","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/95322","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=95322"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/95322\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media\/95323"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=95322"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=95322"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=95322"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}