{"id":92570,"date":"2020-08-28T19:42:21","date_gmt":"2020-08-28T17:42:21","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/modelirovanie-otkazoustojchivyh-klasterov-na-baze-postgresql-i-pacemaker"},"modified":"2020-08-28T19:42:21","modified_gmt":"2020-08-28T17:42:21","slug":"modelirovanie-otkazoustojchivyh-klasterov-na-baze-postgresql-i-pacemaker","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/modelirovanie-otkazoustojchivyh-klasterov-na-baze-postgresql-i-pacemaker","title":{"rendered":"Megb\u00edzhat\u00f3 klaszterek modellez\u00e9se PostgreSQL \u00e9s Pacemaker alapokon","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Bevezet\u00e9s<\/h1>\n

<\/p>\n

R\u00e9g\u00f3ta \u00e1ll el\u0151ttem a feladat, hogy kialak\u00edtsak egy megb\u00edzhat\u00f3 klasztert PostgreSQL<\/a><\/noindex>, amely t\u00f6bb adatk\u00f6zpontban m\u0171k\u00f6dik, egy v\u00e1roson bel\u00fcl optikai k\u00e1bellel \u00f6sszekapcsolva, \u00e9s k\u00e9pes elviselni egy adatk\u00f6zpont le\u00e1ll\u00e1s\u00e1t (p\u00e9ld\u00e1ul \u00e1ramkimarad\u00e1st). A megb\u00edzhat\u00f3s\u00e1g\u00e9rt felel\u0151s szoftverk\u00e9nt a k\u00f6vetkez\u0151t v\u00e1lasztottam: Pacemaker<\/a><\/noindex>, mivel ez a RedHat hivatalos megold\u00e1sa a megb\u00edzhat\u00f3 klaszterek l\u00e9trehoz\u00e1s\u00e1ra. Az el\u0151nye, hogy a RedHat t\u00e1mogatja, \u00e9s hogy ez egy univerz\u00e1lis (modul\u00e1ris) megold\u00e1s. Ezzel nemcsak a PostgreSQL, hanem m\u00e1s szolg\u00e1ltat\u00e1sok megb\u00edzhat\u00f3s\u00e1ga is biztos\u00edthat\u00f3, ak\u00e1r a standard modulok haszn\u00e1lat\u00e1val, ak\u00e1r specifikus ig\u00e9nyekhez val\u00f3 l\u00e9trehoz\u00e1s\u00e1val.<\/p>\n

<\/p>\n

A megold\u00e1shoz jogos k\u00e9rd\u00e9s mer\u00fclt fel: mennyire megb\u00edzhat\u00f3 lesz a megb\u00edzhat\u00f3 klaszter? Ennek vizsg\u00e1lat\u00e1ra olyan tesztk\u00f6rnyezetet alak\u00edtottam ki, amely k\u00fcl\u00f6nb\u00f6z\u0151 hib\u00e1kat modellez a klaszter csom\u00f3pontjain, v\u00e1rja a munkak\u00e9pess\u00e9g helyre\u00e1ll\u00e1s\u00e1t, rehabilit\u00e1lja a le\u00e1llt csom\u00f3pontot, \u00e9s folytatja a tesztel\u00e9st ciklusban. Eredetileg ezt a projektet hapgsql-nek nevezt\u00e9k, de id\u0151vel unalmass\u00e1 v\u00e1lt sz\u00e1momra a n\u00e9v, amelyben csak egy mag\u00e1nhangz\u00f3 van. \u00cdgy a megb\u00edzhat\u00f3 adatb\u00e1zisokat (\u00e9s az azokhoz tartoz\u00f3 float IP-t) a k\u00f6vetkez\u0151k\u00e9ppen kezdtem h\u00edvni: krogan<\/strong> (a sz\u00e1m\u00edt\u00f3g\u00e9pes j\u00e1t\u00e9k karaktere, akinek minden fontos szerv\u00e9t megism\u00e9tlik), m\u00edg a csom\u00f3pontokat, klasztereket \u00e9s mag\u00e1t a projektet - tuchanka<\/strong> (a bolyg\u00f3, ahol a kroganok \u00e9lnek).<\/p>\n

<\/p>\n

Most a vezet\u0151s\u00e9g enged\u00e9lyezte a projekt megnyit\u00e1s\u00e1t az open source k\u00f6z\u00f6ss\u00e9g sz\u00e1m\u00e1ra MIT licenc alatt<\/a><\/noindex>. A README hamarosan angolra lesz ford\u00edtva (mivel v\u00e1rhat\u00f3an a f\u0151 fogyaszt\u00f3k a Pacemaker \u00e9s PostgreSQL fejleszt\u0151i lesznek), a r\u00e9gi orosz README verzi\u00f3t pedig \u00fagy d\u00f6nt\u00f6ttem, hogy r\u00e9szben cikk form\u00e1j\u00e1ban form\u00e1zom.<\/p>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/a><\/noindex><\/p>\n

A klasztereket virtu\u00e1lis g\u00e9peken VirtualBox<\/a><\/noindex>futtatj\u00e1k. \u00d6sszesen 12 virtu\u00e1lis g\u00e9p ker\u00fcl telep\u00edt\u00e9sre (\u00f6sszesen 36GiB), amelyek 4 megb\u00edzhat\u00f3 klasztert alkotnak (k\u00fcl\u00f6nb\u00f6z\u0151 vari\u00e1ci\u00f3k). Az els\u0151 kett\u0151 klaszter k\u00e9t PostgreSQL szerverb\u0151l \u00e1ll, amelyek k\u00fcl\u00f6nb\u00f6z\u0151 adatk\u00f6zpontokban tal\u00e1lhat\u00f3k, \u00e9s egy k\u00f6z\u00f6s szerverb\u0151l, witness<\/em> c quorum device<\/strong> (olcs\u00f3 virtu\u00e1lis g\u00e9pen a harmadik adatk\u00f6zpontban), amely feloldja a bizonytalans\u00e1got, 50%\/50%<\/strong>, egy szavazatot adva valamelyik f\u00e9lnek. A harmadik klaszter h\u00e1rom adatk\u00f6zpontban m\u0171k\u00f6dik: egy mester, k\u00e9t munk\u00e1s, an\u00e9lk\u00fcl, quorum device<\/strong>. A negyedik klaszter n\u00e9gy PostgreSQL szerverb\u0151l \u00e1ll, kett\u0151 adatk\u00f6zpontonk\u00e9nt: egy mester \u00e9s a t\u00f6bbi replik\u00e1ns, \u00e9s szint\u00e9n haszn\u00e1lja witness<\/em> c quorum device<\/strong>. A negyedik elb\u00edr k\u00e9t szerver vagy egy adatk\u00f6zpont meghib\u00e1sod\u00e1s\u00e1t. Ez a megold\u00e1s, ha sz\u00fcks\u00e9ges, nagyobb sz\u00e1m\u00fa replik\u00e1ra is sk\u00e1l\u00e1zhat\u00f3.<\/p>\n

<\/p>\n

Pontos id\u0151szolg\u00e1ltat\u00e1s ntpd<\/a><\/noindex> szint\u00e9n \u00e1tszervez\u00e9sre ker\u00fclt a hibamentess\u00e9g \u00e9rdek\u00e9ben, de ott a leg\u00fajabb m\u00f3dszer tal\u00e1lhat\u00f3 ntpd<\/code> (orphan mode<\/em>). Az \u00e1ltal\u00e1nos szerver witness<\/em> k\u00f6zponti NTP-szerverk\u00e9nt m\u0171k\u00f6dik, megosztva az id\u0151t minden klaszter k\u00f6z\u00f6tt, ez\u00e1ltal szinkroniz\u00e1lva az \u00f6sszes szervert egym\u00e1ssal. Ha witness<\/em> meghib\u00e1sodik vagy elszigetel\u0151dik, akkor az id\u0151t egy klaszterbeli szerver kezdheti megosztani (a klaszteren bel\u00fcl). Az auxiliary cache HTTP proxy<\/strong> szint\u00e9n fent van witness<\/em>, ezzel a t\u00f6bbi virtu\u00e1lis g\u00e9p hozz\u00e1f\u00e9r az Yum-repozit\u00f3riumokhoz. A val\u00f3s\u00e1gban az olyan szolg\u00e1ltat\u00e1sok, mint a pontos id\u0151 \u00e9s a proxy, val\u00f3sz\u00edn\u0171leg dedik\u00e1lt szervereken lesznek elhelyezve, m\u00edg a bemutat\u00f3 sor\u00e1n witness<\/em> csak a virtu\u00e1lis g\u00e9pek sz\u00e1m\u00e1nak \u00e9s a helynek a megtakar\u00edt\u00e1sa \u00e9rdek\u00e9ben ker\u00fcltek elhelyez\u00e9sre.<\/p>\n

<\/p>\n

Verzi\u00f3k<\/h1>\n

<\/p>\n

v0. M\u0171k\u00f6dik a CentOS 7 \u00e9s PostgreSQL 11 alatt a VirtualBox 6.1-en.<\/p>\n

<\/p>\n

Klaszterek strukt\u00far\u00e1ja<\/h1>\n

<\/p>\n

Minden klaszter a t\u00f6bb adatk\u00f6zpontban val\u00f3 elhelyez\u00e9sre k\u00e9sz\u00fclt, egy lapos h\u00e1l\u00f3zatba egyes\u00edtve, \u00e9s k\u00e9pesnek kell lennie elb\u00edrni egy adatk\u00f6zpont le\u00e1ll\u00e1s\u00e1t vagy h\u00e1l\u00f3zati elszigetelts\u00e9g\u00e9t. Ez\u00e9rt lehetetlen<\/strong> megv\u00e9deni a split-brain<\/strong> standard Pacemaker technol\u00f3gi\u00e1val, amit \u00fagy h\u00edvnak STONITH<\/em> (Shoot The Other Node In The Head) vagy fencing<\/em>. L\u00e9nyege, hogy ha a klaszter csom\u00f3pontjai azt gyan\u00edtj\u00e1k, hogy valamelyik csom\u00f3ponttal probl\u00e9ma van, nem v\u00e1laszol vagy helytelen\u00fcl m\u0171k\u00f6dik, akkor k\u00e9nyszer\u00edtetten lekapcsolj\u00e1k k\u00fcls\u0151 eszk\u00f6z\u00f6k, p\u00e9ld\u00e1ul IPMI vagy UPS vez\u00e9rl\u0151 k\u00e1rtya \u00e1ltal. De ez csak akkor m\u0171k\u00f6dik, ha a szerver egypontos le\u00e1ll\u00edt\u00e1sakor az IPMI vagy UPS tov\u00e1bbra is m\u0171k\u00f6dik. Itt viszont a sokkal katasztrof\u00e1lisabb le\u00e1ll\u00e1s v\u00e9delme van tervezve, amikor az eg\u00e9sz adatk\u00f6zpontot le\u00e1ll\u00edtj\u00e1k (p\u00e9ld\u00e1ul \u00e1ramtalan\u00edtj\u00e1k). Ilyen le\u00e1ll\u00e1skor az \u00f6sszes stonith<\/em>-eszk\u00f6z (IPMI, UPS stb.) szint\u00e9n nem fog m\u0171k\u00f6dni.<\/p>\n

<\/p>\n

Ehelyett a rendszer alapja a kv\u00f3rum eszm\u00e9je. Minden csom\u00f3pontnak van szavazati joga, \u00e9s csak azok m\u0171k\u00f6dhetnek, amelyek t\u00f6bb mint a csom\u00f3pontok fel\u00e9t l\u00e1tj\u00e1k. Ezt a mennyis\u00e9get \u201ef\u00e9l+1\u201d-nek h\u00edvj\u00e1k kv\u00f3rum<\/strong>. Ha a kv\u00f3rum nem \u00e1ll \u00f6ssze, akkor a csom\u00f3pont \u00fagy d\u00f6nt, hogy h\u00e1l\u00f3zati elszigetelts\u00e9gben van, \u00e9s ki kell kapcsolnia az er\u0151forr\u00e1sait, azaz ez egyfajta v\u00e9delme a split-brain<\/strong>. Ha a viselked\u00e9s\u00e9rt felel\u0151s szoftver nem m\u0171k\u00f6dik, akkor m\u0171k\u00f6d\u00e9sbe kell l\u00e9pnie egy watchdog-nak, p\u00e9ld\u00e1ul az IPMI alapjain.<\/p>\n

<\/p>\n

Ha a csom\u00f3pontok sz\u00e1ma p\u00e1ros (a klaszter k\u00e9t adatk\u00f6zpontban), akkor \u00fagynevezett bizonytalans\u00e1g l\u00e9phet fel 50%\/50%<\/strong> (\u00f6tven-\u00f6tven<\/em>), amikor a h\u00e1l\u00f3zati elszigetelts\u00e9g pontosan f\u00e9lbe osztja a klasztert. Ez\u00e9rt p\u00e1ros sz\u00e1m\u00fa csom\u00f3pont eset\u00e9n hozz\u00e1ad\u00f3dik quorum device<\/strong> \u2014 egy ig\u00e9nytelen d\u00e9mon, amely a legolcs\u00f3bb virtu\u00e1lis g\u00e9pen futtathat\u00f3 a harmadik adatk\u00f6zpontban. \u0150 egy szavazatot ad egy olyan szegmenseknek (amit l\u00e1t), \u00e9s \u00edgy feloldja az 50%\/50% bizonytalans\u00e1got. A szerver, amelyen a kv\u00f3rum eszk\u00f6z futni fog, witness<\/em> \u2014 (terminol\u00f3gia a repmgr-b\u0151l, tetszett ez a kifejez\u00e9s).<\/p>\n

<\/p>\n

Az er\u0151forr\u00e1sok helyet v\u00e1ltoztathatnak, p\u00e9ld\u00e1ul hib\u00e1s szerverekr\u0151l j\u00f3 \u00e1llapot\u00faakra, vagy a rendszergazd\u00e1k utas\u00edt\u00e1sa alapj\u00e1n. Hogy az \u00fcgyfelek tudj\u00e1k, hol tal\u00e1lhat\u00f3ak a sz\u00fcks\u00e9ges er\u0151forr\u00e1sok (hova csatlakozzanak?), \u00fasz\u00f3 IP<\/em> (float IP<\/strong>). Ezek az IP-c\u00edmek, amelyeket a Pacemaker \u00e1thelyezhet a csom\u00f3pontok k\u00f6z\u00f6tt (minden egy s\u00edk h\u00e1l\u00f3zatban tal\u00e1lhat\u00f3). Mindegyik jelk\u00e9pezi az er\u0151forr\u00e1st (szolg\u00e1ltat\u00e1st), \u00e9s ott fog tart\u00f3zkodni, ahova csatlakozni kell, hogy hozz\u00e1f\u00e9rj\u00fcnk ehhez a szolg\u00e1ltat\u00e1shoz (eset\u00fcnkben a DB-hez).<\/p>\n

<\/p>\n

Tuchanka1 (\u00f6sszenyomott s\u00e9ma)<\/h2>\n

<\/p>\n

Strukt\u00fara<\/h3>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/p>\n

Az \u00f6tlet az volt, hogy sok apr\u00f3 adatb\u00e1zisunk van alacsony terhel\u00e9ssel, amelyekhez nem j\u00f6vedelmez\u0151 fenntartani egy dedik\u00e1lt slave-szervert hot standby m\u00f3dban read only tranzakci\u00f3khoz (nincs sz\u00fcks\u00e9g ilyen er\u0151forr\u00e1s-pazarl\u00e1sra).<\/p>\n

<\/p>\n

Minden adatk\u00f6zpontban egy szerver tal\u00e1lhat\u00f3. Minden szerveren k\u00e9t PostgreSQL p\u00e9ld\u00e1ny m\u0171k\u00f6dik (a PostgreSQL terminol\u00f3gi\u00e1j\u00e1ban ezeket klasztereknek nevezz\u00fck, de a f\u00e9lre\u00e9rt\u00e9sek elker\u00fcl\u00e9se \u00e9rdek\u00e9ben \u0151ket p\u00e9ld\u00e1nyoknak fogom h\u00edvni, hasonl\u00f3an m\u00e1s adatb\u00e1zisokhoz, m\u00edg a klaszterek alatt csak a Pacemaker klasztereket \u00e9rtem). Az egyik p\u00e9ld\u00e1ny mester m\u00f3dban m\u0171k\u00f6dik, \u00e9s csak \u0151 ny\u00fajt szolg\u00e1ltat\u00e1sokat (csak r\u00e1 ir\u00e1nyul a float IP). A m\u00e1sik p\u00e9ld\u00e1ny h\u00e1tt\u00e9rk\u00e9nt m\u0171k\u00f6dik a m\u00e1sodik adatk\u00f6zpont sz\u00e1m\u00e1ra, \u00e9s csak akkor fog szolg\u00e1ltat\u00e1sokat ny\u00fajtani, ha a mestere meghib\u00e1sodik. Mivel a legt\u00f6bb id\u0151ben csak az egyik p\u00e9ld\u00e1ny (a mester) fog szolg\u00e1ltat\u00e1sokat ny\u00fajtani (lek\u00e9rdez\u00e9seket v\u00e9gezni), a szerver \u00f6sszes er\u0151forr\u00e1sa a mester optimaliz\u00e1l\u00e1s\u00e1ra ker\u00fcl, \u00fagy, hogy a m\u00e1sodik p\u00e9ld\u00e1nynak is elegend\u0151 er\u0151forr\u00e1s \u00e1lljon rendelkez\u00e9sre (ak\u00e1r a f\u00e1jlrendszer gyors\u00edt\u00f3t\u00e1r\u00e1n kereszt\u00fcl nem optim\u00e1lis m\u0171k\u00f6d\u00e9shez) arra az esetre, ha az egyik adatk\u00f6zpont le\u00e1llna. A h\u00e1tt\u00e9r nem ny\u00fajt szolg\u00e1ltat\u00e1sokat (nem v\u00e9gez read only lek\u00e9rdez\u00e9seket) a klaszter norm\u00e1l m\u0171k\u00f6d\u00e9se sor\u00e1n, hogy elker\u00fclje a forr\u00e1sok\u00e9rt folytatott harcot a mesteren ugyanazon a g\u00e9pen.<\/p>\n

<\/p>\n

K\u00e9t csom\u00f3pont eset\u00e9n a hibat\u0171r\u00e9s csak aszinkron replik\u00e1ci\u00f3val lehets\u00e9ges, mivel szinkron replik\u00e1ci\u00f3 eset\u00e9n a h\u00e1tt\u00e9r meghib\u00e1sod\u00e1sa a mester le\u00e1ll\u00e1s\u00e1hoz vezetne.<\/p>\n

<\/p>\n

Witness meghib\u00e1sod\u00e1s<\/h3>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/p>\n

Witness meghib\u00e1sod\u00e1s (quorum device<\/em>) csak a Tuchanka1 klaszteren fogom megvizsg\u00e1lni, a t\u00f6bbi eset\u00e9ben ugyanaz a helyzet. A witness meghib\u00e1sod\u00e1sa eset\u00e9n a klaszter strukt\u00far\u00e1ja nem v\u00e1ltozik, minden ugyan\u00fagy fog m\u0171k\u00f6dni, ahogy kor\u00e1bban. De a kv\u00f3rum 2 az 3-hoz v\u00e1lik, \u00e9s ez\u00e9rt b\u00e1rmely k\u00f6vetkez\u0151 meghib\u00e1sod\u00e1s fat\u00e1lis lesz a klaszter sz\u00e1m\u00e1ra. \u00cdgy is s\u00fcrg\u0151sen meg kell jav\u00edtani.<\/p>\n

<\/p>\n

Tuchanka1 meghib\u00e1sod\u00e1s<\/h3>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/p>\n

Az egyik adatk\u00f6zpont meghib\u00e1sod\u00e1sa a Tuchanka1 eset\u00e9ben. Ebben az esetben witness<\/em> a m\u00e1sodik csom\u00f3pontnak adja a szavazat\u00e1t a m\u00e1sodik adatk\u00f6zpontban. Ott a kor\u00e1bbi h\u00e1tt\u00e9r mesterr\u00e9 v\u00e1lik, \u00edgy egy szerveren m\u0171k\u00f6dik mindk\u00e9t mester, \u00e9s r\u00e1juk mutat mindkett\u0151 float IP.<\/p>\n

<\/p>\n

Tuchanka2 (klasszikus)<\/h2>\n

<\/p>\n

Strukt\u00fara<\/h3>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/p>\n

Klasszikus s\u00e9ma k\u00e9t csom\u00f3ponttal. Az egyiken a mester, a m\u00e1sikon a h\u00e1tt\u00e9r m\u0171k\u00f6dik. Mindkett\u0151 k\u00e9pes lek\u00e9rdez\u00e9sek v\u00e9grehajt\u00e1s\u00e1ra (a h\u00e1tt\u00e9r csak read only), \u00edgy mindkett\u0151n float IP tal\u00e1lhat\u00f3: krogan2 \u2014 a mesterhez, krogan2s1 \u2014 a h\u00e1tt\u00e9rhez. Hibat\u0171r\u00e9s lesz a mester \u00e9s a h\u00e1tt\u00e9r eset\u00e9ben is.<\/p>\n

<\/p>\n

K\u00e9t csom\u00f3pont eset\u00e9n a hibat\u0171r\u00e9s csak aszinkron replik\u00e1ci\u00f3val lehets\u00e9ges, mert szinkron replik\u00e1ci\u00f3 eset\u00e9n a h\u00e1tt\u00e9r meghib\u00e1sod\u00e1sa a mester le\u00e1ll\u00e1s\u00e1hoz vezetne.<\/p>\n

<\/p>\n

Tuchanka2 meghib\u00e1sod\u00e1s<\/h3>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/p>\n

Egy adatk\u00f6zpont meghib\u00e1sod\u00e1sa eset\u00e9n witness<\/em> a m\u00e1sodikra szavaz. Az egyetlen m\u0171k\u00f6d\u0151 adatk\u00f6zpontban fel\u00e1ll\u00edtanak egy mestert, amelyre mindk\u00e9t float IP, a mester \u00e9s a rabszolga is mutat. Term\u00e9szetesen az instanci\u00e1nak \u00fagy kell be\u00e1ll\u00edtva lennie, hogy elegend\u0151 er\u0151forr\u00e1sa (kapacit\u00e1s a kapcsolatokhoz stb.) legyen az \u00f6sszes kapcsolat \u00e9s k\u00e9r\u00e9s egyidej\u0171 fogad\u00e1s\u00e1hoz a mesteri \u00e9s rabszolga float IP-t\u0151l. Vagyis norm\u00e1l m\u0171k\u00f6d\u00e9s mellett elegend\u0151 tartal\u00e9kkal kell rendelkeznie a korl\u00e1tok k\u00f6z\u00f6tt.<\/p>\n

<\/p>\n

Tuchanka4 (sok rabszolga)<\/h2>\n

<\/p>\n

Strukt\u00fara<\/h3>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/p>\n

Ez m\u00e1r egy m\u00e1sik sz\u00e9ls\u0151s\u00e9g. Vannak olyan adatb\u00e1zisok, amelyekre nagyon sok read-only k\u00e9r\u00e9s \u00e9rkezik (tipikus eset egy nagy terhel\u00e9s\u0171 weboldal). A Tuchanka4 olyan helyzet, amikor h\u00e1rom vagy t\u00f6bb rabszolga is lehet az ilyen k\u00e9rd\u00e9sek kezel\u00e9s\u00e9re, de m\u00e9gsem t\u00fal sok. Nagy sz\u00e1m\u00fa rabszolga eset\u00e9n hierarchikus replik\u00e1ci\u00f3s rendszert kell kital\u00e1lni. A minim\u00e1lis esetben (a k\u00e9pen) mindk\u00e9t adatk\u00f6zpontban k\u00e9t szerver tal\u00e1lhat\u00f3, mindegyiken egy PostgreSQL instanci\u00e1val.<\/p>\n

<\/p>\n

Ezeknek a rendszereknek egy m\u00e1sik jellemz\u0151je, hogy itt m\u00e1r be lehet \u00e1ll\u00edtani egy szinkron replik\u00e1ci\u00f3t. Ez \u00fagy van konfigur\u00e1lva, hogy lehet\u0151s\u00e9g szerint egy m\u00e1sik adatk\u00f6zpontba replik\u00e1ljon, nem pedig arra a replik\u00e1ra, amelyik ugyanabban az adatk\u00f6zpontban tal\u00e1lhat\u00f3, mint a mester. A mester \u00e9s minden rabszolga egy float IP-t haszn\u00e1l. Ide\u00e1lis esetben a rabszolg\u00e1k k\u00f6z\u00f6tt valamilyen k\u00e9r\u00e9skiegyenl\u00edt\u00e9st kell v\u00e9grehajtani. sql proxy<\/em>, p\u00e9ld\u00e1ul a kliens oldal\u00e1n. K\u00fcl\u00f6nb\u00f6z\u0151 t\u00edpus\u00fa klienseknek elt\u00e9r\u0151 t\u00edpus\u00fa sql proxy<\/em>, \u00e9s csak a kliensfejleszt\u0151k tudj\u00e1k, kinek milyen sz\u00fcks\u00e9ges. Ez a funkci\u00f3 megval\u00f3s\u00edthat\u00f3 k\u00fcls\u0151 d\u00e9monk\u00e9nt, kliens k\u00f6nyvt\u00e1rk\u00e9nt (kapcsolati medence) stb. Mindez t\u00fall\u00e9p a DB kluster megb\u00edzhat\u00f3s\u00e1g\u00e1nak t\u00e9m\u00e1j\u00e1n (megb\u00edzhat\u00f3s\u00e1g SQL proxy<\/em> k\u00fcl\u00f6n is megval\u00f3s\u00edthat\u00f3, egy\u00fctt a kliens megb\u00edzhat\u00f3s\u00e1g\u00e1val).<\/p>\n

<\/p>\n

A Tuchanka4 le\u00e1ll\u00e1sa<\/h3>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/p>\n

Ha az egyik adatk\u00f6zpont megsz\u0171nik m\u0171k\u00f6dni (azaz k\u00e9t szerver), a witness a m\u00e1sodikra szavaz. Ennek eredm\u00e9nyek\u00e9nt a m\u00e1sodik adatk\u00f6zpontban k\u00e9t szerver m\u0171k\u00f6dik: az egyik a mestert futtatja, amely a mesteri float IP-re mutat (read-write k\u00e9rd\u00e9sek fogad\u00e1sa \u00e9rdek\u00e9ben); a m\u00e1sodik szerver pedig egy rabszolg\u00e1t futtat szinkron replik\u00e1ci\u00f3val, \u00e9s egy rabszolga float IP-re mutat (read only k\u00e9rd\u00e9sekhez).<\/p>\n

<\/p>\n

Az els\u0151, amit meg kell jegyezni: a rabszolga float IP-k nem mindegyike lesz m\u0171k\u00f6d\u0151k\u00e9pes, csak egy. A helyes m\u0171k\u00f6d\u00e9s \u00e9rdek\u00e9ben fontos, hogy sql proxy<\/em> Minden k\u00e9r\u00e9st az egyetlen megmaradt float IP-re ir\u00e1ny\u00edtott; ha pedig sql proxy<\/em> nem, akkor a kapcsol\u00f3d\u00e1shoz az \u00f6sszes float IP-t vessz\u00fck fel vessz\u0151vel az URL-ben. Ebben az esetben a libpq<\/em> kapcsolat az els\u0151 m\u0171k\u00f6d\u0151 IP-hez t\u00f6rt\u00e9nik, ahogyan azt az automatikus tesztel\u0151 rendszer megoldotta. Lehets\u00e9ges, hogy m\u00e1s k\u00f6nyvt\u00e1rak, p\u00e9ld\u00e1ul a JDBC eset\u00e9ben ez nem fog m\u0171k\u00f6dni, \u00e9s sz\u00fcks\u00e9ges sql proxy<\/em>. Ez az\u00e9rt van, mert a slave float IP-k eset\u00e9ben tilalom van \u00e9rv\u00e9nyben, hogy egy id\u0151ben egy szerveren legyenek aktiv\u00e1lva, hogy egyenletesen eloszoljanak a slave szerverek k\u00f6z\u00f6tt, ha t\u00f6bb is m\u0171k\u00f6dik.<\/p>\n

<\/p>\n

M\u00e1sodik: m\u00e9g ha a data center meghib\u00e1sodik, a szinkron replik\u00e1ci\u00f3 megmarad. \u00c9s m\u00e9g ha m\u00e1sodlagos hib\u00e1sod\u00e1s is t\u00f6rt\u00e9nik, vagyis ha a megmaradt data centerben az egyik a k\u00e9t szerver k\u00f6z\u00fcl le\u00e1ll, a klaszter b\u00e1r nem fog szolg\u00e1ltatni, de m\u00e9gis meg\u0151rzi az \u00f6sszes meger\u0151s\u00edtett tranzakci\u00f3r\u00f3l az inform\u00e1ci\u00f3t, amelyekr\u0151l visszaigazol\u00e1st adott (nem lesz adatveszt\u00e9s m\u00e1sodlagos meghib\u00e1sod\u00e1s eset\u00e9n).<\/p>\n

<\/p>\n

Tuchanka3 (3 data center)<\/h2>\n

<\/p>\n

Strukt\u00fara<\/h3>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/p>\n

Ez a klaszter olyan helyzetekre k\u00e9sz\u00fclt, amikor h\u00e1rom teljesen m\u0171k\u00f6d\u0151k\u00e9pes data center l\u00e9tezik, mindegyikben egy teljesen m\u0171k\u00f6d\u0151 DB szerverrel. Ebben az esetben quorum device<\/em> nincs sz\u00fcks\u00e9g. Az egyik data centerben m\u0171k\u00f6dik a mester, a m\u00e1sik kett\u0151ben \u2013 slave. A replik\u00e1ci\u00f3 szinkron, ANY t\u00edpus\u00fa (slave1, slave2), teh\u00e1t a kliens akkor kap meger\u0151s\u00edt\u00e9st a commitr\u00f3l, amikor b\u00e1rmelyik slave els\u0151k\u00e9nt v\u00e1laszol, hogy elfogadta a commitot. Az er\u0151forr\u00e1sokat egy float IP jel\u00f6li a mesterhez \u00e9s kett\u0151 a slave-hez. A Tuchanka4-hez k\u00e9pest mindh\u00e1rom float IP hibamentes. sql proxy<\/em> A read-only SQL lek\u00e9rdez\u00e9sek kiegyens\u00falyoz\u00e1s\u00e1hoz haszn\u00e1lhat\u00f3<\/p>\n

<\/p>\n

(k\u00fcl\u00f6n hibamentess\u00e9ggel), vagy az \u00fcgyfelek fel\u00e9t egy slave float IP-re, a m\u00e1sik fel\u00e9t pedig a m\u00e1sikra osztj\u00e1k.<\/h3>\n

<\/p>\n

\"Megb\u00edzhat\u00f3<\/p>\n

<\/p>\n

Tuchanka3 hib\u00e1ja \u00e1ltal\u00e1ban az, hogy ha az egyik data center meghib\u00e1sodik, kett\u0151 marad. Az egyikben a mester \u00e9s mester float IP m\u0171k\u00f6dik, a m\u00e1sodikban a slave \u00e9s mindk\u00e9t slave float IP (a p\u00e9ld\u00e1nyban dupla er\u0151forr\u00e1st kell fenntartani, hogy mindk\u00e9t slave float IP-r\u0151l \u00f6sszes kapcsolatot fogadhat). A mester \u00e9s a slave k\u00f6z\u00f6tt szinkron replik\u00e1ci\u00f3 van. A klaszter meg\u0151rzi az \u00f6sszes meger\u0151s\u00edtett \u00e9s visszaigazolt tranzakci\u00f3 inform\u00e1ci\u00f3j\u00e1t (nem lesz adatveszt\u00e9s) k\u00e9t data center megsemmis\u00edt\u00e9se eset\u00e9n (ha nem egyszerre semmis\u00edtik meg \u0151ket).<\/p>\n

<\/p>\n

A f\u00e1jlszerkezet \u00e9s a telep\u00edt\u00e9s r\u00e9szletes le\u00edr\u00e1s\u00e1t nem illesztettem be. Aki j\u00e1tszani szeretne, az mindezt elolvashatja a README-ben. Csak az automatikus tesztel\u00e9s le\u00edr\u00e1s\u00e1t hozom.<\/em><\/p>\n

<\/p>\n

Automatikus tesztel\u00e9si rendszer<\/h1>\n

<\/p>\n

A klaszterek megb\u00edzhat\u00f3s\u00e1g\u00e1nak tesztel\u00e9s\u00e9re, k\u00fcl\u00f6nb\u00f6z\u0151 hib\u00e1k szimul\u00e1l\u00e1s\u00e1val k\u00e9sz\u00fclt az automatikus tesztel\u00e9si rendszer. A script futtat\u00e1s\u00e1hoz haszn\u00e1lhat\u00f3: test\/failure<\/code>. A script param\u00e9terek\u00e9nt elfogadja a tesztelni k\u00edv\u00e1nt klaszterek sz\u00e1m\u00e1t. P\u00e9ld\u00e1ul ez a parancs:<\/p>\n

<\/p>\n

test\/failure 2 3<\/code><\/pre>\n
<\/p>\n
csak a m\u00e1sodik \u00e9s a harmadik klasztert fogja tesztelni. Ha nincsenek megadva param\u00e9terek, akkor minden klaszter tesztelve lesz. Az \u00f6sszes klaszter p\u00e1rhuzamosan tesztel\u0151dik, \u00e9s az eredm\u00e9ny megjelenik a tmux panelj\u00e9n. A Tmux egy dedik\u00e1lt tmux szervert haszn\u00e1l, ez\u00e9rt a scriptet a default tmux-b\u00f3l is futtathatjuk, \u00edgy be\u00e1gyazott tmux j\u00f6n l\u00e9tre. Aj\u00e1nlom a termin\u00e1l haszn\u00e1lat\u00e1t nagy ablakban \u00e9s kism\u00e9ret\u0171 bet\u0171vel. A tesztel\u00e9s megkezd\u00e9se el\u0151tt az \u00f6sszes virtu\u00e1lis g\u00e9p vissza\u00e1ll a script befejez\u00e9s\u00e9nek pillanat\u00e1ban k\u00e9sz\u00fclt snapshotra. setup<\/code>.<\/p>\n
<\/p>\n
\"Megb\u00edzhat\u00f3<\/p>\n
<\/p>\n
A termin\u00e1l oszlopokra van felosztva a tesztelt klaszterek sz\u00e1m\u00e1nak megfelel\u0151en, alap\u00e9rtelmezett esetben (a k\u00e9perny\u0151k\u00e9pen) n\u00e9gy van bel\u0151le. Az oszlopok tartalm\u00e1t a Tuchanka2 p\u00e9ld\u00e1j\u00e1n \u00edrom le. A k\u00e9pen a panelek sz\u00e1mozva vannak:<\/p>\n
<\/p>\n
    \n
  1. Itt a tesztekr\u0151l sz\u00f3l\u00f3 statisztik\u00e1k jelennek meg. Az oszlopok:\n