Kuna ma ei olnud selle ülesande seadmisel piisavalt kogenud, et seda lahendust üksi arendada ja käivitada. Siis hakkasin googeldama.
Ma ei tea, mis asi on, aga ma olen jälle silmitsi sellega, et isegi kui järgida kõike samm-sammult nagu õpetuses, luua sama keskkond nagu autoril, ei tööta miski kunagi. Mul pole aimugi, mis siin toimub, aga kui ma selle jälle ette võtsin, otsustasin — kirjutan oma õpetuse, kui kõik tööle läheb. Sellise, mis kindlasti töötab.
Internetis on juhendeid
Kuna internet ei kannata juhendite, õpetuste, samm-sammult toimingute ja selliste asjade puuduse all. Mul oli ülesanne välja töötada lahendus PostgreSQL tõrkekindla klastrite loomiseks ja korraldamiseks, mille peamised nõudmised olid voogedastav replikatsioon Master-serverilt kõikidele koopiatele ja automaatne varu sisestamine Master-serveri rikke korral.
Selles etapis määrati kasutatavad tehnoloogiad:
- PostgreSQL andmebaasisüsteemina
- klasterdamise lahendusena
- etcd jaotatud salvestusena Patroni jaoks
- HAproxy rakenduste ühtse sisselogimispunkti korraldamiseks, mis kasutab andmebaasi
Installeerimine
Tutvustame PostgreSQL kõrge kättesaadavuse klastrite loomist Patroni, etcd ja HAProxy abil.
Kõik toimingud viidi läbi virtuaalmasinatel, millel oli paigaldatud Debian 10 operatsioonisüsteem.
etcd
Soovitame mitte paigaldada etcd samadele masinatele, kus asuvad patroni ja postgresql, kuna etcd jaoks on kettade koormus väga oluline. Kuid õppimise eesmärgil teeme just nii.
Paigaldame etcd.
#!/bin/bash
apt-get update
apt-get install etcdLisage sisu faili /etc/default/etcd
[member]
ETCD_NAME=datanode1 # teie masina hostinimi
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
KÕIK IP AADRESSID PEAVAD OLEMA KEHTIVAD. LISTER PEER, CLIENT jne PEAVAD OLEMA SEADISTATUD HOSTI IP AADRESSILE
ETCD_LISTEN_PEER_URLS="" # teie masina aadress
ETCD_LISTEN_CLIENT_URLS="" # teie masina aadress
[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="" # teie masina aadress
ETCD_INITIAL_CLUSTER="datanode1=" # kõik klastrite etcd masinate aadressid
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-1"
ETCD_ADVERTISE_CLIENT_URLS="" # teie masina aadress
Käivitage käsk
systemctl restart etcdPostgreSQL 9.6 + patroni
Esimene samm on kolme virtuaalmasina seadistamine vajaliku tarkvara paigaldamiseks. Pärast masinate seadistamist, kui järgite minu õpetust, saate käivitada selle lihtsa skripti, mis teeb (peaaegu) kõik teie eest. Skript käivitatakse root'i alt.
Pange tähele, et skript kasutab PostgreSQL versiooni 9.6, mis tuleneb meie ettevõtte sisemistest nõuetest. Lahendust ei ole testitud teiste PostgreSQL versioonidega.
#!/bin/bash
apt-get install gnupg -y
echo "deb http://apt.postgresql.org/pub/repos/apt/ buster-pgdg main" >> /etc/apt/sources.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add -
apt-get update
apt-get install postgresql-9.6 python3-pip python3-dev libpq-dev -y
systemctl stop postgresql
pip3 install --upgrade pip
pip install psycopg2
pip install patroni[etcd]
echo "
[Unit]
Description=Runners to orchestrate a high-availability PostgreSQL
After=syslog.target network.target
[Service]
Type=simple
User=postgres
Group=postgres
ExecStart=/usr/local/bin/patroni /etc/patroni.yml
KillMode=process
TimeoutSec=30
Restart=no
[Install]
WantedBy=multi-user.targ
" > /etc/systemd/system/patroni.service
mkdir -p /data/patroni
chown postgres:postgres /data/patroni
chmod 700 /data/patroniпо
touch /etc/patroni.ymlEdasi peate äsja loodud faili /etc/patroni.yml panema järgmise sisu, muidugi muutes IP-aadresid kõikides kohtades teie kasutatavate aadressideks.
Pange tähele kommentaare selles yaml-failis. Muutke aadresse enda omadeks, igal klastrimasinal.
/etc/patroni.yml
scope: pgsql # peab olema kõigil sõlmedel sama
namespace: /cluster/ # peab olema kõigil sõlmedel sama
name: postgres1 # peab olema igal sõlmel erinev
restapi:
listen: 192.168.0.143:8008 # selle faili asukohta kuuluv sõlm
connect_address: 192.168.0.143:8008 # selle faili asukohta kuuluv sõlm
etcd:
hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 # loetlege siia kõik teie sõlmed, kui paigaldate etcd neile
# see jaotis (bootstrap) kirjutatakse Etcd:///config, kui uus klaster on algatatud
# ja kõik teised klastriliikmed kasutavad seda kui `globaalset konfiguratsiooni`
bootstrap:
dcs:
ttl: 100
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
postgresql:
use_pg_rewind: true
use_slots: true
parameters:
wal_level: replica
hot_standby: "on"
wal_keep_segments: 5120
max_wal_senders: 5
max_replication_slots: 5
checkpoint_timeout: 30
initdb:
- encoding: UTF8
- data-checksums
- locale: en_US.UTF8
# init pg_hba.conf peab sisaldama KLASTERIS KASUTATUD KÕIKIDE MASINATE AADRESID
pg_hba:
- host replication postgres ::1/128 md5
- host replication postgres 127.0.0.1/8 md5
- host replication postgres 192.168.0.143/24 md5
- host replication postgres 192.168.0.144/24 md5
- host replication postgres 192.168.0.145/24 md5
- host all all 0.0.0.0/0 md5
users:
admin:
password: admin
options:
- createrole
- createdb
postgresql:
listen: 192.168.0.143:5432 # selle faili asukohta kuuluv sõlm
connect_address: 192.168.0.143:5432 # selle faili asukohta kuuluv sõlm
data_dir: /data/patroni # see kataloog luuakse ülaltoodud skripti poolt ja seatakse vajalikud õigused
bin_dir: /usr/lib/postgresql/9.6/bin # palun määrake oma postgresql katalooge tee
pgpass: /tmp/pgpass
authentication:
replication:
username: postgres
password: postgres
superuser:
username: postgres
password: postgres
create_replica_methods:
basebackup:
checkpoint: 'fast'
parameters:
unix_socket_directories: '.'
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: falseSkripti tuleb käivitada kõigil kolmel klastrimasinal, samuti tuleb esitatud konfiguratsioon paigutada faili /etc/patroni.yml kõikidesse masinatesse.
Kui olete need toimingud teinud kõikides klastrimasinates, käivitage järgmine käsk ükskõik millisena neist.
systemctl start patroni
systemctl start postgresqlOodake umbes 30 sekundi jooksul, seejärel käivitage see käsk ülejäänud klastrimasinates.
HAproxy
Kasutame suurepärast HAproxy, et pakkuda ühte juurdepääsupunkti. Peamine server on alati saadaval HAproxy-deployimise masinas.
Kuna me ei soovi, et HAproxy masin oleks ainus tõrkeallikas, jooksutame seda Docker konteineris, hiljem saab selle käivitada K8’s klastris, et muuta meie tõrkevaba klaster veelgi usaldusväärsemaks.
Looge kataloog, kus saate hoida kahte faili — Dockerfile ja haproxy.cfg. Minna sinna.
Dockerfile
FROM ubuntu:latest
RUN apt-get update
&& apt-get install -y haproxy rsyslog
&& rm -rf /var/lib/apt/lists/*
RUN mkdir /run/haproxy
COPY haproxy.cfg /etc/haproxy/haproxy.cfg
CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.logOlge ettevaatlik, failis haproxy.cfg peavad viimastes kolmes reas olema teie masinate aadressid. HAproxy pöördub Patroni poole, HTTP-pealkirjades tagastab master-server alati 200 ja replica 503.
haproxy.cfg
global
maxconn 100
defaults
log global
mode tcp
retries 2
timeout client 30m
timeout connect 4s
timeout server 30m
timeout check 5s
listen stats
mode http
bind *:7000
stats enable
stats uri /
listen postgres
bind *:5000
option httpchk
http-check expect status 200
default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008
server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008
server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008
Olles kaustas, kus asuvad meie kaks faili, käivitame järjestikku konteineri paketimise käsklused ja selle käivitamise koos vajalike portide edastamisega:
docker build -t my-haproxy .
docker run -d -p5000:5000 -p7000:7000 my-haproxy Nüüd, avades oma masinas HAproxy aadressi ja määrates pordi 7000, näete oma klastri statistikat.
UP olekse olekse servers, mis on meistriks, samal ajal kui koopiad on DOWN seisundis. See on normaalne, tegelikult töötavad nad, kuid kuvatakse selliselt, kuna nad tagastavad 503 vastuseid HAproxy päringutele. See võimaldab meil alati täpselt teada, milline kolmest serverist on praegu meistriks.
Kokkuvõte
Te olete suurepärased! Ainult 30 minutiga olete üles seadnud suurepärase tõrkevaba ja kõrge jõudlusega andmebaasi klastrite süsteemi voogedastuse kopeerimise ja automaatse varukoopia. Kui kavatsete seda lahendust kasutada, tutvuge , eriti selle osaga, mis käsitleb patronictl tööriista, mis pakub mugavat juurdepääsu teie klastrihaldusele.
Palju õnne!
Allikas: habr.com
