Okazis, ke kiam la problemo estis prezentita, mi ne havis sufiĉe da sperto por disvolvi kaj lanĉi ĉi tiun solvon sole. Kaj tiam mi komencis Gugli.
Mi ne scias, kio estas la kapto, sed la enan fojon mi alfrontas la fakton, ke eĉ se mi faras ĉion paŝon post paŝo kiel en la lernilo, preparu la saman medion kiel la aŭtoro, tiam nenio funkcias. Mi tute ne scias, kio okazas, sed kiam mi renkontis ĉi tion denove, mi decidis, ke mi skribos mian propran lernilon kiam ĉio funkcios. Unu, kiu certe funkcios.
Gvidiloj en la Interreto
Okazas, ke Interreto ne suferas pro manko de diversaj gvidiloj, lerniloj, paŝo post paŝo kaj similaj. Okazis, ke mi ricevis la taskon evoluigi solvon por oportune organizi kaj konstrui malsukcesigan aron PostgreSQL, kies ĉefaj postuloj estis transsendo de reproduktado de la Majstra servilo al ĉiuj kopioj kaj aŭtomata provizado de rezervo en la okazo de Majstra servilo. fiasko.
En ĉi tiu etapo, la stako de teknologioj uzitaj estis determinita:
- PostgreSQL kiel DBMS
- kiel clustering-solvo
- etcd kiel distribuita stokado por Patroni
- HAproxy por organizi ununuran enirpunkton por aplikoj uzantaj la datumbazon
fikso
Por via atento - konstruante tre disponeblan PostgreSQL-grupon per Patroni, ktpd, HAProxy.
Ĉiuj operacioj estis faritaj sur virtualaj maŝinoj kun Debian 10 OS instalita.
ktp
Mi ne rekomendas instali etcd sur la samaj maŝinoj kie patroni kaj postgresql estos lokitaj, ĉar diskŝarĝo estas tre grava por etcd. Sed por edukaj celoj ni faros ĝuste tion.
Ni instalu etcd.
#!/bin/bash
apt-get update
apt-get install etcdAldonu enhavon al /etc/default/etcd-dosiero
[membro]
ETCD_NAME=datanode1 # gastiga nomo de via maŝino
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ĈIUJ IP-ADRESOJ DEVUS ESTI VALIDAJ. LISTER PEER, KLIENTO ktp DEVUS ESTI AJRITA AL IP-ADRESO DE GASTO
ETCD_LISTEN_PEER_URLS="» # adreso de via aŭto
ETCD_LISTEN_CLIENT_URLS="» # adreso de via aŭto
[areto]
ETCD_INITIAL_ADVERTISE_PEER_URLS="» # adreso de via aŭto
ETCD_INITIAL_CLUSTER=»datanodo1=» # adresoj de ĉiuj maŝinoj en la etcd areto
ETCD_INITIAL_CLUSTER_STATE = "nova"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-1″
ETCD_ADVERTISE_CLIENT_URLS="» # adreso de via aŭto
Rulu la komandon
systemctl restart etcdPostgreSQL 9.6 + patrono
La unua afero, kiun vi devas fari, estas agordi tri virtualajn maŝinojn por instali la necesan programaron sur ili. Post instalo de la maŝinoj, se vi sekvas mian lernilon, vi povas ruli ĉi tiun simplan skripton, kiu (preskaŭ) faros ĉion por vi. Funkcias kiel radiko.
Bonvolu noti, ke la skripto uzas PostgreSQL-version 9.6, tio estas pro la internaj postuloj de nia kompanio. La solvo ne estis provita en aliaj versioj de PostgreSQL.
#!/bin/bash
apt-get install gnupg -y
echo "deb http://apt.postgresql.org/pub/repos/apt/ buster-pgdg main" >> /etc/apt/sources.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add -
apt-get update
apt-get install postgresql-9.6 python3-pip python3-dev libpq-dev -y
systemctl stop postgresql
pip3 install --upgrade pip
pip install psycopg2
pip install patroni[etcd]
echo "
[Unit]
Description=Runners to orchestrate a high-availability PostgreSQL
After=syslog.target network.target
[Service]
Type=simple
User=postgres
Group=postgres
ExecStart=/usr/local/bin/patroni /etc/patroni.yml
KillMode=process
TimeoutSec=30
Restart=no
[Install]
WantedBy=multi-user.targ
" > /etc/systemd/system/patroni.service
mkdir -p /data/patroni
chown postgres:postgres /data/patroni
chmod 700 /data/patroniпо
touch /etc/patroni.ymlPoste, en la dosieron /etc/patroni.yml, kiun vi ĵus kreis, vi devas meti la jenajn enhavojn, kompreneble ŝanĝante la IP-adresojn en ĉiuj lokoj al la adresoj kiujn vi uzas.
Atentu la komentojn en ĉi tiu yml. Ŝanĝu la adresojn al viaj propraj en ĉiu maŝino en la areto.
/etc/patroni.yml
scope: pgsql # должно быть одинаковым на всех нодах
namespace: /cluster/ # должно быть одинаковым на всех нодах
name: postgres1 # должно быть разным на всех нодах
restapi:
listen: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл
connect_address: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл
etcd:
hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 # перечислите здесь все ваши ноды, в случае если вы устанавливаете etcd на них же
# this section (bootstrap) will be written into Etcd:/<namespace>/<scope>/config after initializing new cluster
# and all other cluster members will use it as a `global configuration`
bootstrap:
dcs:
ttl: 100
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
postgresql:
use_pg_rewind: true
use_slots: true
parameters:
wal_level: replica
hot_standby: "on"
wal_keep_segments: 5120
max_wal_senders: 5
max_replication_slots: 5
checkpoint_timeout: 30
initdb:
- encoding: UTF8
- data-checksums
- locale: en_US.UTF8
# init pg_hba.conf должен содержать адреса ВСЕХ машин, используемых в кластере
pg_hba:
- host replication postgres ::1/128 md5
- host replication postgres 127.0.0.1/8 md5
- host replication postgres 192.168.0.143/24 md5
- host replication postgres 192.168.0.144/24 md5
- host replication postgres 192.168.0.145/24 md5
- host all all 0.0.0.0/0 md5
users:
admin:
password: admin
options:
- createrole
- createdb
postgresql:
listen: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
connect_address: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
data_dir: /data/patroni # эту директорию создаст скрипт, описанный выше и установит нужные права
bin_dir: /usr/lib/postgresql/9.6/bin # укажите путь до вашей директории с postgresql
pgpass: /tmp/pgpass
authentication:
replication:
username: postgres
password: postgres
superuser:
username: postgres
password: postgres
create_replica_methods:
basebackup:
checkpoint: 'fast'
parameters:
unix_socket_directories: '.'
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: falseLa skripto devas esti rulita sur ĉiuj tri maŝinoj de la areto, kaj ĉi-supra agordo ankaŭ devas esti metita en la /etc/patroni.yml dosieron sur ĉiuj maŝinoj.
Post kiam vi kompletigis ĉi tiujn operaciojn sur ĉiuj maŝinoj en la areto, rulu la sekvan komandon sur iu el ili
systemctl start patroni
systemctl start postgresqlAtendu ĉirkaŭ 30 sekundojn, tiam rulu ĉi tiun komandon sur la ceteraj maŝinoj en la areto.
HAproxy
Ni uzas la mirindan HAproxy por provizi ununuran enirpunkton. La majstra servilo ĉiam estos disponebla ĉe la adreso de la maŝino sur kiu HAproxy estas deplojita.
Por ne igi la maŝinon kun HAproxy unuopa punkto de fiasko, ni lanĉos ĝin en Docker-ujo; estonte ĝi povas esti lanĉita en la areton de la K8 kaj fari nian malsukcesan areton eĉ pli fidinda.
Kreu dosierujon, kie vi povas konservi du dosierojn - Dockerfile kaj haproxy.cfg. Iru al ĝi.
dockerfile
FROM ubuntu:latest
RUN apt-get update
&& apt-get install -y haproxy rsyslog
&& rm -rf /var/lib/apt/lists/*
RUN mkdir /run/haproxy
COPY haproxy.cfg /etc/haproxy/haproxy.cfg
CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.logAtentu, la lastaj tri linioj de la dosiero haproxy.cfg devus listigi la adresojn de viaj maŝinoj. HAproxy kontaktos Patroni, en la HTTP-kapoj la majstra servilo ĉiam resendos 200, kaj la kopio ĉiam resendos 503.
haproxy.cfg
global
maxconn 100
defaults
log global
mode tcp
retries 2
timeout client 30m
timeout connect 4s
timeout server 30m
timeout check 5s
listen stats
mode http
bind *:7000
stats enable
stats uri /
listen postgres
bind *:5000
option httpchk
http-check expect status 200
default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008
server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008
server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008
Estante en la dosierujo, en kiu niaj ambaŭ dosieroj "kuŝas", ni faru sinsekve la komandojn por paki la ujon, kaj ankaŭ lanĉu ĝin kun plusendado de la necesaj havenoj:
docker build -t my-haproxy .
docker run -d -p5000:5000 -p7000:7000 my-haproxy Nun, malfermante la adreson de via maŝino kun HAproxy en la retumilo kaj specifante pordon 7000, vi vidos statistikojn pri via areto.
La servilo, kiu estas la mastro, estos en la SUPREN-stato, kaj la kopioj estos en la DOWN-stato. Ĉi tio estas normala, fakte ili funkcias, sed ili aperas tiel ĉar ili resendas 503 por petoj de HAproxy. Ĉi tio ebligas al ni ĉiam scii precize kiu el la tri serviloj estas la nuna mastro.
konkludo
Vi estas belega! En nur 30 minutoj vi deplojis bonegan mistoleran kaj alt-efikecan datumbazan areton kun fluanta reproduktado kaj aŭtomata falo. Se vi planas uzi ĉi tiun solvon, kontrolu , kaj precipe kun ĝia parto koncerne la patronictl ilo, kiu disponigas oportunan aliron al administrado de via cluster.
Gratulon!
fonto: www.habr.com