Det visade sig att vid tidpunkten för uppgiften hade jag inte tillräcklig erfarenhet för att utveckla och lansera denna lösning ensam. Så jag började googla.

Jag vet inte vad problemet är, men jag har gång på gång stött på att även om jag gör allt steg för steg som i tutorialen, och förbereder en liknande miljö som författaren, så fungerar det aldrig. Jag har ingen aning om vad som är fel, men när jag stötte på det här igen, bestämde jag mig för att skriva min egen tutorial när allt fungerar. Den som definitivt kommer att fungera.

Guider på Internet

Det är så att internet inte lider av brist på olika guider, tutorials, steg-för-steg och liknande saker. Det är så att jag fick i uppdrag att utveckla en lösning för praktisk organisation och byggande av en felåterställande kluster av PostgreSQL, med de främsta kraven att vara strömmande replikering från Master-server till alla replikat och automatisk inmatning av reserv när Master-servern går ner.

Vid detta steg bestämdes teknikstacken som skulle användas:

• PostgreSQL som databas
• Patroni som lösning för klustring
• etcd som ett distribuerat lagringssystem för Patroni
• HAproxy för att organisera en enhetlig ingångspunkt för program som använder databasen

Installation

Vi presenterar byggandet av ett PostgreSQL-kapabel kluster med hög tillgänglighet med användning av Patroni, etcd, HAProxy.

Alla operationer utfördes på virtuella maskiner med installerat Debian 10.

i den motsvarande Docker-bilden

Jag rekommenderar inte att installera etcd på samma maskiner där patroni och postgresql kommer att vara, eftersom arbetsbelastningen på diskarna är väldigt viktig för etcd. Men för utbildningens skull kommer vi att göra just det.
Vi installerar etcd.

#!/bin/bash
apt-get update
apt-get install etcd

Lägg till innehållet i filen /etc/default/etcd

[member]

ETCD_NAME=datanode1 # värdnamn för din enhet
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"

ALLA IP-ADRESSER MÅSTE VARA GILTIGA. LISSENTER PEER, KLCLIENT ETC SKA VARA INSTÄLLDA PÅ VÄRDENS IP-ADRESS

ETCD_LISTEN_PEER_URLS="http://192.168.0.143:2380" # adressen till din maskin
ETCD_LISTEN_CLIENT_URLS="http://192.168.0.143:2379,http://127.0.0.1:2379" # adressen till din maskin

[kluster]

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.143:2380" # adressen till din maskin
ETCD_INITIAL_CLUSTER="datanode1=http://192.168.0.143:2380,datanode2=http://192.168.0.144:2380,datanode3=http://192.168.0.145:2380" # adresserna för alla maskiner i klustret etcd
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-1"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.143:2379" # adressen till din maskin

Kör kommandot

systemctl restart etcd

PostgreSQL 9.6 + patroni

Det första du behöver göra är att installera tre virtuella maskiner för att installera den nödvändiga programvaran. Efter att ha installerat maskinerna, om du följer min handledning, kan du köra det här enkla skriptet som (nästan) gör allt åt dig. Det körs som root.

Observera att skriptet använder version PostgreSQL 9.6, vilket beror på interna krav från vårt företag. Lösningen har inte testats på andra versioner av PostgreSQL.

#!/bin/bash
apt-get install gnupg -y
echo "deb http://apt.postgresql.org/pub/repos/apt/ buster-pgdg main" >> /etc/apt/sources.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add -
apt-get update
apt-get install postgresql-9.6 python3-pip python3-dev libpq-dev -y
systemctl stop postgresql
pip3 install --upgrade pip
pip install psycopg2
pip install patroni[etcd]
echo "
[Unit]
Description=Runners to orchestrate a high-availability PostgreSQL
After=syslog.target network.target

[Service]
Type=simple

User=postgres
Group=postgres

ExecStart=/usr/local/bin/patroni /etc/patroni.yml

KillMode=process

TimeoutSec=30

Restart=no

[Install]
WantedBy=multi-user.targ
" > /etc/systemd/system/patroni.service
mkdir -p /data/patroni
chown postgres:postgres /data/patroni
chmod 700 /data/patroniпо
touch /etc/patroni.yml

Därefter måste du placera följande innehåll i den nyss skapade filen /etc/patroni.yml, givetvis efter att ha ändrat IP-adresserna på alla ställen till de adresser som du använder.
Observera kommentarerna i denna yaml. Ändra adresserna till dina, på varje maskin i klustret.

/etc/patroni.yml

scope: pgsql # bör vara densamma på alla noder
namespace: /cluster/ # bör vara densamma på alla noder
name: postgres1 # bör vara olika på alla noder

restapi:
    listen: 192.168.0.143:8008 # adressen till den nod där den här filen finns
    connect_address: 192.168.0.143:8008 # adressen till den nod där den här filen finns

etcd:
    hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 # lista alla dina noder här, ifall du installerar etcd på dem

# den här sektionen (bootstrap) kommer att skrivas in i Etcd:///config efter att den nya klustret har initierats
# och alla andra klustermedlemmar kommer att använda den som en `global konfiguration`
bootstrap:
    dcs:
        ttl: 100
        loop_wait: 10
        retry_timeout: 10
        maximum_lag_on_failover: 1048576
        postgresql:
            use_pg_rewind: true
            use_slots: true
            parameters:
                    wal_level: replica
                    hot_standby: "on"
                    wal_keep_segments: 5120
                    max_wal_senders: 5
                    max_replication_slots: 5
                    checkpoint_timeout: 30

    initdb:
    - encoding: UTF8
    - data-checksums
    - locale: sv_SE.UTF8
    # init pg_hba.conf måste innehålla adresserna TILL ALLA maskiner som används i klustret
    pg_hba:
    - host replication postgres ::1/128 md5
    - host replication postgres 127.0.0.1/8 md5
    - host replication postgres 192.168.0.143/24 md5
    - host replication postgres 192.168.0.144/24 md5
    - host replication postgres 192.168.0.145/24 md5
    - host all all 0.0.0.0/0 md5

    users:
        admin:
            password: admin
            options:
                - createrole
                - createdb

postgresql:
    listen: 192.168.0.143:5432 # adressen till den nod där den här filen finns
    connect_address: 192.168.0.143:5432 # adressen till den nod där den här filen finns
    data_dir: /data/patroni # den här katalogen kommer att skapas av skriptet som beskrivs ovan och de nödvändiga rättigheterna kommer att ställas in
    bin_dir:  /usr/lib/postgresql/9.6/bin # ange sökvägen till din postgresql-katalog
    pgpass: /tmp/pgpass
    authentication:
        replication:
            username: postgres
            password: postgres
        superuser:
            username: postgres
            password: postgres
    create_replica_methods:
        basebackup:
            checkpoint: 'fast'
    parameters:
        unix_socket_directories: '.'

tags:
    nofailover: false
    noloadbalance: false
    clonefrom: false
    nosync: false

Skriptet måste köras på alla tre maskiner i klustret, och samma konfiguration måste placeras i filen /etc/patroni.yml på alla maskiner.

När du har utfört dessa åtgärder på alla maskiner i klustret, kör nästa kommando på valfri maskin.

systemctl start patroni
systemctl start postgresql

Vänta cirka 30 sekunder och kör sedan det här kommandot på de andra maskinerna i klustret.

HAproxy

Vi använder fantastiska HAproxy för att tillhandahålla en enhetlig ingångspunkt. Master-servern kommer alltid att vara tillgänglig på adressen till maskinen där HAproxy är implementerat.

För att undvika att göra maskinen med HAproxy till en enda felpunkt, kommer vi att köra den i en Docker-container, och senare kan den startas i en K8s-kluster för att göra vår redundanta kluster ännu mer pålitlig.

Skapa en katalog där du kan lagra två filer — Dockerfile och haproxy.cfg. Gå till den.

Dockerfile

FROM ubuntu:latest

RUN apt-get update 
    && apt-get install -y haproxy rsyslog 
    && rm -rf /var/lib/apt/lists/*

RUN mkdir /run/haproxy

COPY haproxy.cfg /etc/haproxy/haproxy.cfg

CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.log

Var försiktig, de tre sista raderna i filen haproxy.cfg ska innehålla adresserna till dina maskiner. HAproxy kommer att kommunicera med Patroni, i HTTP-huvuden kommer master-servern alltid att returnera 200, medan replica returnerar 503.

haproxy.cfg

global
    maxconn 100

defaults
    log global
    mode tcp
    retries 2
    timeout client 30m
    timeout connect 4s
    timeout server 30m
    timeout check 5s

listen stats
    mode http
    bind *:7000
    stats enable
    stats uri /

listen postgres
    bind *:5000
    option httpchk
    http-check expect status 200
    default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
    server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008
    server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008
    server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008

När vi är i katalogen där båda våra filer finns, kör vi steg för steg kommandona för att paketera containern samt starta den med vidarebefordran av nödvändiga portar:

docker build -t my-haproxy .
docker run -d -p5000:5000 -p7000:7000 my-haproxy 

Nu kan du öppna din webbläsare och ange adressen till din maskin med HAproxy och port 7000, så kommer du att se statistiken för ditt kluster.

Den server som är i UP-status kommer att vara den som är master, medan replications är i DOWN-status. Det är normalt, de fungerar faktiskt, men visar så här eftersom de returnerar 503 på förfrågningar från HAproxy. Detta gör att vi alltid vet exakt vilken av de tre servrarna som är master just nu.

Slutsats

Du är fantastisk! På bara 30 minuter har du rullat ut ett utmärkt redundanta och högpresterande databas-kluster med strömmande replikering och automatisk failover. Om du planerar att använda denna lösning, läs den officiella dokumentationen för Patroni, särskilt delen som handlar om verktyget patronictl, som ger enkel åtkomst till att hantera ditt kluster.

Grattis!

Källa: habr.com