ProHoster > Blog > Administrim > Ndërtimi i një klasteri PostgreSQL me disponueshmëri të lartë duke përdorur Patroni, etcd, HAProxy

Ndërtimi i një klasteri PostgreSQL me disponueshmëri të lartë duke përdorur Patroni, etcd, HAProxy

Për fat të keq, në momentin kur u vendos detyra, nuk kisha nivelin e mjaftueshëm të eksperiencës për të zhvilluar dhe nisur këtë zgjidhje i vetëm. Atëherë fillova të kërkoj në internet.

Nuk e di se në çfarë problemi është, por sërish po përballem me faktin që, edhe nëse ndjek hap pas hapi si në tutorial, përgatit një ambient të ngjashëm me atë të autorit, përsëri asgjë nuk funksionon. Nuk kam asnjë ide se çfarë është, por kur u përballa me këtë përsëri, vendosa - do të shkruaj një tutorial timin, kur gjithçka të funksionojë. Një që do të sigurohet të funksionojë.

Guidat në internet

Për fat të keq, interneti nuk vuan nga mungesa e guidave të ndryshme, tutorialeve, hap pas hapi dhe gjërave të ngjashme. Siç ka ndodhur, më është dhënë detyra të zhvilloj një zgjidhje për organizimin e lehtësuar dhe ndërtimin e një klasteri PostgreSQL të besueshëm, me kërkesat kryesore që përfshijnë replikimin e vazhdueshëm nga serveri Master në të gjitha replikat dhe futjen automatike të rezervës në rast të dështimit të serverit Master.

Në këtë fazë, u përcaktua staku i teknologjive të përdorura:

  • PostgreSQL si SGBD
  • Patroni si zgjidhje pĂ«r klasterizimin
  • etcd si depo e shpĂ«rndarĂ« pĂ«r Patroni
  • HAproxy pĂ«r tĂ« ofruar njĂ« pikĂ« tĂ« vetme hyrjeje pĂ«r aplikacionet qĂ« pĂ«rdorin bazĂ«n

Instalimi

Në vëmendjen tuaj - ndërtimi i një klasteri PostgreSQL me disponueshmëri të lartë duke përdorur Patroni, etcd, HAProxy.

Të gjitha operacionet u kryen në makina virtuale me sistemin operativ Debian 10.

etcd

Nuk e rekomandoj instalimin e etcd në të njëjtat makina ku do të jenë patroni dhe postgresql, pasi për etcd është shumë e rëndësishme ngarkesa në disqet. Por për qëllime mësimi, ne do ta bëjmë pikërisht kështu.
Do të instalojmë etcd.

#!/bin/bash
apt-get update
apt-get install etcd

Shtoni përmbajtjen në skedarin /etc/default/etcd

[anëtar]

ETCD_NAME=datanode1 # emri i hostit të makinës tuaj
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"

TË GJITHA ADRESAT IP DUHET TË JENË TË VALIDUARA. LISTER PEER, CLIENT etj DUHET TË JENË TË CAKTUARA NË ADRESËN IP TË HOSTIT

ETCD_LISTEN_PEER_URLS="http://192.168.0.143:2380" # adresa e makinës tuaj
ETCD_LISTEN_CLIENT_URLS="http://192.168.0.143:2379,http://127.0.0.1:2379" # adresa e makinës tuaj

[klasteri]

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.143:2380" # adresa e makinës tuaj
ETCD_INITIAL_CLUSTER="datanode1=http://192.168.0.143:2380,datanode2=http://192.168.0.144:2380,datanode3=http://192.168.0.145:2380" # adresat e të gjitha makinave në klasterin etcd
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-1"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.143:2379" # adresa e makinës tuaj

Ekzekutoni komandën

systemctl restart etcd

PostgreSQL 9.6 + patroni

E paraja e parë që duhet të bëni është të instaloni tri makina virtuale për të instaluar softuerin e nevojshëm. Pas instalimit të makinave, nëse ndiqni udhëzimet e mia, mund të ekzekutoni këtë skript të thjeshtë, i cili (pothuajse) do të bëjë gjithçka për ju. Ekzekutohet nga root.

Ju lutem vini re se skripti përdor versionin PostgreSQL 9.6, kjo është e justifikuar nga kërkesat e brendshme të kompanisë tonë. Zgjidhja nuk është testuar në versione të tjera të PostgreSQL.

#!/bin/bash
apt-get install gnupg -y
echo "deb http://apt.postgresql.org/pub/repos/apt/ buster-pgdg main" >> /etc/apt/sources.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add -
apt-get update
apt-get install postgresql-9.6 python3-pip python3-dev libpq-dev -y
systemctl stop postgresql
pip3 install --upgrade pip
pip install psycopg2
pip install patroni[etcd]
echo "
[Unit]
Description=Runners to orchestrate a high-availability PostgreSQL
After=syslog.target network.target

[Service]
Type=simple

User=postgres
Group=postgres

ExecStart=/usr/local/bin/patroni /etc/patroni.yml

KillMode=process

TimeoutSec=30

Restart=no

[Install]
WantedBy=multi-user.targ
" > /etc/systemd/system/patroni.service
mkdir -p /data/patroni
chown postgres:postgres /data/patroni
chmod 700 /data/patroniĐżĐŸ
touch /etc/patroni.yml

Pastaj, në skedarin e sapo krijuar /etc/patroni.yml ju nevojitet të vendosni përmbajtjen e mëposhtme, natyrisht duke ndryshuar adresat IP në çdo vend, me ato që përdorni ju.
Ju lutem vini re komentet në këtë yaml. Ndryshoni adresat në tuajat, në secilën makinë të klasterit.

/etc/patroni.yml

scope: pgsql # duhet të jetë e njëjtë në të gjitha nodet
namespace: /cluster/ # duhet të jetë e njëjtë në të gjitha nodet
name: postgres1 # duhet të jetë e ndryshme në të gjitha nodet

restapi:
    listen: 192.168.0.143:8008 # adresa e asaj nodi, ku ndodhet ky skedar
    connect_address: 192.168.0.143:8008 # adresa e asaj nodi, ku ndodhet ky skedar

etcd:
    hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 # listoni këtu të gjitha nodet tuaja, nëse po e instaloni etcd në to

# kjo seksion (bootstrap) do të shkruhet në Etcd:// /config pas inicializimit të grupit të ri
# dhe të gjithë anëtarët e tjerë të grupit do ta përdorin atë si një `konfigurim global`
bootstrap:
    dcs:
        ttl: 100
        loop_wait: 10
        retry_timeout: 10
        maximum_lag_on_failover: 1048576
        postgresql:
            use_pg_rewind: true
            use_slots: true
            parameters:
                    wal_level: replica
                    hot_standby: "on"
                    wal_keep_segments: 5120
                    max_wal_senders: 5
                    max_replication_slots: 5
                    checkpoint_timeout: 30

    initdb:
    - encoding: UTF8
    - data-checksums
    - locale: en_US.UTF8
    # init pg_hba.conf duhet tĂ« pĂ«rmbajĂ« adresat e GJITHË makinave tĂ« pĂ«rdorura nĂ« grup
    pg_hba:
    - host replication postgres ::1/128 md5
    - host replication postgres 127.0.0.1/8 md5
    - host replication postgres 192.168.0.143/24 md5
    - host replication postgres 192.168.0.144/24 md5
    - host replication postgres 192.168.0.145/24 md5
    - host all all 0.0.0.0/0 md5

    users:
        admin:
            password: admin
            options:
                - createrole
                - createdb

postgresql:
    listen: 192.168.0.143:5432 # adresa e asaj nodi, ku ndodhet ky skedar
    connect_address: 192.168.0.143:5432 # adresa e asaj nodi, ku ndodhet ky skedar
    data_dir: /data/patroni # kjo direktor do të krijohet nga skenari i përshkruar më lart dhe do të vendoset të drejtat e nevojshme
    bin_dir: /usr/lib/postgresql/9.6/bin # caktoni rrugën ndaj direktorisë suaj me postgresql
    pgpass: /tmp/pgpass
    authentication:
        replication:
            username: postgres
            password: postgres
        superuser:
            username: postgres
            password: postgres
    create_replica_methods:
        basebackup:
            checkpoint: 'fast'
    parameters:
        unix_socket_directories: '.'

tags:
    nofailover: false
    noloadbalance: false
    clonefrom: false
    nosync: false

Skedari duhet të ekzekutohet në të tri makinat e grupit, ashtu si duhet të vendoset konfigurimi i dhënë në skedarin /etc/patroni.yml në të gjitha makinat.

Pasi të keni përfunduar këto operacione në të gjitha makinat e grupit, ekzekutoni komandën e mëposhtme në ndonjërën prej tyre

systemctl start patroni
systemctl start postgresql

Prisni rreth 30 sekonda, pastaj ekzekutoni këtë komandë në makinat e tjera të grupit.

HAproxy

Ne përdorim një HAproxy të mrekullueshëm për të ofruar një pikë të vetme hyrjeje. Serveri Master do të jetë gjithmonë në dispozicion në adresën e makinës ku është vendosur HAproxy.

PĂ«r tĂ« mos e bĂ«rĂ« makinĂ« me HAproxy pikĂ«n e vetme tĂ« dĂ«shtimit, do ta nisim atĂ« nĂ« njĂ« kontejner Docker, mĂ« vonĂ« do tĂ« mund ta nisim nĂ« njĂ« grup K8’s dhe ta bĂ«jmĂ« klasterin tonĂ« tĂ« qĂ«ndrueshĂ«m edhe mĂ« tĂ« besueshĂ«m.

Krijoni njĂ« katalog ku mund tĂ« ruani dy skedarĂ« — Dockerfile dhe haproxy.cfg. Kaloni nĂ« tĂ«.

Dockerfile

FROM ubuntu:latest

RUN apt-get update 
    && apt-get install -y haproxy rsyslog 
    && rm -rf /var/lib/apt/lists/*

RUN mkdir /run/haproxy

COPY haproxy.cfg /etc/haproxy/haproxy.cfg

CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.log

Keni kujdes, nĂ« tre rreshtat e fundit tĂ« skedarit haproxy.cfg duhet tĂ« pĂ«rmenden adresat e makinave tuaja. HAproxy do tĂ« adresojĂ« Patroni, nĂ« titujt HTTP, serveri master gjithmonĂ« do tĂ« kthejĂ« 200, kurse replica — 503.

haproxy.cfg

global
    maxconn 100

defaults
    log global
    mode tcp
    retries 2
    timeout client 30m
    timeout connect 4s
    timeout server 30m
    timeout check 5s

listen stats
    mode http
    bind *:7000
    stats enable
    stats uri /

listen postgres
    bind *:5000
    option httpchk
    http-check expect status 200
    default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
    server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008
    server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008
    server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008

Duke qenë në katalogun ku ndodhen të dy skedarët tanë, do të ekzekutojmë radhazi komandat për paketimin e kontejnerit si dhe nisjen e tij me kalimin e porteve të nevojshme:

docker build -t my-haproxy .
docker run -d -p5000:5000 -p7000:7000 my-haproxy

Tani, duke hapur në shfletues adresën e makinës tuaj me HAproxy dhe duke specifikuar portin 7000, do të shihni statistikën për klasterin tuaj.

Serveri që është master do të jetë në gjendje UP, ndërsa replikat do të jenë në gjendje DOWN. Kjo është normale, në të vërtetë ato funksionojnë, por tregohen kështu sepse kthejnë 503 në kërkesat nga HAproxy. Kjo na lejon të dimë gjithmonë saktësisht se cili nga tre serverët është master aktualisht.

PĂ«rfundim

Jeni të mrekullueshëm! Vetëm për 30 minuta keni ngritur një klaster të shkëlqyer të rezistencës dhe performancës për baza të dhënash me replikim të rrjedhshëm dhe rezervim automatik. Nëse planifikoni të përdorni këtë zgjidhje, lexoni dokumentacionin zyrtar të Patroni, veçanërisht pjesën për utilitarin patronictl, që ofron akses të përshtatshëm në menaxhimin e klasterit tuaj.

Gratulacija!

Burimi: habr.com

Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster