ມັນພຽງແຕ່ເກີດຂຶ້ນດັ່ງນັ້ນໃນເວລາທີ່ບັນຫາໄດ້ຖືກ posed, ຂ້າພະເຈົ້າບໍ່ມີປະສົບການພຽງພໍທີ່ຈະພັດທະນາແລະເປີດຕົວການແກ້ໄຂນີ້ຢ່າງດຽວ. ແລະຫຼັງຈາກນັ້ນຂ້ອຍກໍ່ເລີ່ມ Google.

ຂ້າພະເຈົ້າບໍ່ຮູ້ວ່າສິ່ງທີ່ຈັບໄດ້, ແຕ່ສໍາລັບເວລາ umpteenth ຂ້າພະເຈົ້າປະເຊີນກັບຄວາມຈິງທີ່ວ່າເຖິງແມ່ນວ່າຖ້າຫາກວ່າຂ້າພະເຈົ້າເຮັດທຸກຂັ້ນຕອນໂດຍຂັ້ນຕອນໃນ tutorial, ກະກຽມສະພາບແວດລ້ອມດຽວກັນກັບຜູ້ຂຽນ, ຫຼັງຈາກນັ້ນບໍ່ມີຫຍັງເຮັດວຽກ. ຂ້າ​ພະ​ເຈົ້າ​ບໍ່​ມີ​ຄວາມ​ຄິດ​ວ່າ​ເປັນ​ແນວ​ໃດ​, ແຕ່​ໃນ​ເວ​ລາ​ທີ່​ຂ້າ​ພະ​ເຈົ້າ​ໄດ້​ພົບ​ເຫັນ​ນີ້​ອີກ​ເທື່ອ​ຫນຶ່ງ​, ຂ້າ​ພະ​ເຈົ້າ​ໄດ້​ຕັດ​ສິນ​ໃຈ​ວ່າ​ຂ້າ​ພະ​ເຈົ້າ​ຈະ​ຂຽນ tutorial ຂອງ​ຕົນ​ເອງ​ໃນ​ເວ​ລາ​ທີ່​ທັງ​ຫມົດ​ຫມົດ​. ຫນຶ່ງທີ່ຈະເຮັດວຽກແນ່ນອນ.

ຄູ່ມືກ່ຽວກັບອິນເຕີເນັດ

ມັນພຽງແຕ່ເກີດຂຶ້ນດັ່ງນັ້ນອິນເຕີເນັດບໍ່ໄດ້ທົນທຸກຈາກການຂາດການແນະນໍາຕ່າງໆ, tutorials, ຂັ້ນຕອນໂດຍຂັ້ນຕອນແລະອື່ນໆ. ມັນເກີດຂຶ້ນດັ່ງນັ້ນຂ້ອຍໄດ້ຖືກມອບຫມາຍໃຫ້ພັດທະນາການແກ້ໄຂເພື່ອຄວາມສະດວກໃນການຈັດຕັ້ງແລະການກໍ່ສ້າງກຸ່ມ PostgreSQL ທີ່ລົ້ມເຫລວ, ຂໍ້ກໍານົດຕົ້ນຕໍສໍາລັບການຖ່າຍທອດການຈໍາລອງຈາກເຄື່ອງແມ່ຂ່າຍແມ່ບົດໄປຫາ replicas ທັງຫມົດແລະການສະຫນອງອັດຕະໂນມັດຂອງສະຫງວນໃນກໍລະນີຂອງເຄື່ອງແມ່ຂ່າຍຕົ້ນສະບັບ. ຄວາມລົ້ມເຫຼວ.

ໃນຂັ້ນຕອນນີ້, stack ຂອງເຕັກໂນໂລຢີທີ່ໃຊ້ໄດ້ຖືກກໍານົດ:

• PostgreSQL ເປັນ DBMS
• Patroni ເປັນການແກ້ໄຂກຸ່ມ
• etcd ເປັນການເກັບຮັກສາທີ່ແຈກຢາຍສໍາລັບ Patroni
• HAproxy ສໍາລັບການຈັດຕັ້ງຈຸດເຂົ້າດຽວສໍາລັບຄໍາຮ້ອງສະຫມັກທີ່ໃຊ້ຖານຂໍ້ມູນ

ການຕັ້ງຄ່າ

ສໍາລັບຄວາມສົນໃຈຂອງທ່ານ - ການສ້າງກຸ່ມ PostgreSQL ທີ່ມີຢູ່ສູງໂດຍໃຊ້ Patroni, etcd, HAProxy.

ການດໍາເນີນງານທັງຫມົດໄດ້ຖືກປະຕິບັດຢູ່ໃນເຄື່ອງ virtual ທີ່ມີ Debian 10 OS ຕິດຕັ້ງ.

ແລະອື່ນ

ຂ້ອຍບໍ່ແນະນໍາໃຫ້ຕິດຕັ້ງ etcd ໃນເຄື່ອງດຽວກັນທີ່ patroni ແລະ postgresql ຈະຕັ້ງຢູ່, ນັບຕັ້ງແຕ່ການໂຫຼດແຜ່ນແມ່ນມີຄວາມສໍາຄັນຫຼາຍສໍາລັບ etcd. ແຕ່ສໍາລັບຈຸດປະສົງການສຶກສາ, ພວກເຮົາຈະເຮັດແນວນັ້ນ.
ໃຫ້ຕິດຕັ້ງ etcd.

#!/bin/bash
apt-get update
apt-get install etcd

ເພີ່ມເນື້ອຫາໃສ່ໄຟລ໌ /etc/default/etcd

[ສະມາຊິກ]

ETCD_NAME=datanode1 # ຊື່ເຈົ້າພາບຂອງເຄື່ອງຂອງເຈົ້າ
ETCD_DATA_DIR=”/var/lib/etcd/default.etcd”

ທີ່ຢູ່ IP ທັງໝົດຄວນຈະຖືກຕ້ອງ. LISTER PEER, Client ແລະອື່ນໆຄວນຈະຖືກຕັ້ງເປັນທີ່ຢູ່ IP ຂອງເຈົ້າພາບ

ETCD_LISTEN_PEER_URLS="http://192.168.0.143:2380» # ທີ່ຢູ່ຂອງລົດເຈົ້າ
ETCD_LISTEN_CLIENT_URLS="http://192.168.0.143:2379,http://127.0.0.1:2379» # ທີ່ຢູ່ຂອງລົດເຈົ້າ

[ກຸ່ມ]

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.143:2380» # ທີ່ຢູ່ຂອງລົດເຈົ້າ
ETCD_INITIAL_CLUSTER=»datanode1=http://192.168.0.143:2380,datanode2=http://192.168.0.144:2380,datanode3=http://192.168.0.145:2380» # ທີ່ຢູ່ຂອງເຄື່ອງທັງໝົດໃນກຸ່ມ etcd
ETCD_INITIAL_CLUSTER_STATE="ໃໝ່"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-1″
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.143:2379» # ທີ່ຢູ່ຂອງລົດເຈົ້າ

ດໍາເນີນການຄໍາສັ່ງ

systemctl restart etcd

PostgreSQL 9.6 + patroni

ສິ່ງທໍາອິດທີ່ທ່ານຈໍາເປັນຕ້ອງເຮັດແມ່ນຕັ້ງສາມເຄື່ອງ virtual ເພື່ອຕິດຕັ້ງຊອບແວທີ່ຈໍາເປັນໃສ່ພວກມັນ. ຫຼັງຈາກການຕິດຕັ້ງເຄື່ອງຈັກ, ຖ້າທ່ານປະຕິບັດຕາມຄໍາແນະນໍາຂອງຂ້ອຍ, ທ່ານສາມາດດໍາເນີນການ script ງ່າຍໆນີ້ທີ່ຈະ (ເກືອບ) ເຮັດທຸກຢ່າງສໍາລັບທ່ານ. ແລ່ນເປັນຮາກ.

ກະລຸນາສັງເກດວ່າສະຄິບໃຊ້ PostgreSQL ຮຸ່ນ 9.6, ນີ້ແມ່ນຍ້ອນຄວາມຕ້ອງການພາຍໃນຂອງບໍລິສັດຂອງພວກເຮົາ. ການແກ້ໄຂບໍ່ໄດ້ຖືກທົດສອບໃນ PostgreSQL ຮຸ່ນອື່ນໆ.

#!/bin/bash
apt-get install gnupg -y
echo "deb http://apt.postgresql.org/pub/repos/apt/ buster-pgdg main" >> /etc/apt/sources.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add -
apt-get update
apt-get install postgresql-9.6 python3-pip python3-dev libpq-dev -y
systemctl stop postgresql
pip3 install --upgrade pip
pip install psycopg2
pip install patroni[etcd]
echo "
[Unit]
Description=Runners to orchestrate a high-availability PostgreSQL
After=syslog.target network.target

[Service]
Type=simple

User=postgres
Group=postgres

ExecStart=/usr/local/bin/patroni /etc/patroni.yml

KillMode=process

TimeoutSec=30

Restart=no

[Install]
WantedBy=multi-user.targ
" > /etc/systemd/system/patroni.service
mkdir -p /data/patroni
chown postgres:postgres /data/patroni
chmod 700 /data/patroniпо
touch /etc/patroni.yml

ຕໍ່ໄປ, ໃນໄຟລ໌ /etc/patroni.yml ທີ່ເຈົ້າຫາກໍ່ສ້າງ, ທ່ານຈໍາເປັນຕ້ອງວາງເນື້ອຫາຕໍ່ໄປນີ້, ແນ່ນອນ, ການປ່ຽນແປງທີ່ຢູ່ IP ໃນສະຖານທີ່ທັງຫມົດໄປຫາທີ່ຢູ່ທີ່ທ່ານໃຊ້.
ເອົາໃຈໃສ່ກັບຄໍາເຫັນໃນ yaml ນີ້. ປ່ຽນທີ່ຢູ່ເປັນຂອງຕົນເອງໃນແຕ່ລະເຄື່ອງຈັກໃນກຸ່ມ.

/etc/patroni.yml

scope: pgsql # должно быть одинаковым на всех нодах
namespace: /cluster/ # должно быть одинаковым на всех нодах
name: postgres1 # должно быть разным на всех нодах

restapi:
    listen: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл
    connect_address: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл

etcd:
    hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 # перечислите здесь все ваши ноды, в случае если вы устанавливаете etcd на них же

# this section (bootstrap) will be written into Etcd:/<namespace>/<scope>/config after initializing new cluster
# and all other cluster members will use it as a `global configuration`
bootstrap:
    dcs:
        ttl: 100
        loop_wait: 10
        retry_timeout: 10
        maximum_lag_on_failover: 1048576
        postgresql:
            use_pg_rewind: true
            use_slots: true
            parameters:
                    wal_level: replica
                    hot_standby: "on"
                    wal_keep_segments: 5120
                    max_wal_senders: 5
                    max_replication_slots: 5
                    checkpoint_timeout: 30

    initdb:
    - encoding: UTF8
    - data-checksums
    - locale: en_US.UTF8
    # init pg_hba.conf должен содержать адреса ВСЕХ машин, используемых в кластере
    pg_hba:
    - host replication postgres ::1/128 md5
    - host replication postgres 127.0.0.1/8 md5
    - host replication postgres 192.168.0.143/24 md5
    - host replication postgres 192.168.0.144/24 md5
    - host replication postgres 192.168.0.145/24 md5
    - host all all 0.0.0.0/0 md5

    users:
        admin:
            password: admin
            options:
                - createrole
                - createdb

postgresql:
    listen: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
    connect_address: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
    data_dir: /data/patroni # эту директорию создаст скрипт, описанный выше и установит нужные права
    bin_dir:  /usr/lib/postgresql/9.6/bin # укажите путь до вашей директории с postgresql
    pgpass: /tmp/pgpass
    authentication:
        replication:
            username: postgres
            password: postgres
        superuser:
            username: postgres
            password: postgres
    create_replica_methods:
        basebackup:
            checkpoint: 'fast'
    parameters:
        unix_socket_directories: '.'

tags:
    nofailover: false
    noloadbalance: false
    clonefrom: false
    nosync: false

ສະຄຣິບຕ້ອງຖືກແລ່ນຢູ່ໃນທັງສາມເຄື່ອງຂອງກຸ່ມ, ແລະການຕັ້ງຄ່າຂ້າງເທິງນີ້ຍັງຕ້ອງຖືກວາງໄວ້ໃນໄຟລ໌ /etc/patroni.yml ໃນທຸກເຄື່ອງ.

ເມື່ອທ່ານໄດ້ສໍາເລັດການດໍາເນີນການເຫຼົ່ານີ້ຢູ່ໃນທຸກເຄື່ອງຈັກໃນກຸ່ມ, ດໍາເນີນການຄໍາສັ່ງຕໍ່ໄປນີ້ກ່ຽວກັບເຄື່ອງໃດໆຂອງພວກເຂົາ

systemctl start patroni
systemctl start postgresql

ລໍຖ້າປະມານ 30 ວິນາທີ, ຫຼັງຈາກນັ້ນດໍາເນີນການຄໍາສັ່ງນີ້ຢູ່ໃນເຄື່ອງທີ່ຍັງເຫຼືອຢູ່ໃນ cluster.

HAproxy

ພວກເຮົາໃຊ້ HAproxy ທີ່ດີເລີດເພື່ອສະຫນອງຈຸດດຽວຂອງການເຂົ້າ. ເຊີບເວີແມ່ແບບຈະມີຢູ່ສະເໝີຢູ່ທີ່ທີ່ຢູ່ຂອງເຄື່ອງທີ່ HAproxy ຖືກນຳໃຊ້.

ເພື່ອບໍ່ໃຫ້ເຄື່ອງທີ່ມີ HAproxy ເປັນຈຸດດຽວຂອງຄວາມລົ້ມເຫຼວ, ພວກເຮົາຈະເປີດຕົວມັນຢູ່ໃນ Docker container; ໃນອະນາຄົດມັນສາມາດຖືກເປີດຕົວເຂົ້າໄປໃນ cluster ຂອງ K8 ແລະເຮັດໃຫ້ກຸ່ມ failover ຂອງພວກເຮົາມີຄວາມຫນ້າເຊື່ອຖືຫຼາຍຂຶ້ນ.

ສ້າງໄດເລກະທໍລີທີ່ທ່ານສາມາດເກັບຮັກສາສອງໄຟລ໌ - Dockerfile ແລະ haproxy.cfg. ໄປຫາມັນ.

dockerfile

FROM ubuntu:latest

RUN apt-get update 
    && apt-get install -y haproxy rsyslog 
    && rm -rf /var/lib/apt/lists/*

RUN mkdir /run/haproxy

COPY haproxy.cfg /etc/haproxy/haproxy.cfg

CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.log

ຈົ່ງລະວັງ, ສາມແຖວສຸດທ້າຍຂອງໄຟລ໌ haproxy.cfg ຄວນບອກທີ່ຢູ່ຂອງເຄື່ອງຂອງທ່ານ. HAproxy ຈະຕິດຕໍ່ກັບ Patroni, ໃນສ່ວນຫົວ HTTP ເຊີບເວີແມ່ແບບຈະສົ່ງຄືນ 200 ສະເໝີ, ແລະການຈໍາລອງຈະກັບຄືນມາ 503 ສະເໝີ.

haproxy.cfg

global
    maxconn 100

defaults
    log global
    mode tcp
    retries 2
    timeout client 30m
    timeout connect 4s
    timeout server 30m
    timeout check 5s

listen stats
    mode http
    bind *:7000
    stats enable
    stats uri /

listen postgres
    bind *:5000
    option httpchk
    http-check expect status 200
    default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
    server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008
    server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008
    server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008

ຢູ່ໃນໄດເລກະທໍລີທີ່ທັງສອງໄຟລ໌ຂອງພວກເຮົາ "ນອນ," ໃຫ້ພວກເຮົາປະຕິບັດຄໍາສັ່ງສໍາລັບການຫຸ້ມຫໍ່ບັນຈຸບັນຈຸ, ແລະເປີດມັນດ້ວຍການສົ່ງຕໍ່ພອດທີ່ຈໍາເປັນ:

docker build -t my-haproxy .
docker run -d -p5000:5000 -p7000:7000 my-haproxy 

ດຽວນີ້, ໂດຍການເປີດທີ່ຢູ່ຂອງເຄື່ອງຂອງທ່ານດ້ວຍ HAproxy ໃນ browser ແລະລະບຸ port 7000, ທ່ານຈະເຫັນສະຖິຕິໃນ cluster ຂອງທ່ານ.

ເຊີບເວີທີ່ເປັນແມ່ແບບຈະຢູ່ໃນສະຖານະ UP, ແລະການຈໍາລອງຈະຢູ່ໃນສະຖານະ DOWN. ນີ້ແມ່ນເລື່ອງປົກກະຕິ, ໃນຄວາມເປັນຈິງພວກເຂົາເຮັດວຽກ, ແຕ່ພວກມັນປາກົດແບບນີ້ຍ້ອນວ່າພວກເຂົາສົ່ງຄືນ 503 ສໍາລັບການຮ້ອງຂໍຈາກ HAproxy. ອັນນີ້ເຮັດໃຫ້ພວກເຮົາຮູ້ສະເໝີວ່າອັນໃດໃນສາມເຊີບເວີແມ່ນແມ່ບົດປະຈຸບັນ.

ສະຫລຸບ

ເຈົ້າງາມ! ໃນເວລາພຽງ 30 ນາທີ, ທ່ານໄດ້ນຳໃຊ້ກຸ່ມຖານຂໍ້ມູນທີ່ທົນທານຕໍ່ຄວາມຜິດພາດ ແລະ ປະສິດທິພາບສູງທີ່ດີພ້ອມດ້ວຍການຈຳລອງແບບສະຕຣີມມິງ ແລະ ອັດຕະໂນມັດ. ຖ້າທ່ານກໍາລັງວາງແຜນທີ່ຈະໃຊ້ການແກ້ໄຂນີ້, ໃຫ້ກວດເບິ່ງ ກັບເອກະສານ Patroni ຢ່າງເປັນທາງການ, ແລະໂດຍສະເພາະກັບພາກສ່ວນຂອງຕົນກ່ຽວກັບຜົນປະໂຫຍດ patronictl, ເຊິ່ງສະຫນອງການເຂົ້າເຖິງສະດວກໃນການຄຸ້ມຄອງກຸ່ມຂອງທ່ານ.

ຊົມເຊີຍ!

ແຫຼ່ງຂໍ້ມູນ: www.habr.com