ისე მოხდა, რომ იმ დროს, როცა პრობლემა წამოიჭრა, მე არ მქონდა საკმარისი გამოცდილება ამ გადაწყვეტის მარტო შემუშავებისა და გაშვებისთვის. შემდეგ დავიწყე გუგლინგი.

არ ვიცი, რა არის დაჭერა, მაგრამ უკვე ამდენჯერ ვაწყდები იმ ფაქტს, რომ თუნდაც ეტაპობრივად ვაკეთო ყველაფერი, როგორც სახელმძღვანელოში, მოვამზადო იგივე გარემო, როგორც ავტორი, მაშინ არაფერი გამოდგება. წარმოდგენა არ მაქვს, რაშია საქმე, მაგრამ როცა ამას ისევ შევხვდი, გადავწყვიტე, რომ დავწერო ჩემი გაკვეთილი, როცა ყველაფერი გამოვა. ერთი, რომელიც აუცილებლად იმუშავებს.

გიდები ინტერნეტში

ისე ხდება, რომ ინტერნეტი არ განიცდის სხვადასხვა სახელმძღვანელოების, გაკვეთილების, ნაბიჯ-ნაბიჯ და მსგავსის ნაკლებობას. ისე მოხდა, რომ მე დავალებული მქონდა გადაწყვეტილების შემუშავება PostgreSQL კლასტერის მოსახერხებელი ორგანიზებისა და აშენებისთვის, რომლის ძირითადი მოთხოვნები იყო Master სერვერიდან რეპლიკაცია ყველა რეპლიკაზე და რეზერვის ავტომატური უზრუნველყოფა Master სერვერის შემთხვევაში. წარუმატებლობა.

ამ ეტაპზე განისაზღვრა გამოყენებული ტექნოლოგიების ნაკრები:

• PostgreSQL როგორც DBMS
• პატრონი როგორც კლასტერული გადაწყვეტა
• etcd როგორც განაწილებული საცავი პატრონისთვის
• HAproxy აპლიკაციებისთვის ერთი შესვლის წერტილის ორგანიზებისთვის მონაცემთა ბაზის გამოყენებით

დაყენების

თქვენი ყურადღებისთვის - შექმენით უაღრესად ხელმისაწვდომი PostgreSQL კლასტერი Patroni, etcd, HAProxy გამოყენებით.

ყველა ოპერაცია შესრულდა ვირტუალურ მანქანებზე დაინსტალირებული Debian 10 OS-ით.

ა.შ.შ

არ გირჩევთ etcd-ის დაყენებას იმავე მანქანებზე, სადაც patroni და postgresql იქნება განთავსებული, ვინაიდან დისკის დატვირთვა etcd-სთვის ძალიან მნიშვნელოვანია. მაგრამ საგანმანათლებლო მიზნებისთვის ჩვენ ამას გავაკეთებთ.
მოდით დავაინსტალიროთ etcd.

#!/bin/bash
apt-get update
apt-get install etcd

დაამატეთ შინაარსი /etc/default/etcd ფაილში

[წევრი]

ETCD_NAME=datanode1 თქვენი აპარატის # ჰოსტის სახელი
ETCD_DATA_DIR=”/var/lib/etcd/default.etcd”

ყველა IP მისამართი უნდა იყოს მოქმედი. LISTER PEER, Client და ა.შ. უნდა იყოს დაყენებული მასპინძლის IP მისამართზე

ETCD_LISTEN_PEER_URLS="http://192.168.0.143:2380» თქვენი მანქანის # მისამართი
ETCD_LISTEN_CLIENT_URLS="http://192.168.0.143:2379,http://127.0.0.1:2379» თქვენი მანქანის # მისამართი

[კლასტერი]

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.143:2380» თქვენი მანქანის # მისამართი
ETCD_INITIAL_CLUSTER=»datanode1=http://192.168.0.143:2380,datanode2=http://192.168.0.144:2380,datanode3=http://192.168.0.145:2380» etcd კლასტერში ყველა მანქანის # მისამართი
ETCD_INITIAL_CLUSTER_STATE="ახალი"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-1″
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.143:2379» თქვენი მანქანის # მისამართი

გაუშვით ბრძანება

systemctl restart etcd

PostgreSQL 9.6 + მფარველი

პირველი, რაც უნდა გააკეთოთ, არის სამი ვირტუალური აპარატის დაყენება მათზე საჭირო პროგრამული უზრუნველყოფის დასაყენებლად. მანქანების დაყენების შემდეგ, თუ მიჰყვებით ჩემს გაკვეთილს, შეგიძლიათ გაუშვათ ეს მარტივი სკრიპტი, რომელიც (თითქმის) ყველაფერს გააკეთებს თქვენთვის. მუშაობს როგორც root.

გთხოვთ გაითვალისწინოთ, რომ სკრიპტი იყენებს PostgreSQL ვერსიას 9.6, ეს გამოწვეულია ჩვენი კომპანიის შიდა მოთხოვნებით. გამოსავალი არ არის გამოცდილი PostgreSQL-ის სხვა ვერსიებზე.

#!/bin/bash
apt-get install gnupg -y
echo "deb http://apt.postgresql.org/pub/repos/apt/ buster-pgdg main" >> /etc/apt/sources.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add -
apt-get update
apt-get install postgresql-9.6 python3-pip python3-dev libpq-dev -y
systemctl stop postgresql
pip3 install --upgrade pip
pip install psycopg2
pip install patroni[etcd]
echo "
[Unit]
Description=Runners to orchestrate a high-availability PostgreSQL
After=syslog.target network.target

[Service]
Type=simple

User=postgres
Group=postgres

ExecStart=/usr/local/bin/patroni /etc/patroni.yml

KillMode=process

TimeoutSec=30

Restart=no

[Install]
WantedBy=multi-user.targ
" > /etc/systemd/system/patroni.service
mkdir -p /data/patroni
chown postgres:postgres /data/patroni
chmod 700 /data/patroniпо
touch /etc/patroni.yml

შემდეგ, თქვენ მიერ ახლახან შექმნილ /etc/patroni.yml ფაილში თქვენ უნდა განათავსოთ შემდეგი შინაარსი, რა თქმა უნდა შეცვალოთ IP მისამართები ყველა ადგილას იმ მისამართებზე, რომლებსაც იყენებთ.
ყურადღება მიაქციეთ ამ იამლის კომენტარებს. შეცვალეთ მისამართები კლასტერში თითოეულ მანქანაზე.

/etc/patroni.yml

scope: pgsql # должно быть одинаковым на всех нодах
namespace: /cluster/ # должно быть одинаковым на всех нодах
name: postgres1 # должно быть разным на всех нодах

restapi:
    listen: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл
    connect_address: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл

etcd:
    hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 # перечислите здесь все ваши ноды, в случае если вы устанавливаете etcd на них же

# this section (bootstrap) will be written into Etcd:/<namespace>/<scope>/config after initializing new cluster
# and all other cluster members will use it as a `global configuration`
bootstrap:
    dcs:
        ttl: 100
        loop_wait: 10
        retry_timeout: 10
        maximum_lag_on_failover: 1048576
        postgresql:
            use_pg_rewind: true
            use_slots: true
            parameters:
                    wal_level: replica
                    hot_standby: "on"
                    wal_keep_segments: 5120
                    max_wal_senders: 5
                    max_replication_slots: 5
                    checkpoint_timeout: 30

    initdb:
    - encoding: UTF8
    - data-checksums
    - locale: en_US.UTF8
    # init pg_hba.conf должен содержать адреса ВСЕХ машин, используемых в кластере
    pg_hba:
    - host replication postgres ::1/128 md5
    - host replication postgres 127.0.0.1/8 md5
    - host replication postgres 192.168.0.143/24 md5
    - host replication postgres 192.168.0.144/24 md5
    - host replication postgres 192.168.0.145/24 md5
    - host all all 0.0.0.0/0 md5

    users:
        admin:
            password: admin
            options:
                - createrole
                - createdb

postgresql:
    listen: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
    connect_address: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
    data_dir: /data/patroni # эту директорию создаст скрипт, описанный выше и установит нужные права
    bin_dir:  /usr/lib/postgresql/9.6/bin # укажите путь до вашей директории с postgresql
    pgpass: /tmp/pgpass
    authentication:
        replication:
            username: postgres
            password: postgres
        superuser:
            username: postgres
            password: postgres
    create_replica_methods:
        basebackup:
            checkpoint: 'fast'
    parameters:
        unix_socket_directories: '.'

tags:
    nofailover: false
    noloadbalance: false
    clonefrom: false
    nosync: false

სკრიპტი უნდა იყოს გაშვებული კლასტერის სამივე მანქანაზე და ზემოაღნიშნული კონფიგურაცია ასევე უნდა განთავსდეს /etc/patroni.yml ფაილში ყველა მანქანაზე.

მას შემდეგ რაც დაასრულებთ ამ ოპერაციებს კლასტერის ყველა მანქანაზე, გაუშვით შემდეგი ბრძანება რომელიმე მათგანზე

systemctl start patroni
systemctl start postgresql

დაელოდეთ დაახლოებით 30 წამს, შემდეგ გაუშვით ეს ბრძანება კლასტერში დარჩენილ მანქანებზე.

HAproxy

ჩვენ ვიყენებთ შესანიშნავ HAproxy-ს ერთი შესვლის წერტილის უზრუნველსაყოფად. სამაგისტრო სერვერი ყოველთვის ხელმისაწვდომი იქნება იმ აპარატის მისამართზე, რომელზეც განლაგებულია HAproxy.

იმისათვის, რომ HAproxy-ის მქონე მანქანა არ გახდეს ერთი მარცხის წერტილი, ჩვენ მას გავუშვით Docker-ის კონტეინერში; მომავალში მისი გაშვება შესაძლებელია K8-ის კლასტერში და კიდევ უფრო სანდო გავხადოთ ჩვენი ფაილვერის კლასტერი.

შექმენით დირექტორია, სადაც შეგიძლიათ შეინახოთ ორი ფაილი - Dockerfile და haproxy.cfg. წადი მასზე.

dockerfile

FROM ubuntu:latest

RUN apt-get update 
    && apt-get install -y haproxy rsyslog 
    && rm -rf /var/lib/apt/lists/*

RUN mkdir /run/haproxy

COPY haproxy.cfg /etc/haproxy/haproxy.cfg

CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.log

ფრთხილად იყავით, haproxy.cfg ფაილის ბოლო სამ სტრიქონში უნდა იყოს მითითებული თქვენი აპარატების მისამართები. HAproxy დაუკავშირდება Patroni-ს, HTTP სათაურებში მთავარი სერვერი ყოველთვის დააბრუნებს 200-ს, ხოლო რეპლიკა ყოველთვის დააბრუნებს 503-ს.

ჰაპროქსი.cfg

global
    maxconn 100

defaults
    log global
    mode tcp
    retries 2
    timeout client 30m
    timeout connect 4s
    timeout server 30m
    timeout check 5s

listen stats
    mode http
    bind *:7000
    stats enable
    stats uri /

listen postgres
    bind *:5000
    option httpchk
    http-check expect status 200
    default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
    server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008
    server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008
    server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008

იმ დირექტორიაში ყოფნისას, რომელშიც ჩვენი ორივე ფაილი "დევს", მოდით, თანმიმდევრულად შევასრულოთ ბრძანებები კონტეინერის შეფუთვაზე, ისევე როგორც მისი გაშვება საჭირო პორტების გაგზავნით:

docker build -t my-haproxy .
docker run -d -p5000:5000 -p7000:7000 my-haproxy 

ახლა, ბრაუზერში HAproxy-ით თქვენი აპარატის მისამართის გახსნით და 7000 პორტის მითითებით, თქვენ იხილავთ სტატისტიკას თქვენს კლასტერზე.

სერვერი, რომელიც არის მასტერი, იქნება UP მდგომარეობაში, ხოლო ასლები იქნება DOWN მდგომარეობაში. ეს ნორმალურია, სინამდვილეში ისინი მუშაობენ, მაგრამ ნაჩვენებია ამ გზით იმის გამო, რომ ისინი აბრუნებენ 503-ს HAproxy-ის მოთხოვნისთვის. ეს გვაძლევს საშუალებას ყოველთვის ზუსტად ვიცოდეთ სამი სერვერიდან რომელია ამჟამინდელი მასტერი.

დასკვნა

Შენ შესანიშნავი ხარ! სულ რაღაც 30 წუთში თქვენ განათავსეთ შესანიშნავი ხარვეზებისადმი ტოლერანტული და მაღალი ხარისხის მონაცემთა ბაზის კლასტერი ნაკადის რეპლიკაციით და ავტომატური ჩანაცვლებით. თუ თქვენ გეგმავთ ამ გადაწყვეტის გამოყენებას, შეამოწმეთ ოფიციალური პატრონის დოკუმენტაციით, და განსაკუთრებით მისი ნაწილი, რომელიც ეხება patronictl უტილიტას, რომელიც უზრუნველყოფს მოსახერხებელ წვდომას თქვენი კლასტერის მართვაზე.

გილოცავთ!

წყარო: www.habr.com