វាបានកើតឡើងដូច្នេះថា នៅពេលមានបញ្ហាកើតឡើង ខ្ញុំមិនមានបទពិសោធន៍គ្រប់គ្រាន់ក្នុងការអភិវឌ្ឍន៍ និងចាប់ផ្តើមដំណោះស្រាយនេះតែម្នាក់ឯងនោះទេ។ ហើយបន្ទាប់មកខ្ញុំចាប់ផ្តើម Google ។

ខ្ញុំមិនដឹងថាការចាប់នោះជាអ្វីនោះទេ ប៉ុន្តែសម្រាប់លើកទីដប់មួយខ្ញុំប្រឈមមុខនឹងការពិតដែលថាទោះបីជាខ្ញុំធ្វើអ្វីៗគ្រប់យ៉ាងមួយជំហានម្តងៗដូចនៅក្នុងមេរៀនក៏ដោយ ក៏រៀបចំបរិយាកាសដូចអ្នកនិពន្ធដែរ នោះគ្មានអ្វីដែលមានប្រសិទ្ធភាពនោះទេ។ ខ្ញុំមិនដឹងថាមានរឿងអ្វីនោះទេ ប៉ុន្តែនៅពេលដែលខ្ញុំជួបបញ្ហានេះម្តងទៀត ខ្ញុំបានសម្រេចចិត្តថាខ្ញុំនឹងសរសេរការបង្រៀនផ្ទាល់ខ្លួនរបស់ខ្ញុំ នៅពេលដែលអ្វីៗដំណើរការ។ មួយដែលប្រាកដជានឹងដំណើរការ។

ការណែនាំនៅលើអ៊ីនធឺណិត

វាកើតឡើងដូច្នេះថាអ៊ីនធឺណិតមិនទទួលរងពីការខ្វះខាតនៃការណែនាំផ្សេងៗ ការបង្រៀន ជំហានដោយជំហាន និងផ្សេងទៀត។ វាបានកើតឡើងដូច្នេះថាខ្ញុំត្រូវបានប្រគល់ភារកិច្ចឱ្យបង្កើតដំណោះស្រាយសម្រាប់ការរៀបចំយ៉ាងងាយស្រួល និងបង្កើតចង្កោម PostgreSQL ដែលបរាជ័យ ដែលជាតម្រូវការចម្បងសម្រាប់ការផ្សាយចម្លងពីម៉ាស៊ីនមេទៅម៉ាស៊ីនចម្លងទាំងអស់ និងការផ្តល់ទុនបំរុងដោយស្វ័យប្រវត្តិនៅក្នុងព្រឹត្តិការណ៍នៃម៉ាស៊ីនមេមេ។ បរាជ័យ។

នៅដំណាក់កាលនេះជង់នៃបច្ចេកវិទ្យាដែលបានប្រើត្រូវបានកំណត់:

• PostgreSQL ជា DBMS
• ប៉ាតូនី ជាដំណោះស្រាយចង្កោម
• etcd ជាការផ្ទុកចែកចាយសម្រាប់ Patroni
• HAproxy សម្រាប់រៀបចំចំណុចចូលតែមួយសម្រាប់កម្មវិធីដោយប្រើមូលដ្ឋានទិន្នន័យ

ការកំណត់

សម្រាប់ការយកចិត្តទុកដាក់របស់អ្នក - ការកសាងចង្កោម PostgreSQL ដែលមានកម្រិតខ្ពស់ដោយប្រើ Patroni, etcd, HAProxy ។

ប្រតិបត្តិការទាំងអស់ត្រូវបានអនុវត្តនៅលើម៉ាស៊ីននិម្មិតជាមួយនឹង Debian 10 OS ដែលបានដំឡើង។

ល

ខ្ញុំមិនណែនាំឱ្យដំឡើង etcd នៅលើម៉ាស៊ីនដូចគ្នាដែល patroni និង postgresql នឹងមានទីតាំងទេ ព្រោះការផ្ទុកថាសមានសារៈសំខាន់ខ្លាំងណាស់សម្រាប់ etcd ។ ប៉ុន្តែ​សម្រាប់​គោល​បំណង​អប់រំ យើង​នឹង​ធ្វើ​បែប​នោះ។
តោះដំឡើង ល។

#!/bin/bash
apt-get update
apt-get install etcd

បន្ថែមមាតិកាទៅឯកសារ /etc/default/etcd

[សមាជិក]

ETCD_NAME=datanode1 # ឈ្មោះម៉ាស៊ីននៃម៉ាស៊ីនរបស់អ្នក។
ETCD_DATA_DIR=”/var/lib/etcd/default.etcd”

អាសយដ្ឋាន IP ទាំងអស់គួរតែមានសុពលភាព។ LISTER PEER, Client ជាដើម គួរតែត្រូវបានកំណត់ទៅអាសយដ្ឋាន IP របស់ម៉ាស៊ីន

ETCD_LISTEN_PEER_URLS="http://192.168.0.143:2380» # អាស័យដ្ឋានឡានរបស់អ្នក។
ETCD_LISTEN_CLIENT_URLS="http://192.168.0.143:2379,http://127.0.0.1:2379» # អាស័យដ្ឋានឡានរបស់អ្នក។

[ចង្កោម]

ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.143:2380» # អាស័យដ្ឋានឡានរបស់អ្នក។
ETCD_INITIAL_CLUSTER=»datanode1=http://192.168.0.143:2380,datanode2=http://192.168.0.144:2380,datanode3=http://192.168.0.145:2380» # អាសយដ្ឋានរបស់ម៉ាស៊ីនទាំងអស់នៅក្នុងចង្កោម etcd
ETCD_INITIAL_CLUSTER_STATE="ថ្មី"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-1″
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.143:2379» # អាស័យដ្ឋានឡានរបស់អ្នក។

ប្រតិបត្តិពាក្យបញ្ជា

systemctl restart etcd

PostgreSQL 9.6 + patroni

រឿងដំបូងដែលអ្នកត្រូវធ្វើគឺដំឡើងម៉ាស៊ីននិម្មិតចំនួនបីដើម្បីដំឡើងកម្មវិធីចាំបាច់នៅលើពួកវា។ បន្ទាប់ពីដំឡើងម៉ាស៊ីនហើយ ប្រសិនបើអ្នកធ្វើតាមការបង្រៀនរបស់ខ្ញុំ អ្នកអាចដំណើរការស្គ្រីបដ៏សាមញ្ញនេះដែលនឹង (ស្ទើរតែ) ធ្វើអ្វីៗគ្រប់យ៉ាងសម្រាប់អ្នក។ ដំណើរការជា root ។

សូមចំណាំថាស្គ្រីបប្រើ PostgreSQL កំណែ 9.6 នេះគឺដោយសារតែតម្រូវការផ្ទៃក្នុងរបស់ក្រុមហ៊ុនរបស់យើង។ ដំណោះស្រាយមិនត្រូវបានសាកល្បងលើកំណែផ្សេងទៀតនៃ PostgreSQL ទេ។

#!/bin/bash
apt-get install gnupg -y
echo "deb http://apt.postgresql.org/pub/repos/apt/ buster-pgdg main" >> /etc/apt/sources.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add -
apt-get update
apt-get install postgresql-9.6 python3-pip python3-dev libpq-dev -y
systemctl stop postgresql
pip3 install --upgrade pip
pip install psycopg2
pip install patroni[etcd]
echo "
[Unit]
Description=Runners to orchestrate a high-availability PostgreSQL
After=syslog.target network.target

[Service]
Type=simple

User=postgres
Group=postgres

ExecStart=/usr/local/bin/patroni /etc/patroni.yml

KillMode=process

TimeoutSec=30

Restart=no

[Install]
WantedBy=multi-user.targ
" > /etc/systemd/system/patroni.service
mkdir -p /data/patroni
chown postgres:postgres /data/patroni
chmod 700 /data/patroniпо
touch /etc/patroni.yml

បន្ទាប់មក នៅក្នុងឯកសារ /etc/patroni.yml ដែលអ្នកទើបតែបង្កើត អ្នកត្រូវដាក់មាតិកាខាងក្រោម ជាការពិតការផ្លាស់ប្តូរអាសយដ្ឋាន IP នៅគ្រប់កន្លែងទៅអាសយដ្ឋានដែលអ្នកប្រើ។
យកចិត្តទុកដាក់ចំពោះមតិយោបល់នៅក្នុង yaml នេះ។ ផ្លាស់ប្តូរអាសយដ្ឋានទៅផ្ទាល់ខ្លួនរបស់អ្នកនៅលើម៉ាស៊ីននីមួយៗនៅក្នុងចង្កោម។

/etc/patroni.yml

scope: pgsql # должно быть одинаковым на всех нодах
namespace: /cluster/ # должно быть одинаковым на всех нодах
name: postgres1 # должно быть разным на всех нодах

restapi:
    listen: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл
    connect_address: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл

etcd:
    hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 # перечислите здесь все ваши ноды, в случае если вы устанавливаете etcd на них же

# this section (bootstrap) will be written into Etcd:/<namespace>/<scope>/config after initializing new cluster
# and all other cluster members will use it as a `global configuration`
bootstrap:
    dcs:
        ttl: 100
        loop_wait: 10
        retry_timeout: 10
        maximum_lag_on_failover: 1048576
        postgresql:
            use_pg_rewind: true
            use_slots: true
            parameters:
                    wal_level: replica
                    hot_standby: "on"
                    wal_keep_segments: 5120
                    max_wal_senders: 5
                    max_replication_slots: 5
                    checkpoint_timeout: 30

    initdb:
    - encoding: UTF8
    - data-checksums
    - locale: en_US.UTF8
    # init pg_hba.conf должен содержать адреса ВСЕХ машин, используемых в кластере
    pg_hba:
    - host replication postgres ::1/128 md5
    - host replication postgres 127.0.0.1/8 md5
    - host replication postgres 192.168.0.143/24 md5
    - host replication postgres 192.168.0.144/24 md5
    - host replication postgres 192.168.0.145/24 md5
    - host all all 0.0.0.0/0 md5

    users:
        admin:
            password: admin
            options:
                - createrole
                - createdb

postgresql:
    listen: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
    connect_address: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
    data_dir: /data/patroni # эту директорию создаст скрипт, описанный выше и установит нужные права
    bin_dir:  /usr/lib/postgresql/9.6/bin # укажите путь до вашей директории с postgresql
    pgpass: /tmp/pgpass
    authentication:
        replication:
            username: postgres
            password: postgres
        superuser:
            username: postgres
            password: postgres
    create_replica_methods:
        basebackup:
            checkpoint: 'fast'
    parameters:
        unix_socket_directories: '.'

tags:
    nofailover: false
    noloadbalance: false
    clonefrom: false
    nosync: false

ស្គ្រីបត្រូវតែដំណើរការលើម៉ាស៊ីនទាំងបីនៃចង្កោម ហើយការកំណត់ខាងលើក៏ត្រូវតែដាក់ក្នុងឯកសារ /etc/patroni.yml នៅលើម៉ាស៊ីនទាំងអស់។

នៅពេលដែលអ្នកបានបញ្ចប់ប្រតិបត្តិការទាំងនេះនៅលើម៉ាស៊ីនទាំងអស់នៅក្នុងចង្កោម សូមដំណើរការពាក្យបញ្ជាខាងក្រោមនៅលើពួកវាណាមួយ។

systemctl start patroni
systemctl start postgresql

រង់ចាំប្រហែល 30 វិនាទី បន្ទាប់មកដំណើរការពាក្យបញ្ជានេះនៅលើម៉ាស៊ីនដែលនៅសល់ក្នុងចង្កោម។

HAproxy

យើងប្រើ HAproxy ដ៏អស្ចារ្យដើម្បីផ្តល់នូវចំណុចចូលតែមួយ។ ម៉ាស៊ីនមេមេនឹងតែងតែមាននៅអាសយដ្ឋានរបស់ម៉ាស៊ីនដែល HAproxy ត្រូវបានដាក់ឱ្យប្រើប្រាស់។

ដើម្បីកុំឱ្យម៉ាស៊ីនជាមួយ HAproxy ក្លាយជាចំណុចបរាជ័យតែមួយ យើងនឹងបើកដំណើរការវានៅក្នុង Docker container ហើយនៅពេលអនាគត វាអាចត្រូវបានដាក់ឱ្យដំណើរការទៅក្នុងចង្កោមរបស់ K8 និងធ្វើឱ្យ cluster បរាជ័យរបស់យើងកាន់តែគួរឱ្យទុកចិត្ត។

បង្កើតថតឯកសារដែលអ្នកអាចរក្សាទុកឯកសារពីរ - Dockerfile និង haproxy.cfg ។ ទៅវា។

Dockerfile

FROM ubuntu:latest

RUN apt-get update 
    && apt-get install -y haproxy rsyslog 
    && rm -rf /var/lib/apt/lists/*

RUN mkdir /run/haproxy

COPY haproxy.cfg /etc/haproxy/haproxy.cfg

CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.log

សូមប្រយ័ត្ន បន្ទាត់បីចុងក្រោយនៃឯកសារ haproxy.cfg គួរតែរាយបញ្ជីអាសយដ្ឋាននៃម៉ាស៊ីនរបស់អ្នក។ HAproxy នឹងទាក់ទង Patroni នៅក្នុងបឋមកថា HTTP ម៉ាស៊ីនមេនឹងតែងតែត្រឡប់ 200 ហើយការចម្លងនឹងតែងតែត្រឡប់ 503 ។

haproxy.cfg

global
    maxconn 100

defaults
    log global
    mode tcp
    retries 2
    timeout client 30m
    timeout connect 4s
    timeout server 30m
    timeout check 5s

listen stats
    mode http
    bind *:7000
    stats enable
    stats uri /

listen postgres
    bind *:5000
    option httpchk
    http-check expect status 200
    default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
    server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008
    server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008
    server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008

ដោយស្ថិតនៅក្នុងថតឯកសារដែលឯកសារទាំងពីររបស់យើង "កុហក" សូមប្រតិបត្តិតាមលំដាប់លំដោយនូវពាក្យបញ្ជាសម្រាប់ការវេចខ្ចប់កុងតឺន័រ ក៏ដូចជាការបើកដំណើរការវាជាមួយនឹងការបញ្ជូនបន្តច្រកចាំបាច់៖

docker build -t my-haproxy .
docker run -d -p5000:5000 -p7000:7000 my-haproxy 

ឥឡូវនេះ ដោយបើកអាសយដ្ឋានម៉ាស៊ីនរបស់អ្នកជាមួយ HAproxy នៅក្នុងកម្មវិធីរុករក ហើយបញ្ជាក់ច្រក 7000 អ្នកនឹងឃើញស្ថិតិនៅលើចង្កោមរបស់អ្នក។

ម៉ាស៊ីនមេដែលជាមេនឹងស្ថិតក្នុងស្ថានភាព UP ហើយការចម្លងនឹងស្ថិតនៅក្នុងស្ថានភាពចុះក្រោម។ នេះជារឿងធម្មតាទេ តាមពិតពួកគេដំណើរការ ប៉ុន្តែពួកវាលេចឡើងតាមរបៀបនេះ ដោយសារពួកគេត្រឡប់ 503 សម្រាប់សំណើពី HAproxy ។ នេះអនុញ្ញាតឱ្យយើងដឹងជានិច្ចថា តើមួយណាក្នុងចំណោមម៉ាស៊ីនមេទាំងបីជាមេបច្ចុប្បន្ន។

សេចក្តីសន្និដ្ឋាន

អ្នក​គឺ​ស្រស់​ស្អាត​! ក្នុងរយៈពេលត្រឹមតែ 30 នាទីប៉ុណ្ណោះ អ្នកបានដាក់ពង្រាយនូវចង្កោមមូលដ្ឋានទិន្នន័យដែលធន់ទ្រាំនឹងកំហុស និងប្រសិទ្ធភាពខ្ពស់ជាមួយនឹងការចម្លងស្ទ្រីម និងការថយក្រោយដោយស្វ័យប្រវត្តិ។ ប្រសិនបើអ្នកមានគម្រោងប្រើដំណោះស្រាយនេះ សូមពិនិត្យមើល ជាមួយនឹងឯកសារផ្លូវការរបស់ Patroniហើយជាពិសេសជាមួយនឹងផ្នែករបស់វាទាក់ទងនឹងឧបករណ៍ប្រើប្រាស់ patronictl ដែលផ្តល់នូវភាពងាយស្រួលក្នុងការគ្រប់គ្រងចង្កោមរបស់អ្នក។

អបអរសាទរ!

ប្រភព: www.habr.com