Бұл мәселе туындаған кезде менде бұл шешімді әзірлеуге және іске қосуға жеткілікті тәжірибем болмады. Содан кейін мен Google іздеуді бастадым.
Мен ұстанудың не екенін білмеймін, бірақ мен оқулықтағыдай бәрін кезең-кезеңімен орындасам да, автор сияқты ортаны дайындасам да, ештеңе істемейтініне тап болдым. Мен не болып жатқанын білмеймін, бірақ мен онымен қайта кездескенімде, бәрі ойдағыдай болған кезде өзімнің оқулығымды жазамын деп шештім. Міндетті түрде жұмыс істейтін бірі.
Интернеттегі нұсқаулықтар
Интернетте әртүрлі нұсқаулықтардың, оқулықтардың, қадамдық қадамдардың және т.б. жетіспейтіні осылай болады. Маған жүктелген PostgreSQL кластерін ыңғайлы ұйымдастыру және құру шешімін әзірлеу тапсырылды, оның негізгі талаптары негізгі серверден барлық репликаларға ағындық репликация және негізгі сервер болған жағдайда резервті автоматты түрде қамтамасыз ету болды. сәтсіздік.
Бұл кезеңде қолданылатын технологиялар стектері анықталды:
- PostgreSQL ДҚБЖ ретінде
- кластерлік шешім ретінде
- etcd Patroni үшін бөлінген қойма ретінде
- Дерекқорды пайдаланатын қолданбалар үшін бір кіру нүктесін ұйымдастыруға арналған HAproxy
параметр
Назарларыңызға Patroni, etcd, HAProxy көмегімен қол жетімді PostgreSQL кластерін құру.
Барлық операциялар Debian 10 ОЖ орнатылған виртуалды машиналарда орындалды.
және т.б.
Мен etcd файлын patroni және postgresql орналасатын машиналарға орнатуды ұсынбаймын, өйткені диск жүктемесі etcd үшін өте маңызды. Бірақ білім беру мақсатында біз мұны істейміз.
т.б. орнатайық.
#!/bin/bash
apt-get update
apt-get install etcd/etc/default/etcd файлына мазмұн қосыңыз
[мүше]
ETCD_NAME=datanode1 # құрылғыңыздың хост атауы
ETCD_DATA_DIR=”/var/lib/etcd/default.etcd”
БАРЛЫҚ IP АДРЕСТЕР ЖАРАМЫ БОЛУЫ КЕРЕК. ТІЗІМШІ ПЕР, КЛИЕНТ, т.б. ХОСТ IP АДРЕССІНЕ ОРНАТУ КЕРЕК
ETCD_LISTEN_PEER_URLS="» # көлігіңіздің мекенжайы
ETCD_LISTEN_CLIENT_URLS="» # көлігіңіздің мекенжайы
[кластер]
ETCD_INITIAL_ADVERTISE_PEER_URLS="» # көлігіңіздің мекенжайы
ETCD_INITIAL_CLUSTER=»datanode1=» etcd кластеріндегі барлық машиналардың # мекенжайлары
ETCD_INITIAL_CLUSTER_STATE="жаңа"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-1"
ETCD_ADVERTISE_CLIENT_URLS="» # көлігіңіздің мекенжайы
Пәрменді іске қосыңыз
systemctl restart etcdPostgreSQL 9.6 + патроны
Сізге қажет бірінші нәрсе - оларға қажетті бағдарламалық жасақтаманы орнату үшін үш виртуалды машинаны орнату. Машиналарды орнатқаннан кейін, менің оқулығымды орындасаңыз, сіз (дерлік) сіз үшін бәрін жасайтын қарапайым сценарийді іске қоса аласыз. Түбір ретінде іске қосылады.
Сценарий PostgreSQL 9.6 нұсқасын қолданатынын ескеріңіз, бұл біздің компанияның ішкі талаптарына байланысты. Шешім PostgreSQL басқа нұсқаларында тексерілмеген.
#!/bin/bash
apt-get install gnupg -y
echo "deb http://apt.postgresql.org/pub/repos/apt/ buster-pgdg main" >> /etc/apt/sources.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add -
apt-get update
apt-get install postgresql-9.6 python3-pip python3-dev libpq-dev -y
systemctl stop postgresql
pip3 install --upgrade pip
pip install psycopg2
pip install patroni[etcd]
echo "
[Unit]
Description=Runners to orchestrate a high-availability PostgreSQL
After=syslog.target network.target
[Service]
Type=simple
User=postgres
Group=postgres
ExecStart=/usr/local/bin/patroni /etc/patroni.yml
KillMode=process
TimeoutSec=30
Restart=no
[Install]
WantedBy=multi-user.targ
" > /etc/systemd/system/patroni.service
mkdir -p /data/patroni
chown postgres:postgres /data/patroni
chmod 700 /data/patroniпо
touch /etc/patroni.ymlӘрі қарай, сіз жаңа ғана жасаған /etc/patroni.yml файлында келесі мазмұнды орналастыруыңыз керек, әрине, барлық орындардағы IP мекенжайларын сіз қолданатын мекенжайларға өзгертіңіз.
Осы ямлдағы пікірлерге назар аударыңыз. Кластердегі әрбір құрылғыда мекенжайларды өзіңізге өзгертіңіз.
/etc/patroni.yml
scope: pgsql # должно быть одинаковым на всех нодах
namespace: /cluster/ # должно быть одинаковым на всех нодах
name: postgres1 # должно быть разным на всех нодах
restapi:
listen: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл
connect_address: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл
etcd:
hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 # перечислите здесь все ваши ноды, в случае если вы устанавливаете etcd на них же
# this section (bootstrap) will be written into Etcd:/<namespace>/<scope>/config after initializing new cluster
# and all other cluster members will use it as a `global configuration`
bootstrap:
dcs:
ttl: 100
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
postgresql:
use_pg_rewind: true
use_slots: true
parameters:
wal_level: replica
hot_standby: "on"
wal_keep_segments: 5120
max_wal_senders: 5
max_replication_slots: 5
checkpoint_timeout: 30
initdb:
- encoding: UTF8
- data-checksums
- locale: en_US.UTF8
# init pg_hba.conf должен содержать адреса ВСЕХ машин, используемых в кластере
pg_hba:
- host replication postgres ::1/128 md5
- host replication postgres 127.0.0.1/8 md5
- host replication postgres 192.168.0.143/24 md5
- host replication postgres 192.168.0.144/24 md5
- host replication postgres 192.168.0.145/24 md5
- host all all 0.0.0.0/0 md5
users:
admin:
password: admin
options:
- createrole
- createdb
postgresql:
listen: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
connect_address: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
data_dir: /data/patroni # эту директорию создаст скрипт, описанный выше и установит нужные права
bin_dir: /usr/lib/postgresql/9.6/bin # укажите путь до вашей директории с postgresql
pgpass: /tmp/pgpass
authentication:
replication:
username: postgres
password: postgres
superuser:
username: postgres
password: postgres
create_replica_methods:
basebackup:
checkpoint: 'fast'
parameters:
unix_socket_directories: '.'
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: falseСценарий кластердің барлық үш машинасында іске қосылуы керек және жоғарыдағы конфигурация сонымен қатар барлық машиналардағы /etc/patroni.yml файлында орналастырылуы керек.
Кластердегі барлық машиналарда осы әрекеттерді орындағаннан кейін олардың кез келгенінде келесі пәрменді орындаңыз
systemctl start patroni
systemctl start postgresqlШамамен 30 секунд күтіңіз, содан кейін бұл пәрменді кластердегі қалған машиналарда іске қосыңыз.
HAproxy
Біз бір кіру нүктесін қамтамасыз ету үшін тамаша HAproxy пайдаланамыз. Негізгі сервер әрқашан HAproxy орнатылған құрылғының мекенжайында қолжетімді болады.
HAproxy бар машинаны бір сәтсіздік нүктесіне айналдырмау үшін біз оны Docker контейнерінде іске қосамыз; болашақта оны K8 кластеріне қосуға болады және біздің істен шығу кластерін одан да сенімді ете алады.
Екі файлды сақтауға болатын каталог жасаңыз - Dockerfile және haproxy.cfg. Оған барыңыз.
Докер файлы
FROM ubuntu:latest
RUN apt-get update
&& apt-get install -y haproxy rsyslog
&& rm -rf /var/lib/apt/lists/*
RUN mkdir /run/haproxy
COPY haproxy.cfg /etc/haproxy/haproxy.cfg
CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.logСақ болыңыз, haproxy.cfg файлының соңғы үш жолында машиналарыңыздың мекенжайлары көрсетілуі керек. HAproxy Patroni-ге хабарласады, HTTP тақырыптарында басты сервер әрқашан 200 қайтарады, ал көшірме әрқашан 503 қайтарады.
haproxy.cfg
global
maxconn 100
defaults
log global
mode tcp
retries 2
timeout client 30m
timeout connect 4s
timeout server 30m
timeout check 5s
listen stats
mode http
bind *:7000
stats enable
stats uri /
listen postgres
bind *:5000
option httpchk
http-check expect status 200
default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008
server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008
server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008
Біздің екі файлымыз да «жататын» каталогта бола отырып, контейнерді орау пәрмендерін дәйекті түрде орындап, оны қажетті порттарды бағыттау арқылы іске қосайық:
docker build -t my-haproxy .
docker run -d -p5000:5000 -p7000:7000 my-haproxy Енді браузерде HAproxy көмегімен құрылғының мекенжайын ашып, 7000 портын көрсету арқылы кластеріңіздегі статистиканы көресіз.
Негізгі сервер жоғары күйде, ал көшірмелер ТӨМЕН күйде болады. Бұл қалыпты жағдай, шын мәнінде олар жұмыс істейді, бірақ олар осылай пайда болады, себебі олар HAproxy сұраулары үшін 503 қайтарады. Бұл үш сервердің қайсысы ағымдағы негізгі болып табылатынын әрқашан білуге мүмкіндік береді.
қорытынды
Сіз кереметсіз! Бар болғаны 30 минуттың ішінде сіз ағындық репликация және автоматты қалпына келтіру мүмкіндігі бар тамаша қателерге төзімді және өнімділігі жоғары дерекқор кластерін орналастырдыңыз. Егер сіз осы шешімді пайдалануды жоспарласаңыз, тексеріңіз , әсіресе кластерді басқаруға ыңғайлы қол жеткізуді қамтамасыз ететін patronictl утилитасына қатысты бөлігімен.
Құттықтаймыз!
Ақпарат көзі: www.habr.com