ProHoster > وبلاگ > اداره > ساخت یک خوشه PostgreSQL بسیار در دسترس با استفاده از Patroni، etcd، HAProxy
ساخت یک خوشه PostgreSQL بسیار در دسترس با استفاده از Patroni، etcd، HAProxy
اتفاقاً در زمانی که مشکل مطرح شد، تجربه کافی برای توسعه و راهاندازی این راهحل به تنهایی نداشتم. و بعد شروع کردم به گوگل.
نمیدانم موضوع چیست، اما برای چندمین بار با این واقعیت مواجه میشوم که حتی اگر همه چیز را گام به گام مانند آموزش انجام دهم، همان محیط نویسنده را آماده کنم، هیچوقت هیچ چیز درست نمیشود. نمیدانم مشکل چیست، اما وقتی دوباره با آن مواجه شدم، تصمیم گرفتم که وقتی همه چیز درست شد، آموزش خودم را بنویسم. یکی که قطعا کار خواهد کرد.
راهنماها در اینترنت
اتفاقاً اینترنت از کمبود راهنماها، آموزش ها، گام به گام و امثال آن رنج نمی برد. اتفاقاً به من وظیفه داده شد که راه حلی برای سازماندهی راحت و ساختن یک خوشه ی شکست خورده PostgreSQL ایجاد کنم که الزامات اصلی آن پخش جریانی از سرور Master به همه نسخه ها و ارائه خودکار یک رزرو در صورت وجود سرور اصلی بود. شکست.
در این مرحله، پشته فناوری های مورد استفاده تعیین شد:
HAپروکسی برای سازماندهی یک نقطه ورودی واحد برای برنامه های کاربردی با استفاده از پایگاه داده
نصب
برای توجه شما - ایجاد یک خوشه PostgreSQL بسیار در دسترس با استفاده از Patroni، etcd، HAProxy.
تمام عملیات بر روی ماشین های مجازی با سیستم عامل Debian 10 نصب شده انجام شد.
etcd
من نصب etcd را روی همان ماشین هایی که patroni و postgresql در آن قرار دارند توصیه نمی کنم، زیرا بار دیسک برای etcd بسیار مهم است. اما برای اهداف آموزشی، ما این کار را انجام خواهیم داد.
بیایید etcd را نصب کنیم.
#!/bin/bash
apt-get update
apt-get install etcd
محتوا را به فایل /etc/default/etcd اضافه کنید
[عضو]
ETCD_NAME=datanode1 # نام میزبان دستگاه شما
ETCD_DATA_DIR=”/var/lib/etcd/default.etcd”
همه آدرس های IP باید معتبر باشند. LISTER Peer، Client و غیره باید روی IP Address of Host تنظیم شوند
اولین کاری که باید انجام دهید این است که سه ماشین مجازی را راه اندازی کنید تا نرم افزارهای لازم را روی آنها نصب کنید. پس از نصب ماشین ها، اگر آموزش من را دنبال کنید، می توانید این اسکریپت ساده را اجرا کنید که (تقریبا) همه کارها را برای شما انجام می دهد. به صورت روت اجرا می شود.
لطفاً توجه داشته باشید که اسکریپت از PostgreSQL نسخه 9.6 استفاده می کند، این به دلیل نیازهای داخلی شرکت ما است. راه حل بر روی نسخه های دیگر PostgreSQL آزمایش نشده است.
در مرحله بعد، در فایل /etc/patroni.yml که ایجاد کردید، باید مطالب زیر را قرار دهید، البته آدرس های IP را در همه مکان ها به آدرس هایی که استفاده می کنید تغییر دهید.
به نظرات این یامل توجه کنید. آدرسها را در هر دستگاه در خوشه به خودتان تغییر دهید.
/etc/patroni.yml
scope: pgsql # должно быть одинаковым на всех нодах
namespace: /cluster/ # должно быть одинаковым на всех нодах
name: postgres1 # должно быть разным на всех нодах
restapi:
listen: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл
connect_address: 192.168.0.143:8008 # адрес той ноды, в которой находится этот файл
etcd:
hosts: 192.168.0.143:2379,192.168.0.144:2379,192.168.0.145:2379 # перечислите здесь все ваши ноды, в случае если вы устанавливаете etcd на них же
# this section (bootstrap) will be written into Etcd:/<namespace>/<scope>/config after initializing new cluster
# and all other cluster members will use it as a `global configuration`
bootstrap:
dcs:
ttl: 100
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
postgresql:
use_pg_rewind: true
use_slots: true
parameters:
wal_level: replica
hot_standby: "on"
wal_keep_segments: 5120
max_wal_senders: 5
max_replication_slots: 5
checkpoint_timeout: 30
initdb:
- encoding: UTF8
- data-checksums
- locale: en_US.UTF8
# init pg_hba.conf должен содержать адреса ВСЕХ машин, используемых в кластере
pg_hba:
- host replication postgres ::1/128 md5
- host replication postgres 127.0.0.1/8 md5
- host replication postgres 192.168.0.143/24 md5
- host replication postgres 192.168.0.144/24 md5
- host replication postgres 192.168.0.145/24 md5
- host all all 0.0.0.0/0 md5
users:
admin:
password: admin
options:
- createrole
- createdb
postgresql:
listen: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
connect_address: 192.168.0.143:5432 # адрес той ноды, в которой находится этот файл
data_dir: /data/patroni # эту директорию создаст скрипт, описанный выше и установит нужные права
bin_dir: /usr/lib/postgresql/9.6/bin # укажите путь до вашей директории с postgresql
pgpass: /tmp/pgpass
authentication:
replication:
username: postgres
password: postgres
superuser:
username: postgres
password: postgres
create_replica_methods:
basebackup:
checkpoint: 'fast'
parameters:
unix_socket_directories: '.'
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: false
اسکریپت باید بر روی هر سه ماشین کلاستر اجرا شود و پیکربندی فوق نیز باید در فایل /etc/patroni.yml در همه ماشین ها قرار گیرد.
هنگامی که این عملیات را در تمام ماشین های موجود در کلاستر انجام دادید، دستور زیر را روی هر یک از آنها اجرا کنید
حدود 30 ثانیه صبر کنید، سپس این دستور را روی ماشین های باقی مانده در خوشه اجرا کنید.
HAproxy
ما از HAproxy فوق العاده برای ارائه یک نقطه ورود استفاده می کنیم. سرور اصلی همیشه در آدرس دستگاهی که HAproxy در آن مستقر است در دسترس خواهد بود.
برای اینکه دستگاه با HAproxy به یک نقطه خرابی تبدیل نشود، آن را در یک ظرف Docker راه اندازی می کنیم؛ در آینده می توان آن را در کلاس K8 راه اندازی کرد و خوشه شکست ما را حتی قابل اعتمادتر کرد.
دایرکتوری ایجاد کنید که بتوانید دو فایل را در آن ذخیره کنید - Dockerfile و haproxy.cfg. برو سراغش
dockerfile
FROM ubuntu:latest
RUN apt-get update
&& apt-get install -y haproxy rsyslog
&& rm -rf /var/lib/apt/lists/*
RUN mkdir /run/haproxy
COPY haproxy.cfg /etc/haproxy/haproxy.cfg
CMD haproxy -f /etc/haproxy/haproxy.cfg && tail -F /var/log/haproxy.log
مراقب باشید، سه خط آخر فایل haproxy.cfg باید آدرس ماشین های شما را فهرست کند. HAproxy با Patroni تماس می گیرد، در هدرهای HTTP، سرور اصلی همیشه 200 را برمی گرداند، و replica همیشه 503 را برمی گرداند.
haproxy.cfg
global
maxconn 100
defaults
log global
mode tcp
retries 2
timeout client 30m
timeout connect 4s
timeout server 30m
timeout check 5s
listen stats
mode http
bind *:7000
stats enable
stats uri /
listen postgres
bind *:5000
option httpchk
http-check expect status 200
default-server inter 3s fall 3 rise 2 on-marked-down shutdown-sessions
server postgresql1 192.168.0.143:5432 maxconn 100 check port 8008
server postgresql2 192.168.0.144:5432 maxconn 100 check port 8008
server postgresql3 192.168.0.145:5432 maxconn 100 check port 8008
با قرار گرفتن در دایرکتوری که هر دو فایل ما در آن قرار دارند، بیایید به صورت متوالی دستورات بسته بندی کانتینر و همچنین راه اندازی آن را با ارسال پورت های لازم اجرا کنیم:
اکنون با باز کردن آدرس دستگاه خود با HAproxy در مرورگر و مشخص کردن پورت 7000، آماری را در کلاستر خود مشاهده خواهید کرد.
سروری که Master است در حالت UP و Replica ها در حالت DOWN خواهند بود. این طبیعی است، در واقع آنها کار می کنند، اما آنها به این شکل ظاهر می شوند زیرا آنها 503 را برای درخواست های HAproxy برمی گردانند. این به ما امکان می دهد همیشه دقیقاً بدانیم کدام یک از این سه سرور اصلی اصلی است.
نتیجه
تو خوشگلی! فقط در 30 دقیقه یک خوشه پایگاه داده با تحمل خطا و عملکرد بالا با تکرار جریان و بازگشت خودکار مستقر کرده اید. اگر قصد استفاده از این راه حل را دارید، بررسی کنید با مستندات رسمی Patroniو به خصوص با بخش مربوط به ابزار patronictl که دسترسی راحت به مدیریت خوشه شما را فراهم می کند.