🥇 PostgreSQL आणि MySQL मधील क्रॉस प्रतिकृती

मी PostgreSQL आणि MySQL मधील क्रॉस-रिप्लिकेशन, तसेच दोन डेटाबेस सर्व्हर दरम्यान क्रॉस-रिप्लिकेशन सेट करण्याच्या पद्धतींची रूपरेषा देईन. सामान्यतः, क्रॉस-रिप्लिकेटेड डेटाबेसेसला एकसंध असे म्हणतात, आणि ही एका RDBMS सर्व्हरवरून दुसऱ्यावर जाण्याची सोयीची पद्धत आहे.

PostgreSQL आणि MySQL डेटाबेस सामान्यतः रिलेशनल मानले जातात, परंतु अतिरिक्त विस्तारांसह ते NoSQL क्षमता देतात. येथे आपण PostgreSQL आणि MySQL मधील रिलेशनल DBMS दृष्टीकोनातून प्रतिकृतीवर चर्चा करू.

आम्ही संपूर्ण आतील कामकाजाचे वर्णन करणार नाही, फक्त मूलभूत तत्त्वे जेणेकरुन तुम्हाला डेटाबेस सर्व्हर, फायदे, मर्यादा आणि वापर प्रकरणांमधील प्रतिकृती कॉन्फिगर करण्याची कल्पना येईल.

सामान्यतः, दोन समान डेटाबेस सर्व्हरमधील प्रतिकृती एकतर बायनरी मोडमध्ये किंवा मास्टर (उर्फ प्रकाशक, मास्टर किंवा सक्रिय) आणि गुलाम (ग्राहक, स्टँडबाय किंवा निष्क्रिय) यांच्यातील क्वेरी वापरून केली जाते. प्रतिकृतीचा उद्देश स्लेव्ह साइडवरील मास्टर डेटाबेसची रिअल-टाइम प्रत प्रदान करणे आहे. या प्रकरणात, डेटा मास्टरकडून स्लेव्हकडे हस्तांतरित केला जातो, म्हणजेच सक्रिय ते निष्क्रिय, कारण प्रतिकृती केवळ एका दिशेने केली जाते. परंतु तुम्ही दोन्ही दिशानिर्देशांमधील दोन डेटाबेसमध्ये प्रतिकृती सेट करू शकता, जेणेकरून डेटा सक्रिय-सक्रिय कॉन्फिगरेशनमध्ये स्लेव्हकडून मास्टरकडे हस्तांतरित केला जाईल. हे सर्व, कॅस्केडिंग प्रतिकृतीसह, दोन किंवा अधिक समान डेटाबेस सर्व्हर दरम्यान शक्य आहे. सक्रिय-सक्रिय किंवा सक्रिय-निष्क्रिय कॉन्फिगरेशन गरजेवर, प्रारंभिक कॉन्फिगरेशनमध्ये अशा क्षमतांची उपलब्धता किंवा बाह्य कॉन्फिगरेशन सोल्यूशन्स आणि विद्यमान ट्रेड-ऑफ वापरण्यावर अवलंबून असते.

वर्णन केलेले कॉन्फिगरेशन भिन्न डेटाबेस सर्व्हर दरम्यान शक्य आहे. सर्व्हरला दुसर्‍या डेटाबेस सर्व्हरवरून प्रतिरूपित डेटा स्वीकारण्यासाठी कॉन्फिगर केले जाऊ शकते आणि तरीही प्रतिकृती केलेल्या डेटाचे रिअल-टाइम स्नॅपशॉट राखले जाऊ शकते. MySQL आणि PostgreSQL यापैकी बहुतेक कॉन्फिगरेशन इन-हाउस किंवा तृतीय-पक्ष विस्तारांद्वारे ऑफर करतात, ज्यात बायनरी लॉग पद्धती, डिस्क लॉकिंग आणि स्टेटमेंट- आणि पंक्ती-आधारित पद्धती समाविष्ट आहेत.

MySQL आणि PostgreSQL मधील क्रॉस प्रतिकृती एका डेटाबेस सर्व्हरवरून दुसर्‍या डेटाबेसमध्ये एक-वेळच्या स्थलांतरासाठी आवश्यक आहे. हे डेटाबेस वेगवेगळे प्रोटोकॉल वापरतात, त्यामुळे त्यांना थेट लिंक करणे शक्य नाही. डेटा एक्सचेंज स्थापित करण्यासाठी, तुम्ही बाह्य मुक्त स्रोत साधन वापरू शकता, उदाहरणार्थ pg_chameleon.

pg_chameleon म्हणजे काय

pg_chameleon ही Python 3 मधील MySQL ते PostgreSQL पर्यंतची प्रतिकृती प्रणाली आहे. ती ओपन सोर्स mysql-प्रतिकृती लायब्ररी वापरते, पायथनमध्ये देखील. पंक्ती प्रतिमा MySQL सारण्यांमधून काढल्या जातात आणि PostgreSQL डेटाबेसमध्ये JSONB ऑब्जेक्ट्स म्हणून संग्रहित केल्या जातात आणि नंतर pl/pgsql फंक्शनद्वारे डिक्रिप्ट केल्या जातात आणि PostgreSQL डेटाबेसमध्ये पुनरुत्पादित केल्या जातात.

pg_chameleon ची वैशिष्ट्ये

एकाच क्लस्टरमधील अनेक MySQL स्कीमा एकाच टार्गेट PostgreSQL डेटाबेसमध्ये एका-ते-अनेक कॉन्फिगरेशनमध्ये प्रतिकृती बनवल्या जाऊ शकतात.
स्त्रोत आणि लक्ष्य स्कीमा नावे समान असू शकत नाहीत.
प्रतिकृती डेटा कॅस्केड केलेल्या MySQL प्रतिकृतीमधून पुनर्प्राप्त केला जाऊ शकतो.
प्रतिकृती तयार करू शकत नाहीत किंवा त्रुटी निर्माण करू शकत नाहीत अशा सारण्या वगळल्या आहेत.
प्रत्येक प्रतिकृती कार्य डिमनद्वारे नियंत्रित केले जाते.
YAML-आधारित पॅरामीटर्स आणि कॉन्फिगरेशन फाइल्सद्वारे नियंत्रण.

उदाहरण:

होस्ट
व्हीएम 1
व्हीएम 2

OS आवृत्ती
CentOS Linux 7.6 x86_64
CentOS Linux 7.5 x86_64

डीबी सर्व्हर आवृत्ती
, MySQL 5.7.26
पोस्टग्रेस्क्यूएल 10.5

डीबी पोर्ट
3306
5433

आयपी पत्ता
192.168.56.102
192.168.56.106

सुरू करण्यासाठी, pg_chameleon स्थापित करण्यासाठी सर्व आवश्यक घटक तयार करा. हे उदाहरण Python 3.6.8 स्थापित करते, जे आभासी वातावरण तयार करते आणि सक्रिय करते.

$> wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz
$> tar -xJf Python-3.6.8.tar.xz
$> cd Python-3.6.8
$> ./configure --enable-optimizations
$> make altinstall

Python3.6 यशस्वीरित्या स्थापित केल्यानंतर, तुम्हाला उर्वरित आवश्यकता पूर्ण करणे आवश्यक आहे, जसे की आभासी वातावरण तयार करणे आणि सक्रिय करणे. याव्यतिरिक्त, pip मॉड्यूल नवीनतम आवृत्तीमध्ये अद्यतनित केले जाते आणि pg_chameleon स्थापित करण्यासाठी वापरले जाते. खालील आज्ञा जाणूनबुजून pg_chameleon 2.0.9 स्थापित करतात, जरी नवीनतम आवृत्ती 2.0.10 आहे. अद्यतनित आवृत्तीमध्ये नवीन बग टाळण्यासाठी हे आवश्यक आहे.

$> python3.6 -m venv venv
$> source venv/bin/activate
(venv) $> pip install pip --upgrade
(venv) $> pip install pg_chameleon==2.0.9

त्यानंतर आम्ही pg_chameleon सक्षम करण्यासाठी set_configuration_files युक्तिवादासह pg_chameleon (गिरगिट एक कमांड आहे) कॉल करतो आणि डीफॉल्ट निर्देशिका आणि कॉन्फिगरेशन फाइल्स तयार करतो.

(venv) $> chameleon set_configuration_files
creating directory /root/.pg_chameleon
creating directory /root/.pg_chameleon/configuration/
creating directory /root/.pg_chameleon/logs/
creating directory /root/.pg_chameleon/pid/
copying configuration  example in /root/.pg_chameleon/configuration//config-example.yml

आता आम्ही config-example.yml ची एक प्रत default.yml म्हणून तयार करतो जेणेकरून ती डीफॉल्ट कॉन्फिगरेशन फाइल होईल. या उदाहरणासाठी नमुना कॉन्फिगरेशन फाइल खाली प्रदान केली आहे.

$> cat default.yml
---
#global settings
pid_dir: '~/.pg_chameleon/pid/'
log_dir: '~/.pg_chameleon/logs/'
log_dest: file
log_level: info
log_days_keep: 10
rollbar_key: ''
rollbar_env: ''

# type_override allows the user to override the default type conversion into a different one.
type_override:
  "tinyint(1)":
    override_to: boolean
    override_tables:
      - "*"

#postgres  destination connection
pg_conn:
  host: "192.168.56.106"
  port: "5433"
  user: "usr_replica"
  password: "pass123"
  database: "db_replica"
  charset: "utf8"

sources:
  mysql:
    db_conn:
      host: "192.168.56.102"
      port: "3306"
      user: "usr_replica"
      password: "pass123"
      charset: 'utf8'
      connect_timeout: 10
    schema_mappings:
      world_x: pgworld_x
    limit_tables:
#      - delphis_mediterranea.foo
    skip_tables:
#      - delphis_mediterranea.bar
    grant_select_to:
      - usr_readonly
    lock_timeout: "120s"
    my_server_id: 100
    replica_batch_size: 10000
    replay_max_rows: 10000
    batch_retention: '1 day'
    copy_max_memory: "300M"
    copy_mode: 'file'
    out_dir: /tmp
    sleep_loop: 1
    on_error_replay: continue
    on_error_read: continue
    auto_maintenance: "disabled"
    gtid_enable: No
    type: mysql
    skip_events:
      insert:
        - delphis_mediterranea.foo #skips inserts on the table delphis_mediterranea.foo
      delete:
        - delphis_mediterranea #skips deletes on schema delphis_mediterranea
      update:

या उदाहरणातील कॉन्फिगरेशन फाइल ही एक नमुना pg_chameleon फाइल आहे ज्यामध्ये स्त्रोत आणि लक्ष्य वातावरणास अनुकूल करण्यासाठी किरकोळ बदल केले जातात आणि खाली कॉन्फिगरेशन फाइलच्या विविध विभागांचे विहंगावलोकन आहे.

default.yml कॉन्फिगरेशन फाइलमध्ये जागतिक सेटिंग्जचा एक विभाग आहे, जिथे तुम्ही लॉक फाइलचे स्थान, लॉगचे स्थान, लॉगसाठी स्टोरेज कालावधी इत्यादी सेटिंग्ज व्यवस्थापित करू शकता. पुढे टाइप ओव्हरराइड विभाग येतो, जेथे प्रतिकृती दरम्यान अधिलिखित प्रकारांसाठी नियमांचा संच. उदाहरण एका प्रकार ओव्हरराइडिंग नियमाचे डीफॉल्ट आहे जे tinyint(1) बुलियन मूल्यामध्ये रूपांतरित करते. पुढील विभागात, आम्ही लक्ष्य डेटाबेसशी कनेक्शन तपशील निर्दिष्ट करतो. आमच्या बाबतीत, हा एक PostgreSQL डेटाबेस आहे, नियुक्त pg_conn. शेवटच्या विभागात, आम्ही स्त्रोत डेटा सूचित करतो, म्हणजेच, स्त्रोत डेटाबेसचे कनेक्शन पॅरामीटर्स, स्त्रोत आणि लक्ष्य डेटाबेसमधील मॅपिंग योजना, वगळण्याची आवश्यकता असलेल्या टेबल्स, प्रतीक्षा वेळ, मेमरी, पॅकेज आकार. लक्षात घ्या की "स्रोत" हे अनेकवचनी आहे, याचा अर्थ आम्ही अनेक-टू-वन कॉन्फिगरेशन सेट करण्यासाठी एकाच लक्ष्य डेटाबेसमध्ये एकाधिक स्त्रोत डेटाबेस जोडू शकतो.

उदाहरण डेटाबेस world_x मध्ये पंक्तींसह 4 सारण्या आहेत ज्या MySQL समुदाय उदाहरण म्हणून ऑफर करतो. ते डाउनलोड करता येते येथे. नमुना डेटाबेस टार आणि संकुचित संग्रहणाच्या रूपात येतो ज्यामध्ये पंक्ती तयार करण्यासाठी आणि आयात करण्यासाठी सूचना असतात.

MySQL आणि PostgreSQL डेटाबेसमध्ये, usr_replica या समान नावाने एक विशेष वापरकर्ता तयार केला जातो. MySQL मध्ये, सर्व प्रतिकृती केलेल्या सारण्यांना अतिरिक्त वाचन अधिकार दिले जातात.

mysql> CREATE USER usr_replica ;
mysql> SET PASSWORD FOR usr_replica='pass123';
mysql> GRANT ALL ON world_x.* TO 'usr_replica';
mysql> GRANT RELOAD ON *.* to 'usr_replica';
mysql> GRANT REPLICATION CLIENT ON *.* to 'usr_replica';
mysql> GRANT REPLICATION SLAVE ON *.* to 'usr_replica';
mysql> FLUSH PRIVILEGES;

PostgreSQL बाजूला, db_replica डेटाबेस तयार केला जातो जो MySQL डेटाबेसमधील बदल स्वीकारेल. PostgreSQL मधील usr_replica वापरकर्ता आपोआप दोन स्कीमा, pgworld_x आणि sch_chameleon चे मालक म्हणून कॉन्फिगर केले आहे, ज्यामध्ये अनुक्रमे वास्तविक प्रतिकृती सारण्या आणि प्रतिकृती निर्देशिका सारण्या असतात. create_replica_schema वितर्क स्वयंचलित कॉन्फिगरेशनसाठी जबाबदार आहे, जसे आपण खाली पहाल.

postgres=# CREATE USER usr_replica WITH PASSWORD 'pass123';
CREATE ROLE
postgres=# CREATE DATABASE db_replica WITH OWNER usr_replica;
CREATE DATABASE

MySQL डेटाबेस खाली दर्शविल्याप्रमाणे प्रतिकृतीसाठी तयार करण्यासाठी काही पॅरामीटर बदलांसह कॉन्फिगर केले आहे. बदल प्रभावी होण्यासाठी तुम्हाला डेटाबेस सर्व्हर रीस्टार्ट करावा लागेल.

$> vi /etc/my.cnf
binlog_format= ROW
binlog_row_image=FULL
log-bin = mysql-bin
server-id = 1

आता दोन्ही डेटाबेस सर्व्हरचे कनेक्शन तपासणे महत्त्वाचे आहे जेणेकरून pg_chameleon कमांड चालवताना कोणतीही अडचण येणार नाही.

PostgreSQL नोडवर:

$> mysql -u usr_replica -Ap'admin123' -h 192.168.56.102 -D world_x

MySQL नोडवर:

$> psql -p 5433 -U usr_replica -h 192.168.56.106 db_replica

पुढील तीन pg_chameleon (गिरगिट) आदेश वातावरण तयार करतात, स्त्रोत जोडतात आणि प्रतिकृती आरंभ करतात. pg_chameleon साठी create_replica_schema वितर्क पोस्टग्रेएसक्यूएल डेटाबेसमध्ये डीफॉल्ट स्कीमा (sch_chameleon) आणि प्रतिकृती स्कीमा (pgworld_x) तयार करते, जसे आपण आधीच चर्चा केली आहे. add_source वितर्क कॉन्फिगरेशन फाइल (default.yml) वाचून कॉन्फिगरेशनमध्ये स्रोत डेटाबेस जोडते आणि आमच्या बाबतीत ते mysql आहे आणि init_replica कॉन्फिगरेशन फाइलमधील पॅरामीटर्सवर आधारित कॉन्फिगरेशन सुरू करते.

$> chameleon create_replica_schema --debug
$> chameleon add_source --config default --source mysql --debug
$> chameleon init_replica --config default --source mysql --debug

या तीन आदेशांचे आउटपुट स्पष्टपणे सूचित करते की ते यशस्वीरित्या कार्यान्वित झाले आहेत. कोणत्याही क्रॅश किंवा सिंटॅक्स त्रुटींची तक्रार सोप्या, स्पष्ट संदेशांमध्ये केली जाते आणि समस्या कशी सोडवायची याचे संकेत दिले जातात.

शेवटी, आम्ही start_replica वापरून प्रतिकृती सुरू करतो आणि यशस्वी संदेश प्राप्त करतो.

$> chameleon start_replica --config default --source mysql 
output: Starting the replica process for source mysql

show_status वितर्क वापरून प्रतिकृती स्थितीची चौकशी केली जाऊ शकते आणि show_errors वितर्क वापरून त्रुटी पाहिल्या जाऊ शकतात.

निकाल.

आम्ही आधीच म्हटल्याप्रमाणे, प्रत्येक प्रतिकृती कार्य डिमनद्वारे नियंत्रित केले जाते. ते पाहण्यासाठी, आम्ही खाली दर्शविल्याप्रमाणे Linux ps कमांडसह प्रोसेस टेबलची क्वेरी करतो.

निकाल.

खाली दर्शविल्याप्रमाणे आम्ही रिअल टाइममध्ये त्याची चाचणी करेपर्यंत प्रतिकृती कॉन्फिगर केलेली मानली जात नाही. आम्ही एक टेबल तयार करतो, MySQL डेटाबेसमध्ये काही रेकॉर्ड्स घालतो आणि pg_chameleon मधील sync_tables argument ला कॉल करतो डिमन अपडेट करण्यासाठी आणि टेबलची प्रतिकृती PostgreSQL डेटाबेसमध्ये रेकॉर्डसह.

mysql> create table t1 (n1 int primary key, n2 varchar(10));
Query OK, 0 rows affected (0.01 sec)
mysql> insert into t1 values (1,'one');
Query OK, 1 row affected (0.00 sec)
mysql> insert into t1 values (2,'two');
Query OK, 1 row affected (0.00 sec)

$> chameleon sync_tables --tables world_x.t1 --config default --source mysql
Sync tables process for source mysql started.

चाचणी परिणामांची पुष्टी करण्यासाठी, आम्ही PostgreSQL डेटाबेसमधून टेबलची क्वेरी करतो आणि पंक्ती आउटपुट करतो.

$> psql -p 5433 -U usr_replica -d db_replica -c "select * from pgworld_x.t1";
 n1 |  n2
----+-------
  1 | one
  2 | two

जर आपण स्थलांतर करत असाल, तर खालील pg_chameleon कमांड्स त्याचा शेवट असतील. सर्व लक्ष्य सारण्यांच्या पंक्तींची प्रतिकृती तयार केली गेली आहे याची खात्री झाल्यानंतर आज्ञा कार्यान्वित करणे आवश्यक आहे आणि परिणामी स्त्रोत डेटाबेस किंवा प्रतिकृती योजना (sch_chameleon) च्या संदर्भाशिवाय व्यवस्थितपणे स्थलांतरित PostgreSQL डेटाबेस असेल.

$> chameleon stop_replica --config default --source mysql 
$> chameleon detach_replica --config default --source mysql --debug

इच्छित असल्यास, आपण मूळ कॉन्फिगरेशन आणि प्रतिकृती योजना हटविण्यासाठी खालील आदेश वापरू शकता.

$> chameleon drop_source --config default --source mysql --debug
$> chameleon drop_replica_schema --config default --source mysql --debug

pg_chameleon चे फायदे

सोपे सेटअप आणि कॉन्फिगरेशन.
स्पष्ट त्रुटी संदेशांसह सहजपणे समस्यानिवारण करा आणि विसंगती ओळखा.
उर्वरित कॉन्फिगरेशन न बदलता प्रारंभ केल्यानंतर प्रतिकृतीमध्ये अतिरिक्त विशेष सारण्या जोडल्या जाऊ शकतात.
एकाच टार्गेट डेटाबेससाठी एकाधिक स्त्रोत डेटाबेस कॉन्फिगर करणे शक्य आहे आणि जर तुम्ही एक किंवा अधिक MySQL डेटाबेसमधील डेटा एकाच PostgreSQL डेटाबेसमध्ये एकत्र करत असाल तर हे खूप उपयुक्त आहे.
तुम्हाला निवडलेल्या टेबल्सची प्रतिकृती तयार करण्याची गरज नाही.

pg_chameleon चे तोटे

केवळ MySQL 5.5 आणि त्यावरील स्त्रोत म्हणून आणि PostgreSQL 9.5 आणि त्यावरील लक्ष्य डेटाबेस म्हणून समर्थित.
प्रत्येक सारणीमध्ये प्राथमिक किंवा अद्वितीय की असणे आवश्यक आहे, अन्यथा init_replica प्रक्रियेदरम्यान सारण्या आरंभ केल्या जातात परंतु प्रतिकृती बनवल्या जात नाहीत.
एकमार्गी प्रतिकृती - फक्त MySQL ते PostgreSQL. म्हणून, ते केवळ "सक्रिय-निष्क्रिय" सर्किटसाठी योग्य आहे.
स्त्रोत केवळ MySQL डेटाबेस असू शकतो आणि स्त्रोत म्हणून PostgreSQL डेटाबेससाठी समर्थन केवळ प्रायोगिक आणि मर्यादांसह आहे (अधिक जाणून घ्या येथे)

pg_chameleon साठी परिणाम

MySQL वरून PostgreSQL वर डेटाबेस स्थलांतरित करण्यासाठी pg_chameleon मधील प्रतिकृती पद्धत उत्तम आहे. महत्त्वपूर्ण नकारात्मक बाजू अशी आहे की प्रतिकृती केवळ एक-मार्गी आहे, त्यामुळे डेटाबेस व्यावसायिकांना स्थलांतराव्यतिरिक्त इतर कोणत्याही गोष्टीसाठी ते वापरण्याची शक्यता नाही. परंतु वन-वे प्रतिकृतीची समस्या दुसर्या ओपन सोर्स टूल - सिमेट्रिकडीएससह सोडविली जाऊ शकते.

अधिकृत कागदपत्रांमध्ये अधिक वाचा येथे. कमांड लाइन मदत मिळू शकते येथे.

SymmetricDS चे विहंगावलोकन

SymmetricDS हे एक मुक्त स्रोत साधन आहे जे कोणत्याही डेटाबेसची इतर कोणत्याही सामान्य डेटाबेसमध्ये प्रतिकृती बनवते: Oracle, MongoDB, PostgreSQL, MySQL, SQL Server, MariaDB, DB2, Sybase, Greenplum, Informix, H2, Firebird आणि इतर क्लाउड डेटाबेस उदाहरणे, उदा. आणि Redshift, Azure, इ. उपलब्ध वैशिष्ट्ये: डेटाबेस आणि फाइल सिंक्रोनाइझेशन, मल्टी-मास्टर डेटाबेस प्रतिकृती, फिल्टर सिंक्रोनाइझेशन, ट्रान्सफॉर्मेशन आणि इतर. हे जावा साधन आहे आणि त्यासाठी JRE किंवा JDK (आवृत्ती 8.0 किंवा उच्च) चे मानक प्रकाशन आवश्यक आहे. येथे, स्त्रोत डेटाबेसमधील ट्रिगर्समधील डेटा बदल रेकॉर्ड केले जाऊ शकतात आणि बॅचच्या स्वरूपात योग्य लक्ष्य डेटाबेसवर पाठवले जाऊ शकतात.

SymmetricDS वैशिष्ट्ये

साधन प्लॅटफॉर्म स्वतंत्र आहे, म्हणजे दोन किंवा अधिक भिन्न डेटाबेस डेटाची देवाणघेवाण करू शकतात.
रिलेशनल डेटाबेस डेटा बदल रेकॉर्ड वापरून सिंक्रोनाइझ केले जातात, तर फाइल सिस्टम-आधारित डेटाबेस फाइल सिंक्रोनाइझेशन वापरतात.
नियमांच्या संचावर आधारित पुश आणि पुल पद्धती वापरून द्वि-मार्ग प्रतिकृती.
सुरक्षित आणि कमी-बँडविड्थ नेटवर्कवर डेटा हस्तांतरण शक्य आहे.
अयशस्वी झाल्यानंतर आणि स्वयंचलित विरोधाभास रिझोल्यूशननंतर नोड्स पुन्हा सुरू झाल्यावर स्वयंचलित पुनर्प्राप्ती.
क्लाउड सुसंगत आणि शक्तिशाली विस्तार API.

उदाहरण:

SymmetricDS दोनपैकी एका प्रकारे कॉन्फिगर केले जाऊ शकते:
एक मास्टर (पालक) नोड जो दोन गुलाम (मूल) नोड्समधील डेटा प्रतिकृतीचे मध्यवर्ती समन्वय करतो आणि चाइल्ड नोड्समधील संवाद फक्त पालकांद्वारेच होतो.
सक्रिय नोड (नोड 1) मध्यस्थाशिवाय दुसर्‍या सक्रिय नोड (नोड 2) सह प्रतिकृतीसाठी संवाद साधू शकतो.

दोन्ही पर्यायांमध्ये, पुश आणि पुल वापरून डेटा एक्सचेंज होतो. या उदाहरणात आपण सक्रिय-सक्रिय कॉन्फिगरेशनचा विचार करू. संपूर्ण आर्किटेक्चरचे वर्णन करण्यासाठी खूप वेळ लागेल, म्हणून तुमचे संशोधन करा. नेतृत्वSymmetricDS उपकरणाबद्दल अधिक जाणून घेण्यासाठी.

SymmetricDS स्थापित करणे खूप सोपे आहे: zip फाइलची मुक्त स्रोत आवृत्ती डाउनलोड करा येथून आणि तुम्हाला पाहिजे तिथे बाहेर काढा. खालील तक्ता या उदाहरणात SymmetricDS च्या इंस्टॉलेशनचे स्थान आणि आवृत्ती, तसेच डेटाबेस आवृत्त्या, Linux आवृत्त्या, IP पत्ते, आणि दोन्ही नोड्ससाठी पोर्ट बद्दल माहिती प्रदान करते.

होस्ट
व्हीएम 1
व्हीएम 2

OS आवृत्ती
CentOS Linux 7.6 x86_64
CentOS Linux 7.6 x86_64

डीबी सर्व्हर आवृत्ती
, MySQL 5.7.26
पोस्टग्रेस्क्यूएल 10.5

डीबी पोर्ट
3306
5832

आयपी पत्ता
192.168.1.107
192.168.1.112

सिमेट्रिकडीएस आवृत्ती
सिमेट्रिकडीएस ३.९
सिमेट्रिकडीएस ३.९

SymmetricDS प्रतिष्ठापन पथ
/usr/local/symmetric-server-3.9.20
/usr/local/symmetric-server-3.9.20

SymmetricDS नोड नाव
कॉर्प-000
स्टोअर-001

येथे आपण /usr/local/symmetric-server-3.9.20 मध्ये SymmetricDS स्थापित करतो आणि विविध उपनिर्देशिका आणि फाइल्स तेथे संग्रहित केल्या जातील. आम्हाला नमुने आणि इंजिन उपनिर्देशिका मध्ये स्वारस्य आहे. सॅम्पल डिरेक्टरीमध्ये नोड गुणधर्मांसह कॉन्फिगरेशन फाइल्स, तसेच तुम्हाला लवकर सुरू करण्यासाठी SQL स्क्रिप्टचे उदाहरण आहेत.

सॅम्पल डिरेक्टरीमध्ये आम्हाला नोड गुणधर्मांसह तीन कॉन्फिगरेशन फाइल्स दिसतात - नाव एका विशिष्ट योजनेमध्ये नोडचे स्वरूप दर्शवते.

corp-000.properties
store-001.properties
store-002.properties

SymmetricDS मध्ये मूलभूत 3-नोड डिझाइनसाठी (पर्याय 1) सर्व आवश्यक कॉन्फिगरेशन फाइल्स आहेत आणि त्याच फाइल्स 2-नोड डिझाइनसाठी (पर्याय 2) वापरल्या जाऊ शकतात. आवश्यक कॉन्फिगरेशन फाइल सॅम्पल डिरेक्टरीमधून vm1 होस्टवरील इंजिनमध्ये कॉपी करा. हे असे बाहेर वळते:

$> cat engines/corp-000.properties
engine.name=corp-000
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://192.168.1.107:3306/replica_db?autoReconnect=true&useSSL=false
db.user=root
db.password=admin123
registration.url=
sync.url=http://192.168.1.107:31415/sync/corp-000
group.id=corp
external.id=000

SymmetricDS कॉन्फिगरेशनमधील या नोडला corp-000 म्हणतात, आणि डेटाबेस कनेक्शन mysql jdbc ड्राइव्हरद्वारे हाताळले जाते, जे वरील कनेक्शन स्ट्रिंग आणि लॉगिन क्रेडेन्शियल्स वापरते. आम्ही replica_db डेटाबेसशी कनेक्ट करतो आणि स्कीमा तयार करताना टेबल तयार केले जातील. sync.url सिंक्रोनाइझेशनसाठी नोडशी कुठे संपर्क साधावा हे दर्शविते.

होस्ट vm2 वरील नोड 2 हे store-001 म्हणून कॉन्फिगर केले आहे आणि उर्वरित खाली node.properties फाईलमध्ये निर्दिष्ट केले आहे. नोड स्टोअर-001 पोस्टग्रेएसक्यूएल डेटाबेस चालवते आणि pgdb_replica प्रतिकृती डेटाबेस आहे. registration.url होस्ट vm2 ला होस्ट vm1 शी संपर्क साधण्याची आणि त्याच्याकडून कॉन्फिगरेशन तपशील प्राप्त करण्यास अनुमती देते.

$> cat engines/store-001.properties
engine.name=store-001
db.driver=org.postgresql.Driver
db.url=jdbc:postgresql://192.168.1.112:5832/pgdb_replica
db.user=postgres
db.password=admin123
registration.url=http://192.168.1.107:31415/sync/corp-000
group.id=store
external.id=001

पूर्ण केलेल्या SymmetricDS उदाहरणामध्ये दोन डेटाबेस सर्व्हर (दोन नोड्स) दरम्यान द्वि-मार्ग प्रतिकृती सेट करण्यासाठी पॅरामीटर्स आहेत. खालील पायऱ्या होस्ट vm1 (corp-000) वर केल्या आहेत, जे 4 टेबलांसह एक उदाहरण स्कीमा तयार करेल. नंतर symadmin कमांडसह create-sym-tables चालवल्याने निर्देशिका सारण्या तयार होतात जिथे नोड्समधील प्रतिकृतीचे नियम आणि दिशा संग्रहित केली जाईल. शेवटी, नमुना डेटा टेबलमध्ये लोड केला जातो.

vm1$> cd /usr/local/symmetric-server-3.9.20/bin
vm1$> ./dbimport --engine corp-000 --format XML create_sample.xml
vm1$> ./symadmin --engine corp-000 create-sym-tables
vm1$> ./dbimport --engine corp-000 insert_sample.sql

उदाहरणामध्ये, आयटम आणि आयटम_सेलिंग_किंमत सारण्या कॉर्प-000 ते स्टोअर-001 मधील प्रतिकृती तयार करण्यासाठी आपोआप कॉन्फिगर केल्या आहेत आणि विक्री सारण्या (विक्री_व्यवहार आणि विक्री_परत_लाइन_आयटम) स्टोअर-001 ते कॉर्प-000 मध्ये प्रतिकृती बनवण्यासाठी स्वयंचलितपणे कॉन्फिगर केल्या आहेत. आता आम्ही होस्ट vm2 (store-001) वर PostgreSQL डेटाबेसमध्ये corp-000 कडून डेटा प्राप्त करण्यासाठी तयार करण्यासाठी एक स्कीमा तयार करतो.

vm2$> cd /usr/local/symmetric-server-3.9.20/bin
vm2$> ./dbimport --engine store-001 --format XML create_sample.xml

vm1 वरील MySQL डेटाबेसमध्ये उदाहरण सारण्या आणि SymmetricDS कॅटलॉग सारण्या आहेत याची खात्री करा. लक्षात घ्या की SymmetricDS सिस्टीम टेबल्स (sym_ सह उपसर्ग) सध्या फक्त node corp-000 वर उपलब्ध आहेत कारण तिथेच आम्ही create-sym-tables कमांड चालवली आणि प्रतिकृती व्यवस्थापित करणार आहोत. आणि नोड स्टोअर-001 वरील डेटाबेसमध्ये डेटाशिवाय फक्त 4 उदाहरणे टेबल असतील.

सर्व. खाली दाखवल्याप्रमाणे दोन्ही नोड्सवर सिम सर्व्हर प्रक्रिया चालवण्यासाठी वातावरण तयार आहे.

vm1$> cd /usr/local/symmetric-server-3.9.20/bin
vm1$> sym 2>&1 &

लॉग नोंदी सिमेट्रिकडीएस स्थापित केलेल्या निर्देशिकेतील लॉग फोल्डरमधील पार्श्वभूमी लॉग फाइलवर (symmetric.log) पाठवल्या जातात, तसेच मानक आउटपुटवर. सिम सर्व्हर आता नोड स्टोअर-001 वर सुरू केला जाऊ शकतो.

vm2$> cd /usr/local/symmetric-server-3.9.20/bin
vm2$> sym 2>&1 &

तुम्ही sym सर्व्हर प्रक्रिया vm2 होस्टवर चालवल्यास, ते PostgreSQL डेटाबेसमध्ये SymmetricDS कॅटलॉग टेबल देखील तयार करेल. तुम्ही दोन्ही नोड्सवर सिम सर्व्हर प्रक्रिया चालवल्यास, ते कॉर्प-000 ते स्टोअर-001 पर्यंत डेटाची प्रतिकृती तयार करण्यासाठी एकमेकांशी समन्वय साधतात. जर काही सेकंदांनंतर आम्ही दोन्ही बाजूंच्या सर्व 4 टेबल्सची चौकशी केली, तर आम्हाला दिसेल की प्रतिकृती यशस्वी झाली आहे. किंवा तुम्ही खालील आदेशासह corp-001 वरून bootstrap नोड store-000 वर पाठवू शकता.

vm1$> ./symadmin --engine corp-000 reload-node 001

या टप्प्यावर, नोड कॉर्प-000 (होस्ट: vm1) वरील MySQL डेटाबेसमधील आयटम टेबलमध्ये एक नवीन रेकॉर्ड समाविष्ट केला जातो आणि तुम्ही नोड स्टोअर-001 (होस्ट: vm2) वरील PostgreSQL डेटाबेसमध्ये त्याची प्रतिकृती तपासू शकता. कॉर्प-000 वरून स्टोर-001 वर डेटा हलवण्यासाठी आम्ही एक पुल ऑपरेशन पाहतो.

mysql> insert into item values ('22000002','Jelly Bean');
Query OK, 1 row affected (0.00 sec)

vm2$> psql -p 5832 -U postgres pgdb_replica -c "select * from item"
 item_id  |   name
----------+-----------
 11000001 | Yummy Gum
 22000002 | Jelly Bean
(2 rows)

स्टोर-001 वरून कॉर्प-000 मध्ये डेटा हलविण्यासाठी पुश ऑपरेशन करण्यासाठी, आम्ही sale_transaction टेबलमध्ये रेकॉर्ड समाविष्ट करतो आणि प्रतिकृती यशस्वी झाल्याचे सत्यापित करतो.

निकाल.

आम्ही MySQL आणि PostgreSQL डेटाबेसमधील उदाहरण सारण्यांच्या द्वि-मार्गी प्रतिकृतीचा यशस्वी सेटअप पाहतो. नवीन वापरकर्ता सारण्यांसाठी प्रतिकृती सेट करण्यासाठी, या चरणांचे अनुसरण करा: आम्ही उदाहरणासाठी टेबल t1 तयार करतो आणि त्याचे प्रतिकृती नियम खालीलप्रमाणे कॉन्फिगर करतो. अशा प्रकारे आम्ही कॉर्प-000 ते स्टोअर-001 पर्यंत केवळ प्रतिकृती कॉन्फिगर करतो.

mysql> create table  t1 (no integer);
Query OK, 0 rows affected (0.01 sec)

mysql> insert into sym_channel (channel_id,create_time,last_update_time) 
values ('t1',current_timestamp,current_timestamp);
Query OK, 1 row affected (0.01 sec)

mysql> insert into sym_trigger (trigger_id, source_table_name,channel_id,
last_update_time, create_time) values ('t1', 't1', 't1', current_timestamp,
current_timestamp);
Query OK, 1 row affected (0.01 sec)

mysql> insert into sym_trigger_router (trigger_id, router_id,
Initial_load_order, create_time,last_update_time) values ('t1',
'corp-2-store-1', 1, current_timestamp,current_timestamp);
Query OK, 1 row affected (0.01 sec)

नंतर कॉन्फिगरेशनला स्कीमा बदलाबद्दल सूचित केले जाते, म्हणजे, नवीन टेबल जोडणे, सिंक-ट्रिगर्स युक्तिवादासह symadmin कमांड वापरून, जे टेबल व्याख्या मॅप करण्यासाठी ट्रिगर पुन्हा तयार करते. नोड स्टोअर-001 मध्ये स्कीमा बदल पाठवण्यासाठी send-schema कार्यान्वित केला जातो आणि टेबल t1 ची प्रतिकृती कॉन्फिगर केली जाते.

vm1$> ./symadmin -e corp-000 --node=001 sync-triggers    
vm1$> ./symadmin send-schema -e corp-000 --node=001 t1

SymmetricDS चे फायदे

तीन-नोड किंवा टू-नोड सर्किट तयार करण्यासाठी पॅरामीटर्ससह फायलींच्या तयार संचासह सुलभ स्थापना आणि कॉन्फिगरेशन.
क्रॉस-प्लॅटफॉर्म डेटाबेस आणि प्लॅटफॉर्म स्वातंत्र्य, सर्व्हर, लॅपटॉप आणि मोबाइल डिव्हाइसेससह.
कोणत्याही डेटाबेसची प्रतिकृती इतर कोणत्याही डेटाबेसमध्ये स्थानिक पातळीवर, WAN वर किंवा क्लाउडमध्ये बनवा.
सोयीस्कर प्रतिकृतीसाठी काही डेटाबेस किंवा अनेक हजारांसह चांगल्या कामाची शक्यता.
GUI आणि उत्कृष्ट समर्थनासह सशुल्क आवृत्ती.

SymmetricDS चे तोटे

कॅटलॉग टेबल लोड करण्यासाठी तुम्हाला SQL स्टेटमेंट्सद्वारे कमांड लाइनवर प्रतिकृतीचे नियम आणि दिशा व्यक्तिचलितपणे परिभाषित करणे आवश्यक आहे, जे गैरसोयीचे असू शकते.
प्रतिकृतीसाठी अनेक सारण्या सेट करणे कंटाळवाणे असू शकते जोपर्यंत तुम्ही प्रतिकृतीचे नियम आणि दिशा परिभाषित करणारे SQL विधाने तयार करण्यासाठी स्क्रिप्टचा वापर करत नाही.
लॉगमध्ये खूप जास्त माहिती रेकॉर्ड केली जात आहे आणि काहीवेळा तुम्हाला लॉग फाइल व्यवस्थित करणे आवश्यक आहे जेणेकरून ती जास्त जागा घेणार नाही.

SymmetricDS साठी परिणाम

SymmetricDS तुम्हाला फाइल्सची प्रतिकृती आणि सिंक्रोनाइझ करण्यासाठी दोन, तीन किंवा अनेक हजार नोड्समध्ये द्वि-मार्ग प्रतिकृती सेट करण्याची परवानगी देते. हे एक अद्वितीय साधन आहे जे स्वतंत्रपणे अनेक कार्ये करते, जसे की नोडवरील दीर्घ कालावधीनंतर स्वयंचलित डेटा पुनर्प्राप्ती, HTTPS द्वारे नोड्स दरम्यान सुरक्षित आणि कार्यक्षम डेटा एक्सचेंज, नियमांच्या संचावर आधारित स्वयंचलित संघर्ष व्यवस्थापन इ. SymmetricDS करते. कोणत्याही डेटाबेसमधील प्रतिकृती, म्हणून, ते स्थलांतर, स्थलांतर, वितरण, फिल्टरिंग आणि प्लॅटफॉर्मवरील डेटाचे परिवर्तन यासह विविध परिस्थितींसाठी वापरले जाऊ शकते.

उदाहरण अधिकाऱ्यावर आधारित आहे जलद मार्गदर्शक SymmetricDS द्वारे. IN उपयोगकर्ता पुस्तिका SymmetricDS सह प्रतिकृती सेट करण्यामध्ये गुंतलेल्या विविध संकल्पनांचे तपशीलवार वर्णन करते.

स्त्रोत: www.habr.com

PostgreSQL आणि MySQL मधील क्रॉस प्रतिकृती

pg_chameleon म्हणजे काय

pg_chameleon ची वैशिष्ट्ये

उदाहरण:

pg_chameleon चे फायदे

pg_chameleon चे तोटे

pg_chameleon साठी परिणाम

SymmetricDS चे विहंगावलोकन

SymmetricDS वैशिष्ट्ये

उदाहरण:

SymmetricDS चे फायदे

SymmetricDS चे तोटे

SymmetricDS साठी परिणाम

एक टिप्पणी जोडा Отменить ответ