PostgreSQL এবং MySQL এর মধ্যে ক্রস প্রতিলিপি

আমি সংক্ষেপে PostgreSQL এবং MySQL-এর মধ্যে ক্রস-রিপ্লিকেশন, সেইসাথে এই দুটি ডাটাবেস সার্ভারের মধ্যে ক্রস-প্রতিলিপি সেট আপ করার পদ্ধতি সম্পর্কে কথা বলব। ক্রস-প্রতিলিপিকৃত ডাটাবেসগুলিকে সাধারণত সমজাতীয় ডেটাবেস হিসাবে উল্লেখ করা হয় এবং এটি একটি RDBMS সার্ভার থেকে অন্য সার্ভারে স্থানান্তরিত করার জন্য একটি সুবিধাজনক পদ্ধতি।

PostgreSQL এবং MySQL ডাটাবেসগুলিকে ঐতিহ্যগতভাবে রিলেশনাল হিসাবে বিবেচনা করা হয়, কিন্তু অতিরিক্ত এক্সটেনশনের সাথে তারা NoSQL ক্ষমতা প্রদান করে। এখানে আমরা একটি রিলেশনাল ডাটাবেস ম্যানেজমেন্ট দৃষ্টিকোণ থেকে PostgreSQL এবং MySQL এর মধ্যে প্রতিলিপি নিয়ে আলোচনা করব।

আমরা সমস্ত অভ্যন্তরীণ বর্ণনা করব না, শুধুমাত্র মৌলিক নীতিগুলি, যাতে আপনি ডাটাবেস সার্ভার, সুবিধা, সীমাবদ্ধতা এবং ব্যবহারের ক্ষেত্রে প্রতিলিপি সেট আপ করার ধারণা পেতে পারেন।

সাধারণত, দুটি অভিন্ন ডাটাবেস সার্ভারের মধ্যে প্রতিলিপি হয় বাইনারি মোডে বা একজন মাস্টার (ওরফে প্রকাশক, মাস্টার, বা সক্রিয়) এবং একজন স্লেভ (সাবস্ক্রাইবার, স্ট্যান্ডবাই বা প্যাসিভ) এর মধ্যে প্রশ্নের মাধ্যমে করা হয়। প্রতিলিপির উদ্দেশ্য হল স্ট্যান্ডবাই সাইডে মাস্টার ডাটাবেসের একটি রিয়েল-টাইম কপি প্রদান করা। এই ক্ষেত্রে, ডেটা মাস্টার থেকে স্লেভে স্থানান্তরিত হয়, অর্থাৎ, সক্রিয় থেকে প্যাসিভ, কারণ প্রতিলিপি শুধুমাত্র একটি দিকে সঞ্চালিত হয়। কিন্তু আপনি উভয় দিক থেকে দুটি ডাটাবেসের মধ্যে প্রতিলিপি সেট আপ করতে পারেন, যাতে ডেটা একটি সক্রিয়-সক্রিয় কনফিগারেশনে স্লেভ থেকে মাস্টারের কাছে স্থানান্তরিত হয়। ক্যাসকেডিং রেপ্লিকেশন সহ এই সমস্ত কিছুই দুই বা ততোধিক অভিন্ন ডাটাবেস সার্ভারের মধ্যে সম্ভব। সক্রিয়-সক্রিয় বা সক্রিয়-প্যাসিভ কনফিগারেশন প্রয়োজনের উপর নির্ভর করে, মূল কনফিগারেশনে এই ধরনের ক্ষমতার প্রাপ্যতা বা বাহ্যিক টিউনিং সমাধান এবং বিদ্যমান বাণিজ্যের ব্যবহার। -অফ

বর্ণিত কনফিগারেশন বিভিন্ন ডাটাবেস সার্ভারের মধ্যে সম্ভব। সার্ভারটিকে অন্য ডাটাবেস সার্ভার থেকে প্রতিলিপিকৃত ডেটা গ্রহণ করার জন্য কনফিগার করা যেতে পারে এবং এখনও প্রতিলিপিকৃত ডেটার রিয়েল-টাইম স্ন্যাপশটগুলি ধরে রাখতে পারে। MySQL এবং PostgreSQL এই কনফিগারেশনগুলির বেশিরভাগই স্থানীয়ভাবে বা তৃতীয় পক্ষের এক্সটেনশনের মাধ্যমে অফার করে, যার মধ্যে বাইনারি লগ পদ্ধতি, ডিস্ক লক এবং স্টেটমেন্ট এবং সারি ভিত্তিক পদ্ধতি রয়েছে।

MySQL এবং PostgreSQL-এর মধ্যে ক্রস-প্রতিলিপি এক ডাটাবেস সার্ভার থেকে অন্য ডাটাবেস সার্ভারে এককালীন স্থানান্তরের জন্য প্রয়োজন। এই ডাটাবেসগুলি বিভিন্ন প্রোটোকল ব্যবহার করে, তাই আপনি তাদের সরাসরি লিঙ্ক করতে পারবেন না। ডেটা বিনিময়ের সুবিধার্থে, আপনি একটি বহিরাগত ওপেন সোর্স টুল ব্যবহার করতে পারেন, যেমন pg_chameleon।

pg_chameleon কি

pg_chameleon হল Python 3-এ MySQL থেকে PostgreSQL-এ একটি প্রতিলিপি সিস্টেম। এটি মাইএসকিউএল-প্রতিলিপি ওপেন সোর্স লাইব্রেরি ব্যবহার করে, এছাড়াও পাইথনেও। সারি চিত্রগুলি MySQL টেবিল থেকে পুনরুদ্ধার করা হয় এবং PostgreSQL ডাটাবেসে JSONB অবজেক্ট হিসাবে সংরক্ষণ করা হয়, এবং তারপর pl/pgsql ফাংশন দ্বারা ডিকোড করা হয় এবং PostgreSQL ডাটাবেসে প্লে করা হয়।

pg_chameleon এর বৈশিষ্ট্য

একই ক্লাস্টার থেকে একাধিক MySQL স্কিমা এক থেকে একাধিক কনফিগারেশন সহ একটি একক PostgreSQL টার্গেট ডাটাবেসে প্রতিলিপি করা যেতে পারে
উৎস এবং লক্ষ্য স্কিমার নাম একই হতে পারে না।
প্রতিলিপি তথ্য একটি MySQL ক্যাসকেডিং প্রতিরূপ থেকে পুনরুদ্ধার করা যেতে পারে।
যে টেবিলগুলি প্রতিলিপি বা ত্রুটি তৈরি করতে পারে না সেগুলি বাদ দেওয়া হয়৷
প্রতিটি প্রতিলিপি ফাংশন ডেমন দ্বারা নিয়ন্ত্রিত হয়।
YAML এর উপর ভিত্তি করে পরামিতি এবং কনফিগারেশন ফাইলগুলির সাথে নিয়ন্ত্রণ করুন।

উদাহরণ

নিমন্ত্রণকর্তা
vm1
vm2

ওএস সংস্করণ
CentOS Linux 7.6 x86_64
CentOS Linux 7.5 x86_64

ডাটাবেস সার্ভার সংস্করণ
MySQL 5.7.26
PostgreSQL 10.5

ডিবি পোর্ট
3306
5433

আইপি ঠিকানা
192.168.56.102
192.168.56.106

প্রথমে, pg_chameleon ইনস্টল করার জন্য সমস্ত প্রয়োজনীয় উপাদান প্রস্তুত করুন। এই উদাহরণে পাইথন 3.6.8 ইনস্টল করা আছে, যা একটি ভার্চুয়াল পরিবেশ তৈরি করে এবং এটি সক্রিয় করে।

$> wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz
$> tar -xJf Python-3.6.8.tar.xz
$> cd Python-3.6.8
$> ./configure --enable-optimizations
$> make altinstall

Python3.6 সফলভাবে ইনস্টল হয়ে গেলে, বাকি প্রয়োজনীয়তাগুলি সম্পূর্ণ করতে হবে, যেমন একটি ভার্চুয়াল পরিবেশ তৈরি এবং সক্রিয় করা। এছাড়াও, পিপ মডিউলটি সর্বশেষ সংস্করণে আপডেট করা হয় এবং pg_chameleon ইনস্টল করতে ব্যবহৃত হয়। নীচের কমান্ডগুলি ইচ্ছাকৃতভাবে pg_chameleon 2.0.9 ইনস্টল করে, যদিও সর্বশেষ সংস্করণটি 2.0.10। আপডেট হওয়া সংস্করণে নতুন বাগ এড়াতে এটি প্রয়োজনীয়।

$> python3.6 -m venv venv
$> source venv/bin/activate
(venv) $> pip install pip --upgrade
(venv) $> pip install pg_chameleon==2.0.9

আমরা তারপর pg_chameleon সক্রিয় করতে set_configuration_files আর্গুমেন্ট সহ pg_chameleon (গিরগিটি একটি কমান্ড) কল করি এবং ডিফল্ট কনফিগারেশন ডিরেক্টরি এবং ফাইল তৈরি করি।

(venv) $> chameleon set_configuration_files
creating directory /root/.pg_chameleon
creating directory /root/.pg_chameleon/configuration/
creating directory /root/.pg_chameleon/logs/
creating directory /root/.pg_chameleon/pid/
copying configuration  example in /root/.pg_chameleon/configuration//config-example.yml

আমরা এখন config-example.yml-এর একটি অনুলিপি default.yml হিসাবে তৈরি করি যাতে এটি ডিফল্ট কনফিগারেশন ফাইল হয়ে যায়। এই উদাহরণের জন্য একটি নমুনা কনফিগারেশন ফাইল নীচে প্রদান করা হয়েছে.

$> cat default.yml
---
#global settings
pid_dir: '~/.pg_chameleon/pid/'
log_dir: '~/.pg_chameleon/logs/'
log_dest: file
log_level: info
log_days_keep: 10
rollbar_key: ''
rollbar_env: ''

# type_override allows the user to override the default type conversion into a different one.
type_override:
  "tinyint(1)":
    override_to: boolean
    override_tables:
      - "*"

#postgres  destination connection
pg_conn:
  host: "192.168.56.106"
  port: "5433"
  user: "usr_replica"
  password: "pass123"
  database: "db_replica"
  charset: "utf8"

sources:
  mysql:
    db_conn:
      host: "192.168.56.102"
      port: "3306"
      user: "usr_replica"
      password: "pass123"
      charset: 'utf8'
      connect_timeout: 10
    schema_mappings:
      world_x: pgworld_x
    limit_tables:
#      - delphis_mediterranea.foo
    skip_tables:
#      - delphis_mediterranea.bar
    grant_select_to:
      - usr_readonly
    lock_timeout: "120s"
    my_server_id: 100
    replica_batch_size: 10000
    replay_max_rows: 10000
    batch_retention: '1 day'
    copy_max_memory: "300M"
    copy_mode: 'file'
    out_dir: /tmp
    sleep_loop: 1
    on_error_replay: continue
    on_error_read: continue
    auto_maintenance: "disabled"
    gtid_enable: No
    type: mysql
    skip_events:
      insert:
        - delphis_mediterranea.foo #skips inserts on the table delphis_mediterranea.foo
      delete:
        - delphis_mediterranea #skips deletes on schema delphis_mediterranea
      update:

এই উদাহরণে কনফিগারেশন ফাইলটি হল একটি নমুনা pg_chameleon ফাইল যাতে উৎস এবং লক্ষ্য পরিবেশের সাথে মেলে ছোটখাটো পরিবর্তন করা হয় এবং নিচে কনফিগারেশন ফাইলের বিভিন্ন বিভাগের একটি ওভারভিউ রয়েছে।

default.yml কনফিগারেশন ফাইলটিতে গ্লোবাল সেটিংসের (গ্লোবাল সেটিংস) একটি বিভাগ রয়েছে যেখানে আপনি সেটিংস নিয়ন্ত্রণ করতে পারেন যেমন লক ফাইলের অবস্থান, লগগুলির অবস্থান, লগগুলির জন্য স্টোরেজ সময়কাল ইত্যাদি। এরপরে আসে টাইপ ওভাররাইড বিভাগ, যেখানে প্রতিলিপির সময় ওভাররাইডিং ধরনের জন্য সেট নিয়ম। ডিফল্ট উদাহরণ একটি টাইপ ওভাররাইড নিয়ম ব্যবহার করে যা tinyint(1) কে বুলিয়ানে রূপান্তর করে। পরবর্তী বিভাগে, আমরা লক্ষ্য ডাটাবেসের সাথে সংযোগের বিশদ বিবরণ উল্লেখ করব। আমাদের ক্ষেত্রে, এটি একটি PostgreSQL ডাটাবেস, pg_conn হিসাবে চিহ্নিত। শেষ বিভাগে, আমরা উৎস ডেটা নির্দিষ্ট করি, অর্থাৎ, উৎস ডাটাবেসের সংযোগ পরামিতি, উৎসের ম্যাপিং স্কিম এবং টার্গেট ডাটাবেস, টেবিলগুলি এড়িয়ে যাওয়া, সময়সীমা, মেমরি, প্যাকেজের আকার। মনে রাখবেন যে "উৎস" হল বহুবচন, যার অর্থ আমরা একই টার্গেটে একাধিক সোর্স ডাটাবেস যোগ করতে পারি বহু-থেকে-এক কনফিগারেশন সেট আপ করতে।

উদাহরণের world_x ডাটাবেসে সারি সহ 4টি টেবিল রয়েছে যা MySQL সম্প্রদায় উদাহরণের জন্য প্রস্তাব করে। এটি ডাউনলোড করা যেতে পারে এখানে. নমুনা ডাটাবেস স্ট্রিং তৈরি এবং আমদানি করার জন্য নির্দেশাবলী সহ একটি টার এবং সংকুচিত সংরক্ষণাগার হিসাবে আসে।

MySQL এবং PostgreSQL ডাটাবেসে একই নামের usr_replica একটি বিশেষ ব্যবহারকারী তৈরি করা হয়। MySQL এটিকে সমস্ত প্রতিলিপিকৃত টেবিলে অতিরিক্ত পড়ার অ্যাক্সেস দেয়।

mysql> CREATE USER usr_replica ;
mysql> SET PASSWORD FOR usr_replica='pass123';
mysql> GRANT ALL ON world_x.* TO 'usr_replica';
mysql> GRANT RELOAD ON *.* to 'usr_replica';
mysql> GRANT REPLICATION CLIENT ON *.* to 'usr_replica';
mysql> GRANT REPLICATION SLAVE ON *.* to 'usr_replica';
mysql> FLUSH PRIVILEGES;

PostgreSQL পাশে, একটি db_replica ডাটাবেস তৈরি করা হয়েছে যা MySQL ডাটাবেস থেকে পরিবর্তনগুলি গ্রহণ করবে। PostgreSQL-এর usr_replica ব্যবহারকারী স্বয়ংক্রিয়ভাবে দুটি স্কিমা pgworld_x এবং sch_chameleon-এর মালিক হিসাবে কনফিগার করা হয়, যাতে যথাক্রমে প্রকৃত প্রতিলিপি করা টেবিল এবং প্রতিলিপি ক্যাটালগ টেবিল থাকে। create_replica_schema আর্গুমেন্ট স্বয়ংক্রিয় কনফিগারেশনের জন্য দায়ী, আপনি নীচে দেখতে পাবেন।

postgres=# CREATE USER usr_replica WITH PASSWORD 'pass123';
CREATE ROLE
postgres=# CREATE DATABASE db_replica WITH OWNER usr_replica;
CREATE DATABASE

MySQL ডাটাবেসকে কিছু পরিবর্তনের সাথে কনফিগার করা হয়েছে যাতে এটিকে নিচে দেখানো হিসাবে প্রতিলিপির জন্য প্রস্তুত করা হয়। পরিবর্তনগুলি কার্যকর করার জন্য আপনাকে ডাটাবেস সার্ভার পুনরায় চালু করতে হবে।

$> vi /etc/my.cnf
binlog_format= ROW
binlog_row_image=FULL
log-bin = mysql-bin
server-id = 1

এখন উভয় ডাটাবেস সার্ভারের সংযোগ পরীক্ষা করা গুরুত্বপূর্ণ যাতে pg_chameleon কমান্ডগুলি চালানোর সময় কোন সমস্যা না হয়।

PostgreSQL নোডে:

$> mysql -u usr_replica -Ap'admin123' -h 192.168.56.102 -D world_x

মাইএসকিউএল নোডে:

$> psql -p 5433 -U usr_replica -h 192.168.56.106 db_replica

পরবর্তী তিনটি pg_chameleon (গিরগিটি) কমান্ড পরিবেশ প্রস্তুত করে, উৎস যোগ করে এবং প্রতিরূপ শুরু করে। Pg_chameleon-এ create_replica_schema আর্গুমেন্ট পোস্টগ্রেএসকিউএল ডাটাবেসে একটি ডিফল্ট স্কিমা (sch_chameleon) এবং একটি প্রতিলিপি স্কিমা (pgworld_x) তৈরি করে, যেমনটি আমরা বলেছি। add_source আর্গুমেন্ট কনফিগারেশন ফাইল (default.yml) পড়ার মাধ্যমে কনফিগারেশনে একটি উৎস ডাটাবেস যোগ করে, যা আমাদের ক্ষেত্রে mysql, এবং init_replica কনফিগারেশন ফাইলের সেটিংসের উপর ভিত্তি করে কনফিগারেশন শুরু করে।

$> chameleon create_replica_schema --debug
$> chameleon add_source --config default --source mysql --debug
$> chameleon init_replica --config default --source mysql --debug

এই তিনটি কমান্ডের আউটপুট স্পষ্টভাবে তাদের সাফল্য নির্দেশ করে। সমস্ত ব্যর্থতা বা সিনট্যাক্স ত্রুটিগুলি কীভাবে সমস্যার সমাধান করা যায় তার ইঙ্গিত সহ সহজ এবং বোধগম্য বার্তাগুলিতে নির্দেশিত হয়৷

অবশেষে, আমরা start_replica দিয়ে প্রতিলিপি শুরু করি এবং একটি সফলতার বার্তা পাই।

$> chameleon start_replica --config default --source mysql 
output: Starting the replica process for source mysql

শো_স্ট্যাটাস আর্গুমেন্ট দিয়ে প্রতিলিপি স্থিতি জিজ্ঞাসা করা যেতে পারে এবং ত্রুটিগুলি শো_এররস যুক্তি দিয়ে দেখা যেতে পারে।

ফলাফল।

আমরা আগেই বলেছি, ডেমন প্রতিটি প্রতিলিপি ফাংশন পরিচালনা করে। সেগুলি দেখতে, Linux ps কমান্ডের সাহায্যে প্রক্রিয়া সারণীটি অনুসন্ধান করুন, যেমনটি নীচে দেখানো হয়েছে।

ফলাফল।

নীচে দেখানো হিসাবে আমরা রিয়েল টাইমে এটি পরীক্ষা না করা পর্যন্ত প্রতিলিপিকে কনফিগার করা বলে মনে করা হয় না। আমরা একটি টেবিল তৈরি করি, মাইএসকিউএল ডাটাবেসে কয়েকটি রেকর্ড সন্নিবেশ করি এবং ডেমন আপডেট করতে এবং পোস্টগ্রেএসকিউএল ডাটাবেসে রেকর্ড সহ টেবিলের প্রতিলিপি করতে pg_chameleon-এ sync_tables আর্গুমেন্ট কল করি।

mysql> create table t1 (n1 int primary key, n2 varchar(10));
Query OK, 0 rows affected (0.01 sec)
mysql> insert into t1 values (1,'one');
Query OK, 1 row affected (0.00 sec)
mysql> insert into t1 values (2,'two');
Query OK, 1 row affected (0.00 sec)

$> chameleon sync_tables --tables world_x.t1 --config default --source mysql
Sync tables process for source mysql started.

পরীক্ষার ফলাফল যাচাই করার জন্য, আমরা PostgreSQL ডাটাবেস থেকে টেবিলটি জিজ্ঞাসা করি এবং সারিগুলি আউটপুট করি।

$> psql -p 5433 -U usr_replica -d db_replica -c "select * from pgworld_x.t1";
 n1 |  n2
----+-------
  1 | one
  2 | two

যদি আমরা মাইগ্রেশন করি, তাহলে নিম্নলিখিত pg_chameleon কমান্ডগুলি মাইগ্রেশনের শেষ হবে। সমস্ত টার্গেট টেবিলের সারি প্রতিলিপি করা হয়েছে তা যাচাই করার পরে কমান্ডগুলি চালানো উচিত, যার ফলে একটি সুন্দরভাবে স্থানান্তরিত PostgreSQL ডাটাবেস তৈরি করা হয়েছে যার উৎস ডাটাবেস বা প্রতিলিপি স্কিম (sch_chameleon) এর কোনো উল্লেখ নেই।

$> chameleon stop_replica --config default --source mysql 
$> chameleon detach_replica --config default --source mysql --debug

আপনি ঐচ্ছিকভাবে নিম্নলিখিত কমান্ডের সাহায্যে মূল কনফিগারেশন এবং প্রতিলিপি স্কিমা মুছে ফেলতে পারেন।

$> chameleon drop_source --config default --source mysql --debug
$> chameleon drop_replica_schema --config default --source mysql --debug

pg_chameleon এর উপকারিতা

সহজ সেটআপ এবং কনফিগারেশন।
পরিষ্কার ত্রুটি বার্তা সহ সুবিধাজনক সমস্যা সমাধান এবং অসঙ্গতি সনাক্তকরণ।
বাকী কনফিগারেশন পরিবর্তন না করে শুরু করার পর প্রতিলিপিতে অতিরিক্ত বিশেষ টেবিল যোগ করা যেতে পারে।
একটি টার্গেট ডাটাবেসের জন্য একাধিক সোর্স ডাটাবেস সেট আপ করা সম্ভব, এবং আপনি যদি এক বা একাধিক MySQL ডাটাবেস থেকে একটি PostgreSQL ডাটাবেসে ডেটা মার্জ করেন তবে এটি খুব সহজ।
আপনি নির্বাচিত টেবিলের প্রতিলিপি না করা বেছে নিতে পারেন।

pg_chameleon এর অসুবিধা

শুধুমাত্র MySQL 5.5 এবং তার উপরে উৎস হিসাবে এবং PostgreSQL 9.5 এবং তার উপরে টার্গেট ডাটাবেস হিসাবে সমর্থিত।
প্রতিটি টেবিলের একটি প্রাথমিক বা অনন্য কী থাকতে হবে, অন্যথায় টেবিলগুলি init_replica প্রক্রিয়াতে আরম্ভ করা হয় কিন্তু প্রতিলিপি করা হয় না।
একমুখী প্রতিলিপি - শুধুমাত্র MySQL থেকে PostgreSQL পর্যন্ত। অতএব, এটি শুধুমাত্র সক্রিয়-প্যাসিভ স্কিমের জন্য উপযুক্ত।
উত্সটি শুধুমাত্র একটি MySQL ডাটাবেস হতে পারে এবং একটি উত্স হিসাবে একটি PostgreSQL ডাটাবেসের জন্য সমর্থন শুধুমাত্র পরীক্ষামূলক এবং সীমিত (আরো জানুন এখানে)

pg_chameleon এর জন্য মোট

MySQL থেকে PostgreSQL-এ ডাটাবেস স্থানান্তর করার জন্য pg_chameleon-এ প্রতিলিপি পদ্ধতিটি দুর্দান্ত। বড় নেতিবাচক দিক হল যে প্রতিলিপি শুধুমাত্র একমুখী, তাই ডাটাবেস পেশাদাররা মাইগ্রেশন ছাড়া অন্য কিছুর জন্য এটি ব্যবহার করতে চান না। কিন্তু একমুখী প্রতিলিপির সমস্যাটি আরেকটি ওপেন সোর্স টুল - সিমেট্রিকডিএস দিয়ে সমাধান করা যেতে পারে।

অফিসিয়াল ডকুমেন্টেশনে আরও পড়ুন এখানে. কমান্ড লাইন সাহায্য পাওয়া যাবে এখানে.

SymmetricDS এর ওভারভিউ

SymmetricDS হল একটি ওপেন সোর্স টুল যা যেকোনো ডাটাবেসকে অন্য যেকোনো সাধারণ ডাটাবেসে প্রতিলিপি করে: Oracle, MongoDB, PostgreSQL, MySQL, SQL সার্ভার, MariaDB, DB2, Sybase, Greenplum, Informix, H2, Firebird এবং অন্যান্য ক্লাউড ডাটাবেস উদাহরণ, যেমন Redshift, এবং Azure, ইত্যাদি উপলব্ধ বৈশিষ্ট্য: ডাটাবেস এবং ফাইল সিঙ্ক্রোনাইজেশন, মাল্টি-মাস্টার ডাটাবেস রেপ্লিকেশন, ফিল্টারড সিঙ্ক্রোনাইজেশন, ট্রান্সফর্মেশন এবং অন্যান্য। এটি একটি জাভা টুল এবং এর জন্য স্ট্যান্ডার্ড রিলিজ JRE বা JDK (সংস্করণ 8.0 বা উচ্চতর) প্রয়োজন। এখানে আপনি উৎস ডাটাবেসের ট্রিগারগুলিতে ডেটা পরিবর্তনগুলি রেকর্ড করতে পারেন এবং ব্যাচ হিসাবে উপযুক্ত টার্গেট ডাটাবেসে পাঠাতে পারেন।

সিমেট্রিক ডিএস ক্ষমতা

টুলটি প্ল্যাটফর্ম স্বাধীন, যার অর্থ দুই বা ততোধিক ভিন্ন ডাটাবেস ডেটা বিনিময় করতে পারে।
রিলেশনাল ডাটাবেসগুলি ডেটা পরিবর্তন রেকর্ড করে সিঙ্ক্রোনাইজ করা হয় এবং ফাইল সিস্টেমের উপর ভিত্তি করে ডেটাবেসগুলি ফাইল সিঙ্ক্রোনাইজেশন ব্যবহার করে।
নিয়মের একটি সেটের উপর ভিত্তি করে পুশ এবং পুল পদ্ধতি ব্যবহার করে দ্বি-মুখী প্রতিলিপি।
নিরাপদ নেটওয়ার্ক এবং কম ব্যান্ডউইথ সহ নেটওয়ার্কে ডেটা ট্রান্সমিশন সম্ভব।
একটি ব্যর্থতা এবং স্বয়ংক্রিয় দ্বন্দ্ব রেজোলিউশনের পরে নোডগুলির অপারেশন পুনরায় শুরু করার সময় স্বয়ংক্রিয় পুনরুদ্ধার।
ক্লাউড সামঞ্জস্যপূর্ণ এবং দক্ষ এক্সটেনশন APIs।

উদাহরণ

SymmetricDS দুটি উপায়ে কনফিগার করা যেতে পারে:
একটি মাস্টার (অভিভাবক) নোড যা কেন্দ্রীয়ভাবে দুটি স্লেভ (শিশু) নোডের মধ্যে ডেটা প্রতিলিপি সমন্বয় করে এবং চাইল্ড নোডের মধ্যে ডেটা বিনিময় শুধুমাত্র পিতামাতার মাধ্যমেই করা হয়।
একটি সক্রিয় নোড (নোড 1) মধ্যস্থতাকারী ছাড়াই অন্য সক্রিয় নোডের (নোড 2) সাথে প্রতিলিপির জন্য যোগাযোগ করতে পারে।

উভয় বিকল্পে, পুশ এবং টান ব্যবহার করে ডেটা বিনিময় করা হয়। এই উদাহরণে, আমরা সক্রিয়-সক্রিয় কনফিগারেশন বিবেচনা করব। পুরো স্থাপত্য বর্ণনা করার জন্য এটি খুব দীর্ঘ, তাই অধ্যয়ন করুন নেতৃত্বSymmetricDS অ্যাপ্লায়েন্স সম্পর্কে আরও জানতে।

SymmetricDS ইনস্টল করা সহজ: ওপেন সোর্স জিপ ফাইলটি ডাউনলোড করুন এখানে থেকে এবং আপনি যেখানে চান এটি নিষ্কাশন করুন। নিম্নলিখিত সারণীটি এই উদাহরণে SymmetricDS-এর ইনস্টলেশন অবস্থান এবং সংস্করণ তালিকাভুক্ত করে, পাশাপাশি ডাটাবেস সংস্করণ, Linux সংস্করণ, IP ঠিকানা এবং উভয় নোডের জন্য পোর্ট।

নিমন্ত্রণকর্তা
vm1
vm2

ওএস সংস্করণ
CentOS Linux 7.6 x86_64
CentOS Linux 7.6 x86_64

ডাটাবেস সার্ভার সংস্করণ
MySQL 5.7.26
PostgreSQL 10.5

ডিবি পোর্ট
3306
5832

আইপি ঠিকানা
192.168.1.107
192.168.1.112

সিমেট্রিকডিএস সংস্করণ
SymmetricDS 3.9
SymmetricDS 3.9

SymmetricDS ইনস্টলেশন পাথ
/usr/local/symmetric-server-3.9.20
/usr/local/symmetric-server-3.9.20

SymmetricDS হোস্টনাম
কর্প-000
দোকান-001

এখানে আমরা /usr/local/symmetric-server-3.9.20-এ SymmetricDS ইনস্টল করি এবং বিভিন্ন সাবডিরেক্টরি এবং ফাইল সেখানে সংরক্ষণ করা হবে। আমরা সাবডিরেক্টরি নমুনা এবং ইঞ্জিন আগ্রহী. নমুনা ডিরেক্টরিতে নোড বৈশিষ্ট্য সহ নমুনা কনফিগারেশন ফাইল রয়েছে, সেইসাথে দ্রুত ডেমো শুরু করার জন্য নমুনা SQL স্ক্রিপ্ট রয়েছে।

নমুনা ডিরেক্টরিতে, আমরা নোড বৈশিষ্ট্য সহ তিনটি কনফিগারেশন ফাইল দেখতে পাই - নামটি একটি নির্দিষ্ট স্কিমে নোডের প্রকৃতি দেখায়।

corp-000.properties
store-001.properties
store-002.properties

SymmetricDS-এ মৌলিক 3 নোড স্কিমার (বিকল্প 1) জন্য সমস্ত প্রয়োজনীয় কনফিগারেশন ফাইল রয়েছে এবং একই ফাইলগুলি 2 নোড স্কিমার জন্য ব্যবহার করা যেতে পারে (বিকল্প 2)। vm1 হোস্টের ইঞ্জিনগুলিতে নমুনা ডিরেক্টরি থেকে প্রয়োজনীয় কনফিগারেশন ফাইলটি অনুলিপি করুন। এটি এই মত দেখা যাচ্ছে:

$> cat engines/corp-000.properties
engine.name=corp-000
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://192.168.1.107:3306/replica_db?autoReconnect=true&useSSL=false
db.user=root
db.password=admin123
registration.url=
sync.url=http://192.168.1.107:31415/sync/corp-000
group.id=corp
external.id=000

এই নোডটিকে SymmetricDS কনফিগারেশনে corp-000 বলা হয় এবং ডাটাবেস সংযোগটি mysql jdbc ড্রাইভার দ্বারা পরিচালিত হয় যা উপরের সংযোগ স্ট্রিং এবং লগইন শংসাপত্র ব্যবহার করে। আমরা replica_db ডাটাবেসের সাথে সংযোগ করছি এবং স্কিমা তৈরির সময় টেবিল তৈরি করা হবে। sync.url সিঙ্ক্রোনাইজ করার জন্য নোডের লিঙ্ক দেখায়।

হোস্ট vm2-এ নোড 2 স্টোর-001 হিসাবে কনফিগার করা হয়েছে এবং বাকিটি নীচের node.properties ফাইলে উল্লেখ করা হয়েছে। স্টোর-001 নোড PostgreSQL ডাটাবেস চালায়, এবং pgdb_replica হল প্রতিলিপি করার জন্য ডাটাবেস। registration.url vm2 হোস্টকে vm1 হোস্টের সাথে যোগাযোগ করতে এবং এটি থেকে কনফিগারেশনের বিবরণ পেতে দেয়।

$> cat engines/store-001.properties
engine.name=store-001
db.driver=org.postgresql.Driver
db.url=jdbc:postgresql://192.168.1.112:5832/pgdb_replica
db.user=postgres
db.password=admin123
registration.url=http://192.168.1.107:31415/sync/corp-000
group.id=store
external.id=001

সম্পূর্ণ SymmetricDS উদাহরণে দুটি ডাটাবেস সার্ভারের (দুটি নোড) মধ্যে দ্বি-মুখী প্রতিলিপি সেট আপ করার বিকল্প রয়েছে। নীচের পদক্ষেপগুলি হোস্ট vm1 (corp-000) এ সম্পাদিত হয় যা 4টি টেবিল সহ একটি নমুনা স্কিমা তৈরি করবে। তারপর symadmin কমান্ডের সাহায্যে create-sym-tables নির্বাহ করলে ডিরেক্টরি টেবিল তৈরি হয় যেখানে নোডের মধ্যে প্রতিলিপি করার নিয়ম এবং দিক সংরক্ষণ করা হবে। অবশেষে, নমুনা ডেটা টেবিলে লোড করা হয়।

vm1$> cd /usr/local/symmetric-server-3.9.20/bin
vm1$> ./dbimport --engine corp-000 --format XML create_sample.xml
vm1$> ./symadmin --engine corp-000 create-sym-tables
vm1$> ./dbimport --engine corp-000 insert_sample.sql

উদাহরণে, আইটেম এবং আইটেম_বিক্রয়_মূল্য সারণীগুলি স্বয়ংক্রিয়ভাবে corp-000 থেকে স্টোর-001-এ প্রতিলিপি করার জন্য কনফিগার করা হয়েছে এবং বিক্রয় টেবিলগুলি (sale_transaction এবং sale_return_line_item) স্বয়ংক্রিয়ভাবে স্টোর-001 থেকে কর্প-000-এ প্রতিলিপি করার জন্য কনফিগার করা হয়েছে। আমরা এখন হোস্ট vm2 (store-001) এর পোস্টগ্রেএসকিউএল ডাটাবেসে একটি স্কিমা তৈরি করি যাতে এটি কর্প-000 থেকে ডেটা গ্রহণের জন্য প্রস্তুত হয়।

vm2$> cd /usr/local/symmetric-server-3.9.20/bin
vm2$> ./dbimport --engine store-001 --format XML create_sample.xml

vm1-এর MySQL ডাটাবেসে নমুনা টেবিল এবং একটি SymmetricDS ক্যাটালগ টেবিল আছে কিনা তা নিশ্চিত করুন। মনে রাখবেন যে SymmetricDS সিস্টেম টেবিলগুলি (sym_ এর সাথে উপসর্গযুক্ত) বর্তমানে শুধুমাত্র corp-000 নোডে উপলব্ধ, কারণ সেখানেই আমরা create-sym-tables কমান্ড চালাতাম এবং প্রতিলিপি পরিচালনা করব। এবং স্টোর-001 নোডের ডাটাবেসে ডেটা ছাড়া মাত্র 4টি উদাহরণ টেবিল থাকবে।

সব উভয় নোডে সিম সার্ভার প্রসেস চালানোর জন্য পরিবেশ প্রস্তুত।

vm1$> cd /usr/local/symmetric-server-3.9.20/bin
vm1$> sym 2>&1 &

লগ এন্ট্রিগুলি ব্যাকগ্রাউন্ড লগ ফাইলে (symmetric.log) পাঠানো হয় সেই ডিরেক্টরির লগ ফোল্ডারে যেখানে SymmetricDS ইনস্টল করা আছে, সেইসাথে স্ট্যান্ডার্ড আউটপুটে। Sym সার্ভার এখন স্টোর-001 নোডে শুরু করা যেতে পারে।

vm2$> cd /usr/local/symmetric-server-3.9.20/bin
vm2$> sym 2>&1 &

আপনি vm2 হোস্টে sym সার্ভার প্রক্রিয়া চালালে, এটি PostgreSQL ডাটাবেসের মধ্যেও SymmetricDS ক্যাটালগ টেবিল তৈরি করবে। আপনি যদি উভয় নোডে সিম সার্ভার প্রক্রিয়া চালান, তারা কর্প-000 থেকে স্টোর-001-এ ডেটা প্রতিলিপি করতে একে অপরের সাথে সমন্বয় করবে। যদি কয়েক সেকেন্ড পরে আমরা উভয় পক্ষের 4টি টেবিলের সবকটি প্রশ্ন করি, আমরা দেখতে পাব যে প্রতিলিপিটি সফল হয়েছে। অথবা আপনি নিম্নোক্ত কমান্ডের সাহায্যে corp-001 থেকে store-000-এ বুটস্ট্র্যাপ পাঠাতে পারেন।

vm1$> ./symadmin --engine corp-000 reload-node 001

এই মুহুর্তে, নোড কর্প-000 (হোস্ট: vm1) এর MySQL ডাটাবেসের আইটেম টেবিলে একটি নতুন রেকর্ড ঢোকানো হয় এবং নোড স্টোর-001 (হোস্ট: vm2) এ পোস্টগ্রেএসকিউএল ডাটাবেসের প্রতিলিপির জন্য পরীক্ষা করা যেতে পারে। আমরা corp-000 থেকে স্টোর-001-এ ডেটা সরানোর জন্য একটি টান অপারেশন দেখতে পাই।

mysql> insert into item values ('22000002','Jelly Bean');
Query OK, 1 row affected (0.00 sec)

vm2$> psql -p 5832 -U postgres pgdb_replica -c "select * from item"
 item_id  |   name
----------+-----------
 11000001 | Yummy Gum
 22000002 | Jelly Bean
(2 rows)

স্টোর-001 থেকে কর্প-000-এ ডেটা স্থানান্তর করার জন্য একটি পুশ অপারেশন করতে, আমরা sale_transaction টেবিলে একটি রেকর্ড সন্নিবেশ করি এবং যাচাই করি যে প্রতিলিপি সম্পন্ন হয়েছে।

ফলাফল।

আমরা MySQL এবং PostgreSQL ডাটাবেসের মধ্যে উদাহরণ টেবিলের দ্বি-মুখী প্রতিলিপির একটি সফল সেটআপ দেখতে পাচ্ছি। নতুন ব্যবহারকারী টেবিলের জন্য প্রতিলিপি সেট আপ করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পাদন করুন৷ আমরা উদাহরণ স্বরূপ টেবিল t1 তৈরি করি এবং এর প্রতিলিপি নিয়মগুলি নিম্নরূপ সেট আপ করি। তাই আমরা কর্প-000 থেকে স্টোর-001 পর্যন্ত শুধুমাত্র প্রতিলিপি সেট আপ করি।

mysql> create table  t1 (no integer);
Query OK, 0 rows affected (0.01 sec)

mysql> insert into sym_channel (channel_id,create_time,last_update_time) 
values ('t1',current_timestamp,current_timestamp);
Query OK, 1 row affected (0.01 sec)

mysql> insert into sym_trigger (trigger_id, source_table_name,channel_id,
last_update_time, create_time) values ('t1', 't1', 't1', current_timestamp,
current_timestamp);
Query OK, 1 row affected (0.01 sec)

mysql> insert into sym_trigger_router (trigger_id, router_id,
Initial_load_order, create_time,last_update_time) values ('t1',
'corp-2-store-1', 1, current_timestamp,current_timestamp);
Query OK, 1 row affected (0.01 sec)

তারপর কনফিগারেশনটি স্কিমা পরিবর্তন সম্পর্কে অবহিত করা হয়, যেমন একটি নতুন টেবিল যোগ করা, সিঙ্ক-ট্রিগারস আর্গুমেন্টের সাথে symadmin কমান্ড ব্যবহার করে, যা টেবিলের সংজ্ঞার সাথে মেলে ট্রিগারগুলিকে পুনরায় তৈরি করে। স্টোর-001-এ স্কিমা পরিবর্তনগুলি পাঠাতে পাঠান-স্কিমা চালানো হয়, এবং টেবিল t1 প্রতিলিপি করা হয়।

vm1$> ./symadmin -e corp-000 --node=001 sync-triggers    
vm1$> ./symadmin send-schema -e corp-000 --node=001 t1

SymmetricDS এর সুবিধা

সহজ ইনস্টলেশন এবং কনফিগারেশন, তিনটি বা দুটি নোডের সাথে একটি স্কিম তৈরি করার জন্য পরামিতি সহ ফাইলগুলির একটি প্রস্তুত সেট সহ।
সার্ভার, ল্যাপটপ এবং মোবাইল ডিভাইস সহ ক্রস-প্ল্যাটফর্ম ডেটাবেস এবং প্ল্যাটফর্মের স্বাধীনতা।
স্থানীয়ভাবে, WAN-এ বা ক্লাউডে যেকোনো ডাটাবেসের প্রতিলিপি তৈরি করুন।
সহজ প্রতিলিপির জন্য কয়েকটি ডাটাবেস বা কয়েক হাজারের সাথে সর্বোত্তমভাবে কাজ করার ক্ষমতা।
GUI এবং চমৎকার সমর্থন সহ প্রদত্ত সংস্করণ।

SymmetricDS এর অসুবিধা

ক্যাটালগ টেবিল লোড করার জন্য আপনাকে SQL স্টেটমেন্টের মাধ্যমে কমান্ড লাইনে প্রতিলিপির নিয়ম এবং দিক নির্দেশ করতে হবে, যা অসুবিধাজনক হতে পারে।
প্রতিলিপির জন্য অনেকগুলি টেবিল সেট আপ করা ক্লান্তিকর হতে পারে যদি না আপনি এসকিউএল বিবৃতি তৈরি করতে স্ক্রিপ্ট ব্যবহার করেন যা প্রতিলিপির নিয়ম এবং দিক নির্ধারণ করে।
লগগুলিতে অনেক বেশি তথ্য রয়েছে এবং কখনও কখনও আপনাকে লগ ফাইলটি পরিষ্কার করতে হবে যাতে এটি খুব বেশি জায়গা না নেয়।

SymmetricDS এর সারাংশ

SymmetricDS ফাইলগুলিকে প্রতিলিপি এবং সিঙ্ক্রোনাইজ করার জন্য আপনাকে দুই, তিন বা এমনকি কয়েক হাজার নোডের মধ্যে দ্বিমুখী প্রতিলিপি সেট আপ করতে দেয়। এটি একটি অনন্য সরঞ্জাম যা নিজে থেকেই অনেকগুলি কাজ সম্পাদন করে, যেমন একটি নোডে দীর্ঘ ডাউনটাইম পরে ডেটা স্বয়ংক্রিয়ভাবে পুনরুদ্ধার করা, HTTPS-এর মাধ্যমে নোডগুলির মধ্যে নিরাপদ এবং দক্ষ যোগাযোগ, নিয়মের একটি সেটের উপর ভিত্তি করে স্বয়ংক্রিয় সংঘর্ষ পরিচালনা ইত্যাদি। SymmetricDS প্রতিলিপি করে যেকোন ডাটাবেসের মধ্যে, তাই, এটি বিভিন্ন ধরণের পরিস্থিতির জন্য ব্যবহার করা যেতে পারে, যার মধ্যে স্থানান্তর, আপগ্রেড, বিতরণ, ফিল্টারিং এবং প্ল্যাটফর্ম জুড়ে ডেটা রূপান্তর সহ।

দৃষ্টান্তটি কর্মকর্তার উপর ভিত্তি করে দ্রুত গাইড SymmetricDS দ্বারা। ভিতরে ব্যবহার বিধি SymmetricDS এর সাথে প্রতিলিপি সেট আপ করার সাথে জড়িত বিভিন্ন ধারণাগুলি বিশদভাবে বর্ণনা করে।

উত্স: www.habr.com