Ristrepilatsioon PostgreSQL ja MySQL vahel

Ma räägin lühidalt ristrepist PostgreSQL ja MySQL vahel ning ka meetoditest, kuidas nende kahe andmebaasi serveri vahel ristrepist seadistada. Tüüpiliselt nimetatakse ristrepis olevate andmebaaside puhul homogeenseid, ja see on mugav meetod üleminekuks ühest relatsioonilisest DB-serverist teise.

PostgreSQL ja MySQL andmebaase peetakse relatsioonilisteks, kuid koos täiendavate laiendustega pakuvad nad ka NoSQL võimalusi. Siin arutame ristrepist PostgreSQL ja MySQL vahel relatsiooniliste andmebaasi perspektiivist.

Me ei kavatse kirjeldada kogu sisemist toimimist, vaid ainult põhialuseid, et saaksite ülevaate andmebaasi serverite vahelise replikatsiooni seadistamisest, eeliste, piirangute ja kasutusstsenaariumide kohta.

Tavaliselt toimub replikatsioon kahe identse andmebaasi serveri vahel kas binaarses režiimis või päringute abil peamise sõlme (tuntud ka kui väljaandja, peamine või aktiivne) ja alam sõlme (tellija, ootav või passiivne) vahel. Replikatsiooni eesmärk on pakkuda reaalajas koopia peamisest andmebaasist alam pooles. Andmed edastatakse peamisest alammeheni, seega aktiivsest passiivsesse, sest replikatsioon toimub ainult ühes suunas. Kuid saate seadistada ka kahe andmebaasi vaheliseks replikatsiooniks mõlemat pidi, et andmed edastataks alamast peamisele aktiivselt-passiivselt. Kõik see, sealhulgas kaskaadne replikatsioon, on võimalik kahe või enama identse andmebaasi serveri vahel, aktiivne-aktiivne või aktiivne-passiivne konfigureerimine sõltub vajadusest, nende võimaluste kättesaadavusest algses konfiguratsioonis või välimiste lahenduste kasutamisest ning olemasolevatest kompromissidest.

Ülaltoodud konfiguratsioon on võimalik erinevate andmebaasi serverite vahel. Serverit saab seadistada replikatsiooniandmete vastuvõtmiseks teiselt andmebaasi serverilt ning samal ajal hoida replikatsiooniandmete snapshot'e reaalajas. MySQL ja PostgreSQL pakuvad enamikku neist konfiguratsioonidest oma jõududega või kolmandate osapoolte laiendustega, sealhulgas binaarse päeviku, ketta lukustamise ning operaatorite ja ridade põhiste meetodite kaudu.

Ristkasutuse replikatsioon MySQL ja PostgreSQL vahel on vajalik andmebaasi serverite ühekordseks migreerimiseks. Need andmebaasid kasutavad erinevaid protokolle, mistõttu ei saa neid otse siduda. Andmevahetuse korraldamiseks võib kasutada välist avatud koodiga tööriista, näiteks pg_chameleon.

Mis on pg_chameleon

pg_chameleon on MySQL-st PostgreSQL-i replikatsioonisüsteem Python 3-l. Sellel on kasutusel avatud koodiga raamatukogu mysql-replication, samuti Pythonis. Ridade pildid eraldatakse MySQL-i tabelitest ja salvestatakse JSONB objektidena PostgreSQL-i andmebaasi, seejärel dešifreeritakse need pl/pgsql-funktsiooniga ja taastatakse PostgreSQL-i andmebaasis.

pg_chameleon'i võimalused

Mitmeid MySQL skeeme ühelt klastrilt saab replitseerida ühte siht PostgreSQL andmebaasi 'üks paljudele' konfiguratsiooniga.
Algse ja sihtskeemi nimed ei tohi kattuda.
Replikatsiooniandmeid saab eemaldada MySQL-i kaskaadse replikatsiooni kaudu.
Tabelid, mis ei saa replitseerida või tekitavad vigu, jäetakse välja.
Iga replikatsioonifunktsiooni haldavad demonid.
Kontrollimine YAML-põhiste parameetrite ja konfiguratsioonifailidega.

Näide

Host
vm1
vm2

OS versioon
CentOS Linux 7.6 x86_64
CentOS Linux 7.5 x86_64

Andmebaasi serveri versioon
MySQL 5.7.26
PostgreSQL 10.5

Andmebaasi port
3306
5433

IP-aadress
192.168.56.102
192.168.56.106

Alustamiseks valmistage ette kõik vajalikud komponendid pg_chameleon'i installimiseks. Selles näites on paigaldatud Python 3.6.8, mis loob virtuaalse keskkonna ja aktiveerib selle.

$> wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz
$> tar -xJf Python-3.6.8.tar.xz
$> cd Python-3.6.8
$> ./configure --enable-optimizations
$> make altinstall

Pärast Python 3.6 eduka installimist tuleb täita ülejäänud nõuded, näiteks luua ja aktiveerida virtuaalne keskkond. Samuti uuendatakse pip moodulit kaheks viimase versioonini, et vältida värskendatud versiooniga seotud uusi vigu.

$> python3.6 -m venv venv
$> source venv/bin/activate
(venv) $> pip install pip --upgrade
(venv) $> pip install pg_chameleon==2.0.9

Seejärel kutsume pg_chameleon'i (chameleon — see on käsk) argumendiga set_configuration_files, et aktiveerida pg_chameleon ja luua oletuslikud kataloogid ja konfiguratsioonifailid.

(venv) $> chameleon set_configuration_files
loomas katalooge /root/.pg_chameleon
loomas katalooge /root/.pg_chameleon/configuration/
loomas katalooge /root/.pg_chameleon/logs/
loomas katalooge /root/.pg_chameleon/pid/
kopeerimine konfiguratsiooni näitest /root/.pg_chameleon/configuration//config-example.yml

Nüüd loome config-example.yml koopia nimega default.yml, et see saaks vaikimisi seadete failiks. Selle näite konfiguratsioonifaili näidis on toodud allpool.

$> cat default.yml
---
#globaalsettings
pid_dir: '~/.pg_chameleon/pid/'
log_dir: '~/.pg_chameleon/logs/'
log_dest: file
log_level: info
log_days_keep: 10
rollbar_key: ''
rollbar_env: ''

# type_override lubab kasutajal vaikimisi tüüpide konversiooni muuta teiseks.
type_override:
  "tinyint(1)":
    override_to: boolean
    override_tables:
      - "*"

#postgresi sihtühenduse seaded
pg_conn:
  host: "192.168.56.106"
  port: "5433"
  user: "usr_replica"
  password: "pass123"
  database: "db_replica"
  charset: "utf8"

sources:
  mysql:
    db_conn:
      host: "192.168.56.102"
      port: "3306"
      user: "usr_replica"
      password: "pass123"
      charset: 'utf8'
      connect_timeout: 10
    schema_mappings:
      world_x: pgworld_x
    limit_tables:
#      - delphis_mediterranea.foo
    skip_tables:
#      - delphis_mediterranea.bar
    grant_select_to:
      - usr_readonly
    lock_timeout: "120s"
    my_server_id: 100
    replica_batch_size: 10000
    replay_max_rows: 10000
    batch_retention: '1 day'
    copy_max_memory: "300M"
    copy_mode: 'file'
    out_dir: /tmp
    sleep_loop: 1
    on_error_replay: continue
    on_error_read: continue
    auto_maintenance: "disabled"
    gtid_enable: No
    type: mysql
    skip_events:
      insert:
        - delphis_mediterranea.foo #skipib insertid tabelis delphis_mediterranea.foo
      delete:
        - delphis_mediterranea #skipib kustutamised skeemis delphis_mediterranea
      update:

Antud näite konfiguratsioonifail on pg_chameleon'ile kohandatud versioon, millel on väiksed muudatused vastavalt alg- ja sihtkeskkondadele, ning allpool on antud ülevaade erinevatest konfiguratsioonifaili jaotustest.

Konfiguratsioonifailis default.yml on globaalsete seade jaotus (global settings), kus saab hallata selliseid seadeid nagu lukustusfaili asukoht, logide asukoht, logide säilitamise periood jne. Seejärel on tüüpide ülekuulamise jaotus (type override), kus on määratud reeglite kogum tüüpide ülekandmiseks replikatsiooni ajal. Vaikimisi reeglina on tüüpide ülekuulamise reegel, mis konverteerib tinyint(1) booleaniks. Järgmises jaotuses määrame sihtandmebaasi ühenduse üksikasjad. Meie puhul on see PostgreSQL andmebaas, mida nimetatakse pg_conn-iks. Viimasena määrame allika andmed, st algandmebaasi ühenduse parameetrid, alg- ja sihtandmebaasi skeemide vastavuse, tabelid, mida tuleb vahele jätta, ootamise aja, mälu, partii suuruse. Pange tähele, et „sources“ on mitmuses, mis tähendab, et võime lisada mitmeid algandmebaase ühe sihta jaoks, et seadistada „palju ühele“ konfiguratsioon.

Andmebaas world_x näites sisaldab 4 tabelit ridadega, mida MySQL-i kogukond pakub näitena. Seda saab laadida siin. Näidandmebaas on saadaval tar- ja tihendatud arhiivina koos juhistega ridade loomiseks ja importimiseks.

MySQL-i ja PostgreSQL-i andmebaasides luuakse spetsiaalne kasutaja sama nimega usr_replica. MySQL-is antakse sellele täiendavad õigused kõigi replitseeritavate tabelite lugemiseks.

mysql> CREATE USER usr_replica ;
mysql> SET PASSWORD FOR usr_replica='pass123';
mysql> GRANT ALL ON world_x.* TO 'usr_replica';
mysql> GRANT RELOAD ON *.* to 'usr_replica';
mysql> GRANT REPLICATION CLIENT ON *.* to 'usr_replica';
mysql> GRANT REPLICATION SLAVE ON *.* to 'usr_replica';
mysql> FLUSH PRIVILEGES;

PostgreSQL-i küljes luuakse andmebaas db_replica, mis saab muutused MySQL-i andmebaasist. Kasutaja usr_replica PostgreSQL-is konfigureeritakse automaatselt kahele skeemile pgworld_x ja sch_chameleon, mis sisaldavad vastavalt tegelikke replitseeritud tabeleid ja replitseerimise katalooge. Automaatse konfiguratsiooni tagab argument create_replica_schema, nagu allpool näete.

postgres=# CREATE USER usr_replica WITH PASSWORD 'pass123';
CREATE ROLE
postgres=# CREATE DATABASE db_replica WITH OWNER usr_replica;
CREATE DATABASE

MySQL-i andmebaas seadistatakse mõnede parameetrite muutmisega, et valmistada see ette replitseerimiseks, nagu allpool näidatud. Andmebaasi server tuleb taaskäivitada, et muudatused jõustuksid.

$> vi /etc/my.cnf
binlog_format= ROW
binlog_row_image=FULL
log-bin = mysql-bin
server-id = 1

Praegu on oluline kontrollida ühendust mõlema andmebaasi serveriga, et pg_chameleon käivitamisel ei tekiks probleeme.

PostgreSQL-i sõlmes:

$> mysql -u usr_replica -Ap'admin123' -h 192.168.56.102 -D world_x

MySQL-i sõlmes:

$> psql -p 5433 -U usr_replica -h 192.168.56.106 db_replica

Järgmised kolm käsku pg_chameleon (chameleon) valmistavad keskkonna ette, lisavad allika ja initsialiseerivad replikatsiooni. Argument create_replica_schema pg_chameleon'is loob vaikimisi skeemi (sch_chameleon) ja replitseerimise skeemi (pgworld_x) PostgreSQL-i andmebaasis, nagu me juba rääkisime. Argument add_source lisab algse andmebaasi konfiguratsiooni, lugedes konfiguratsioonifaili (default.yml), ja meie juhul on see mysql, ning init_replica initsialiseerib konfiguratsiooni faili parameetrite põhjal.

$> chameleon create_replica_schema --debug
$> chameleon add_source --config default --source mysql --debug
$> chameleon init_replica --config default --source mysql --debug

Nende kolme käsu väljund näitab ilmselgelt nende eduka täitmise. Kõik tõrked või süntaktilised vead näidatakse lihtsate ja arusaadavate sõnumitega, mis pakuvad probleemi lahendamise vihjeid.

Lõpuks käivitame replikatsiooni käsuga start_replica ja saame eduka täitmise sõnumi.

$> chameleon start_replica --config default --source mysql 
out: Käivitan replikatsiooni protsessi allikast mysql

Replikatsiooni staatust saab küsida argumentidega show_status ja vead vaadata argumentide show_errors abil.

Tulemus.

Kuidas juba mainitud, iga replikatsioonifunktsiooni haldavad demonid. Nende vaatamiseks küsime Linuxi protsesside tabelit käsuga ps, nagu allpool näidatud.

Tulemus.

Replikatsioon ei loeta seadistatud, kuni me ei testi seda reaalajas, nagu allpool näidatud. Loome tabeli, sisestame paar kirjet MySQL andmebaasi ja kutsume argumenti sync_tables pg_chameleon'is, et uuendada demonid ja replikeerida tabelit koos kirjetega PostgreSQL andmebaasis.

mysql> create table t1 (n1 int primary key, n2 varchar(10));
Küsimus OK, 0 rida mõjutatud (0.01 sec)
mysql> insert into t1 values (1,'one');
Küsimus OK, 1 rida mõjutatud (0.00 sec)
mysql> insert into t1 values (2,'two');
Küsimus OK, 1 rida mõjutatud (0.00 sec)

$> chameleon sync_tables --tables world_x.t1 --config default --source mysql
Sync tables protsess allikast mysql on alustatud.

Kuidas testimise tulemusi kinnitada, küsime tabelit PostgreSQL andmebaasist ja kuvame read.

$> psql -p 5433 -U usr_replica -d db_replica -c "select * from pgworld_x.t1";
 n1 |  n2
----+-------
  1 | one
  2 | two

Kui me teeme migreerimist, siis järgmised pg_chameleon käsud lõpetavad selle. Käsud tuleb täita pärast seda, kui oleme veendunud, et kõigi siht tabelite read on replikeeritud, ja tulemuseks on korralikult üle kantud PostgreSQL andmebaas, mis ei viita algsele andmebaasile või replikatsiooniskeemile (sch_chameleon).

$> chameleon stop_replica --config default --source mysql 
$> chameleon detach_replica --config default --source mysql --debug

Soovi korral saab järgmiste käskudega eemaldada algse konfiguratsiooni ja replikatsiooniskeemi.

$> chameleon drop_source --config default --source mysql --debug
$> chameleon drop_replica_schema --config default --source mysql --debug

pg_chameleon eelised

Lihtne seadistus ja konfiguratsioon.
Mugav probleemi lahendamine ja anomaaliate tuvastamine selgete veateadetega.
Replikatsiooni saab lisada täiendavaid erilise tabelid pärast initsialiseerimist, ilma et muudaks ülejäänud konfiguratsiooni.
Saate seadistada mitu algandmebaasi ühe sihtriba jaoks, mis on väga mugav, kui ühendate andmeid ühest või mitmest MySQL andmebaasist PostgreSQL andmebaasi.
Võite valida tabelid, mida mitte replitseerida.

pg_chameleon puudused

Toetatakse ainult MySQL 5.5 ja uuemaid versioone allikana ning PostgreSQL 9.5 ja uuemaid versioone sihtandmebaasina.
Igal tabelil peab olema esmase või unikaalne võti, vastasel juhul initsialiseeritakse tabelid init_replica protsessis, kuid ei replitseerita.
Ühesuunaline replikatsioon — ainult MySQL-st PostgreSQL-i. Seetõttu sobib see ainult „aktiivne-passiivne” skeemile.
Allikas võib olla ainult MySQL andmebaas, samas kui PostgreSQL andmebaasi toetus allikana on alles katsefaasis ja piirangutega (rohkem teavet) siin)

Kokkuvõtted pg_chameleon kohta

pg_chameleon replikatsioonimeetod sobib suurepäraselt andmebaaside migreerimiseks MySQL-st PostgreSQL-i. Oluline puudus on see, et replikatsioon on ainult ühesuunaline, mistõttu andmebaasi spetsialistid tõenäoliselt ei soovi seda kasutada muudeks kui migreerimiseks. Siiski võib ühesuunalise replikatsiooni probleemi lahendada teise avatud lähtekoodiga tööriistaga — SymmetricDS.

Lisainfot leiate ametlikust dokumentatsioonist siin. Käskude viidatud dokumentatsiooni leiate siin.

SymmetricDS ülevaade

SymmetricDS on avatud lähtekoodiga tööriist, mis replitseerib mistahes andmebaasi mistahes teise laialt levinud andmebaasiga: Oracle, MongoDB, PostgreSQL, MySQL, SQL Server, MariaDB, DB2, Sybase, Greenplum, Informix, H2, Firebird ja teised pilveandmebaasid, näiteks Redshift ja Azure jne. Saadaval on funktsioonid: andmebaaside ja failide sünkroonimine, mitme peamise andmebaasi replikatsioon, filtreeritud sünkroonimine, andmete töötlemine ja muud. See on Java põhine tööriist ning vajalik on standardsel JRE või JDK väljalase (versioon 8.0 või uuem). Siin saab andmete muudatusi algandmebaasis salvestada triggereid kasutades ja suunata need vastavasse sihtandmebaasi pakettidena.

SymmetricDS võimalused

Tööriist ei sõltu platvormist, st kaks või enam erinevat andmebaasi saavad omavahel andmeid vahetada.
Relatsioonilised andmebaasid sünkroonitakse andmete muudatuste salvestamise kaudu, samas kui failisüsteemide põhised andmebaasid kasutavad failide sünkroonimist.
Kahepoolne replikatsioon, kasutades Push ja Pull meetodeid, põhinedes reeglite kogumile.
Andmete edastamine on võimalik kaitstud ja madala läbilaskevõimega võrkude kaudu.
Automaatne taastamine sõlmede taaskäivitamisel pärast riket ja automaatne konfliktide lahendamine.
Ühildumine pilve ja tõhusad laienduste API-d.

Näide

SymmetricDS-i saab seadistada ühes kahest variandist:
Juhtsõlm, mis keskse päringuna koordineerib andmete replikatsiooni kahe alluva sõlme vahel, ja andmevahetus alluvate sõlmede vahel toimub ainult läbi juhi.
Aktiivne sõlm (sõlm 1) saab vahetada andmeid replikatsiooniks teise aktiivse sõlmega (sõlm 2) ilma vahendajata.

Mõlemas variandis toimub andmevahetus Push ja Pull abil. Selles näites vaatame "aktiivne-aktiivne" konfiguratsiooni. Kirjeldamine kogu arhitektuur oleks liiga pikk, seega uurige juhend, et rohkem teada saada SymmetricDS seadistamise kohta.

SymmetricDS-i paigaldamine on väga lihtne: laadige alla avatud lähtekoodiga versioon zip-failist siit ja ekstraktige see sinna, kuhu soovite. Allolevas tabelis on toodud teave SymmetricDS-i installimise koha ja versiooni kohta selles näites, samuti andmebaasi versioonid, Linuxi versioonid, IP-aadressid ja sadamad mõlema sõlme jaoks.

Host
vm1
vm2

OS versioon
CentOS Linux 7.6 x86_64
CentOS Linux 7.6 x86_64

Andmebaasi serveri versioon
MySQL 5.7.26
PostgreSQL 10.5

Andmebaasi port
3306
5832

IP-aadress
192.168.1.107
192.168.1.112

SymmetricDS versioon
SymmetricDS 3.9
SymmetricDS 3.9

SymmetricDS paigaldusteed
/usr/local/symmetric-server-3.9.20
/usr/local/symmetric-server-3.9.20

SymmetricDS sõlme nimi
corp-000
store-001

Siin paigaldame SymmetricDS-i aadressile /usr/local/symmetric-server-3.9.20, kus on hoiustatavad erinevad alamkaustad ja failid. Meid huvitavad alamkaustad samples ja engines. Kaustas samples hoitakse näidiskonfiguratsiooni faile, kus on sõlme omadused, samuti SQL skripti näiteid kiireks demo alustamiseks.

Kaustas samples näeme kolme konfiguratsiooni faili sõlme omadustega — nimi näitab sõlme iseloomu teatud skeemis.

corp-000.properties
store-001.properties
store-002.properties

SymmetricDS-is on kõik vajalikud konfiguratsiooni failid kolme sõlme põhiskeemi (variant 1) jaoks, ja neid samu faile saab kasutada kahe sõlme skeemi (variant 2) puhul. Kopeerime vajaliku konfiguratsiooni faili kaustast samples kausta engines hostis vm1. Tulemuseks on:

$> cat engines/corp-000.properties
engine.name=corp-000
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://192.168.1.107:3306/replica_db?autoReconnect=true&useSSL=false
db.user=root
db.password=admin123
registration.url=
sync.url=http://192.168.1.107:31415/sync/corp-000
group.id=corp
external.id=000

Selle SymmetricDS konfiguratsioonis oleva sõlme nimi on corp-000 ning andmebaasi ühendust haldab mysql jdbc draiver, mis kasutab ülaltoodud ühendusstringi ja sisselogimisteavet. Ühendame end andmebaasiga replica_db ning skeemi loomisel luuakse tabelid. sync.url näitab sõlme asukohta sünkroniseerimiseks.

Sõlm 2, mis asub hostis vm2, on seadistatud nimega store-001, ülejäänud teave on esitatud allpool node.properties failis. Sõlm store-001 kasutab PostgreSQL andmebaasi ning pgdb_replica on replikatsiooniks ettenähtud andmebaas. registration.url võimaldab hostil vm2 ühendust võtta hostiga vm1 ja saada sellelt konfiguratsiooni üksikasjad.

$> cat engines/store-001.properties
engine.name=store-001
db.driver=org.postgresql.Driver
db.url=jdbc:postgresql://192.168.1.112:5832/pgdb_replica
db.user=postgres
db.password=admin123
registration.url=http://192.168.1.107:31415/sync/corp-000
group.id=store
external.id=001

Valmis SymmetricDS näidis sisaldab parameetreid kahe andmebaasi serveeri vahelise kahepoolsuse replikatsiooni seadistamiseks (kahe sõlme vahel). Alljärgnevaid samme tehakse hostis vm1 (corp-000), mis loob nelja tabeliga näidisstruktuuri. Seejärel käivitamine create-sym-tables käsuga symadmin loob katalooge, kus hoitakse reegleid ja replikatsiooni suundi sõlmede vahel. Lõpuks laaditakse tabelitesse näidandmed.

vm1$> cd /usr/local/symmetric-server-3.9.20/bin
vm1$> ./dbimport --engine corp-000 --format XML create_sample.xml
vm1$> ./symadmin --engine corp-000 create-sym-tables
vm1$> ./dbimport --engine corp-000 insert_sample.sql

Näites on tabelid item ja item_selling_price automaatselt seadistatud replikatsiooniks corp-000-st store-001-sse, samas kui tabelid sale (sale_transaction ja sale_return_line_item) on automaatselt seadistatud replikatsiooniks store-001-st corp-000-sse. Nüüd loome skeemi PostgreSQL andmebaasis hostis vm2 (store-001), et valmistuda andmete vastuvõtmiseks corp-000-lt.

vm2$> cd /usr/local/symmetric-server-3.9.20/bin
vm2$> ./dbimport --engine store-001 --format XML create_sample.xml

Veenduge, et vm1-s olevas MySQL andmebaasis oleksid olemas näidetabelid ja SymmetricDS kataloogitabelid. Pange tähele, et SymmetricDS süsteemitabelid (prefiksiga sym_) on hetkel saadaval ainult sõlmes corp-000, kuna seal on käidud läbi create-sym-tables käsk ja me haldame replikatsiooni. Samuti, andmebaasis sõlmes store-001 on kokku ainult 4 näidistabelit ilma andmeteta.

Kõik. Keskkond on valmis sym serveri protsesside käivitamiseks mõlemal sõlmel, nagu allpool näidatud.

vm1$> cd /usr/local/symmetric-server-3.9.20/bin
vm1$> sym 2>&1 &

Logifailide salvestamine toimub SymmetricDS installatsioonikaustas logs kaustas (symmetric.log), samuti standardsetes väljundites. Sym serverit saab nüüd algatada sõlmes store-001.

vm2$> cd /usr/local/symmetric-server-3.9.20/bin
vm2$> sym 2>&1 &

Kui käitada serveriprotsess sym sõlmes vm2, luuakse SymmetricDS kataloogi tabelid ka PostgreSQL andmebaasis. Kui käitada serveriprotsess sym mõlemal sõlmel, sünkroonitakse nad omavahel, et replikeerida andmeid corp-000-lt store-001-le. Kui pärast mõningaid sekundeid küsida kõiki 4 tabelit mõlemal poolel, näeme, et replikatsioon on õnnestunud. Või saab alglaadi edastada sõlmesse store-001 corp-000-lt järgmise käsuga.

vm1$> ./symadmin --engine corp-000 reload-node 001

Selles etapis sisestatake uue kirje andmebaasi MySQL tabelisse item sõlmes corp-000 (host: vm1) ja saab kontrollida selle replikatsiooni PostgreSQL andmebaasi sõlmes store-001 (host: vm2). Me näeme Pull operatsiooni, et andmeid liikuda corp-000-lt store-001-le.

mysql> insert into item values ('22000002','Jelly Bean');
Query OK, 1 row affected (0.00 sec)

vm2$> psql -p 5832 -U postgres pgdb_replica -c "select * from item"
 item_id  |   name
----------+-----------
 11000001 | Yummy Gum
 22000002 | Jelly Bean
(2 rows)

Andmete liigutamiseks store-001-lt corp-000-le Push operatsiooni teostamiseks sisestame kirje tabelisse sale_transaction ja kontrollime, et replikatsioon on toimunud.

Tulemus.

Näeme kahepoolse replikatsiooni tabelite seadistuse õnnestumist MySQL ja PostgreSQL andmebaaside vahel. Uute kasutajatabelite replikatsiooni seadistamiseks teeme järgmised sammud. Loome näidisena tabeli t1 ja seadistame replikatsiooni reeglid järgmiselt. Seeläbi seadistame ainult replikatsiooni corp-000-lt store-001-le.

mysql> create table  t1 (no integer);
Query OK, 0 rows affected (0.01 sec)

mysql> insert into sym_channel (channel_id,create_time,last_update_time) 
values ('t1',current_timestamp,current_timestamp);
Query OK, 1 row affected (0.01 sec)

mysql> insert into sym_trigger (trigger_id, source_table_name,channel_id,
last_update_time, create_time) values ('t1', 't1', 't1', current_timestamp,
current_timestamp);
Query OK, 1 row affected (0.01 sec)

mysql> insert into sym_trigger_router (trigger_id, router_id,
Initial_load_order, create_time,last_update_time) values ('t1',
'corp-2-store-1', 1, current_timestamp,current_timestamp);
Query OK, 1 row affected (0.01 sec)

Seejärel saa konfiguratsioon teate skeemi muutmisest, st uue tabeli lisamisest, kasutades käsku symadmin koos argumendiga sync-triggers, mis taaskonstrueerib triggereid tabeli määratlemise jaoks. Käivitatakse send-schema, et saata skeemi muudatused sõlmele store-001, ja tabeli t1 replikeerimine on seadistatud.

vm1$> ./symadmin -e corp-000 --node=001 sync-triggers    
vm1$> ./symadmin send-schema -e corp-000 --node=001 t1

SymmetricDS eelised

Lihtne paigaldamine ja seadistamine, sealhulgas valmis failikomplekt seadistuste jaoks skeemi loomisel kolmes või kahes sõlmes.
Andmebaaside platvormideülene iseseisvus, sealhulgas serverid, sülearvutid ja mobiilseadmed.
Mis tahes andmebaasi replikeerimine mis tahes teise andmebaasi kohapeal, WAN-is või pilves.
Võime tõhusalt hallata paari andmebaasi või isegi tuhandeid mugavaks replikeerimiseks.
Tasuline versioon graafilise liidesega ja suurepärane tugi.

SymmetricDS puudused

On vaja käsitsi märkida käsureal replikeerimise reeglid ja suund SQL-i operaatorite kaudu, et laadida katalooge, mis võib olla ebamugav.
Paljude tabelite seadistamine replikeerimiseks on kurnav, kui ei kasutada skripte SQL-i operaatorite loomiseks, mis määratlevad reeglid ja suuna.
Logitesse kirjutatakse liiga palju teavet ja mõnikord on vaja logifailis korda luua, et see ei võtaks liiga palju ruumi.

SymmetricDS kokkuvõte

SymmetricDS võimaldab seadistada kahe, kolme ja isegi tuhandete sõlmede vahel kahepoolset replikeerimist, et teostada replikeerimist ja sünkroonida faile. See on ainulaadne tööriist, mis täidab paljusid ülesandeid automaatselt, näiteks andmete automaatne taastamine pikaajalise seisaku järel sõlmes, turvaline ja efektiivne andmevahetus sõlmede vahel HTTPS-i kaudu, automaatne konfliktide haldamine reeglite põhjal jne. SymmetricDS teostab replikeerimist kõigi andmebaaside vahel, seega saab seda kasutada kõige erinevamates stsenaariumites, sealhulgas migreerimisel, uuele versioonile ülemisel, levitamises, filtreerimises ja andmete muutmises erinevatel platvormidel.

Näide on loodud ametliku lühikese juhendi alusel SymmetricDS. V kasutaja juhendis detailne kirjeldatakse erinevaid mõisteid, mis on seotud replikatsiooni seadistamisega SymmetricDS-i abil.

Allikas: habr.com