Ristrepikatsioon PostgreSQL-i ja MySQL-i vahel

Annan ülevaate ristrepikatsioonist PostgreSQL-i ja MySQL-i vahel ning meetoditest nende andmebaasisüsteemide vahelise ristrepikatsiooni seadistamiseks. Üldiselt peetakse ristrepikatsiooni allikaid homogeenseteks, ning see on mugav meetod liikuda ühest relatsioonilisest andmebaasisüsteemist teise.

PostgreSQL-i ja MySQL-i andmebaasid peetakse relatsioonilisteks, kuid koos lisandustega pakuvad nad ka NoSQL võimalusi. Räägime PostgreSQL-i ja MySQL-i vahelisest repikatsioonist relatsiooniliste andmebaasisüsteemide perspektiivist.

Me ei kirjeldada kogu sisemist toimingut, vaid ainult põhialuseid, et te saaksite aimu andmebaasiserverite vahelise repikatsiooni seadistamisest, selle eelistest, piirangutest ja kasutusstsenaariumidest.

Replikatsioon kahe identse andmebaasiserveri vahel toimub tavaliselt kas binaarses režiimis või päringute kaudu peamise sõlme (tuntud ka kui väljaandja, peamine või aktiivne) ja alam-sõlme (tellija, oote- või passiivne) vahel. Replikatsiooni eesmärk on reaalajas edastada peamise andmebaasi koopia alam-sõlmele. Andmed edastatakse peamiselt alammele, see tähendab aktiivsest passiivsesse, kuna replikatsioon toimub ainult ühes suunas. Siiski on võimalik seadistada replikatsioon kahe andmebaasi vahel mõlemas suunas, nii et andmed edastatakse alam-sõlmest peamisele, luues „aktiivne-aktiivne” konfiguratsiooni. Kõik see, sealhulgas kaskaad-replikatsioon, on võimalik kahe või enama identse andmebaasiserveri vahel. „Aktiivne-aktiivne” või „aktiivne-passiivne” konfiguratsioon sõltub vajadusest, nende võimaluste olemasolust algses konfiguratsioonis või välistest lahendustest, mis on vajalikud seadistamiseks ja olemasolevate kompromisside tegemiseks.

Kirjeldatud konfiguratsioon on võimalik erinevate andmebaasi serverite vahel. Serverit saab seadistada teiste andmebaasi serverite replitseeritud andmete vastuvõtmiseks, säilitades samas reaalajas replitseeritud andmete stseenid. MySQL ja PostgreSQL pakuvad enamikku neist konfiguratsioonidest oma jõududega või kolmandate osapoolte laienduste abil, sealhulgas binaarsete logide, kettalukkude ja operaatorite ning ridade põhiste meetodite abil.

Ristreplikatsioon MySQL ja PostgreSQL vahel on vajalik ühekordseks migreerimiseks ühelt andmebaasi serverilt teisele. Need andmebaasid kasutavad erinevaid protokolle, seetõttu ei saa neid otse siduda. Andmete vahetamiseks saab kasutada väliseid avatud lähtekoodiga tööriistu, näiteks pg_chameleon.

Mis on pg_chameleon

pg_chameleon on replikatsiooni süsteem MySQL'ist PostgreSQL'i, mis on loodud Python 3 peal. See kasutab avatud lähtekoodiga mysql-replication teeki, samuti Pythonis. Ridade pildid tõmmatakse MySQL tabelitest ja salvestatakse PostgreSQL andmebaasis JSONB objektidena, seejärel dešifreeritakse pl/pgsql funktsiooni abil ja taastatakse PostgreSQL andmebaasis.

pg_chameleon omadused

Ühe klaster MySQL-i mitu skeemi saab replitseerida ühte siht PostgreSQL andmebaasi konfiguratsiooniga „üks-ühele”.
Algse ja sihiskeemi nimed ei saa kattuda.
Replitseeritud andmeid saab saada MySQL-i kaskaadiga replika kaudu.
Tabelid, mis ei saa replitseerida või põhjustavad vigu, jäetakse välja.
Iga replitseerimisfunktsiooni haldavad daemonid.
Kontroll YAML-põhiste parameetrite ja konfiguratsioonifailide abil.

Näide

Host
vm1
vm2

OS-i versioon
CentOS Linux 7.6 x86_64
CentOS Linux 7.5 x86_64

Andmebaasi serveri versioon
MySQL 5.7.26
PostgreSQL 10.5

Andmebaasi port
3306
5433

IP-aadress
192.168.56.102
192.168.56.106

Esiteks valmistage kõik vajalikud komponendid pg_chameleon'i installimiseks. Selles näites on installitud Python 3.6.8, mis loob virtuaalse keskkonna ja aktiveerib selle.

$> wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz
$> tar -xJf Python-3.6.8.tar.xz
$> cd Python-3.6.8
$> ./configure --enable-optimizations
$> make altinstall

Pärast Python3.6 edukat installimist tuleb täita ülejäänud nõuded, näiteks luua ja aktiveerida virtuaalne keskkond. Lisaks uuendatakse pip-moodul viimasele versioonile ja seda kasutatakse pg_chameleon'i installimiseks. Allpool olevates käskudes installitakse tahtlikult pg_chameleon 2.0.9, kuigi viimane versioon on 2.0.10. See on vajalik, et vältida uusi vigu uuendatud versioonis.

$ > python3.6 -m venv venv
$ > source venv/bin/activate
(venv) $ > pip install pip --upgrade
(venv) $ > pip install pg_chameleon==2.0.9

Seejärel kutsume pg_chameleon'i (chameleon on käsk) argumentidega set_configuration_files, et aktiveerida pg_chameleon ja luua vaike kataloogid ja konfiguratsioonifailid.

(venv) $ > chameleon set_configuration_files
loome katalooge /root/.pg_chameleon
loome katalooge /root/.pg_chameleon/configuration/
loome katalooge /root/.pg_chameleon/logs/
loome katalooge /root/.pg_chameleon/pid/
kopeerime konfiguratsiooni näite failisse /root/.pg_chameleon/configuration//config-example.yml

Nüüd loome faili config-example.yml koopia nimega default.yml, et sellest saaks vaike konfiguratsioonifail. Selle näidisfaili konfiguratsioon on toodud allpool.

$> cat default.yml
---
#globaal seadistused
pid_dir: '~/.pg_chameleon/pid/'
log_dir: '~/.pg_chameleon/logs/'
log_dest: file
log_level: info
log_days_keep: 10
rollbar_key: ''
rollbar_env: ''

# type_override võimaldab kasutajal muuta vaikimisi tüübi teisendamine teiseks.
type_override:
  "tinyint(1)":
    override_to: boolean
    override_tables:
      - "*"

#postgresi sihtkoha ühendus
pg_conn:
  host: "192.168.56.106"
  port: "5433"
  user: "usr_replica"
  password: "pass123"
  database: "db_replica"
  charset: "utf8"

sources:
  mysql:
    db_conn:
      host: "192.168.56.102"
      port: "3306"
      user: "usr_replica"
      password: "pass123"
      charset: 'utf8'
      connect_timeout: 10
    schema_mappings:
      world_x: pgworld_x
    limit_tables:
#      - delphis_mediterranea.foo
    skip_tables:
#      - delphis_mediterranea.bar
    grant_select_to:
      - usr_readonly
    lock_timeout: "120s"
    my_server_id: 100
    replica_batch_size: 10000
    replay_max_rows: 10000
    batch_retention: '1 päev'
    copy_max_memory: "300M"
    copy_mode: 'file'
    out_dir: /tmp
    sleep_loop: 1
    on_error_replay: continue
    on_error_read: continue
    auto_maintenance: "keelatud"
    gtid_enable: No
    type: mysql
    skip_events:
      insert:
        - delphis_mediterranea.foo #vahetab välja sisestused tabelis delphis_mediterranea.foo
      delete:
        - delphis_mediterranea #vahetab välja kustutused skeemis delphis_mediterranea
      update:

Konfiguratsioonifail selles näites on pg_chameleon'i fail, millel on väikesed muudatused vastavalt alg- ja sihtkeskkondadele. Allpool on ülevaade konfiguratsioonifaili erinevatest jaotustest.

Faili konfiguratsioonis default.yml on globaalsete parameetrite (global settings) jaotis, kus saab hallata selliseid seadeid nagu lukufaili asukoht, logide asukoht, logide säilitamise periood jne. Järgneb tüüpide ülekirjutamise (type override) jaotis, kus on määratud reeglite kogum tüüpide ülekirjutamiseks replikeerimise ajal. Vaikesnäidisena kasutatakse tüüpide ülekirjutamise reeglit, mis muundab tinyint(1) loogiliseks väärtuseks. Järgmisel jaotisel määrame ühenduse üksikasjad sihtandmebaasiga. Meie juhul on see PostgreSQL andmebaas, mille tähistamine on pg_conn. Viimases jaotises määrame lähteandmete andmed, st lähtandmebaasi ühenduse parameetrid, lähte- ja sihtandmebaasi skeemi vastavuse, tabelid, mida tuleb vahele jätta, ooteaeg, mälu, pakendi suurus. Pange tähele, et „sources” on mitmuses, seega saame lisada mitu lähteandmebaasi ühe sihtandmebaasi jaoks, et seadistada „mitu ühele” konfiguratsioon.

Näidis andmebaas world_x sisaldab 4 tabelit ridadega, mille MySQLi kogukond on näitena pakkunud. Selle saab alla laadida. siit. Näidis andmebaas tuleb tar- ja pakitud arhiivina koos juhistega ridade loomise ja importimise kohta.

MySQLis ja PostgreSQLis luuakse eriline kasutaja nimega usr_replica. MySQLis antakse talle täiendavad õigused kõigi replikeeritavate tabelite lugemiseks.

mysql> CREATE USER usr_replica ;
mysql> SET PASSWORD FOR usr_replica='pass123';
mysql> GRANT ALL ON world_x.* TO 'usr_replica';
mysql> GRANT RELOAD ON *.* to 'usr_replica';
mysql> GRANT REPLICATION CLIENT ON *.* to 'usr_replica';
mysql> GRANT REPLICATION SLAVE ON *.* to 'usr_replica';
mysql> FLUSH PRIVILEGES;

PostgreSQLi poolel luuakse andmebaas db_replica, mis aktsepteerib muudatusi MySQLi andmebaasist. Kasutaja usr_replica PostgreSQLis konfigureeritakse automaatselt kahe skeemi pgworld_x ja sch_chameleon omanikuks, mis sisaldavad vastavalt tegelikke replikeeritud tabeleid ja replikatsiooni katalooge. Automaatse konfiguratsiooni eest vastutab argument create_replica_schema, nagu näete allpool.

postgres=# CREATE USER usr_replica WITH PASSWORD 'pass123';
CREATE ROLE
postgres=# CREATE DATABASE db_replica WITH OWNER usr_replica;
CREATE DATABASE

MySQL andmebaas konfigureeritakse mõningate parameetrite muutmisega, et valmistada see ette replikatsiooniks, nagu allpool näidatud. Andmebaasi server tuleb taaskäivitada, et muudatused jõustuksid.

$> vi /etc/my.cnf
binlog_format= ROW
binlog_row_image=FULL
log-bin = mysql-bin
server-id = 1

Praegu on oluline kontrollida ühendust mõlema andmebaasi serveriga, et pg_chameleon'i käivitamisel ei tekiks probleeme.

PostgreSQL sõlmes:

$> mysql -u usr_replica -Ap'admin123' -h 192.168.56.102 -D world_x

MySQL sõlmes:

$> psql -p 5433 -U usr_replica -h 192.168.56.106 db_replica

Järgmised kolm käsku pg_chameleon (chameleon) valmistavad keskkonna ette, lisavad allika ja initsialiseerivad replikatsiooni. Argument create_replica_schema pg_chameleon'is loob vaikimisi skeemi (sch_chameleon) ja replikatsiooniskeemi (pgworld_x) PostgreSQL andmebaasis, nagu oleme juba maininud. Argument add_source lisab allika andmebaasi konfiguratsiooni, lugedes konfiguratsioonifaili (default.yml), ja meie juhul on see mysql, ning init_replica initsialiseerib konfiguratsiooni, lähtudes failis määratud parameetritest.

$> chameleon create_replica_schema --debug
$> chameleon add_source --config default --source mysql --debug
$> chameleon init_replica --config default --source mysql --debug

Nende kolme käsu väljund näitab selgelt nende eduka täitmise. Kõik tõrked või süntaksivead kuvatakse lihtsate ja arusaadavate sõnumitega koos vihjete jaotamiseks probleemide parandamiseks.

Lõpuks alustame replikatsiooni start_replica abil ja saame sõnumi eduka täitmise kohta.

$> chameleon start_replica --config default --source mysql 
output: Alustamine replikatsiooni protsessi allika mysql jaoks

Replikatsiooni staatust saab küsida show_status argumendi abil ja vigu vaadata show_errors argumendi kaudu.

Tulemus.

Kuidas juba mainitud, kontrollivad iga replikatsiooni funktsiooni deemonid. Deemonite vaatamiseks küsime Linuxi protsesside tabelit käsuga ps, nagu allpool näidatud.

Tulemus.

Replikatsioon ei loeta seadistunuks, kui me ei testi seda reaalajas, nagu allpool näidatud. Loome tabeli, sisestame paar kirjeid MySQL andmebaasi ja kutsume pg_chameleon'is välja sync_tables argumendi, et värskendada deemonid ja replitseerimise tabel andmetega PostgreSQL andmebaasis.

mysql> create table t1 (n1 int primary key, n2 varchar(10));
Küsimus OK, 0 rida mõjutatud (0.01 sek)
mysql> insert into t1 values (1,'one');
Küsimus OK, 1 rida mõjutatud (0.00 sek)
mysql> insert into t1 values (2,'two');
Küsimus OK, 1 rida mõjutatud (0.00 sek)

$> chameleon sync_tables --tables world_x.t1 --config default --source mysql
Andmete sünkroniseerimise protsess allikast mysql on alanud.

Testitulemuste kinnitamiseks küsime tabelit PostgreSQL andmebaasist ja väljundime read.

$> psql -p 5433 -U usr_replica -d db_replica -c "select * from pgworld_x.t1";
 n1 |  n2
----+-------
  1 | üks
  2 | kaks

Kui teeme migreerimist, siis järgmised pg_chameleoni käsud lõpetavad selle. Käsud tuleb täita pärast seda, kui oleme kinnitanud, et kõiki sihttabeleid on replitseeritud, ja tulemuseks on korralikult üle viidud PostgreSQL andmebaas, millel ei ole viiteid algsele andmebaasile ega replikatsiooniskeemile (sch_chameleon).

$> chameleon stop_replica --config default --source mysql 
$> chameleon detach_replica --config default --source mysql --debug

Soovi korral saab järgmiste käskudega algse konfiguratsiooni ja replikatsiooniskeemi eemaldada.

$> chameleon drop_source --config default --source mysql --debug
$> chameleon drop_replica_schema --config default --source mysql --debug

pg_chameleoni eelised

Lihtne seadistamine ja konfigureerimine.
Mugav tõrkeotsing ja anomaaliate tuvastamine arusaadavate veateadete abil.
Replikatsiooni saab lisada täiendavaid spetsiaalseid tabeleid pärast initsialiseerimist, muutes ülejäänud konfiguratsiooni.
Saate seadistada mitu lähteandmebaasi ühe sihtandmebaasi jaoks, mis on väga mugav, kui ühendate andmeid ühest või mitmest MySQL andmebaasist PostgreSQL andmebaasis.
Valitud tabeleid ei ole võimalik replikeerida.

pg_chameleon puudused

Toetatakse ainult MySQL 5.5 ja uuemaid versioone allikaks ning PostgreSQL 9.5 ja uuemaid versioone sihtandmebaasina.
Igal tabelil peab olema peamine või unikaalne võti, vastasel juhul initsialiseeritakse tabelid init_replica protsessi käigus, kuid neid ei replikeerita.
Ühesuunaline replikeerimine — ainult MySQL-st PostgreSQL-i. Seetõttu sobib see ainult 'aktiivne-passiivne' skeemile.
Allikas võib olla ainult MySQL andmebaas, samas on PostgreSQL andmebaasi toetamine allikana alles katsetamisfaasis ja piirangutega (saate rohkem teada siit)

Kokkuvõtted pg_chameleonist

pg_chameleon replikeerimismeetod sobib suurepäraselt andmebaasi migreerimiseks MySQL-ist PostgreSQL-i. Oluline puudus on see, et replikeerimine on ainult ühesuunaline, mistõttu andmebaasi spetsialistid tõenäoliselt ei soovi seda kasutada millegi muu jaoks peale migreerimise. Kuid ühesuunalise replikeerimise probleemi saab lahendada veel ühe avatud lähtekoodiga tööriista — SymmetricDS.

Lisage rohkem teavet ametlikus dokumentatsioonis siit. Käskude rida aitab leida siit.

SymmetricDS ülevaade

SymmetricDS on avatud lähtekoodiga tööriist, mis replikeerib mis tahes andmebaasi igasse teise tuntud andmebaasi: Oracle, MongoDB, PostgreSQL, MySQL, SQL Server, MariaDB, DB2, Sybase, Greenplum, Informix, H2, Firebird ja teised pilveandmebaasid, näiteks Redshift ja Azure jne. Saadaval on funktsioonid: andmebaaside ja failide sünkroniseerimine, mitme juhtiva andmebaasi replikatsioon, filtreeritud sünkroniseerimine, andmete muutmine ja palju muud. See on Java tööriist ja nõuab standardset JRE või JDK versiooni 8.0 või kõrgemat. Siin on võimalik salvestada andme muutusi algandmebaasi trikkide kaudu ja edastada need vastavasse sihtandmebaasi pakettidena.

SymmetricDS funktsioonid

Tööriist ei sõltu platvormist, see tähendab, et kaks või enam erinevat andmebaasi saavad vahetada andmeid.
Relatiivsed andmebaasid sünkroniseeritakse andme muudatuste salvestamise teel, samas kui failisüsteemide põhised andmebaasid kasutavad failide sünkroniseerimist.
Kahepoolne replikatsioon Push ja Pull meetodite kaudu, mis põhinevad reeglite kogumil.
Andmete edastus on võimalik kaitstud võrkudes ja madala läbilaskevõimega võrkudes.
Automaatne taastamine pärast sõlmede tööd taasalkavandamist ja automaatne konfliktide lahendamine.
Ühildatavus pilves ja efektiivsed API laiendusi.

Näide

SymmetricDS-i saab seadistada ühe kahest variandist:
Juht (vanem) sõlm, mis keskset koordineerib andmete replikatsiooni kahe alam (tütar) sõlme vahel ning andmevahetus tütar sõlmede vahel toimub ainult vanema kaudu.
Aktiivne sõlm (sõlm 1) saab andmeid replikatsiooni jaoks vahetada teise aktiivse sõlmega (sõlm 2) ilma vahendajata.

Mõlemal variandil toimub andmevahetus Push ja Pull kaudu. Käesolevas näites vaatame 'aktiivne-aktiivne' konfiguratsiooni. Kogu arhitektuuri kirjeldamine võtaks liiga kaua aega, seetõttu uurige juhend, et rohkem teada saada SymmetricDS-i seadistusest.

SymmetricDS-i paigaldamine on väga lihtne: laadige alla avatud lähtekoodiga zip-faili versioon. siit ja tõmmake see välja, kuhu soovite. Allolevas tabelis on toodud SymmetricDS paigalduskoht ja versioon antud näites, samuti andmebaaside versioonid, Linuxi versioonid, IP-aadressid ja sadamad mõlemale sõlmele.

Host
vm1
vm2

OS-i versioon
CentOS Linux 7.6 x86_64
CentOS Linux 7.6 x86_64

Andmebaasi serveri versioon
MySQL 5.7.26
PostgreSQL 10.5

Andmebaasi port
3306
5832

IP-aadress
192.168.1.107
192.168.1.112

SymmetricDS versioon
SymmetricDS 3.9
SymmetricDS 3.9

SymmetricDS paigaldusteekond
/usr/local/symmetric-server-3.9.20
/usr/local/symmetric-server-3.9.20

SymmetricDS sõlme nimi
corp-000
store-001

Siin paigaldame SymmetricDS aadressile /usr/local/symmetric-server-3.9.20, kus hoitakse erinevaid alakaustu ja faile. Meid huvitavad alakaustad samples ja engines. Kaustas samples leidub näidis konfiguratsioonifaile sõlme omadustega ning SQL skriptide näidiseid kiireks demonstratsiooniks.

Kaustas samples näeme kolme konfiguratsioonifaili sõlme omadustega — nimi näitab sõlme iseloomu teatud skeemis.

corp-000.properties
store-001.properties
store-002.properties

SymmetricDS-l on kõik vajalikud konfiguratsioonifailid kolme sõlmega põhiskeemi jaoks (valik 1), ja samu faile saab kasutada ka kahe sõlmega skeemis (valik 2). Kopsime vajaliku konfiguratsioonifaili kaustast samples kausta engines hostis vm1. Tulemus on järgmine:

$> cat engines/corp-000.properties
engine.name=corp-000
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://192.168.1.107:3306/replica_db?autoReconnect=true&useSSL=false
db.user=root
db.password=admin123
registration.url=
sync.url=http://192.168.1.107:31415/sync/corp-000
group.id=corp
external.id=000

Selle SymmetricDS konfiguratsiooni sõlm on nimetatud corp-000, ja andmebaasi ühendust haldab mysql jdbc draiver, mis kasutab ülaltoodud ühendusstringi ja sissepääsukrediite. Oleme ühendatud database replica_db ja skeemi loomisel luuakse tabelid. sync.url näitab sildumispaika sõlmega sünkroonimise jaoks.

Sõlm 2 hostil vm2 seadistatakse kui store-001, ja kõik muu on määratud failis node.properties, mis on toodud allpool. Sõlm store-001 töötab PostgreSQL andmebaasiga, ja pgdb_replica on replika jaoks mõeldud andmebaas. registration.url võimaldab hostil vm2 ühenduda hostiga vm1 ja saada konfiguratsiooni üksikasju.

$> cat engines/store-001.properties
engine.name=store-001
db.driver=org.postgresql.Driver
db.url=jdbc:postgresql://192.168.1.112:5832/pgdb_replica
db.user=postgres
db.password=admin123
registration.url=http://192.168.1.107:31415/sync/corp-000
group.id=store
external.id=001

Valmis SymmetricDS-i näide sisaldab seadeid kahe andmebaasi serveri (kaks sõlme) vaheline kahepoolse replikatsiooni seadistamiseks. Allolevad sammud täidetakse hostis vm1 (corp-000), kus luuakse nelja tabeliga skeem. Seejärel käivitab käsu create-sym-tables kasutamine symadmin, et luua kataloogitabelid, kuhu salvestatakse replikatsioonireeglid ja -suunad sõlmede vahel. Lõpuks laaditakse tabelitesse näidisandmed.

vm1$> cd /usr/local/symmetric-server-3.9.20/bin
vm1$> ./dbimport --engine corp-000 --format XML create_sample.xml
vm1$> ./symadmin --engine corp-000 create-sym-tables
vm1$> ./dbimport --engine corp-000 insert_sample.sql

Näites on tabelid item ja item_selling_price automaatselt seadistatud replikeerimiseks corp-000-st store-001-i, samas kui tabelid sale (sale_transaction ja sale_return_line_item) on automaatselt seadistatud replikeerimiseks store-001-st corp-000-sse. Nüüd loome andmebaasis PostgreSQL skeemi hostis vm2 (store-001), et valmistada see ette andmete vastuvõtmiseks corp-000-lt.

vm2$> cd /usr/local/symmetric-server-3.9.20/bin
vm2$> ./dbimport --engine store-001 --format XML create_sample.xml

Kontrollime kindlasti, et MySQL andmebaasis vm1 on olemas SymmetricDS-i tabelite ja kataloogide tabelid. Pange tähele, et SymmetricDS-i süsteemitabelid (prefiksiga sym_) on praegu saadaval ainult sõlmes corp-000, sest seal täitsime käsu create-sym-tables ja haldame replikatsiooni. Lisaks on sõlmes store-001 ainult 4 näidetabelit, milles andmeid ei ole.

Kõik. Keskkond on serveriprotsesside sym käivitamiseks valmis mõlemal sõlmel, nagu allpool näidatud.

vm1$> cd /usr/local/symmetric-server-3.9.20/bin
vm1$> sym 2>&1 &

Logikirjed saadetakse taustalogifaili (symmetric.log) logikausta, kus SymmetricDS on paigaldatud, ja ka standardväljundisse. Serverit sym saab nüüd algatada sõlmes store-001.

vm2$> cd /usr/local/symmetric-server-3.9.20/bin
vm2$> sym 2>&1 &

Kui käivitada sym serveri protsess vm2 hostis, loob see SymmetricDS katalooge PostgreSQL andmebaasis. Kui sym serveri protsess käivitada mõlemal sõlmel, sünkroniseerivad nad andmeid corp-000-st store-001-esse. Kui paarisekundilise ooteaja pärast pärime kõiki 4 tabelit mõlemalt poolt, näeme, et replikatsioon on edukalt toimunud. Või võime edastada esialgse koormuse sõlmele store-001 corp-000-st järgmise käsuga.

vm1$> ./symadmin --engine corp-000 reload-node 001

Sellel etapil sisestatakse andmebaasi MySQL tabelisse item uus rekord sõlmes corp-000 (host: vm1) ning kontrollime selle replikatsiooni PostgreSQL andmebaasi sõlmes store-001 (host: vm2). Me näeme Pull operatsiooni andmete edastamiseks corp-000-st store-001-esse.

mysql> insert into item values ('22000002','Jelly Bean');
Küsimus OK, 1 rida mõjutatud (0.00 sek)

vm2$> psql -p 5832 -U postgres pgdb_replica -c "select * from item"
 item_id  |   name
----------+-----------
 11000001 | Yummy Gum
 22000002 | Jelly Bean
(2 rida)

Andmete edastamiseks store-001-st corp-000-sse Push operatsiooni teostamiseks sisestage rekord tabelisse sale_transaction ja kontrollige, et replikatsioon on toimunud.

Tulemus.

Näeme edukat kahe suunalise replikatsiooni seadistamist MySQL ja PostgreSQL andmebaaside vahel. Uute kasutaja tabelite replikatsiooni seadistamiseks teeme järgmised sammud. Loome näidisena tabeli t1 ja seadistame selle replikatsiooni reeglid järgmiselt. Nii seadistame me replikatsiooni ainult corp-000-st store-001-ks.

mysql> create table t1 (no integer);
Query OK, 0 rows affected (0.01 sec)

mysql> insert into sym_channel (channel_id,create_time,last_update_time) 
values ('t1',current_timestamp,current_timestamp);
Query OK, 1 row affected (0.01 sec)

mysql> insert into sym_trigger (trigger_id, source_table_name,channel_id,
last_update_time, create_time) values ('t1', 't1', 't1', current_timestamp,
current_timestamp);
Query OK, 1 row affected (0.01 sec)

mysql> insert into sym_trigger_router (trigger_id, router_id,
Initial_load_order, create_time,last_update_time) values ('t1',
'corp-2-store-1', 1, current_timestamp,current_timestamp);
Query OK, 1 row affected (0.01 sec)

Seejärel saab konfiguratsioon teate schéma muutusest, st uue tabeli lisamisest, kasutades käsku symadmin koos argumendiga sync-triggers, mis taasluua trigger'id tabelite määratlemiseks. Käivitatakse send-schema, et saata schéma muudatusi sõlmele store-001, ja tabeli t1 replikatsioon on seadistatud.

vm1$> ./symadmin -e corp-000 --node=001 sync-triggers    
vm1$> ./symadmin send-schema -e corp-000 --node=001 t1

SymmetricDS eelised

Lihtne seadistamine ja konfigureerimine, sealhulgas valmisfailide komplekt parameetritega kolme või kahe sõlme skeemi loomiseks.
Andmebaaside platvormideülene töö ja sõltumatus, sealhulgas serverid, sülearvutid ja mobiilseadmed.
Iga andmebaasi replikatsioon igasse teise andmebaasi lokaalselt, WAN-is või pilves.
Võime optimaalselt töötada paari andmebaasi või mitme tuhande andmebaasiga mugavaks replikatsiooniks.
Tasuline versioon, millel on graafiline liides ja suurepärane tugi.

SymmetricDS puudused

Replikatsiooni reeglid ja suund tuleb käsitsi määrata käsurealt SQL-operatsioonide abil katalooge laadides, mis võib olla ebamugav.
Paljude tabelite replikatsiooni seadmine võib olla kurnav, kui skripte SQL-operatsioonide loomiseks ei kasutata, mis määravad replikatsiooni reeglid ja suuna.
Logidesse kantakse liiga palju teavet ning mõnikord on vajalik logifailis korda luua, et see ei võtaks liiga palju ruumi.

Kokkuvõtted SymmetricDS kohta

SymmetricDS võimaldab seadistada kaheastmelist replikatsiooni kahe, kolme või isegi tuhandete sõlme vahel failide replikatsiooni ja sünkroonimist. See on ainulaadne tööriist, mis täidab ise mitmeid ülesandeid, näiteks andmete automaatne taastamine pärast pikka seisakut sõlmes, turvaline ja efektiivne andmevahetus sõlmede vahel HTTPSi kaudu, konfliktide automaatne haldamine reeglite komplekti põhjal jne. SymmetricDS teostab replikatsiooni mis tahes andmebaaside vahel, seetõttu saab seda kasutada erinevates stsenaariumites, sealhulgas migratsioon, üle minemine uuele versioonile, levitamine, andmete filtreerimine ja vormindamine erinevates platvormides.

Näide on loodud ametliku lühijuhendi põhjal. See kasutajajuhendist kirjeldab üksikasjalikult erinevaid mõisteid, mis on seotud replikatsiooni seadistamisega SymmetricDS-i abil.

Allikas: habr.com