Firebird 2.5 andmete voogedastus ODS12 formaati (Firebird 3.0)

Iga Firebirda versioonil on oma versioon andmebaasi kettastruktuuride formaadist – O(n)D(isk)S(tructure). Kuni 2.5 versioonini suutis Firebird töötada eelmiste versioonide ODS-idega, st vanemate versioonide andmebaasid avati uue versiooniga ja töötasid ühilduvuse režiimis, kuid Firebird 3.0 mootor töötab ainult oma ODS versiooniga 12.0.

Firebird 3.0-le üleminekuks tuleb 2.5 andmebaas uude formaati muuta backup/restore meetodil. Loomulikult eeldame, et andmebaas on eelnevalt konverteerimiseks ette valmistatud – st, et metaandmed ja päringud on Firebird 3.0 ühilduvuse osas kontrollitud.

Kui järgida standardset lähenemist, tähendab see, et tuleb teha varukoopia versioonil 2.5, seejärel installida 3.0 ja teha taastamine. Selline protseduur on vastuvõetav, kui on piisavalt aega, kuid suurte andmebaaside migreerimise puhul või samal ajal mitme tosinaga andmebaasi migreerimise puhul, kui aeg on piiratud, võib kasutada voogedastus konverteerimist, mis on 30–40% kiirem. Kuidas seda täpselt teha (Windowsis ja Linuxis), loe allpool.

Põhimõte on see, et kiirus kasulikuks muutmiseks kasutame toru:

gbak -b … andmebaas25 stdout | gbak -c … stdin andmebaas30

Gbak 2.5 genereerib varukoopia lineaarformaadis ja suunab selle stdout-i, mis koostöös stdiniga nutikalt kasutab gbak 3.0 ja loob uue andmebaasi.

Sellise toru korraldamine tuleb kindlasti teha kohalikult (faili) meetodil, kuna võrgujuurdepääs (isegi localhosti kaudu) aeglustab protsessi märgatavalt.

Allpool vaatleme üksikasju Windowsi ja Linuxi jaoks.

Windows

Windowsi puhul on kõige lihtsam luua täielik iseseisev Firebirdi kogum. Selleks võtame Firebird 2.5 embed-arhiiv, nimetame fbemded.dll ümber fbclient.dll-ks, lisame arhiivist 'tavalised' 2.5 utiliidid gbak.exe ja (valikuline) – isql.exe.

Firebird 3.0 kasutab ühendatud kogumit ja ei vaja mingit täiendavat töötlust.

Kõige minimaalsem variant (mis ei nõua VS2008/VС2010 käitusraamatukogude installimist sihtsüsteemis) sisaldab järgmisi faile:

25/gbak.exe
25/fbclient.dll
25/firebird.conf
25/firebird.log
25/firebird.msg
25/ib_util.dll
25/icudt30.dll
25/icuin30.dll
25/icuuc30.dll
25/Microsoft.VC80.CRT.manifest
25/msvcp80.dll
25/msvcr80.dll

30/fbclient.dll
30/firebird.conf
30/firebird.msg
30/gbak.exe
30/ib_util.dll
30/icudt52.dll
30/icudt52l.dat
30/icuin52.dll
30/icuuc52.dll
30/msvcp100.dll
30/msvcr100.dll
30/intl/fbintl.conf
30/intl/fbintl.dll
30/plugins/engine12.dll

Kogenud administraator võib tähele panna, et 2.5-s ei ole faile intl/fbintl.dll ja intl/fbintl.conf. See on tõsi, kuna gbak ei kasuta ühenduse märgistust ega konverteeri andmeid märgistuste vahel, kuid Firebird 3.0 'vastuvõtupoolel' on nende failide loomine indeksite jaoks vajalik.

firebird.conf faili on soovitatav lisada Firebird 3.0:

MaxUnflushedWrites = -1
MaxUnflushedWriteTime = -1

Lisaks on soovitatav seada ka erinev IpcName väärtus 2.5 ja 3.0 jaoks.

Muudest firebird.conf parameetrite väärtustest lähtudes peame silmas lihtsat kaalutlust: andmete ülekanne toimub ühes protsessis gbak 2.5, teises – 3.0, siis lõpetab 2.5 oma töö ja 3.0 alustab indeksite koostamist.

Indeksite koostamise etapi kiirendamiseks 3.0-s on soovitatav suurendada parameetri TempCacheLimit suurust kuni ~40% RAM-st (kui see on pühendatud server, muidugi).

Näiteks, kui serveris on 16 GB RAM, siis võib seada

TempCacheLimit=6G

Muidugi võib sellist väärtust seada ainult 64-bitisele Firebird 3-le, kuna ükski 32-bitine protsess ei suuda allokeerida rohkem kui 2 GB mälu.

2.5-s ei ole seda parameetrit vaja muuta - see ei saa niikuinii olla suurem kui 2 GB ja ei mõjuta kiiruset bääkaandmete loomisel.

Enne operatsiooni teostamist tuleb kontrollida, et lehe vahemälu andmebaasi päises on seatud väärtuseks 0 (käsk gstat -h databasename, vaata rida Page buffers).

Kui vahemälu on selgesõnaliselt määratud andmebaasi päises, siis see ületab väärtused failidest firebird.conf (ja databases.conf versioonis 3.0) ning liiga suurte väärtuste puhul võib põhjustada liialdatud mälu tarbimist ja swap'i minemist.

Edasi, kopeerime failid sihtsüsteemi.

Konverteerimine toimub pärast Firebird 2.5 'süsteemi' teenuse peatamist, käsureal, tõstes õigusi kohalikuks administraatoriks (näide):

set ISC_USER=omanik
"25/gbak" -z -b -g -v -st t -y 25.log база25 stdout|^
"30/gbak" -z -c -v -st t -y 30.log stdin база30

Selles näites kasutatakse "otse kaldkriipsu" jutumärkides (lubatav "unix-style"), ja "hatt" (sümbol "^") varjab rea vahetust, mis on mugav pikkade käskude sisestamisel. Valik -st(atus) ilmus Firebird 2.5.8-s ja võimaldab protokollida gbak protsessi tööaega (täiendavad üksikasjad – dokumentatsioonis).

Linux

Linuxis sõltub Firebird 3 tommath teegist. CentOS (RHEL) on see teek epel-repositooriumis, Ubuntu (Debian) – süsteemis.

CentOS-i puhul tuleb kõigepealt aktiviseerida epel-repositoorium ja alles seejärel teostada

yum install libtommath

Ubuntu puhul pole täiendavate repositooriumite aktiviseerimine vajalik, kuid Ubuntu 16 ja Ubuntu 18 versioonides installitakse erinevad paketiversioonid – vastavalt libtommath0 ja libtommath1.

Firebird 3.0 otsib tommath.so.0, ja Ubuntu 18 puhul on lisaks vajalik luua link (symlink) tommath.so.0 tommath.so.1-le. Selleks tuleb kõigepealt leida tommath.so.1.

Otsitav tee Ubuntu-s on /usr/lib/x86_64-linux-gnu/, aga teistes Debian-põhistes jaotustes võib see erineda.

Teine probleem on seotud sellega, et enne Firebird 3.0.1 ei olnud lihtsat viisi kahe erineva serveriversiooni paigaldamiseks. Variant "koostada allikatest vajaliku prefiksiga" ei tule arvesse oma suhtelise töömahukuse tõttu.

Firebird 3.0.2 ja uuemate puhul on rakendatud koostamine koos –enable-binreloc ja eraldi paigaldusvalik (-path tee).

Eeldades, et tommathi teek ja vajadusel tommath.so.0 sümlink on süsteemis lisatud, saab uuendada hetkel aktuaalset (selle artikli kirjutamise ajal) Firebird 3.0.4 jaotust näiteks kausta /opt/fb3:

./install.sh -path /opt/fb3

Pärast seda saab peatada Firebirdi süsteemiteenuse ja alustada jooksvat konversiooni.

Firebirdi peatamise korral tuleb arvesse võtta, et Firebird 2.5 Classic-režiimis käivitatakse tavaliselt xinetd – seetõttu tuleb kas keelata firebird teenus xinetd-le või peatada xinetd täielikult.

Failis firebird.conf versioonile 3.0 Linuxis ei pea määrama MaxUnflushed parameetreid (need töötavad ainult Windowsis) ja ei pea muutma Firebird 2.5 seadistusi.

Linuxis ei ole Firebird 2.5 kohalik (failipõhine) juurdepääs võrreldav embeded variandiga Windowsis – server 2.5 töötab gbak protsessis (ilma võrguta), kuid juurdepääsu õigused kontrollitakse kasutajate andmebaasi kaudu, seega on vajalik mitte ainult sisselogimine, vaid ka parool:

export ISC_USER=username ISC_PASSWORD=password
/opt/firebird/bin/gbak -b … database25 stdout
|/opt/fb3/bin/gbak -c … stdin database30

Pärast tõhusat konverteerimist tuleb esmalt eemaldada 'lisanduv' Firebird 3.0, seejärel 'peamine' Firebird 2.5 ja alles siis teostada puhas installatsioon Firebird 2.5 — parim on kasutada ametlikku installerit tar.gz-formaadis, mitte läbi hooverite, kuna repodega versioon võib olla vananenud.

Samuti tuleb pärast andmebaasi taastamist Linuxis ja tainstallimist kontrollida, et uus andmebaas kuulub kasutajale firebird.

Kui see ei ole nii, siis tuleb see parandada.

chown firebird.firebird andmebaas

Kokkuvõte

Lisaks ajasäästule ja ketta ruumi kokkuhoiule on voogkonversiooni veel üks oluline eelis – andmebaasi konverteerimine toimub olemasoleva Firebird 2.5 eemaldamata, mis lihtsustab märkimisväärselt tagasipöördumist, kui konverteerimine ebaõnnestub (tavaliselt ruumi puudumise või ootamatute taaskäivituste tõttu migratsiooniprotsessi ajal).

Ajasääst tuleneb sellest, et 'klassikaline' konversioon sisaldab 'varundamise aega' pluss 'taastamise aega'. Taastamine koosneb kahest osast: andmete lugemine varukoopiast ja indeksi koostamine.

Voogkonversiooni koguaeg on 'varundamise aeg pluss viis kuni kümme protsenti' ja 'indeksite koostamise aeg'.

Konkreetne tulemus sõltub andmebaasi struktuurist, kuid keskmiselt on taastamisaeg umbes kahekordne varundamisajaga. Seetõttu, kui võtta varundamise aeg ühikuna, on 'klassikaline konversioon' kolm ühikut aega, voogkonversioon – kaks ühikut aega. Aja täiendavaks lühendamiseks aitab TempCacheLimit'i suurendamine.

Kokkuvõttes võimaldab voogkonversioon praktikas säästa 30-40% traditsioonilise varundamise ja taastamise ajast.

Küsimused?

Palun saatke kõik küsimused kommentaarides või suunake need meetodi autorile ja artikli kaasautorile — Vasili Sidorovile, ettevõtte «iBase» juhtivale süsteemiinsenerile, aadressil bs at ibase ru.

Ainult registreeritud kasutajad saavad küsitluses osaleda. Logige sisse, palun.

Millist Firebirdi versiooni kasutate?

• Firebird 3.x

• Firebird 2.5

• Firebird 2.1

• Firebird 2.0, 1.5 või 1.0

Hääletas 16 kasutajat. 1 kasutaja jäi erapooletuks.

Allikas: habr.com