{"id":30280,"date":"2019-10-31T21:34:38","date_gmt":"2019-10-31T18:34:38","guid":{"rendered":"https:\/\/prohoster.info\/blog\/potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0\/"},"modified":"2019-10-31T21:34:38","modified_gmt":"2019-10-31T18:34:38","slug":"potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0","title":{"rendered":"Conversia \u00een flux a bazelor de date Firebird 2.5 \u00een format ODS12 (Firebird 3.0)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Fiecare versiune a Firebird are propria versiune a formatului structurilor de date pe disc \u2013 O(n)D(isk)S(tructure). P\u00e2n\u0103 la versiunea 2.5 inclusiv, motorul Firebird putea func\u021biona cu ODS-uri din versiunile anterioare, adic\u0103 bazele de date din versiunile mai vechi erau deschise de noua versiune \u0219i func\u021bionau \u00een modul de compatibilitate, dar motorul Firebird 3.0 func\u021bioneaz\u0103 doar cu bazele de date \u00een propria versiune ODS 12.0.<\/p>\n

Pentru a trece la 3.0, baza de date de la 2.5 trebuie s\u0103 fie convertit\u0103 \u00een noul format prin backup\/restaurare. Desigur, presupunem c\u0103 baza de date a fost preg\u0103tit\u0103 anterior pentru conversie \u2013 adic\u0103 metadatele \u0219i interog\u0103rile au fost verificate pentru compatibilitatea cu Firebird 3.0.<\/p>\n

Dac\u0103 ne conform\u0103m abord\u0103rii standard, acest lucru \u00eenseamn\u0103 c\u0103 trebuie s\u0103 facem un backup pe versiunea 2.5, apoi s\u0103 instal\u0103m 3.0 \u0219i s\u0103 facem restaurarea. Aceast\u0103 procedur\u0103 este acceptabil\u0103 dac\u0103 exist\u0103 suficient timp, dar \u00een migrarea bazelor de date mari, sau \u00een timpul migr\u0103rii simultane a zeci de baze de date, c\u00e2nd timpul este esen\u021bial, se poate folosi conversia \u00een flux, care este cu 30-40% mai rapid\u0103. Cum se face asta (pe Windows \u0219i pe Linux), citi\u021bi mai departe.
\n<\/a><\/noindex>
\nIdeea general\u0103 este c\u0103 pentru a accelera, vom utiliza un pipeline:<\/p>\n

gbak -b \u2026 baza25 stdout | gbak -c \u2026 stdin baza30<\/code><\/pre>\n
\nGbak de la 2.5 genereaz\u0103 un backup \u00een format liniar \u0219i \u00eel direc\u021bioneaz\u0103 \u00een stdout, care imediat prin stdin este preluat de gbak de la 3.0 \u0219i creeaz\u0103 o nou\u0103 baz\u0103 de date.<\/p>\n
Organizarea acestui pipeline trebuie s\u0103 fie neap\u0103rat prin metoda local\u0103 (de fi\u0219ier), deoarece accesul de re\u021bea (chiar \u0219i prin localhost) va \u00eencetini semnificativ procesul.<\/p>\n
Mai jos vom discuta detalii pentru Windows \u0219i Linux.<\/p>\n
Windows<\/b><\/p>\n
\u00cen cazul Windows, cea mai simpl\u0103 solu\u021bie este de a crea o construc\u021bie complet autonom\u0103 a Firebird. Pentru aceasta, lu\u0103m arhiva embed Firebird 2.5<\/a><\/noindex>, redenumim fbemded.dll \u00een fbclient.dll, ad\u0103ug\u0103m din arhiva 'obi\u0219nuit\u0103' 2.5 utilitarele gbak.exe \u0219i (op\u021bional) \u2013 isql.exe. <\/p>\n
Firebird 3.0 folose\u0219te o construc\u021bie unificat\u0103<\/a><\/noindex> \u0219i nu necesit\u0103 nicio modificare.<\/p>\n
Cea mai minim\u0103 variant\u0103 (care nu necesit\u0103 instalarea bibliotecilor de runtime VS2008\/VS2010 pe sistemul-\u021bint\u0103) con\u021bine urm\u0103toarele fi\u0219iere:<\/p>\n
25\/gbak.exe\n25\/fbclient.dll\n25\/firebird.conf\n25\/firebird.log\n25\/firebird.msg\n25\/ib_util.dll\n25\/icudt30.dll\n25\/icuin30.dll\n25\/icuuc30.dll\n25\/Microsoft.VC80.CRT.manifest\n25\/msvcp80.dll\n25\/msvcr80.dll\n\n30\/fbclient.dll\n30\/firebird.conf\n30\/firebird.msg\n30\/gbak.exe\n30\/ib_util.dll\n30\/icudt52.dll\n30\/icudt52l.dat\n30\/icuin52.dll\n30\/icuuc52.dll\n30\/msvcp100.dll\n30\/msvcr100.dll\n30\/intl\/fbintl.conf\n30\/intl\/fbintl.dll\n30\/plugins\/engine12.dll<\/code><\/pre>\n
\nUn administrator experimentat poate observa c\u0103 \u00een 2.5 nu sunt incluse fi\u0219ierele intl\/fbintl.dll \u0219i intl\/fbintl.conf. A\u0219a este, deoarece gbak nu utilizeaz\u0103 charsetul de conectare \u0219i nu converte\u0219te datele \u00eentre charseturi, dar pe partea de \u201eprimire\u201d \u00een Firebird 3.0 aceste fi\u0219iere sunt necesare pentru crearea indicilor.<\/p>\n
\u00cen firebird.conf Firebird 3.0 se recomand\u0103 ad\u0103ugarea:<\/p>\n
MaxUnflushedWrites = -1\nMaxUnflushedWriteTime = -1<\/code><\/pre>\n
\nDe asemenea, este de dorit s\u0103 se stabileasc\u0103 valori diferite pentru IpcName \u00eentre 2.5 \u0219i 3.0. <\/p>\n
La alegerea valorilor altor parametri \u00een firebird.conf ne baz\u0103m pe o considerare simpl\u0103: \u00een timpul transferului de date, \u00eentr-un proces func\u021bioneaz\u0103 gbak \u00een 2.5, iar \u00een altul \u2013 \u00een 3.0, apoi 2.5 finalizeaz\u0103 activitatea, iar 3.0 \u00eencepe construirea indicilor.<\/p>\n
Pentru a accelera etapa de construire a indicilor \u00een 3.0, se recomand\u0103 cre\u0219terea dimensiunii parametrului TempCacheLimit la ~40% din RAM (dac\u0103 este un server dedicat, desigur).<\/p>\n
De exemplu, dac\u0103 serverul are 16 GB RAM, se poate seta <\/p>\n
TempCacheLimit=6G<\/code><\/pre>\n
\nBine\u00een\u021beles, o astfel de valoare poate fi stabilit\u0103 doar pentru Firebird 3 pe 64 de bi\u021bi, deoarece orice proces pe 32 de bi\u021bi nu poate aloca mai mult de 2 GB de memorie.<\/i><\/p>\n
Pentru 2.5 acest parametru nu trebuie schimbat \u2013 oricum nu poate dep\u0103\u0219i 2 GB \u0219i nu influen\u021beaz\u0103 viteza \u00een timpul backup-ului.<\/p>\n
\u00cenainte de a efectua opera\u021biunea, trebuie s\u0103 verifica\u021bi c\u0103 memoria tampon pe pagini din antetul bazei de date este setat\u0103 la 0 (comanda gstat -h numedenumelabazei<\/code>, verifica\u021bi linia Bufferelor de pagin\u0103). <\/p>\n
Dac\u0103 cache-ul este specificat explicit \u00een antetul DB, acesta va suprascrie valorile din firebird.conf (\u0219i databases.conf \u00een 3.0), iar \u00een cazul unor valori exagerat de mari, poate duce la consum excesiv de memorie \u0219i swap.<\/p>\n
Apoi, copiem fi\u0219ierele pe sistemul \u021bint\u0103. <\/p>\n
Conversia se efectueaz\u0103 dup\u0103 oprirea serviciului \u201esistemic\u201d Firebird 2.5, \u00een linia de comand\u0103, cu privilegii de administrator local (exemplu):<\/p>\n
set ISC_USER=proprietar\n\"25\/gbak\" -z -b -g -v -st t -y 25.log baza25 stdout|^\n\"30\/gbak\" -z -c -v -st t -y 30.log stdin baza30<\/code><\/pre>\n
\n\u00cen acest exemplu se folose\u0219te\u201eslash\u201d direct \u00eentre ghilimele (stil permis \u201eunix-style\u201d), iar \u201ecaretul\u201d (simbolul \u201e^\u201d) escameaz\u0103 simbolul de sf\u00e2r\u0219it de linie, ceea ce este convenabil pentru introducerea comenzilor lungi. Op\u021biunea -st(atus) a ap\u0103rut \u00een Firebird 2.5.8 \u0219i permite \u00eenregistrarea \u00een jurnal a datelor despre durata de execu\u021bie a procesului gbak (detalii \u2013 \u00een documenta\u021bie).<\/p>\n
Linux<\/b><\/p>\n
Pe Linux, Firebird 3 depinde de biblioteca tommath. \u00cen CentOS (RHEL), aceast\u0103 bibliotec\u0103 se afl\u0103 \u00een depozitul epel, \u00een Ubuntu (Debian) \u00een \u2013 sistem.<\/p>\n
Pentru CentOS, trebuie mai \u00eent\u00e2i s\u0103 activa\u021bi depozitul epel \u0219i abia apoi s\u0103 face\u021bi <\/p>\n
yum install libtommath<\/code><\/pre>\n
\nPe Ubuntu, nu este necesar s\u0103 activa\u021bi depozite suplimentare, dar \u00een Ubuntu 16 \u0219i Ubuntu 18 se instaleaz\u0103 versiuni diferite de pachete \u2013 libtommath0 \u0219i libtommath1, respectiv.<\/p>\n
Firebird 3.0 caut\u0103 tommath.so.0 \u0219i pentru Ubuntu 18 este necesar s\u0103 crea\u021bi suplimentar un link (symlink) de la tommath.so.0 la tommath.so.1. Pentru aceasta, mai \u00eent\u00e2i trebuie s\u0103 g\u0103si\u021bi tommath.so.1. <\/p>\n
Calea c\u0103utat\u0103 \u00een Ubuntu este \/usr\/lib\/x86_64-linux-gnu\/<\/code>, dar \u00een alte distribu\u021bii bazate pe Debian poate fi diferit.<\/p>\n
A doua problem\u0103 este legat\u0103 de faptul c\u0103 p\u00e2n\u0103 la Firebird 3.0.1 inclusiv, nu exista o modalitate simpl\u0103 de a instala dou\u0103 versiuni diferite ale serverului. Op\u021biunea \u201ecompil\u0103m din surse cu prefixul dorit\u201d nu o lu\u0103m \u00een considerare din cauza muncii relative intense.<\/p>\n
Pentru Firebird 3.0.2 \u0219i versiuni ulterioare, a fost implementat\u0103 construc\u021bia cu \u2013enable-binreloc<\/a><\/noindex> \u0219i o op\u021biune separat\u0103 a instalatorului (-path cale).<\/p>\n
Presupun\u00e2nd c\u0103 biblioteca tommath \u0219i, dac\u0103 este necesar, symlink-ul pentru tommath.so.0 au fost ad\u0103ugate \u00een sistem, pute\u021bi instala distribu\u021bia actual\u0103 (la momentul scrierii acestui articol) Firebird 3.0.4 \u00een, de exemplu, \/opt\/fb3:<\/p>\n
.\/install.sh -path \/opt\/fb3<\/code><\/pre>\n
\nDup\u0103 aceasta, pute\u021bi opri serviciul de sistem Firebird \u0219i s\u0103 \u00eencepe\u021bi conversia \u00een flux. <\/p>\n
La oprirea Firebird, trebuie s\u0103 lua\u021bi \u00een considerare faptul c\u0103 procesele Firebird 2.5 \u00een modul Classic sunt declan\u0219ate de obicei de xinetd \u2013 a\u0219a c\u0103 trebuie fie s\u0103 interzice\u021bi serviciul firebird pentru xinetd, fie s\u0103 opri\u021bi complet xinetd.<\/i><\/p>\n
\u00cen firebird.conf pentru 3.0 pe Linux, nu trebuie s\u0103 specifica\u021bi parametrii MaxUnflushed (ace\u0219tia func\u021bioneaz\u0103 doar pe Windows) \u0219i s\u0103 schimba\u021bi set\u0103rile pentru Firebird 2.5. <\/p>\n
Pe Linux, accesul local (pe fi\u0219ier) pentru Firebird 2.5 nu este echivalent cu varianta embeded de pe Windows \u2013 serverul 2.5 va func\u021biona \u00een procesul gbak (f\u0103r\u0103 partea de re\u021bea), dar permisiunile vor fi verificate pe baza utilizatorilor, a\u0219a c\u0103 va fi necesar nu doar loginul, ci \u0219i parola: <\/p>\n
export ISC_USER=username ISC_PASSWORD=password\n\/opt\/firebird\/bin\/gbak -b \u2026 baza25 stdout\n|\/opt\/fb3\/bin\/gbak -c \u2026 stdin baza30<\/code><\/pre>\n
\nDup\u0103 conversia cu succes, trebuie s\u0103 elimina\u021bi mai \u00eent\u00e2i \u201eFirebird 3.0 suplimentar\u201d, apoi \u201eFirebird 2.5 principal\u201d \u0219i abia dup\u0103 aceea s\u0103 efectua\u021bi o instalare curat\u0103 a Firebird 2.5 \u2013 de preferat din instalatorul standard tar.gz, nu din depozite, deoarece versiunea din depozite poate fi \u00eenvechit\u0103.<\/p>\n
De asemenea, dup\u0103 restaurarea Bazei de Date pe Linux \u0219i reinstalare, trebuie s\u0103 verifica\u021bi c\u0103 noua baz\u0103 de date are ca proprietar utilizatorul firebird.<\/p>\n
Dac\u0103 nu este a\u0219a, va trebui s\u0103 corecta\u021bi<\/p>\n
chown firebird.firebird database<\/code><\/pre>\n
\nRezultatul<\/b><\/p>\n
Pe l\u00e2ng\u0103 economisirea timpului \u0219i a spa\u021biului pe disc, conversia \u00een flux are un alt avantaj important \u2013 transformarea bazei se face f\u0103r\u0103 a elimina Firebird 2.5 existent, ceea ce simplific\u0103 semnificativ revenirea \u00een cazul unei conversii e\u0219uate (cel mai adesea din cauza lipsei de spa\u021biu sau a unei reporniri nea\u0219teptate \u00een timpul procesului de migrare).<\/p>\n
Economisirea timpului este legat\u0103 de faptul c\u0103 conversia \u201eclasic\u0103\u201d reprezint\u0103 \u201etimpul de backup\u201d plus \u201etimpul de restaurare\u201d. Restaurarea const\u0103 \u00een dou\u0103 p\u0103r\u021bi: citirea datelor din fi\u0219ierul de backup \u0219i construirea indexului.<\/p>\n
\u00cen cazul conversiei \u00een flux, timpul total se ob\u021bine ca \u201etimpul de backup plus cinci-zece procente\u201d \u0219i \u201etimpul de construire a indexurilor\u201d.<\/p>\n
Rezultatele specifice depind de structura bazei, dar, \u00een medie, timpul de restaurare este aproximativ dublu fa\u021b\u0103 de timpul de backup. Prin urmare, dac\u0103 lu\u0103m ca unitate timpul de backup, atunci \u201econversia clasic\u0103\u201d reprezint\u0103 trei unit\u0103\u021bi de timp, iar conversia \u00een flux \u2013 dou\u0103 unit\u0103\u021bi de timp. O cre\u0219tere a TempCacheLimit ajut\u0103, de asemenea, la reducerea timpului.<\/p>\n
\u00cen general, conversia \u00een flux permite economisirea a 30-40% din timpul de backup secven\u021bial \u0219i restaurare.<\/p>\n
\u00centreb\u0103ri?<\/b><\/p>\n
V\u0103 rug\u0103m s\u0103 adresa\u021bi toate \u00eentreb\u0103rile \u00een comentarii sau s\u0103 le trimite\u021bi autorului metodologiei \u0219i co-autorului acestui articol \u2013 Vasily Sidorov, inginerul principal de sistem de la compania \u201eiBase\u201d, la adresa bs at ibase ru.<\/p>\n
Numai utilizatorii \u00eenregistra\u021bi pot participa la sondaj. Conecta\u021bi-v\u0103<\/a><\/noindex>, v\u0103 rug\u0103m.<\/p>\n
Ce versiune de Firebird folosi\u021bi?<\/h2>\n