{"id":30280,"date":"2019-10-31T21:34:38","date_gmt":"2019-10-31T18:34:38","guid":{"rendered":"https:\/\/prohoster.info\/blog\/potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0\/"},"modified":"2019-10-31T21:34:38","modified_gmt":"2019-10-31T18:34:38","slug":"potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0","title":{"rendered":"Strumieniowa konwersja baz Firebird 2.5 do formatu ODS12 (Firebird 3.0)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ka\u017cda wersja Firebird ma swoj\u0105 w\u0142asn\u0105 wersj\u0119 formatu dyskowych struktur bazy danych \u2013 O(n)D(isk)S(tructure). Do wersji 2.5 w\u0142\u0105cznie, silnik Firebird m\u00f3g\u0142 dzia\u0142a\u0107 z ODS wcze\u015bniejszych wersji, co oznacza, \u017ce bazy z starszych wersji by\u0142y otwierane w nowej wersji i dzia\u0142a\u0142y w trybie zgodno\u015bci, ale silnik Firebird 3.0 dzia\u0142a tylko z bazami w swojej w\u0142asnej wersji ODS 12.0.<\/p>\n

Aby przej\u015b\u0107 na 3.0, baz\u0119 danych z 2.5 nale\u017cy przekszta\u0142ci\u0107 do nowego formatu poprzez backup\/restore. Oczywi\u015bcie, zak\u0142adamy, \u017ce baza danych zosta\u0142a wcze\u015bniej przygotowana do konwersji \u2013 tzn. metadane i zapytania zosta\u0142y sprawdzone pod k\u0105tem zgodno\u015bci z Firebird 3.0.<\/p>\n

Je\u017celi zastosowa\u0107 standardowe podej\u015bcie, oznacza to, \u017ce nale\u017cy wykona\u0107 backup w wersji 2.5, nast\u0119pnie zainstalowa\u0107 3.0 i wykona\u0107 restore. Taka procedura jest akceptowalna, je\u015bli jest wystarczaj\u0105co du\u017co czasu, ale przy migracji du\u017cych baz danych, lub przy jednoczesnej migracji kilku dziesi\u0105tek baz danych, gdy czas jest ograniczony, mo\u017cna skorzysta\u0107 z potokowej konwersji, kt\u00f3ra jest o 30-40% szybsza. Jak dok\u0142adnie to zrobi\u0107 (na Windows i Linux), przeczytasz poni\u017cej.
\n<\/a><\/noindex>
\nOg\u00f3lna idea polega na tym, \u017ce dla przyspieszenia skorzystamy z ruroci\u0105gu:<\/p>\n

gbak -b \u2026 baza25 stdout | gbak -c \u2026 stdin baza30<\/code><\/pre>\n
\nGbak w wersji 2.5 generuje backup w formacie liniowym i wysy\u0142a go do stdout, kt\u00f3ry nast\u0119pnie natychmiast przez stdin odbiera gbak w wersji 3.0 i tworzy now\u0105 baz\u0119 danych.<\/p>\n
Taki ruroci\u0105g nale\u017cy organizowa\u0107 wy\u0142\u0105cznie lokaln\u0105 (plikow\u0105) metod\u0105 dost\u0119pu, poniewa\u017c dost\u0119p sieciowy (nawet przez localhost) znacznie spowolni proces.<\/p>\n
Poni\u017cej omawiamy szczeg\u00f3\u0142y dla Windows i Linux.<\/p>\n
Windows<\/b><\/p>\n
W przypadku Windows najpro\u015bciej jest wykona\u0107 ca\u0142kowicie autonomiczn\u0105 wersj\u0119 Firebirda. W tym celu bierzemy embed-archiwum Firebird 2.5<\/a><\/noindex>, zmieniamy nazw\u0119 fbemded.dll na fbclient.dll, dodajemy z archiwum \"zwyk\u0142ego\" 2.5 narz\u0119dzie gbak.exe i (opcjonalnie) \u2013 isql.exe. <\/p>\n
Firebird 3.0 u\u017cywa jednej kompilacji<\/a><\/noindex> i nie wymaga \u017cadnych poprawek.<\/p>\n
Najmniejsza wersja (nie wymagaj\u0105ca instalacji bibliotek runtime VS2008\/VS2010 na docelowym systemie) zawiera nast\u0119puj\u0105ce pliki:<\/p>\n
25\/gbak.exe\n25\/fbclient.dll\n25\/firebird.conf\n25\/firebird.log\n25\/firebird.msg\n25\/ib_util.dll\n25\/icudt30.dll\n25\/icuin30.dll\n25\/icuuc30.dll\n25\/Microsoft.VC80.CRT.manifest\n25\/msvcp80.dll\n25\/msvcr80.dll\n\n30\/fbclient.dll\n30\/firebird.conf\n30\/firebird.msg\n30\/gbak.exe\n30\/ib_util.dll\n30\/icudt52.dll\n30\/icudt52l.dat\n30\/icuin52.dll\n30\/icuuc52.dll\n30\/msvcp100.dll\n30\/msvcr100.dll\n30\/intl\/fbintl.conf\n30\/intl\/fbintl.dll\n30\/plugins\/engine12.dll<\/code><\/pre>\n
\nDo\u015bwiadczony administrator mo\u017ce zauwa\u017cy\u0107, \u017ce w wersji 2.5 nie s\u0105 do\u0142\u0105czone pliki intl\/fbintl.dll i intl\/fbintl.conf. Rzeczywi\u015bcie, poniewa\u017c gbak nie wykorzystuje zestawu znak\u00f3w po\u0142\u0105czenia oraz nie konwertuje danych mi\u0119dzy zestawami znak\u00f3w, ale po stronie 'odbiorczej' Firebird 3.0 te pliki s\u0105 niezb\u0119dne do tworzenia indeks\u00f3w.<\/p>\n
W pliku firebird.conf dla Firebird 3.0 zaleca si\u0119 doda\u0107:<\/p>\n
MaxUnflushedWrites = -1\nMaxUnflushedWriteTime = -1<\/code><\/pre>\n
\nDodatkowo warto ustawi\u0107 r\u00f3\u017cne warto\u015bci dla IpcName dla wersji 2.5 i 3.0. <\/p>\n
Wybieraj\u0105c warto\u015bci innych parametr\u00f3w firebird.conf, kierujemy si\u0119 prost\u0105 zasad\u0105: podczas migracji danych w jednym procesie dzia\u0142a gbak 2.5, a w drugim \u2013 3.0, nast\u0119pnie 2.5 ko\u0144czy dzia\u0142anie, a 3.0 rozpoczyna budow\u0119 indeks\u00f3w.<\/p>\n
Aby przyspieszy\u0107 etap budowania indeks\u00f3w w 3.0, zaleca si\u0119 zwi\u0119kszenie rozmiaru parametru TempCacheLimit do ~40% RAM (je\u015bli to serwer dedykowany, oczywi\u015bcie).<\/p>\n
Na przyk\u0142ad, je\u015bli na serwerze jest 16 GB RAM, mo\u017cna ustawi\u0107 <\/p>\n
TempCacheLimit=6G<\/code><\/pre>\n
\nOczywi\u015bcie, tak\u0105 warto\u015b\u0107 mo\u017cna ustawi\u0107 tylko w 64-bitowym Firebird 3, poniewa\u017c jakikolwiek proces 32-bitowy nie b\u0119dzie w stanie alokowa\u0107 wi\u0119cej ni\u017c 2 GB pami\u0119ci.<\/i><\/p>\n
W przypadku 2.5 ten parametr nie wymaga zmiany \u2013 i tak nie mo\u017ce by\u0107 wi\u0119kszy ni\u017c 2 GB, a przy tworzeniu kopii zapasowej nie ma wp\u0142ywu na pr\u0119dko\u015b\u0107.<\/p>\n
Przed przyst\u0105pieniem do operacji nale\u017cy upewni\u0107 si\u0119, \u017ce bufor stron w nag\u0142\u00f3wku bazy danych jest ustawiony na 0 (komenda gstat -h databasename<\/code>, zobacz lini\u0119 Page buffers). <\/p>\n
Je\u015bli bufor zosta\u0142 jawnie okre\u015blony w nag\u0142\u00f3wku bazy danych, to nadpisuje warto\u015bci z firebird.conf (i databases.conf w 3.0), a przy nieadekwatnie du\u017cych warto\u015bciach mo\u017ce prowadzi\u0107 do nadmiernego zu\u017cycia pami\u0119ci i przeniesienia do swapu.<\/p>\n
Nast\u0119pnie kopiujemy pliki na docelowy system. <\/p>\n
Konwersja przeprowadzana jest po zatrzymaniu 'systemowej' us\u0142ugi Firebird 2.5, w wierszu polece\u0144 z podniesionymi uprawnieniami do lokalnego administratora (przyk\u0142ad):<\/p>\n
set ISC_USER=w\u0142a\u015bciciel\n\"25\/gbak\" -z -b -g -v -st t -y 25.log baza25 stdout|^\n\"30\/gbak\" -z -c -v -st t -y 30.log stdin baza30<\/code><\/pre>\n
\nW tym przyk\u0142adzie u\u017cywana jest 'prosta uko\u015bna' w cudzys\u0142owach (dozwolony 'unix-style'), a 'daszek' (znak '^') eskapiuje znak nowej linii, co jest wygodne przy wpisywaniu d\u0142ugich komend. Opcja -st (atus) pojawi\u0142a si\u0119 w Firebird 2.5.8 i umo\u017cliwia zapis danych o czasie dzia\u0142ania procesu gbak w protokole (szczeg\u00f3\u0142y \u2013 w dokumentacji).<\/p>\n
Linuxa<\/b><\/p>\n
Na Linuxie Firebird 3 zale\u017cy od biblioteki tommath. W CentOS (RHEL) ta biblioteka znajduje si\u0119 w repozytorium epel, w Ubuntu (Debian) \u2013 w systemowym.<\/p>\n
Aby zainstalowa\u0107 CentOS, najpierw trzeba pod\u0142\u0105czy\u0107 repozytorium epel, a dopiero potem wykona\u0107 <\/p>\n
yum install libtommath<\/code><\/pre>\n
\nW Ubuntu nie trzeba pod\u0142\u0105cza\u0107 dodatkowych repozytori\u00f3w, jednak w Ubuntu 16 i Ubuntu 18 instalowane s\u0105 r\u00f3\u017cne wersje pakiet\u00f3w \u2013 odpowiednio libtommath0 i libtommath1.<\/p>\n
Firebird 3.0 szuka tommath.so.0 i dla Ubuntu 18 dodatkowo nale\u017cy utworzy\u0107 symlink do tommath.so.1. W tym celu trzeba najpierw znale\u017a\u0107 tommath.so.1. <\/p>\n
Szukana \u015bcie\u017cka w Ubuntu to \/usr\/lib\/x86_64-linux-gnu\/<\/code>, ale w innych dystrybucjach opartych na Debianie mo\u017ce by\u0107 inaczej.<\/p>\n
Drugim problemem jest to, \u017ce do Firebird 3.0.1 w\u0142\u0105cznie nie by\u0142o prostego sposobu na zainstalowanie dw\u00f3ch r\u00f3\u017cnych wersji serwera. Opcj\u0119 'kompilujemy ze \u017ar\u00f3de\u0142 z odpowiednim prefiksem' pomijamy z powodu wzgl\u0119dnej pracoch\u0142onno\u015bci.<\/p>\n
Dla Firebird 3.0.2 i nowszych zrealizowano kompilacj\u0119 z \u2013enable-binreloc<\/a><\/noindex> i oddzieln\u0105 opcj\u0119 instalatora (-path \u015bcie\u017cka).<\/p>\n
Zak\u0142adaj\u0105c, \u017ce biblioteka tommath oraz, w razie potrzeby, symlink dla tommath.so.0 zosta\u0142y dodane do systemu, mo\u017cna zainstalowa\u0107 aktualny (w momencie pisania tego artyku\u0142u) dystrybucyjny Firebird 3.0.4 do, na przyk\u0142ad, \/opt\/fb3:<\/p>\n
.\/install.sh -path \/opt\/fb3<\/code><\/pre>\n
\nPo tym mo\u017cna zatrzyma\u0107 systemow\u0105 us\u0142ug\u0119 Firebird i rozpocz\u0105\u0107 konwersj\u0119 strumieniow\u0105. <\/p>\n
Podczas zatrzymywania Firebird nale\u017cy pami\u0119ta\u0107, \u017ce procesy Firebird 2.5 w trybie Classic zwykle uruchamia xinetd \u2013 dlatego nale\u017cy albo zablokowa\u0107 us\u0142ug\u0119 firebird dla xinetd, albo ca\u0142kowicie zatrzyma\u0107 xinetd.<\/i><\/p>\n
W firebird.conf dla wersji 3.0 na Linux nie trzeba ustawia\u0107 parametr\u00f3w MaxUnflushed (dzia\u0142aj\u0105 tylko na Windows) ani zmienia\u0107 ustawie\u0144 Firebird 2.5. <\/p>\n
W Linuksie lokalny (plikowy) dost\u0119p do Firebird 2.5 nie jest r\u00f3wnowa\u017cny z wariantem embeded pod Windows \u2013 serwer 2.5 b\u0119dzie dzia\u0142a\u0142 w procesie gbak (bez cz\u0119\u015bci sieciowej), ale prawa dost\u0119pu b\u0119d\u0105 sprawdzane na podstawie bazy u\u017cytkownik\u00f3w, co oznacza, \u017ce b\u0119dziemy potrzebowa\u0107 nie tylko loginu, ale r\u00f3wnie\u017c has\u0142a: <\/p>\n
export ISC_USER=username ISC_PASSWORD=password\n\/opt\/firebird\/bin\/gbak -b \u2026 baza25 stdout\n|\/opt\/fb3\/bin\/gbak -c \u2026 stdin baza30<\/code><\/pre>\n
\nPo udanej konwersji najpierw nale\u017cy usun\u0105\u0107 'dodatkowy' Firebird 3.0, nast\u0119pnie 'g\u0142\u00f3wny' Firebird 2.5, a potem przeprowadzi\u0107 czyst\u0105 instalacj\u0119 Firebird 2.5 \u2013 najlepiej z standardowego instalatora tar.gz, a nie przez repozytoria, poniewa\u017c wersja w repozytoriach mo\u017ce by\u0107 przestarza\u0142a.<\/p>\n
Ponadto, po przywr\u00f3ceniu bazy danych na Linuxie i ponownej instalacji, nale\u017cy upewni\u0107 si\u0119, \u017ce nowa baza danych ma u\u017cytkownika firebird jako w\u0142a\u015bciciela.<\/p>\n
Je\u015bli tak nie jest, to nale\u017cy to poprawi\u0107<\/p>\n
chown firebird.firebird database<\/code><\/pre>\n
\nPodsumowanie<\/b><\/p>\n
Opr\u00f3cz oszcz\u0119dno\u015bci czasu i miejsca na dysku, konwersja strumieniowa ma jeszcze jedn\u0105 istotn\u0105 zalet\u0119 \u2013 przekszta\u0142cenie bazy odbywa si\u0119 bez usuwania istniej\u0105cego Firebird 2.5, co zdecydowanie u\u0142atwia cofni\u0119cie w przypadku nieudanej konwersji (najcz\u0119\u015bciej z powodu braku miejsca lub niespodziewanego restartu podczas procesu migracji).<\/p>\n
Oszcz\u0119dno\u015b\u0107 czasu zwi\u0105zana jest z tym, \u017ce \u201eklasyczna\u201d konwersja to \u201eczas kopii zapasowej\u201d plus \u201eczas przywracania\u201d. Przywracanie sk\u0142ada si\u0119 z dw\u00f3ch etap\u00f3w: odczyt danych z pliku kopii zapasowej oraz budowa indeksu.<\/p>\n
Przy konwersji strumieniowej ca\u0142kowity czas wynosi \u201eczas kopii zapasowej plus pi\u0119\u0107-dziesi\u0119\u0107 procent\u201d oraz \u201eczas budowy indeks\u00f3w\u201d.<\/p>\n
Konkretne wyniki zale\u017c\u0105 od struktury bazy, ale \u015brednio czas przywracania jest w przybli\u017ceniu r\u00f3wny podw\u00f3jnemu czasowi kopii zapasowej. Dlatego, przyjmuj\u0105c czas kopii zapasowej jako jednostk\u0119, \u201eklasyczna konwersja\u201d wynosi trzy jednostki czasu, a strumieniowa \u2013 dwie jednostki czasu. Dodatkowo skr\u00f3cenie czasu pomaga zwi\u0119kszenie TempCacheLimit.<\/p>\n
Og\u00f3lnie rzecz bior\u0105c, konwersja strumieniowa w praktyce pozwala zaoszcz\u0119dzi\u0107 30-40% czasu w por\u00f3wnaniu do sekwencyjnej kopii zapasowej i przywracania.<\/p>\n
Masz pytania?<\/b><\/p>\n
Prosz\u0119, wszystkie pytania kieruj w komentarzach lub wysy\u0142aj do autora metodyki i wsp\u00f3\u0142autora tego artyku\u0142u \u2013 Wasyla Sidorowa, wiod\u0105cego in\u017cyniera systemowego firmy \u201eiBase\u201d, na adres bs at ibase ru.<\/p>\n
Tylko zarejestrowani u\u017cytkownicy mog\u0105 bra\u0107 udzia\u0142 w ankiecie. Zaloguj si\u0119<\/a><\/noindex>, prosz\u0119.<\/p>\n
Jakiej wersji Firebird u\u017cywasz?<\/h2>\n