{"id":30280,"date":"2019-10-31T21:34:38","date_gmt":"2019-10-31T18:34:38","guid":{"rendered":"https:\/\/prohoster.info\/blog\/potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0\/"},"modified":"2019-10-31T21:34:38","modified_gmt":"2019-10-31T18:34:38","slug":"potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/potochnaya-konvertatsiya-baz-firebird-2-5-v-format-ods12-firebird-3-0","title":{"rendered":"Stufenweise Umwandlung von Firebird 2.5-Datenbanken in das ODS12-Format (Firebird 3.0)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Jede Firebird-Version hat ihre eigene Version des Datenbankstrukturformats \u2013 O(n)D(isk)S(tructure). Bis einschlie\u00dflich Version 2.5 konnte die Firebird-Engine mit ODS \u00e4lterer Versionen arbeiten, d.h. Datenbanken \u00e4lterer Versionen konnten mit der neuen Version ge\u00f6ffnet und im Kompatibilit\u00e4tsmodus genutzt werden. Die Firebird-Engine 3.0 hingegen arbeitet ausschlie\u00dflich mit Datenbanken in ihrer eigenen ODS-Version 12.0.<\/p>\n

Um auf 3.0 zu migrieren, muss die Datenbank von 2.5 in das neue Format durch Backup\/Wiederherstellung umgewandelt werden. Dabei setzen wir voraus, dass die Datenbank bereits f\u00fcr die Konvertierung vorbereitet wurde \u2013 d.h. die Metadaten und Abfragen wurden auf die Kompatibilit\u00e4t mit Firebird 3.0 gepr\u00fcft.<\/p>\n

Wenn man dem Standardansatz folgt, bedeutet dies, dass ein Backup in Version 2.5 erstellt, dann 3.0 installiert und anschlie\u00dfend eine Wiederherstellung durchgef\u00fchrt werden muss. Dieses Verfahren ist akzeptabel, wenn gen\u00fcgend Zeit zur Verf\u00fcgung steht, aber bei der Migration gro\u00dfer Datenbanken oder bei gleichzeitiger Migration mehrerer Dutzend Datenbanken, wenn die Zeit dr\u00e4ngt, kann die stufenweise Umwandlung genutzt werden, die 30-40% schneller ist. Wie genau dies (unter Windows und Linux) durchgef\u00fchrt wird, erfahren Sie im Folgenden.
\n<\/a><\/noindex>
\nDie Grundidee besteht darin, dass wir zur Beschleunigung eine Pipeline nutzen werden:<\/p>\n

gbak -b \u2026 database25 stdout | gbak -c \u2026 stdin database30<\/code><\/pre>\n
\nGbak von 2.5 erstellt ein Backup im linearen Format und leitet es an stdout weiter, das sofort \u00fcber stdin von gbak von 3.0 aufgegriffen wird, um eine neue Datenbank zu erstellen.<\/p>\n
Eine solche Pipeline muss unbedingt \u00fcber den lokalen (Datei-)Zugriff organisiert werden, da der Netzwerkzugang (selbst \u00fcber localhost) den Prozess erheblich verlangsamt.<\/p>\n
Im Folgenden betrachten wir die Details f\u00fcr Windows und Linux.<\/p>\n
Windows<\/b><\/p>\n
Im Falle von Windows ist es am einfachsten, eine vollst\u00e4ndig autonome Version von Firebird zu erstellen. Dazu nehmen wir das embed-Archiv von Firebird 2.5<\/a><\/noindex>, benennen die Datei fbembedded.dll in fbclient.dll um, f\u00fcgen aus dem Archiv der 'normalen' 2.5 die Tools gbak.exe und (optional) \u2013 isql.exe hinzu. <\/p>\n
Firebird 3.0 verwendet eine einheitliche Version<\/a><\/noindex> und erfordert keinerlei Anpassungen.<\/p>\n
Die minimalste Variante (die keine Installation der Runtime-Bibliotheken VS2008\/VS2010 auf dem Zielsystem ben\u00f6tigt) enth\u00e4lt folgende Dateien:<\/p>\n
25\/gbak.exe\n25\/fbclient.dll\n25\/firebird.conf\n25\/firebird.log\n25\/firebird.msg\n25\/ib_util.dll\n25\/icudt30.dll\n25\/icuin30.dll\n25\/icuuc30.dll\n25\/Microsoft.VC80.CRT.manifest\n25\/msvcp80.dll\n25\/msvcr80.dll\n\n30\/fbclient.dll\n30\/firebird.conf\n30\/firebird.msg\n30\/gbak.exe\n30\/ib_util.dll\n30\/icudt52.dll\n30\/icudt52l.dat\n30\/icuin52.dll\n30\/icuuc52.dll\n30\/msvcp100.dll\n30\/msvcr100.dll\n30\/intl\/fbintl.conf\n30\/intl\/fbintl.dll\n30\/plugins\/engine12.dll<\/code><\/pre>\n
\nEin erfahrener Administrator wird feststellen, dass in 2.5 die Dateien intl\/fbintl.dll und intl\/fbintl.conf nicht enthalten sind. Das ist tats\u00e4chlich der Fall, da gbak den Zeichensatz der Verbindung nicht verwendet und keine Daten zwischen den Zeich encodierungen konvertiert. Auf der 'Empfangsseite' von Firebird 3.0 sind diese Dateien jedoch notwendig, wenn Indizes erstellt werden.<\/p>\n
In der firebird.conf wird empfohlen, f\u00fcr Firebird 3.0 Folgendes hinzuzuf\u00fcgen:<\/p>\n
MaxUnflushedWrites = -1\nMaxUnflushedWriteTime = -1<\/code><\/pre>\n
\nZudem ist es w\u00fcnschenswert, unterschiedliche Werte f\u00fcr IpcName f\u00fcr 2.5 und 3.0 festzulegen. <\/p>\n
Bei der Auswahl anderer Parameterwerte in firebird.conf gehen wir von folgendem einfachen Grundsatz aus: W\u00e4hrend des Daten\u00fcbertragungsprozesses arbeitet gbak in einem Prozess mit 2.5 und in einem anderen mit 3.0, dann beendet 2.5 die Arbeit und 3.0 beginnt mit dem Aufbau der Indizes.<\/p>\n
Um die Phase des Indexaufbaus in 3.0 zu beschleunigen, wird empfohlen, die Gr\u00f6\u00dfe des Parameters TempCacheLimit auf etwa 40% des RAM zu erh\u00f6hen (sofern es sich um einen dedizierten Server handelt).<\/p>\n
Wenn der Server beispielsweise 16 GB RAM hat, kann man einstellen: <\/p>\n
TempCacheLimit=6G<\/code><\/pre>\n
\nSelbstverst\u00e4ndlich kann ein solches Wert nur bei 64-Bit Firebird 3 eingestellt werden, da jeder 32-Bit-Prozess nicht mehr als 2 Gigabyte Speicher allokieren kann.<\/i><\/p>\n
Bei 2.5 muss dieser Parameter nicht ge\u00e4ndert werden \u2013 er kann ohnehin nicht mehr als 2 Gigabyte betragen, und bei der Sicherung hat er keinen Einfluss auf die Geschwindigkeit.<\/p>\n
Vor der Durchf\u00fchrung der Operation m\u00fcssen Sie sicherstellen, dass der Seiten-Cache im Datenbank-Header auf 0 gesetzt ist (Befehl gstat -h databasename<\/code>, pr\u00fcfen Sie die Zeile Page buffers). <\/p>\n
Wenn der Cache eindeutig im DB-Header gesetzt ist, \u00fcberschreibt er die Werte aus firebird.conf (und databases.conf in 3.0), was bei unangemessen hohen Werten zu \u00fcberm\u00e4\u00dfigem Speicherverbrauch und Swapping f\u00fchren kann.<\/p>\n
Danach kopieren Sie die Dateien auf das Zielsystem. <\/p>\n
Die Konvertierung erfolgt nach dem Stoppen des 'System'-Dienstes Firebird 2.5 \u00fcber die Eingabeaufforderung mit erhobenen Rechten als lokaler Administrator (Beispiel):<\/p>\n
set ISC_USER=Besitzer\n\"25\/gbak\" -z -b -g -v -st t -y 25.log database25 stdout|^\n\"30\/gbak\" -z -c -v -st t -y 30.log stdin database30<\/code><\/pre>\n
\nIn diesem Beispiel wird der \"schr\u00e4ge Slash\" in Anf\u00fchrungszeichen verwendet (erlaubter 'Unix-Stil'), und das 'Caret' (Symbol '^') maskiert das Zeilenumbruchzeichen, was praktisch ist, wenn Sie lange Befehle eingeben. Die Option -st(atus) wurde in Firebird 2.5.8 eingef\u00fchrt und erm\u00f6glicht es, die Protokolldaten zur Laufzeit des gbak-Prozesses aufzuzeichnen (weitere Einzelheiten finden Sie in der Dokumentation).<\/p>\n
Linux<\/b><\/p>\n
Unter Linux h\u00e4ngt Firebird 3 von der Bibliothek tommath ab. In CentOS (RHEL) finden Sie diese Bibliothek im EPEL-Repository; in Ubuntu (Debian) ist sie im System enthalten.<\/p>\n
F\u00fcr CentOS muss zun\u00e4chst das EPEL-Repository aktiviert werden, bevor Sie fortfahren k\u00f6nnen. <\/p>\n
yum install libtommath<\/code><\/pre>\n
\nBei Ubuntu sind keine zus\u00e4tzlichen Repositories erforderlich, jedoch werden in Ubuntu 16 und Ubuntu 18 unterschiedliche Paketversionen installiert \u2013 libtommath0 und libtommath1, jeweils.<\/p>\n
Firebird 3.0 sucht nach tommath.so.0 und f\u00fcr Ubuntu 18 ist es zus\u00e4tzlich erforderlich, einen Link (symlink) von tommath.so.0 auf tommath.so.1 zu erstellen. Daf\u00fcr muss zun\u00e4chst tommath.so.1 gefunden werden. <\/p>\n
Der gesuchte Pfad in Ubuntu ist \/usr\/lib\/x86_64-linux-gnu\/<\/code>, in anderen Debian-basierten Distributionen kann es jedoch anders sein.<\/p>\n
Das zweite Problem besteht darin, dass bis einschlie\u00dflich Firebird 3.0.1 kein einfacher Weg vorhanden war, zwei verschiedene Serverversionen zu installieren. Die Option \u201eaus den Quellen mit dem gew\u00fcnschten Pr\u00e4fix kompilieren\u201c betrachten wir aufgrund des relativ hohen Aufwands nicht.<\/p>\n
F\u00fcr Firebird 3.0.2 und h\u00f6her wurde eine Erstellung mit \u2013enable-binreloc realisiert<\/a><\/noindex> und eine separate Option im Installer (-path Pfad).<\/p>\n
Vorausgesetzt, die tommath-Bibliothek und, falls erforderlich, der symlink f\u00fcr tommath.so.0 sind im System installiert, k\u00f6nnen Sie das aktuelle (zum Zeitpunkt der Erstellung dieses Artikels) Firebird 3.0.4-Paket beispielsweise in \/opt\/fb3 installieren:<\/p>\n
.\/install.sh -path \/opt\/fb3<\/code><\/pre>\n
\nDanach k\u00f6nnen Sie den Systemdienst Firebird stoppen und die laufende Konvertierung starten. <\/p>\n
Beim Stoppen von Firebird ist zu beachten, dass die Firebird 2.5 Prozesse im Classic-Modus in der Regel von xinetd gestartet werden \u2013 daher muss entweder der Firebird-Dienst f\u00fcr xinetd deaktiviert oder xinetd vollst\u00e4ndig gestoppt werden.<\/i><\/p>\n
In der firebird.conf f\u00fcr 3.0 auf Linux m\u00fcssen keine MaxUnflushed-Parameter gesetzt werden (diese funktionieren nur unter Windows) und die Einstellungen f\u00fcr Firebird 2.5 sollten nicht ge\u00e4ndert werden. <\/p>\n
Unter Linux ist der lokale (Dateizugriff) von Firebird 2.5 nicht \u00e4quivalent zur Embedded-Variante unter Windows \u2013 der Server 2.5 l\u00e4uft im Prozess gbak (ohne Netzwerkkomponente), aber die Zugriffsrechte werden anhand der Benutzerdatenbank \u00fcberpr\u00fcft, was bedeutet, dass nicht nur ein Benutzername, sondern auch ein Passwort erforderlich ist: <\/p>\n
export ISC_USER=username ISC_PASSWORD=password\n\/opt\/firebird\/bin\/gbak -b \u2026 database25 stdout\n|\/opt\/fb3\/bin\/gbak -c \u2026 stdin database30<\/code><\/pre>\n
\nNach der erfolgreichen Konvertierung muss zuerst der \"zus\u00e4tzliche\" Firebird 3.0 entfernt werden, dann der \"haupts\u00e4chliche\" Firebird 2.5, und erst danach sollte eine saubere Installation von Firebird 2.5 erfolgen \u2013 am besten aus dem standardm\u00e4\u00dfigen tar.gz-Installer und nicht \u00fcber die Repositories, da die Versionen in den Repositories veraltet sein k\u00f6nnten.<\/p>\n
Au\u00dferdem muss nach der Datenbankwiederherstellung unter Linux und der Neuinstallation \u00fcberpr\u00fcft werden, dass die neue Datenbank dem Benutzer firebird geh\u00f6rt.<\/p>\n
Falls dies nicht der Fall ist, muss dies korrigiert werden.<\/p>\n
chown firebird.firebird database<\/code><\/pre>\n
\nZusammenfassung<\/b><\/p>\n
Neben der Einsparung von Zeit und Speicherplatz hat die fortlaufende Konvertierung einen weiteren wichtigen Vorteil \u2013 die Umwandlung der Datenbank erfolgt ohne die L\u00f6schung der vorhandenen Firebird 2.5-Installation, was die R\u00fcckkehr bei einer misslungenen Konvertierung erheblich vereinfacht (h\u00e4ufig aufgrund von unzureichendem Speicherplatz oder unerwarteten Neustarts w\u00e4hrend des Migrationsprozesses).<\/p>\n
Die Zeitersparnis ist darauf zur\u00fcckzuf\u00fchren, dass die \"klassische\" Konvertierung \"Backup-Zeit\" plus \"Wiederherstellungszeit\" beinhaltet. Die Wiederherstellung besteht aus zwei Teilen: dem Lesen der Daten aus der Backup-Datei und dem Erstellen des Index.<\/p>\n
Bei der fortlaufenden Konvertierung ergibt sich die Gesamtzeit als \"Backup-Zeit plus f\u00fcnf bis zehn Prozent\" und \"Zeit f\u00fcr den Indexaufbau\".<\/p>\n
Die konkreten Ergebnisse h\u00e4ngen von der Struktur der Datenbank ab, aber im Durchschnitt liegt die Wiederherstellungszeit ungef\u00e4hr bei der doppelten Backup-Zeit. Daher w\u00fcrde man, wenn man die Backup-Zeit als Einheit nimmt, f\u00fcr die \"klassische Konvertierung\" drei Zeiteinheiten und f\u00fcr die fortlaufende Konvertierung zwei Zeiteinheiten ansetzen. Zus\u00e4tzlich kann die Zeit durch Erh\u00f6hung des TempCacheLimits weiter reduziert werden.<\/p>\n
Insgesamt erm\u00f6glicht die fortlaufende Konvertierung in der Praxis eine Einsparung von 30-40% der Zeit im Vergleich zu sequentiellem Backup und Wiederherstellung.<\/p>\n
Fragen?<\/b><\/p>\n
Bitte senden Sie alle Fragen in die Kommentare oder kontaktieren Sie den Autor der Methode und Mitautor dieses Artikels \u2014 Vasily Sidorov, leitender Systemingenieur bei \u201eiBase\u201c, unter der E-Mail-Adresse bs at ibase ru.<\/p>\n
Nur registrierte Benutzer k\u00f6nnen an der Umfrage teilnehmen. Bitte melden Sie sich an.<\/a><\/noindex>Sind Sie an Contour interessiert?<\/p>\n
Welche Firebird-Version verwenden Sie?<\/h2>\n