המרת סטרימינג של מסדי נתונים של Firebird 2.5 לפורמט ODS12 (Firebird 3.0)

לכל גרסה של Firebird יש גרסה משלה של פורמט מבנה דיסק מסד הנתונים, O(n)D(isk)S(tructure). עד גרסה 2.5 כולל, מנוע Firebird יכול לעבוד עם ODS של גרסאות קודמות, כלומר מסדי נתונים מגרסאות ישנות נפתחו על ידי הגרסה החדשה ועבדו במצב תאימות, אבל מנוע Firebird 3.0 עובד רק עם מסדי נתונים בגרסת ODS משלו. 12.0.

כדי לעבור ל-3.0, יש להמיר את מסד הנתונים מ-2.5 לפורמט החדש באמצעות גיבוי/שחזור. כמובן, אנו מניחים שמסד הנתונים הוכן בעבר להמרה - כלומר. מטא נתונים ושאילתות נבדקו לגבי תאימות עם Firebird 3.0.

אם אתה פועל לפי הגישה הסטנדרטית, זה אומר שאתה צריך לבצע גיבוי בגרסה 2.5, ואז להתקין 3.0 ולבצע שחזור. הליך כזה מקובל אם יש מספיק זמן, אבל בהעברת מסדי נתונים גדולים, או במעבר של כמה עשרות בסיסי נתונים במקביל, כשהזמן אוזל, אפשר להשתמש בהמרה סטרימינג שהיא מהירה ב-30-40%. איך בדיוק לעשות זאת (תחת Windows ותחת לינוקס), קרא תחת החתך.

הרעיון הכללי הוא שנשתמש בצינור כדי להאיץ את העניינים:

gbak -b … база25 stdout | gbak -c … stdin база30

Gbak מ-2.5 יוצר גיבוי בפורמט ליניארי ושולח אותו ל-stdout, שמיד קולט gbak מ-3.0 דרך stdin ויוצר מסד נתונים חדש.

יש צורך לארגן צינור כזה בשיטת גישה מקומית (קבצים), שכן גישה לרשת (אפילו דרך localhost) תאט משמעותית את התהליך.

אנו עוברים על הפרטים עבור Windows ולינוקס להלן.

Windows

במקרה של Windows, הדרך הקלה ביותר היא ליצור מבנה עצמאי לחלוטין של Firebird. בשביל זה אנחנו לוקחים embed-archive Firebird 2.5, שנה את שם fbemded.dll ל-fbclient.dll, הוסף כלי עזר gbak.exe ו(אופציונלי) isql.exe מהארכיון "הרגיל" 2.5.

Firebird 3.0 משתמש מכלול בודד ואינו דורש שום שינוי.

הגרסה המינימלית ביותר (שאינה דורשת התקנה של ספריות זמן הריצה VS2008/VS2010 במערכת היעד) מכילה את הקבצים הבאים:

25/gbak.exe
25/fbclient.dll
25/firebird.conf
25/firebird.log
25/firebird.msg
25/ib_util.dll
25/icudt30.dll
25/icuin30.dll
25/icuuc30.dll
25/Microsoft.VC80.CRT.manifest
25/msvcp80.dll
25/msvcr80.dll

30/fbclient.dll
30/firebird.conf
30/firebird.msg
30/gbak.exe
30/ib_util.dll
30/icudt52.dll
30/icudt52l.dat
30/icuin52.dll
30/icuuc52.dll
30/msvcp100.dll
30/msvcr100.dll
30/intl/fbintl.conf
30/intl/fbintl.dll
30/plugins/engine12.dll

מנהל מנוסה עשוי להבחין ש-2.5 אינו כולל את הקבצים intl/fbintl.dll ו-intl/fbintl.conf. זה נכון, מכיוון ש-gbak אינו משתמש בערכת תווים של חיבור ואינו ממירה נתונים בין ערכות תווים, אך בצד ה"מקבל" של Firebird 3.0, הקבצים הללו נחוצים בעת יצירת אינדקסים.

ב-firebird.conf מומלץ להוסיף את Firebird 3.0:

MaxUnflushedWrites = -1
MaxUnflushedWriteTime = -1

כמו כן, רצוי להגדיר ערכי IpcName שונים עבור 2.5 ו-3.0.

כאשר בוחרים את הערכים של פרמטרים אחרים של firebird.conf, אנו יוצאים משיקול פשוט: בשלב עירוי הנתונים, gbak מריץ 2.5 בתהליך אחד, ו-3.0 בתהליך השני, ואז 2.5 יוצאים ו-3.0 מתחיל לבנות אינדקסים.

כדי להאיץ את שלב בניית האינדקס ב-3.0, מומלץ להגדיל את גודל הפרמטר TempCacheLimit ל~40% RAM (אם מדובר בשרת ייעודי, כמובן).

לדוגמה, אם לשרת יש 16 GB של זיכרון RAM, אז אתה יכול לשים

TempCacheLimit=6G

כמובן שניתן להגדיר ערך זה רק עבור Firebird 64 של 3 סיביות, מכיוון שכל תהליך של 32 סיביות אינו יכול להקצות יותר מ-2 גיגה-בייט של זיכרון.

ב-2.5 אין צורך לשנות את הפרמטר הזה - הוא לא יכול להיות יותר מ-2 ג'יגה-בייט בכל מקרה, והוא לא משפיע על המהירות בזמן הגיבוי.

לפני ביצוע הפעולה, עליך לבדוק שמטמון העמודים בכותרת מסד הנתונים מוגדר ל-0 (פקודה gstat -h databasename, עיין בשורה מאגרי עמודים).

אם המטמון מוגדר במפורש בכותרת של מסד הנתונים, אז הוא עוקף את הערכים מ-firebird.conf (ו-databases.conf ב-3.0), ובמקרה של ערכים לא מספיק גדולים, זה יכול להוביל לצריכת זיכרון מוגזמת והחלפה.

לאחר מכן, העתק את הקבצים למערכת היעד.

ההמרה מתבצעת לאחר הפסקת שירות "המערכת" Firebird 2.5, בשורת הפקודה עם זכויות גבוהות למנהל המקומי (דוגמה):

set ISC_USER=владелец
"25/gbak" -z -b -g -v -st t -y 25.log база25 stdout|^
"30/gbak" -z -c -v -st t -y 30.log stdin база30

דוגמה זו משתמשת ב"לוכסן קדימה" במירכאות (תקף "סגנון יוניקס"), ו"כובע" (התו "^") בורח מהתו החדש, דבר שימושי בעת הקלדת פקודות ארוכות. האפשרות -st(atus) הופיעה ב-Firebird 2.5.8 ומאפשרת לך לרשום נתונים לגבי הזמן שבו פעל תהליך gbak (לפרטים, עיין בתיעוד).

לינוקס

ב-Linux Firebird 3 תלוי בספריית tommath. ב- CentOS (RHEL) הספרייה הזו ממוקמת במאגר ה-epel, באובונטו (Debian) במאגר המערכת.

עבור CentOS, תחילה עליך לחבר את מאגר ה-epel ורק לאחר מכן לעשות זאת

yum install libtommath

אובונטו אינה צריכה לכלול מאגרים נוספים, אך אובונטו 16 ואובונטו 18 מתקינות גרסאות שונות של החבילות - libtommath0 ו-libtommath1, בהתאמה.

Firebird 3.0 מחפש tommath.so.0 ועבור אובונטו 18 נדרש בנוסף ליצור קישור (Symlink) מ tommath.so.0 ל tommath.so.1. כדי לעשות זאת, תחילה עליך למצוא tommath.so.1.

חיפוש נתיב באובונטו - /usr/lib/x86_64-linux-gnu/, אך הפצות אחרות המבוססות על דביאן עשויות להיות שונות.

הבעיה השנייה נובעת מהעובדה שעד Firebird 3.0.1, כולל, לא הייתה דרך קלה להתקין שתי גרסאות שונות של השרת. איננו מתייחסים לאפשרות "הידור ממקורות עם הקידומת הנדרשת" בגלל עוצמת העבודה היחסית שלה.

עבור Firebird 3.0.2 ומעלה מיושם לבנות עם --enable-binreloc ואפשרות מתקין נפרדת (-path path).

בהנחה שנוספו למערכת ספריית tommath ובמידת הצורך קישור סימול עבור tommath.so.0, ניתן להתקין את ההפצה הנוכחית (בזמן כתיבת שורות אלה) של Firebird 3.0.4 ב, למשל, /opt /fb3:

./install.sh -path /opt/fb3

לאחר מכן, תוכל להפסיק את שירות מערכת Firebird ולהתחיל המרה בסטרימינג.

כשאתה עוצר את Firebird, זכור שתהליכי Firebid 2.5 במצב קלאסי מתחילים בדרך כלל על ידי xinetd - אז אתה צריך להשבית את שירות Firebird עבור xinetd או להפסיק את xinetd לחלוטין.

ב-firebird.conf עבור 3.0 בלינוקס, אין צורך להגדיר פרמטרים של MaxUnflushed (הם עובדים רק ב-Windows) ולשנות את הגדרות Firebird 2.5.

בלינוקס, גישה מקומית (קבצים) של Firebird 2.5 אינה שווה ערך לגרסה המוטבעת תחת Windows - שרת 2.5 יפעל בתהליך gbak (ללא חלק הרשת), אך זכויות הגישה ייבדקו מול בסיס המשתמשים, מה שאומר ש לא רק הכניסה, אלא גם הסיסמה תידרש:

export ISC_USER=username ISC_PASSWORD=password
/opt/firebird/bin/gbak -b … база25 stdout
|/opt/fb3/bin/gbak -c … stdin база30

לאחר המרה מוצלחת יש להסיר תחילה את ה-Firebird 3.0 ה"נוסף", לאחר מכן את ה-Firebird 2.5 ה"ראשי", ולאחר מכן לבצע התקנה נקייה של Firebird 2.5 - ועדיף מהמתקין הרגיל של tar.gz, ולא דרך ה-Firebird XNUMX. מאגרים, כי. הגרסה במאגרים עשויה לפגר מאחור.

כמו כן, לאחר שחזור מסד הנתונים ב-Linux והתקנה מחדש, עליך לבדוק שהבסיס הנתונים החדש הוא בבעלות המשתמש של Firebird.

אם זה לא המקרה, אז יהיה צורך לתקן את זה.

chown firebird.firebird database

סך הכל

בנוסף לחיסכון בזמן ובשטח דיסק, להמרת סטרימינג יש יתרון חשוב נוסף - המרת מסד הנתונים מתבצעת ללא מחיקת ה-Firebird 2.5 הקיים, מה שמקל מאוד על החזרה לאחור במקרה של המרה לא מוצלחת (לרוב עקב חוסר מקום או אתחול לא צפוי במהלך ההגירה תהליך).

החיסכון בזמן נובע מכך שההמרה ה"קלאסית" היא "זמן גיבוי" בתוספת "זמן שחזור". השחזור מורכב משני חלקים: קריאת נתונים מקובץ גיבוי ובניית אינדקס.

בהמרה בסטרימינג, הזמן הכולל מתקבל כ"זמן גיבוי פלוס חמישה עד עשרה אחוזים" ו"זמן בניית אינדקס".

תוצאות ספציפיות תלויות במבנה מסד הנתונים, אך בממוצע, זמן השחזור הוא כפול מזמן הגיבוי. לכן, אם ניקח את זמן הגיבוי כיחידה, אז "המרה קלאסית" היא שלוש יחידות זמן, הזרמה היא שתי יחידות זמן. הגדלת TempCacheLimit עוזרת לצמצם עוד יותר את הזמן.

באופן כללי, המרה בסטרימינג מאפשרת בפועל לחסוך 30-40% מהזמן של גיבוי ושחזור חלופי.

שאלות?

אנא כתוב את כל השאלות בהערות, או שלח אותן למחבר המתודולוגיה ולכותב המשותף של מאמר זה - וסילי סידורוב, מהנדס מערכות מוביל של iBase, ב-bs at ibase ru.

רק משתמשים רשומים יכולים להשתתף בסקר. להתחברבבקשה.

באיזו גרסה של Firebird אתה משתמש?

• Firebird 3.x

• ציפור האש 2.5

• ציפור האש 2.1

• Firebird 2.0, 1.5 או 1.0

16 משתמשים הצביעו. משתמש אחד נמנע.

מקור: www.habr.com