फ़ायरबर्ड 2.5 डेटाबेस का ओडीएस12 प्रारूप में स्ट्रीमिंग रूपांतरण (फ़ायरबर्ड 3.0)

फ़ायरबर्ड के प्रत्येक संस्करण में डेटाबेस डिस्क संरचना प्रारूप, O(n)D(isk)S(tructure) का अपना संस्करण है। संस्करण 2.5 तक, फ़ायरबर्ड इंजन पिछले संस्करणों के ओडीएस के साथ काम कर सकता है, यानी, पुराने संस्करणों के डेटाबेस नए संस्करण द्वारा खोले गए थे और संगतता मोड में काम करते थे, लेकिन फ़ायरबर्ड 3.0 इंजन केवल अपने स्वयं के ओडीएस संस्करण में डेटाबेस के साथ काम करता है 12.0.

3.0 पर माइग्रेट करने के लिए, 2.5 से डेटाबेस को बैकअप/रिस्टोर के माध्यम से नए प्रारूप में परिवर्तित किया जाना चाहिए। बेशक, हम मानते हैं कि डेटाबेस पहले रूपांतरण के लिए तैयार किया गया था - यानी। फ़ायरबर्ड 3.0 के साथ संगतता के लिए मेटाडेटा और क्वेरीज़ की जाँच की गई है।

यदि आप मानक दृष्टिकोण का पालन करते हैं, तो इसका मतलब है कि आपको संस्करण 2.5 पर बैकअप बनाने की आवश्यकता है, फिर 3.0 स्थापित करें और पुनर्स्थापित करें। यदि पर्याप्त समय हो तो ऐसी प्रक्रिया स्वीकार्य है, लेकिन बड़े डेटाबेस को माइग्रेट करते समय, या एक ही समय में कई दर्जन डेटाबेस को माइग्रेट करते समय, जब समय समाप्त हो रहा हो, तो आप स्ट्रीमिंग रूपांतरण का उपयोग कर सकते हैं, जो 30-40% तेज है। इसे वास्तव में कैसे करें (विंडोज के तहत और लिनक्स के तहत), कट के तहत पढ़ें।

सामान्य विचार यह है कि हम चीजों को गति देने के लिए एक पाइपलाइन का उपयोग करेंगे:

gbak -b … база25 stdout | gbak -c … stdin база30

2.5 से Gbak एक रैखिक प्रारूप में एक बैकअप बनाता है और इसे stdout को भेजता है, जो तुरंत stdin के माध्यम से 3.0 से gbak उठाता है और एक नया डेटाबेस बनाता है।

ऐसी पाइपलाइन को स्थानीय (फ़ाइल) एक्सेस विधि के साथ व्यवस्थित करना आवश्यक है, क्योंकि नेटवर्क एक्सेस (लोकलहोस्ट के माध्यम से भी) प्रक्रिया को काफी धीमा कर देगा।

हम नीचे विंडोज़ और लिनक्स के विवरण के बारे में जानेंगे।

Windows

विंडोज़ के मामले में, सबसे आसान तरीका फ़ायरबर्ड का पूरी तरह से स्टैंडअलोन बिल्ड बनाना है। इसके लिए हम लेते हैं एंबेड-संग्रह फ़ायरबर्ड 2.5, fbemded.dll का नाम बदलकर fbclient.dll कर दें, "नियमित" 2.5 संग्रह से gbak.exe और (वैकल्पिक रूप से) isql.exe उपयोगिताएँ जोड़ें।

फायरबर्ड 3.0 का उपयोग एकल सभा और इसमें किसी संशोधन की आवश्यकता नहीं है।

सबसे न्यूनतम संस्करण (जिसमें लक्ष्य सिस्टम पर VS2008/VS2010 रनटाइम लाइब्रेरी की स्थापना की आवश्यकता नहीं है) में निम्नलिखित फ़ाइलें शामिल हैं:

25/gbak.exe
25/fbclient.dll
25/firebird.conf
25/firebird.log
25/firebird.msg
25/ib_util.dll
25/icudt30.dll
25/icuin30.dll
25/icuuc30.dll
25/Microsoft.VC80.CRT.manifest
25/msvcp80.dll
25/msvcr80.dll

30/fbclient.dll
30/firebird.conf
30/firebird.msg
30/gbak.exe
30/ib_util.dll
30/icudt52.dll
30/icudt52l.dat
30/icuin52.dll
30/icuuc52.dll
30/msvcp100.dll
30/msvcr100.dll
30/intl/fbintl.conf
30/intl/fbintl.dll
30/plugins/engine12.dll

एक अनुभवी प्रशासक यह देख सकता है कि 2.5 में intl/fbintl.dll और intl/fbintl.conf फ़ाइलें शामिल नहीं हैं। यह सच है, क्योंकि gbak एक कनेक्शन चारसेट का उपयोग नहीं करता है और चारसेट के बीच डेटा को परिवर्तित नहीं करता है, लेकिन फ़ायरबर्ड 3.0 के "प्राप्त" पक्ष पर, इंडेक्स बनाते समय ये फ़ाइलें आवश्यक हैं।

firebird.conf में Firebird 3.0 को जोड़ने की अनुशंसा की गई है:

MaxUnflushedWrites = -1
MaxUnflushedWriteTime = -1

साथ ही, 2.5 और 3.0 के लिए अलग-अलग IpcName मान सेट करना वांछनीय है।

फायरबर्ड.कॉन्फ़ के अन्य मापदंडों के मूल्यों को चुनते समय, हम एक सरल विचार से आगे बढ़ते हैं: डेटा ट्रांसफ़्यूज़न के चरण में, gbak एक प्रक्रिया में 2.5 चलता है, और दूसरे में 3.0, फिर 2.5 बाहर निकलता है, और 3.0 का निर्माण शुरू होता है अनुक्रमित.

3.0 में इंडेक्स बिल्डिंग चरण को तेज़ करने के लिए, TempCacheLimit पैरामीटर के आकार को ~40% RAM तक बढ़ाने की अनुशंसा की जाती है (यदि यह एक समर्पित सर्वर है, तो निश्चित रूप से)।

उदाहरण के लिए, यदि सर्वर में 16 जीबी रैम है, तो आप डाल सकते हैं

TempCacheLimit=6G

बेशक, यह मान केवल 64-बिट फ़ायरबर्ड 3 के लिए सेट किया जा सकता है, क्योंकि कोई भी 32-बिट प्रक्रिया 2 गीगाबाइट से अधिक मेमोरी आवंटित नहीं कर सकती है।

2.5 में, इस पैरामीटर को बदलने की आवश्यकता नहीं है - यह वैसे भी 2 गीगाबाइट से अधिक नहीं हो सकता है, और यह बैकअप के दौरान गति को प्रभावित नहीं करता है।

ऑपरेशन करने से पहले, आपको यह जांचना होगा कि डेटाबेस हेडर में पेज कैश 0 (कमांड) पर सेट है gstat -h databasename, पेज बफ़र्स लाइन देखें)।

यदि कैश को डेटाबेस हेडर में स्पष्ट रूप से सेट किया गया है, तो यह firebird.conf (और 3.0 में डेटाबेस.conf) से मूल्यों को ओवरराइड करता है, और अपर्याप्त बड़े मूल्यों के मामले में, यह अत्यधिक मेमोरी खपत और स्वैपिंग का कारण बन सकता है।

इसके बाद, फ़ाइलों को लक्ष्य सिस्टम पर कॉपी करें।

स्थानीय व्यवस्थापक को उन्नत अधिकारों के साथ कमांड लाइन पर "सिस्टम" फ़ायरबर्ड 2.5 सेवा को रोकने के बाद रूपांतरण किया जाता है (उदाहरण):

set ISC_USER=владелец
"25/gbak" -z -b -g -v -st t -y 25.log база25 stdout|^
"30/gbak" -z -c -v -st t -y 30.log stdin база30

यह उदाहरण उद्धरणों में "फॉरवर्ड स्लैश" (मान्य "यूनिक्स-शैली") का उपयोग करता है, और एक "हैट" ("^" वर्ण) न्यूलाइन वर्ण से बच जाता है, जो लंबे कमांड टाइप करते समय उपयोगी होता है। -st(atus) विकल्प फ़ायरबर्ड 2.5.8 में दिखाई दिया और आपको gbak प्रक्रिया चलने के समय के बारे में डेटा लॉग करने की अनुमति देता है (विवरण के लिए, दस्तावेज़ देखें)।

Linux

लिनक्स फ़ायरबर्ड 3 पर टॉममैथ लाइब्रेरी पर निर्भर करता है। CentOS (RHEL) पर यह लाइब्रेरी एपेल रिपॉजिटरी में, Ubuntu (डेबियन) पर सिस्टम रिपॉजिटरी में स्थित है।

CentOS के लिए, आपको पहले एपल रिपॉजिटरी को कनेक्ट करना होगा और उसके बाद ही कनेक्ट करना होगा

yum install libtommath

उबंटू को अतिरिक्त रिपॉजिटरी शामिल करने की आवश्यकता नहीं है, लेकिन उबंटू 16 और उबंटू 18 क्रमशः पैकेज के विभिन्न संस्करण - libtommath0 और libtommath1 स्थापित करते हैं।

फायरबर्ड 3.0 tommath.so.0 की तलाश करता है और Ubuntu 18 के लिए tommath.so.0 से tommath.so.1 तक एक लिंक (सिम्लिंक) बनाना अतिरिक्त रूप से आवश्यक है। ऐसा करने के लिए, आपको सबसे पहले tommath.so.1 ढूंढना होगा।

उबंटू में खोजा गया पथ - /usr/lib/x86_64-linux-gnu/, लेकिन अन्य डेबियन-आधारित वितरण भिन्न हो सकते हैं।

दूसरी समस्या इस तथ्य से संबंधित है कि फ़ायरबर्ड 3.0.1 तक और इसमें शामिल, दो अलग-अलग सर्वर संस्करणों को स्थापित करने का कोई आसान तरीका नहीं था। हम इसकी सापेक्ष जटिलता के कारण "आवश्यक उपसर्ग के साथ स्रोत से संकलन" विकल्प पर विचार नहीं करते हैं।

फ़ायरबर्ड 3.0.2 और उच्चतर के लिए कार्यान्वित --enable-binreloc के साथ निर्माण करें और एक अलग इंस्टॉलर विकल्प (-पथ पथ)।

यह मानते हुए कि टॉममैथ लाइब्रेरी और, यदि आवश्यक हो, tommath.so.0 के लिए एक सिम्लिंक सिस्टम में जोड़ा गया है, तो आप वर्तमान (इस लेखन के समय) फ़ायरबर्ड 3.0.4 वितरण को स्थापित कर सकते हैं, उदाहरण के लिए, /opt /fb3:

./install.sh -path /opt/fb3

उसके बाद, आप फ़ायरबर्ड सिस्टम सेवा को बंद कर सकते हैं और स्ट्रीमिंग रूपांतरण शुरू कर सकते हैं।

फ़ायरबर्ड को रोकते समय, ध्यान रखें कि क्लासिक मोड में फ़ायरबिड 2.5 प्रक्रियाएँ आमतौर पर xinetd द्वारा शुरू की जाती हैं - इसलिए आपको या तो xinetd के लिए फ़ायरबर्ड सेवा को अक्षम करना होगा या xinetd को पूरी तरह से बंद करना होगा।

Linux पर 3.0 के लिए firebird.conf में, आपको MaxUnflushed पैरामीटर सेट करने की आवश्यकता नहीं है (वे केवल विंडोज़ पर काम करते हैं) और Firebird 2.5 सेटिंग्स को बदलने की आवश्यकता नहीं है।

लिनक्स में, फ़ायरबर्ड 2.5 की स्थानीय (फ़ाइल) पहुंच विंडोज़ के तहत एंबेडेड संस्करण के बराबर नहीं है - 2.5 सर्वर gbak प्रक्रिया (नेटवर्क भाग के बिना) में काम करेगा, लेकिन उपयोगकर्ता आधार के विरुद्ध पहुंच अधिकारों की जांच की जाएगी, जिसका अर्थ है न केवल लॉगिन, बल्कि पासवर्ड की भी आवश्यकता होगी:

export ISC_USER=username ISC_PASSWORD=password
/opt/firebird/bin/gbak -b … база25 stdout
|/opt/fb3/bin/gbak -c … stdin база30

एक सफल रूपांतरण के बाद, आपको पहले "अतिरिक्त" फ़ायरबर्ड 3.0 को अनइंस्टॉल करना होगा, फिर "मुख्य" फ़ायरबर्ड 2.5 को, और उसके बाद फ़ायरबर्ड 2.5 की एक साफ़ स्थापना करें - और यह नियमित tar.gz इंस्टॉलर से सबसे अच्छा है, न कि इसके माध्यम से। भंडार, क्योंकि. रिपॉजिटरी में संस्करण पीछे रह सकता है।

साथ ही, लिनक्स पर डेटाबेस को पुनर्स्थापित करने और पुनः इंस्टॉल करने के बाद, आपको यह जांचना होगा कि नया डेटाबेस फ़ायरबर्ड उपयोगकर्ता के स्वामित्व में है।

अगर ऐसा नहीं है तो इसे ठीक करने की जरूरत होगी.

chown firebird.firebird database

संपूर्ण

समय और डिस्क स्थान बचाने के अलावा, स्ट्रीमिंग रूपांतरण का एक और महत्वपूर्ण लाभ है - डेटाबेस रूपांतरण मौजूदा फ़ायरबर्ड 2.5 को हटाए बिना किया जाता है, जो असफल रूपांतरण के मामले में रोलबैक को बहुत सरल बनाता है (अक्सर स्थान की कमी या माइग्रेशन के दौरान अप्रत्याशित रीबूट के कारण) प्रक्रिया)।

समय की बचत इस तथ्य के कारण है कि "क्लासिक" रूपांतरण "बैकअप समय" प्लस "पुनर्स्थापना समय" है। पुनर्प्राप्ति में दो भाग होते हैं: बैकअप फ़ाइल से डेटा पढ़ना और एक इंडेक्स बनाना।

स्ट्रीमिंग रूपांतरण के साथ, कुल समय "बैकअप समय प्लस पांच से दस प्रतिशत" और "सूचकांक निर्माण समय" के रूप में प्राप्त होता है।

विशिष्ट परिणाम डेटाबेस की संरचना पर निर्भर करते हैं, लेकिन औसतन, पुनर्प्राप्ति समय बैकअप समय से लगभग दोगुना होता है। इसलिए, यदि हम बैकअप समय को एक इकाई के रूप में लेते हैं, तो "क्लासिक रूपांतरण" समय की तीन इकाइयाँ हैं, स्ट्रीमिंग समय की दो इकाइयाँ हैं। TempCacheLimit बढ़ाने से समय को और कम करने में मदद मिलती है।

सामान्य तौर पर, व्यवहार में स्ट्रीमिंग रूपांतरण आपको वैकल्पिक बैकअप और पुनर्स्थापना के समय का 30-40% बचाने की अनुमति देता है।

प्रश्न?

कृपया सभी प्रश्न टिप्पणियों में लिखें, या उन्हें कार्यप्रणाली के लेखक और इस लेख के सह-लेखक - वासिली सिदोरोव, आईबेस लीडिंग सिस्टम इंजीनियर, बीएस एट आईबेस आरयू को भेजें।

केवल पंजीकृत उपयोगकर्ता ही सर्वेक्षण में भाग ले सकते हैं। साइन इन करेंकृपया।

आप फ़ायरबर्ड का कौन सा संस्करण उपयोग कर रहे हैं?

• फायरबर्ड 3.x

• फायरबर्ड 2.5

• फायरबर्ड 2.1

• फ़ायरबर्ड 2.0, 1.5 या 1.0

16 उपयोगकर्ताओं ने मतदान किया. 1 उपयोगकर्ता अनुपस्थित रहा.

स्रोत: www.habr.com