ফায়ারবার্ড 2.5 ডাটাবেসের স্ট্রিমিং রূপান্তর ODS12 ফর্ম্যাটে (Firebird 3.0)

ফায়ারবার্ডের প্রতিটি সংস্করণের ডাটাবেস ডিস্ক গঠন বিন্যাসের নিজস্ব সংস্করণ রয়েছে, O(n)D(isk)S(tructure)। 2.5 সংস্করণ পর্যন্ত অন্তর্ভুক্ত, ফায়ারবার্ড ইঞ্জিন পূর্ববর্তী সংস্করণগুলির ODS-এর সাথে কাজ করতে পারে, অর্থাৎ, পুরানো সংস্করণগুলির ডেটাবেসগুলি নতুন সংস্করণ দ্বারা খোলা হয়েছিল এবং সামঞ্জস্যপূর্ণ মোডে কাজ করেছিল, কিন্তু Firebird 3.0 ইঞ্জিন শুধুমাত্র তার নিজস্ব ODS সংস্করণে ডেটাবেসের সাথে কাজ করে। 12.0

3.0 এ মাইগ্রেট করতে, 2.5 থেকে ডাটাবেসটিকে অবশ্যই ব্যাকআপ/রিস্টোরের মাধ্যমে নতুন ফর্ম্যাটে রূপান্তর করতে হবে। অবশ্যই, আমরা অনুমান করি যে ডাটাবেসটি পূর্বে রূপান্তরের জন্য প্রস্তুত ছিল - যেমন Firebird 3.0 এর সাথে সামঞ্জস্যের জন্য মেটাডেটা এবং প্রশ্নগুলি পরীক্ষা করা হয়েছে।

আপনি যদি স্ট্যান্ডার্ড পদ্ধতি অনুসরণ করেন, এর মানে হল যে আপনাকে 2.5 সংস্করণে একটি ব্যাকআপ করতে হবে, তারপর 3.0 ইনস্টল করুন এবং একটি পুনরুদ্ধার করুন। পর্যাপ্ত সময় থাকলে এই ধরনের পদ্ধতি গ্রহণযোগ্য, তবে বড় ডেটাবেস স্থানান্তর করার সময়, বা একই সময়ে কয়েক ডজন ডেটাবেস স্থানান্তর করার সময়, যখন সময় শেষ হয়ে যায়, আপনি স্ট্রিমিং রূপান্তর ব্যবহার করতে পারেন, যা 30-40% দ্রুত। ঠিক কীভাবে এটি করবেন (উইন্ডোজ এবং লিনাক্সের অধীনে), কাটের নীচে পড়ুন।

সাধারণ ধারণা হল যে জিনিসগুলিকে গতি বাড়ানোর জন্য আমরা একটি পাইপলাইন ব্যবহার করব:

gbak -b … база25 stdout | gbak -c … stdin база30

2.5 থেকে Gbak একটি রৈখিক বিন্যাসে একটি ব্যাকআপ তৈরি করে এবং এটি stdout এ পাঠায়, যা অবিলম্বে 3.0 থেকে stdin এর মাধ্যমে gbak তুলে নেয় এবং একটি নতুন ডাটাবেস তৈরি করে।

স্থানীয় (ফাইল) অ্যাক্সেস পদ্ধতির সাথে এই ধরনের একটি পাইপলাইন সংগঠিত করা প্রয়োজন, যেহেতু নেটওয়ার্ক অ্যাক্সেস (এমনকি লোকালহোস্টের মাধ্যমে) প্রক্রিয়াটিকে উল্লেখযোগ্যভাবে ধীর করে দেবে।

আমরা নীচে উইন্ডোজ এবং লিনাক্সের বিশদ বিবরণে যাই।

উইন্ডোজ

উইন্ডোজের ক্ষেত্রে, সবচেয়ে সহজ উপায় হল ফায়ারবার্ডের সম্পূর্ণ স্বতন্ত্র বিল্ড তৈরি করা। এ জন্য আমরা নিচ্ছি এম্বেড-আর্কাইভ ফায়ারবার্ড 2.5, fbemded.dll এর নাম পরিবর্তন করে fbclient.dll করুন, "নিয়মিত" 2.5 আর্কাইভ থেকে gbak.exe এবং (ঐচ্ছিকভাবে) isql.exe ইউটিলিটি যোগ করুন।

ফায়ারবার্ড 3.0 ব্যবহার করে একক সমাবেশ এবং কোন পরিবর্তন প্রয়োজন হয় না.

সবচেয়ে ন্যূনতম সংস্করণে (যার লক্ষ্য সিস্টেমে VS2008/VS2010 রানটাইম লাইব্রেরি ইনস্টল করার প্রয়োজন নেই) নিম্নলিখিত ফাইলগুলি রয়েছে:

25/gbak.exe
25/fbclient.dll
25/firebird.conf
25/firebird.log
25/firebird.msg
25/ib_util.dll
25/icudt30.dll
25/icuin30.dll
25/icuuc30.dll
25/Microsoft.VC80.CRT.manifest
25/msvcp80.dll
25/msvcr80.dll

30/fbclient.dll
30/firebird.conf
30/firebird.msg
30/gbak.exe
30/ib_util.dll
30/icudt52.dll
30/icudt52l.dat
30/icuin52.dll
30/icuuc52.dll
30/msvcp100.dll
30/msvcr100.dll
30/intl/fbintl.conf
30/intl/fbintl.dll
30/plugins/engine12.dll

একজন অভিজ্ঞ প্রশাসক লক্ষ্য করতে পারেন যে 2.5 intl/fbintl.dll এবং intl/fbintl.conf ফাইলগুলিকে অন্তর্ভুক্ত করে না। এটি সত্য, যেহেতু gbak একটি সংযোগ অক্ষরসেট ব্যবহার করে না এবং অক্ষরগুলির মধ্যে ডেটা রূপান্তর করে না, তবে Firebird 3.0-এর "প্রাপ্তি" দিকে, সূচী তৈরি করার সময় এই ফাইলগুলি প্রয়োজনীয়।

firebird.conf এ Firebird 3.0 যুক্ত করার জন্য সুপারিশ করা হয়:

MaxUnflushedWrites = -1
MaxUnflushedWriteTime = -1

এছাড়াও, 2.5 এবং 3.0 এর জন্য বিভিন্ন IpcName মান সেট করা বাঞ্ছনীয়।

firebird.conf-এর অন্যান্য পরামিতিগুলির মান নির্বাচন করার সময়, আমরা একটি সাধারণ বিবেচনা থেকে এগিয়ে যাই: ডেটা স্থানান্তরের পর্যায়ে, gbak একটি প্রক্রিয়ায় 2.5 চালায় এবং অন্যটিতে 3.0, তারপর 2.5 প্রস্থান করে এবং 3.0 তৈরি করা শুরু করে সূচক

3.0-এ সূচক বিল্ডিং পর্বের গতি বাড়ানোর জন্য, TempCacheLimit প্যারামিটারের আকার ~40% RAM-এ বাড়ানোর সুপারিশ করা হয় (যদি এটি একটি ডেডিকেটেড সার্ভার হয়, অবশ্যই)।

উদাহরণস্বরূপ, যদি সার্ভারে 16 গিগাবাইট RAM থাকে, তাহলে আপনি লাগাতে পারেন

TempCacheLimit=6G

অবশ্যই, এই মানটি শুধুমাত্র 64-বিট ফায়ারবার্ড 3-এর জন্য সেট করা যেতে পারে, যেহেতু যেকোনো 32-বিট প্রক্রিয়া 2 গিগাবাইটের বেশি মেমরি বরাদ্দ করতে পারে না।

2.5-এ, এই প্যারামিটারটি পরিবর্তন করার প্রয়োজন নেই - এটি যাইহোক 2 গিগাবাইটের বেশি হতে পারে না এবং এটি ব্যাকআপের সময় গতিকে প্রভাবিত করে না।

অপারেশন করার আগে, আপনাকে পরীক্ষা করতে হবে যে ডাটাবেস হেডারে পৃষ্ঠার ক্যাশে 0 (কমান্ড gstat -h databasename, পৃষ্ঠা বাফার লাইন দেখুন)।

যদি ক্যাশে ডাটাবেস হেডারে স্পষ্টভাবে সেট করা থাকে, তাহলে এটি firebird.conf (এবং 3.0 তে databases.conf) থেকে মানগুলিকে ওভাররাইড করে এবং অপর্যাপ্ত বড় মানগুলির ক্ষেত্রে, এটি অত্যধিক মেমরি খরচ এবং অদলবদল হতে পারে।

এর পরে, টার্গেট সিস্টেমে ফাইলগুলি অনুলিপি করুন।

স্থানীয় প্রশাসকের কাছে উন্নত অধিকার সহ কমান্ড লাইনে "সিস্টেম" ফায়ারবার্ড 2.5 পরিষেবা বন্ধ করার পরে রূপান্তর করা হয় (উদাহরণ):

set ISC_USER=владелец
"25/gbak" -z -b -g -v -st t -y 25.log база25 stdout|^
"30/gbak" -z -c -v -st t -y 30.log stdin база30

এই উদাহরণটি উদ্ধৃতিগুলিতে একটি "ফরোয়ার্ড স্ল্যাশ" ব্যবহার করে (বৈধ "ইউনিক্স-স্টাইল"), এবং একটি "হ্যাট" ("^" অক্ষর) নতুন লাইনের অক্ষর থেকে পালিয়ে যায়, যা দীর্ঘ কমান্ড টাইপ করার সময় দরকারী। -st(atus) বিকল্পটি ফায়ারবার্ড 2.5.8-এ উপস্থিত হয়েছে এবং আপনাকে gbak প্রক্রিয়া চলার সময় সম্পর্কে ডেটা লগ করার অনুমতি দেয় (বিশদ বিবরণের জন্য, ডকুমেন্টেশন দেখুন)।

লিনাক্স

লিনাক্স ফায়ারবার্ড 3-এ টমাথ লাইব্রেরির উপর নির্ভর করে। CentOS (RHEL) এ এই লাইব্রেরিটি ইপেল রিপোজিটরিতে, উবুন্টু (ডেবিয়ান) সিস্টেম রিপোজিটরিতে অবস্থিত।

CentOS-এর জন্য, আপনাকে অবশ্যই প্রথমে ইপেল রিপোজিটরি সংযুক্ত করতে হবে এবং শুধুমাত্র তারপর করতে হবে

yum install libtommath

উবুন্টুতে অতিরিক্ত সংগ্রহস্থল অন্তর্ভুক্ত করার প্রয়োজন নেই, তবে উবুন্টু 16 এবং উবুন্টু 18 প্যাকেজের বিভিন্ন সংস্করণ ইনস্টল করে - যথাক্রমে libtommath0 এবং libtommath1।

Firebird 3.0 tommath.so.0 এর জন্য এবং Ubuntu 18 এর জন্য অতিরিক্তভাবে tommath.so.0 থেকে tommath.so.1 এ একটি লিঙ্ক (symlink) তৈরি করতে হবে। এটি করার জন্য, আপনাকে প্রথমে tommath.so.1 খুঁজে বের করতে হবে।

উবুন্টুতে অনুসন্ধান করা পথ - /usr/lib/x86_64-linux-gnu/, কিন্তু অন্যান্য ডেবিয়ান-ভিত্তিক বিতরণ ভিন্ন হতে পারে।

দ্বিতীয় সমস্যাটি এই বিষয়টির সাথে সম্পর্কিত যে Firebird 3.0.1 পর্যন্ত এবং সহ, দুটি ভিন্ন সার্ভার সংস্করণ ইনস্টল করার কোন সহজ উপায় ছিল না। আপেক্ষিক জটিলতার কারণে আমরা "প্রয়োজনীয় উপসর্গ সহ উৎস থেকে কম্পাইল" বিকল্পটি বিবেচনা করি না।

ফায়ারবার্ড 3.0.2 এবং উচ্চতর প্রয়োগ করা হয়েছে --enable-binreloc দিয়ে তৈরি করুন এবং একটি পৃথক ইনস্টলার বিকল্প (-পথ পথ)।

অনুমান করে যে tommath লাইব্রেরি এবং, যদি প্রয়োজন হয়, tommath.so.0-এর জন্য একটি সিমলিংক সিস্টেমে যোগ করা হয়েছে, আপনি বর্তমান (এই লেখার সময়) ফায়ারবার্ড 3.0.4 বিতরণ ইনস্টল করতে পারেন, উদাহরণস্বরূপ, /opt /fb3:

./install.sh -path /opt/fb3

এর পরে, আপনি ফায়ারবার্ড সিস্টেম পরিষেবা বন্ধ করতে এবং স্ট্রিমিং রূপান্তর শুরু করতে পারেন।

ফায়ারবার্ড বন্ধ করার সময়, মনে রাখবেন যে ক্লাসিক মোডে Firebid 2.5 প্রক্রিয়াগুলি সাধারণত xinetd দ্বারা শুরু হয় - তাই আপনাকে হয় xinetd-এর জন্য firebird পরিষেবা নিষ্ক্রিয় করতে হবে বা xinetd সম্পূর্ণরূপে বন্ধ করতে হবে।

Linux-এ 3.0-এর জন্য firebird.conf-এ, আপনাকে MaxUnflushed প্যারামিটার সেট করতে হবে না (এগুলি শুধুমাত্র উইন্ডোজে কাজ করে) এবং Firebird 2.5 সেটিংস পরিবর্তন করতে হবে।

লিনাক্সে, ফায়ারবার্ড 2.5 এর স্থানীয় (ফাইল) অ্যাক্সেস উইন্ডোজের অধীনে এমবেডেড সংস্করণের সমতুল্য নয় - 2.5 সার্ভারটি জিব্যাক প্রক্রিয়াতে কাজ করবে (নেটওয়ার্কের অংশ ছাড়া), তবে অ্যাক্সেসের অধিকারগুলি ব্যবহারকারী বেসের বিরুদ্ধে পরীক্ষা করা হবে, যার অর্থ শুধুমাত্র একটি লগইন নয়, একটি পাসওয়ার্ডও প্রয়োজন হবে:

export ISC_USER=username ISC_PASSWORD=password
/opt/firebird/bin/gbak -b … база25 stdout
|/opt/fb3/bin/gbak -c … stdin база30

একটি সফল রূপান্তর করার পরে, আপনাকে প্রথমে "অতিরিক্ত" ফায়ারবার্ড 3.0, তারপর "প্রধান" ফায়ারবার্ড 2.5 আনইনস্টল করতে হবে এবং তার পরে Firebird 2.5-এর একটি পরিষ্কার ইনস্টলেশন সম্পাদন করতে হবে - এবং এটি নিয়মিত tar.gz ইনস্টলার থেকে ভাল, এবং এর মাধ্যমে নয়। সংগ্রহস্থল, কারণ. সংগ্রহস্থলের সংস্করণ পিছিয়ে যেতে পারে।

এছাড়াও, লিনাক্সে ডাটাবেস পুনরুদ্ধার এবং পুনরায় ইনস্টল করার পরে, আপনাকে পরীক্ষা করতে হবে যে নতুন ডাটাবেসটি ফায়ারবার্ড ব্যবহারকারীর মালিকানাধীন।

যদি এটি না হয়, তবে এটি সংশোধন করা প্রয়োজন।

chown firebird.firebird database

ফলাফল

সময় এবং ডিস্কের স্থান বাঁচানোর পাশাপাশি, স্ট্রিমিং রূপান্তরের আরেকটি গুরুত্বপূর্ণ সুবিধা রয়েছে - বিদ্যমান ফায়ারবার্ড 2.5 মুছে না দিয়ে ডাটাবেস রূপান্তর করা হয়, যা অসফল রূপান্তরের ক্ষেত্রে রোলব্যাককে ব্যাপকভাবে সহজ করে দেয় (বেশিরভাগ সময় স্থানের অভাব বা মাইগ্রেশনের সময় অপ্রত্যাশিত রিবুটের কারণে) প্রক্রিয়া)।

"ক্লাসিক" রূপান্তরটি "ব্যাকআপ টাইম" প্লাস "রিস্টোর টাইম" হওয়ার কারণে সময় সাশ্রয় হয়। পুনরুদ্ধারের দুটি অংশ রয়েছে: একটি ব্যাকআপ ফাইল থেকে ডেটা পড়া এবং একটি সূচক তৈরি করা।

স্ট্রিমিং রূপান্তরের সাথে, মোট সময় "ব্যাকআপ টাইম প্লাস পাঁচ থেকে দশ শতাংশ" এবং "ইনডেক্স বিল্ডিং টাইম" হিসাবে পাওয়া যায়।

নির্দিষ্ট ফলাফল ডাটাবেসের গঠনের উপর নির্ভর করে, তবে গড়ে, পুনরুদ্ধারের সময়টি ব্যাকআপ সময়ের প্রায় দ্বিগুণ। অতএব, যদি আমরা একটি ইউনিট হিসাবে ব্যাকআপ সময় নিই, তাহলে "ক্লাসিক রূপান্তর" হল সময়ের তিন একক, স্ট্রিমিং হল সময়ের দুই একক। TempCacheLimit বাড়ানোর সময় আরও কমাতে সাহায্য করে।

সাধারণভাবে, অনুশীলনে স্ট্রিমিং রূপান্তর আপনাকে বিকল্প ব্যাকআপ এবং পুনরুদ্ধারের সময় 30-40% সংরক্ষণ করতে দেয়।

প্রশ্ন?

অনুগ্রহ করে মন্তব্যে সমস্ত প্রশ্ন লিখুন, অথবা পদ্ধতির লেখক এবং এই নিবন্ধের সহ-লেখকের কাছে পাঠান - Vasily Sidorov, iBase লিডিং সিস্টেম ইঞ্জিনিয়ার, bs at ibase ru।

শুধুমাত্র নিবন্ধিত ব্যবহারকারীরা জরিপে অংশগ্রহণ করতে পারবেন। সাইন ইন করুনকরুন।

আপনি Firebird এর কোন সংস্করণ ব্যবহার করছেন?

• ফায়ারবার্ড 3.x

• ফায়ারবার্ড 2.5

• ফায়ারবার্ড 2.1

• ফায়ারবার্ড 2.0, 1.5 বা 1.0

16 জন ব্যবহারকারী ভোট দিয়েছেন। ১ জন ব্যবহারকারী বিরত ছিলেন।

উত্স: www.habr.com