"প্রো, কিন্তু একটি ক্লাস্টার নয়" বা কিভাবে আমরা আমদানি করা DBMS প্রতিস্থাপন করেছি

(ts) Yandex.Images

সমস্ত চরিত্র কাল্পনিক, ট্রেডমার্কগুলি তাদের মালিকদের অন্তর্গত, যে কোনও মিল এলোমেলো এবং সাধারণভাবে, এটি আমার "বিষয়ভিত্তিক মূল্যের রায়, অনুগ্রহ করে দরজা ভাঙবেন না..."।

যুক্তি সহ তথ্য সিস্টেমগুলিকে একটি ডাটাবেসে এক ডিবিএমএস থেকে অন্য ডিবিএমএসে স্থানান্তর করার ক্ষেত্রে আমাদের যথেষ্ট অভিজ্ঞতা রয়েছে। 1236 নভেম্বর, 16.11.2016-এর সরকারি ডিক্রি নং XNUMX-এর পরিপ্রেক্ষিতে, এটি প্রায়ই ওরাকল থেকে পোস্টগ্রেস্কএল-এ স্থানান্তর। আমরা আপনাকে আলাদাভাবে বলতে পারি কিভাবে প্রক্রিয়াটিকে যতটা সম্ভব দক্ষতার সাথে এবং ব্যথাহীনভাবে সংগঠিত করা যায়; আজ আমরা একটি ক্লাস্টার ব্যবহারের বৈশিষ্ট্যগুলি এবং পদ্ধতি এবং ফাংশনে জটিল যুক্তি সহ উচ্চ লোডযুক্ত বিতরণ সিস্টেমগুলি তৈরি করার সময় কী সমস্যার সম্মুখীন হতে পারে সে সম্পর্কে কথা বলব।

স্পয়লার - হ্যাঁ, ক্যাপ, আরএসি এবং পিজি মাল্টিমাস্টার খুব আলাদা সমাধান।

ধরা যাক আপনি ইতিমধ্যেই plsql থেকে pgsql-এ সমস্ত যুক্তি স্থানান্তর করেছেন। এবং আপনার রিগ্রেশন পরীক্ষাগুলি বেশ ঠিক আছে, এখন অবশ্যই আপনি স্কেলিং সম্পর্কে চিন্তা করছেন, কারণ ... লোড পরীক্ষাগুলি আপনাকে খুব খুশি করে না, বিশেষ করে হার্ডওয়্যারে যা মূলত প্রকল্পে অন্তর্ভুক্ত ছিল, সেই ভিন্ন ডিবিএমএসের জন্য। ধরা যাক আপনি গার্হস্থ্য বিক্রেতা "পোস্টগ্রেস প্রফেশনাল" এর কাছ থেকে "মাল্টিমাস্টার" নামক একটি বিকল্পের সাথে একটি সমাধান পেয়েছেন, যা শুধুমাত্র "পোস্টগ্রেস প্রো এন্টারপ্রাইজ" এর "সর্বোচ্চ" সংস্করণে পাওয়া যায় এবং বর্ণনা অনুসারে - এটি কিসের সাথে খুব মিল। আপনার প্রয়োজন, এবং প্রথম সুপারফিশিয়াল অধ্যয়নের সাথে আমার মাথায় চিন্তাটি আসবে: “ওহ! আরএসি-এর বদলে এটাই! এমনকি আমাদের জন্মভূমিতে একটি প্রযুক্তিগত পাইপলাইন সহ!

তবে আনন্দ করার জন্য তাড়াহুড়ো করবেন না, এবং আরও আমরা বর্ণনা করব কেন আপনার এই সূক্ষ্মতাগুলি জানা দরকার, কারণ ... পণ্যের ডকুমেন্টেশন পুঙ্খানুপুঙ্খভাবে পড়ার পরেও তাদের ভবিষ্যদ্বাণী করা কঠিন। আপনি প্রায়শই উত্পাদন সাইটে সরাসরি DBMS সংস্করণ আপডেট করতে প্রস্তুত কিনা মূল্যায়ন করুন, কারণ কিছু ত্রুটি শিল্প ব্যবহারের সাথে সামঞ্জস্যপূর্ণ নয় এবং পরীক্ষার সময় সনাক্ত করা কঠিন।
প্রস্তুতকারকের ওয়েবসাইটে "মাল্টিমাস্টার" - "সীমাবদ্ধতা" বিভাগটি সাবধানে পড়ে শুরু করুন।

আপনি প্রথম যে জিনিসটির সম্মুখীন হতে পারেন তা হল তথাকথিতভাবে লেনদেন কীভাবে কাজ করে তার বিশেষত্ব। "টু-ফেজ" মোড, এবং কখনও কখনও আপনার পদ্ধতির সম্পূর্ণ যুক্তি পুনরায় লেখা ছাড়া এটি ঠিক করার কোন উপায় নেই। এখানে একটি সহজ উদাহরণ:

create table test1 (id integer, id1 integer);
insert into test1 values (1, 1),(1, 2);
 
ALTER TABLE test1 ADD CONSTRAINT test1_uk UNIQUE (id,id1) DEFERRABLE INITIALLY DEFERRED;
 
update test1
           set id1 =
               case id1
                 when 1
                 then 2
                 else id1 - sign(2 - 1)
               end
         where id1 between 1 and 2;

একটি ত্রুটি ঘটে:

ОШИБКА:  [MTM] Transaction MTM-1-2435-10-605783555137701 (10654) is aborted on node 3. Check its log to see error details.

তারপরে আপনি 10.5, 10.6 সংস্করণে ডেড লকের সাথে দীর্ঘ সময়ের জন্য লড়াই করতে পারেন এবং ক্লাস্টারের পুরো সারমর্মকে হত্যা করে এমন একমাত্র পরিচিত সমাধান হল ক্লাস্টার থেকে "সমস্যা" টেবিলগুলি সরিয়ে ফেলা, যেমন। make_table_local করুন, তবে এটি অন্তত এটিকে কাজ করার অনুমতি দেবে এবং লেনদেন কমিটের জন্য অপেক্ষা করার কারণে সবকিছু আটকে রাখবে না। ঠিক আছে, বা সংস্করণ 11.2-এ একটি আপডেট ইনস্টল করুন, যা সাহায্য করবে, কিন্তু হতে পারে না, চেক করতে ভুলবেন না।

কিছু সংস্করণে আপনি আরও রহস্যময় লক পেতে পারেন:

username= mtm и backend_type = background worker

এবং এই পরিস্থিতিতে, শুধুমাত্র 11.2 এবং উচ্চতর DBMS সংস্করণ আপডেট করা আপনাকে সাহায্য করবে, বা এটি সাহায্য করবে না।

সূচী সহ কিছু ক্রিয়াকলাপ ত্রুটির কারণ হতে পারে, যা স্পষ্টভাবে নির্দেশ করে যে সমস্যাটি দ্বি-দিকনির্দেশীয় প্রতিলিপিতে; আপনি সরাসরি MTM লগগুলিতে BDR দেখতে পাবেন। এটা কি সত্যিই 2nd Quadrant? না... আমরা একটি মাল্টিমাস্টার কিনেছি, এটি কেবল একটি কাকতালীয়, এটি প্রযুক্তির নাম।

[MTM] bdr doesn't support index rechecks
[MTM] 12124: REMOTE begin abort transaction 4083
[MTM] 12124: send ABORT notification for transaction  (5467) local xid=4083 to coordinator 3
[MTM] Receive ABORT_PREPARED logical message for transaction MTM-3-25030-83-605694076627780 from node 3
[MTM] Abort prepared transaction MTM-3-25030-83-605694076627780 status InProgress from node 3 originId=3
[MTM] MtmLogAbortLogicalMessage node=3 transaction=MTM-3-25030-83-605694076627780 lsn=9fff448 

আপনি যদি আশ্বাস সত্ত্বেও অস্থায়ী টেবিল ব্যবহার করেন: “মাল্টিমাস্টার এক্সটেনশন সম্পূর্ণ স্বয়ংক্রিয় পদ্ধতিতে ডেটা প্রতিলিপি সম্পাদন করে। আপনি একই সাথে লিখিত লেনদেন সম্পাদন করতে পারেন এবং ক্লাস্টারের যেকোনো নোডে অস্থায়ী টেবিলের সাথে কাজ করতে পারেন।"

তারপর আসলে আপনি পাবেন যে পদ্ধতিতে ব্যবহৃত সমস্ত টেবিল জুড়ে প্রতিলিপি কাজ করে না, যদি কোডটিতে একটি অস্থায়ী টেবিল তৈরি করা থাকে এবং এমনকি multimaster.remote_functions ব্যবহার করাও সাহায্য করবে না, তাহলে আপনাকে আপনার যুক্তি আপডেট করতে হবে বা পুনরায় লিখতে হবে কার্যপ্রণালী. আপনি যদি "Postgres Pro Enterprise" v 10.5 এর কাঠামোর মধ্যে একই সাথে দুটি এক্সটেনশন মাল্টিমাস্টার এবং pg_pathman ব্যবহার করতে চান, তাহলে এই সাধারণ উদাহরণের মাধ্যমে তা পরীক্ষা করুন:

CREATE TABLE measurement (
    city_id         int not null,
    logdate         date not null,
    peaktemp        int,
    unitsales       int
) PARTITION BY RANGE (logdate);

CREATE TABLE measurement_y2019m06 PARTITION OF measurement FOR VALUES FROM ('2019-06-01') TO ('2019-07-01');
insert into measurement values (1, to_date('27.06.2019', 'dd.mm.yyyy'), 1, 1);
insert into measurement values (2, to_date('28.06.2019', 'dd.mm.yyyy'), 1, 1);
insert into measurement values (3, to_date('29.06.2019', 'dd.mm.yyyy'), 1, 1);
insert into measurement values (4, to_date('30.06.2019', 'dd.mm.yyyy'), 1, 1);

নিম্নলিখিত ত্রুটিগুলি DBMS নোডের লগগুলিতে প্রদর্শিত হতে শুরু করে:

…
 PATHMAN_CONFIG doesn't contain relation 23245
> find_in_dynamic_libpath: trying "/opt/…/ent-10/lib/pg_pathman"
> find_in_dynamic_libpath: trying "/opt//…/ent-10/lib/pg_pathman.so"
> ОТЛАДКА:  find_in_dynamic_libpath: trying "/opt/…/ent-10/lib/pg_pathman"
> find_in_dynamic_libpath: trying "/opt/…/ent-10/lib/pg_pathman.so"
> PrepareTransaction(1) name: unnamed; blockState: PREPARE; state: INPROGR, xid/subid/cid: 6919/1/40
> StartTransaction(1) name: unnamed; blockState: DEFAULT; state: INPROGR, xid/subid/cid: 0/1/0
> switched to timeline 1 valid until 0/0
…
Transaction MTM-1-13604-7-612438856339841 (6919) is aborted on node 2. Check its log to see error details.
...
[MTM] 28295: REMOTE begin abort transaction 7017
…
[MTM] 28295: send ABORT notification for transaction  (6919) local xid=7017 to coordinator 1

প্রযুক্তিগত সহায়তায় এই ত্রুটিগুলি কী তা আপনি খুঁজে পেতে পারেন, আপনি এটি কিনেছেন তা নিরর্থক নয়।

কি করো? ঠিক! "Postgres Pro Enterprise" v 11.2 এ আপগ্রেড করুন

আলাদাভাবে, আপনাকে জানতে হবে যে সিকোয়েন্স, একটি প্রতিলিপিকৃত ডাটাবেসের একটি অবজেক্ট হওয়ায়, ক্লাস্টার জুড়ে শেষ থেকে শেষের মান নেই, প্রতিটি ক্রম প্রতিটি নোডের জন্য স্থানীয় এবং যদি আপনার অনন্য সীমাবদ্ধতা সহ ক্ষেত্র থাকে এবং ক্রম ব্যবহার করে, তারপর আপনি শুধুমাত্র ক্লাস্টারে নোড সংখ্যার সমতুল্য একটি বৃদ্ধি করতে পারেন, কারণ ক্লাস্টারে যতগুলি নোড সম্ভব, ক্রম এবং int আপনার প্রত্যাশার চেয়ে দ্রুত বৃদ্ধি পাবে। প্রোডাক্টে সিকোয়েন্সের সাথে কাজ করা সহজ করার জন্য আপনি alter_sequences ফাংশনটিও পাবেন, যা সমস্ত নোডের প্রতিটি সিকোয়েন্সের জন্য প্রয়োজনীয় ইনক্রিমেন্ট তৈরি করবে, কিন্তু প্রস্তুত থাকুন যে ফাংশনটি সমস্ত সংস্করণে কাজ করবে না। অবশ্যই, আপনি নিজেই এটি লিখতে পারেন, একটি ভিত্তি হিসাবে গিথুব থেকে কোড ব্যবহার করে বা সরাসরি ডিবিএমএসে নিজেই এটি সংশোধন করতে পারেন। এই ক্ষেত্রে, সিরিয়ালবিগসিরিয়াল টাইপ সহ ক্ষেত্রগুলি আরও সঠিকভাবে কাজ করবে, তবে সেগুলি ব্যবহার করার জন্য, সম্ভবত আপনাকে আপনার পদ্ধতি এবং ফাংশনগুলির কোডটি পুনরায় লিখতে হবে। সম্ভবত কেউ monotonic_sequences ফাংশন দরকারী খুঁজে পাবেন.

পোস্টগ্রেস প্রো এন্টারপ্রাইজের 11.2 সংস্করণের আগে, প্রতিলিপি শুধুমাত্র তখনই কাজ করবে যদি সেখানে অনন্য প্রাথমিক কী থাকে, বিকাশ করার সময় এটি বিবেচনায় রাখুন।

আলাদাভাবে, আমি একটি ক্লাস্টার সমাধানে npgsql কীভাবে কাজ করে তার বিশেষত্ব উল্লেখ করতে চাই; এই সমস্যাগুলি একটি একক নোডে উদ্ভূত হয় না, তবে একটি মাল্টিমাস্টারে বেশ উপস্থিত থাকে।
কিছু সংস্করণে আপনি একটি ত্রুটির সম্মুখীন হতে পারেন:

Exception Details: Npgsql.PostgresException: 25001: команда SET TRANSACTION ISOLATION LEVEL 
Description: An unhandled exception occurred during the execution of the current web request. Please review the stack trace for more information about the error and where it originated in the code. 

কি করা যেতে পারে? আপনাকে শুধু কিছু সংস্করণ ব্যবহার করতে হবে না। তাদের জানতে হবে, কারণ... ত্রুটিটি একাধিক সংস্করণে প্রদর্শিত হয় এবং এমনকি এটির প্রথম সংশোধনের পরেও, আপনি পরে এটির সম্মুখীন হতে পারেন৷ এছাড়াও আপনাকে এর জন্য প্রস্তুত থাকতে হবে এবং পৃথক রিগ্রেশন পরীক্ষার মাধ্যমে প্রস্তুতকারকের দ্বারা চিহ্নিত সমস্ত ডিবিএমএস ত্রুটিগুলিকে কভার করা ভাল। তাই কথা বলতে, বিশ্বাস করুন, কিন্তু যাচাই করুন।

যদি অ্যাপ্লিকেশনটি npgsql ব্যবহার করে এবং নোডগুলির মধ্যে স্যুইচ করে মনে করে যে তারা সব একই, তাহলে আপনি একটি ত্রুটি পেতে পারেন:

EXCEPTION:Npgsql.PostgresException (0x80004005): XX000: cache lookup failed for type ...

এই ত্রুটিটি ঘটবে কারণ বাইন্ডিং চলছে

(NpgsqlConnection.GlobalTypeMapper.MapComposite<SomeType>("some_composite_type");) 

সমস্ত সংযোগের জন্য অ্যাপ্লিকেশন স্টার্টআপে যৌগিক প্রকার। ফলস্বরূপ, আমরা একটি নোড থেকে একটি শনাক্তকারী পাই এবং অন্য নোডে অনুরোধ করার সময়, এটি মেলে না, যার ফলস্বরূপ একটি ত্রুটি ফিরে আসে, যেমন একটি ক্লাস্টারে যৌগিক প্রকারের সাথে স্বচ্ছভাবে কাজ করা কিছু অ্যাপ্লিকেশনের জন্য অতিরিক্ত অ্যাপ্লিকেশন-সাইড পুনর্লিখন ছাড়া সম্ভব হবে না (যদি আপনি এটি পরিচালনা করেন)।

আমরা সবাই জানি, অপারেশন চলাকালীন ডায়াগনস্টিকস এবং অপারেশনাল ব্যবস্থাগুলির জন্য ক্লাস্টারের অবস্থার একটি সামগ্রিক মূল্যায়ন খুবই গুরুত্বপূর্ণ, পণ্যটিতে আপনি এমন কিছু ফাংশন খুঁজে পেতে পারেন যা আপনার জীবনকে সহজ করে তুলবে, তবে কখনও কখনও তারা কি থেকে সম্পূর্ণ ভিন্ন কিছু দিতে পারে। আপনি এবং এমনকি নির্মাতা নিজেই তাদের কাছ থেকে আপনি আশা করছেন।

উদাহরণস্বরূপ:

select mtm.collect_cluster_info();
на каждой ноде выдает одинаковый результат:
(1,Online,0,0,0,2,3,0,0,0,1,0,0,1,1,3,7,0,0,0,"2018-10-31 05:33:06")
(2,Online,0,0,0,2,3,0,0,0,1,0,0,1,1,3,7,0,0,0,"2018-10-31 05:33:06")
(3,Online,0,0,0,2,3,0,0,0,1,0,0,1,1,3,7,0,0,0,"2018-10-31 05:33:09")

কিন্তু কেন LiveNodes ফিল্ডে সর্বত্র 2 নম্বর থাকে, যদিও মাল্টিমাস্টারের অপারেশনের বর্ণনা অনুসারে এটি AllNodes=3 নম্বরের সাথে মিলে যায়? উত্তর: আপনাকে DBMS সংস্করণ আপডেট করতে হবে।

এবং সমস্ত নোডের জন্য লগ সংগ্রহ করতে প্রস্তুত থাকুন, কারণ... সাধারণত আপনি দেখতে পাবেন "ত্রুটিটি অন্য নোডের লগে রয়েছে।" প্রযুক্তিগত সহায়তা আপনার সনাক্ত করা সমস্ত ত্রুটিগুলি গ্রহণ করবে এবং আপনাকে জানিয়ে দেবে যে পরবর্তী সংস্করণটি প্রস্তুত, যা কখনও কখনও পরিষেবা বন্ধ করার সাথে সাথে ইনস্টল করা প্রয়োজন, কখনও কখনও দীর্ঘ সময়ের জন্য (আপনার DBMS এর আকারের উপর নির্ভর করে)। আপনার আশা করা উচিত নয় যে অপারেশনাল সমস্যাগুলি বিক্রেতাকে ব্যাপকভাবে বিরক্ত করবে, এবং চিহ্নিত ত্রুটিগুলির কারণে আপডেটটি বিক্রেতার প্রতিনিধিদের অংশগ্রহণের সাথে সম্পাদিত হবে, অথবা বরং, আপনাকে বিক্রেতার প্রতিনিধিদের জড়িত করার দরকার নেই, যেহেতু শেষ আপনি ব্যাকআপ ছাড়াই উত্পাদনে একটি বিচ্ছিন্ন ক্লাস্টার দিয়ে শেষ করতে পারেন।

প্রকৃতপক্ষে, একটি বাণিজ্যিক পণ্যের লাইসেন্সে, প্রস্তুতকারক সততার সাথে সতর্ক করে: "এই সফ্টওয়্যারটি "যেমন আছে" ভিত্তিতে সরবরাহ করা হয়েছে এবং পোস্টগ্রেস প্রফেশনাল লিমিটেড দায়বদ্ধতা কোম্পানি রক্ষণাবেক্ষণ, সহায়তা, আপডেট, এক্সটেনশন বা পরিবর্তনগুলি প্রদান করতে বাধ্য নয়৷

আপনি যদি এখনও অনুমান না করে থাকেন যে আমরা কোন পণ্যটির কথা বলছি, তবে এই সমস্ত অভিজ্ঞতা পোস্টগ্রেস প্রো এন্টারপ্রাইজ ডাটাবেসের বছরব্যাপী অপারেশনের ফলস্বরূপ অর্জিত হয়েছিল। আপনি নিজের উপসংহার টানতে পারেন, এটি এতই স্যাঁতসেঁতে যে মাশরুমগুলি বেড়ে যায়।

তবে এটি এতটা খারাপ হবে না যদি এটি সময়মতো করা হয় এবং অবিলম্বে উদীয়মান সমস্যাগুলি দূর করা যায়।

কিন্তু এই অবিকল কি ঘটবে না. স্পষ্টতই চিহ্নিত বাগগুলিকে অবিলম্বে নির্মূল করার জন্য প্রস্তুতকারকের কাছে পর্যাপ্ত সংস্থান নেই৷

শুধুমাত্র নিবন্ধিত ব্যবহারকারীরা জরিপে অংশগ্রহণ করতে পারবেন। সাইন ইন করুনকরুন।

আপনার কি বিদেশী/মালিকানা ডিবিএমএস থেকে বিনামূল্যে/দেশীয় ডিবিএমএসে পরিবর্তন করার অভিজ্ঞতা আছে?

• ৮০%হ্যাঁ, ইতিবাচক10

• ৮০%হ্যাঁ, নেতিবাচক5

• ৮০%না, ডিবিএমএস পরিবর্তন করা হয়নি10

• ৮০%DBMS পরিবর্তিত হয়েছে, কিন্তু কিছুই পরিবর্তিত হয়েছে2

• ৮০%ফলাফল দেখুন20

47 জন ব্যবহারকারী ভোট দিয়েছেন। 12 জন ব্যবহারকারী বিরত ছিলেন।

উত্স: www.habr.com