"प्रो, तर क्लस्टर होइन" वा हामीले आयातित DBMS कसरी प्रतिस्थापन गर्यौं

(ts) Yandex.Images

सबै क्यारेक्टरहरू काल्पनिक हुन्, ट्रेडमार्कहरू तिनीहरूका मालिकहरूसँग सम्बन्धित छन्, कुनै समानताहरू अनियमित छन् र सामान्यतया, यो मेरो "व्यक्तिगत मूल्य निर्णय हो, कृपया ढोका नतोड्नुहोस् ..."।

हामीसँग तर्कसंगत सूचना प्रणालीहरूलाई एक DBMS बाट अर्को डाटाबेसमा स्थानान्तरण गर्ने पर्याप्त अनुभव छ। नोभेम्बर 1236, 16.11.2016 को सरकारी डिक्री नम्बर XNUMX को सन्दर्भमा, यो प्राय: Oracle बाट Postgresql मा स्थानान्तरण हो। हामी तपाईंलाई कसरी सम्भव भएसम्म प्रभावकारी र पीडारहित प्रक्रियालाई व्यवस्थित गर्ने भनेर छुट्टै बताउन सक्छौं; आज हामी क्लस्टर प्रयोग गर्ने सुविधाहरूको बारेमा कुरा गर्नेछौं र प्रक्रिया र कार्यहरूमा जटिल तर्कको साथ अत्यधिक लोड वितरण प्रणालीहरू निर्माण गर्दा के समस्याहरू सामना गर्न सकिन्छ।

स्पोइलर - हो, क्याप, आरएसी र पीजी मल्टिमास्टर धेरै फरक समाधानहरू हुन्।

मानौं तपाईंले पहिले नै सबै तर्कहरू plsql बाट pgsql मा स्थानान्तरण गरिसक्नुभएको छ। र तपाइँको रिग्रेसन परीक्षणहरू एकदम ठीक छ, अब पक्कै पनि तपाइँ स्केलिंगको बारेमा सोच्दै हुनुहुन्छ, किनभने ... लोड परीक्षणहरूले तपाईंलाई धेरै खुसी बनाउँदैन, विशेष गरी हार्डवेयरमा जुन परियोजनामा ​​मूल रूपमा समावेश गरिएको थियो, त्यो धेरै फरक DBMS को लागि। मानौं तपाईले घरेलु विक्रेता "पोस्टग्रेस प्रोफेशनल" बाट "मल्टीमास्टर" नामक विकल्पको साथ समाधान फेला पार्नुभयो, जुन "पोस्टग्रेस प्रो इन्टरप्राइज" को "अधिकतम" संस्करणमा मात्र उपलब्ध छ र वर्णन अनुसार - यो केसँग धेरै मिल्दोजुल्दो छ। तपाईलाई चाहिन्छ, र पहिलो सतही अध्ययनको साथ मेरो दिमागमा यो विचार आयो: "ओह! RAC को सट्टा यो हो! र हाम्रो मातृभूमिमा प्राविधिक पाइपलाइनको साथ पनि! ”

तर रमाइलो गर्न हतार नगर्नुहोस्, र थप हामी वर्णन गर्नेछौं किन तपाईंले यी बारीकताहरू जान्न आवश्यक छ, किनभने ... उत्पादन कागजातहरू राम्ररी पढेपछि पनि तिनीहरू भविष्यवाणी गर्न गाह्रो छन्। तपाईं उत्पादन साइटमा सीधा DBMS संस्करणहरू बारम्बार अद्यावधिक गर्न तयार हुनुहुन्छ कि भनेर मूल्याङ्कन गर्नुहोस्, किनभने केही दोषहरू औद्योगिक प्रयोगसँग मिल्दो छैनन् र परीक्षणको क्रममा पत्ता लगाउन गाह्रो हुन्छ।
निर्माताको वेबसाइटमा रहेको "मल्टीमास्टर" - "सीमाहरू" खण्डलाई ध्यानपूर्वक पढेर सुरू गर्नुहोस्।

तपाईंले सामना गर्न सक्नुहुने पहिलो कुरा भनेको लेनदेनले कसरी काम गर्छ भन्ने कुराको विशेषता हो। "दुई-चरण" मोड, र कहिलेकाहीँ तपाइँको प्रक्रियाको सम्पूर्ण तर्क पुन: लेखेर बाहेक यसलाई ठीक गर्ने कुनै तरिका छैन। यहाँ एउटा सरल उदाहरण हो:

create table test1 (id integer, id1 integer);
insert into test1 values (1, 1),(1, 2);
 
ALTER TABLE test1 ADD CONSTRAINT test1_uk UNIQUE (id,id1) DEFERRABLE INITIALLY DEFERRED;
 
update test1
           set id1 =
               case id1
                 when 1
                 then 2
                 else id1 - sign(2 - 1)
               end
         where id1 between 1 and 2;

एउटा त्रुटि हुन्छ:

ОШИБКА:  [MTM] Transaction MTM-1-2435-10-605783555137701 (10654) is aborted on node 3. Check its log to see error details.

त्यसपछि तपाइँ 10.5, 10.6 संस्करणहरूमा डेड लकसँग लामो समयसम्म लड्न सक्नुहुन्छ, र क्लस्टरको सम्पूर्ण सारलाई मार्ने एक मात्र ज्ञात समाधान क्लस्टरबाट "समस्या" तालिकाहरू हटाउनु हो, अर्थात्। make_table_local गर्नुहोस्, तर यसले कम्तिमा यसलाई काम गर्न अनुमति दिनेछ, र लेनदेन कमिटहरूको लागि पर्खिरहेको ह्याङ्गिङको कारणले सबै कुरालाई होल्डमा राख्ने छैन। ठीक छ, वा संस्करण 11.2 मा अपडेट स्थापना गर्नुहोस्, जसले मद्दत गर्नुपर्छ, तर हुनसक्दैन, जाँच गर्न नबिर्सनुहोस्।

केहि संस्करणहरूमा तपाइँ अझ रहस्यमय लक प्राप्त गर्न सक्नुहुन्छ:

username= mtm и backend_type = background worker

र यस अवस्थामा, केवल 11.2 र उच्च मा DBMS संस्करण अपडेट गर्नाले तपाईंलाई मद्दत गर्नेछ, वा हुनसक्छ यसले मद्दत गर्दैन।

अनुक्रमणिकाको साथ केही अपरेशनहरूले त्रुटिहरू निम्त्याउन सक्छ, जसले स्पष्ट रूपमा संकेत गर्दछ कि समस्या द्वि-दिशात्मक प्रतिकृतिमा छ; तपाईंले सीधै MTM लगहरूमा BDR देख्नुहुनेछ। यो साँच्चै 2ndQuadrant? होइन... हामीले मल्टिमास्टर किनेका छौं, यो संयोग मात्र हो, यो प्रविधिको नाम हो।

[MTM] bdr doesn't support index rechecks
[MTM] 12124: REMOTE begin abort transaction 4083
[MTM] 12124: send ABORT notification for transaction  (5467) local xid=4083 to coordinator 3
[MTM] Receive ABORT_PREPARED logical message for transaction MTM-3-25030-83-605694076627780 from node 3
[MTM] Abort prepared transaction MTM-3-25030-83-605694076627780 status InProgress from node 3 originId=3
[MTM] MtmLogAbortLogicalMessage node=3 transaction=MTM-3-25030-83-605694076627780 lsn=9fff448 

यदि तपाइँ अस्थायी तालिकाहरू प्रयोग गर्दै हुनुहुन्छ भने, आश्वासनहरूको बावजुद: "मल्टीमास्टर एक्सटेन्सनले पूर्ण रूपमा स्वचालित रूपमा डेटा प्रतिकृति प्रदर्शन गर्दछ। तपाइँ एकै साथ लेखन लेनदेन गर्न सक्नुहुन्छ र क्लस्टरको कुनै पनि नोडमा अस्थायी तालिकाहरूसँग काम गर्न सक्नुहुन्छ।"

त्यसोभए वास्तवमा तपाईले प्राप्त गर्नुहुनेछ कि प्रक्रियामा प्रयोग गरिएका सबै तालिकाहरूमा प्रतिकृतिले काम गर्दैन, यदि कोडले अस्थायी तालिकाको सिर्जना समावेश गर्दछ, र multimaster.remote_functions प्रयोग गर्दा पनि मद्दत गर्दैन, तपाईले आफ्नो तर्कलाई अद्यावधिक वा पुन: लेख्नुपर्नेछ। प्रक्रिया। यदि तपाइँ पोस्टग्रेस प्रो इन्टरप्राइज v 10.5 भित्र दुईवटा विस्तारहरू मल्टिमास्टर र pg_pathman एक साथ प्रयोग गर्न आवश्यक छ भने, त्यसपछि यो सरल उदाहरणको साथ जाँच गर्नुहोस्:

CREATE TABLE measurement (
    city_id         int not null,
    logdate         date not null,
    peaktemp        int,
    unitsales       int
) PARTITION BY RANGE (logdate);

CREATE TABLE measurement_y2019m06 PARTITION OF measurement FOR VALUES FROM ('2019-06-01') TO ('2019-07-01');
insert into measurement values (1, to_date('27.06.2019', 'dd.mm.yyyy'), 1, 1);
insert into measurement values (2, to_date('28.06.2019', 'dd.mm.yyyy'), 1, 1);
insert into measurement values (3, to_date('29.06.2019', 'dd.mm.yyyy'), 1, 1);
insert into measurement values (4, to_date('30.06.2019', 'dd.mm.yyyy'), 1, 1);

निम्न त्रुटिहरू DBMS नोडहरूमा लगहरूमा देखा पर्न थाल्छन्:

…
 PATHMAN_CONFIG doesn't contain relation 23245
> find_in_dynamic_libpath: trying "/opt/…/ent-10/lib/pg_pathman"
> find_in_dynamic_libpath: trying "/opt//…/ent-10/lib/pg_pathman.so"
> ОТЛАДКА:  find_in_dynamic_libpath: trying "/opt/…/ent-10/lib/pg_pathman"
> find_in_dynamic_libpath: trying "/opt/…/ent-10/lib/pg_pathman.so"
> PrepareTransaction(1) name: unnamed; blockState: PREPARE; state: INPROGR, xid/subid/cid: 6919/1/40
> StartTransaction(1) name: unnamed; blockState: DEFAULT; state: INPROGR, xid/subid/cid: 0/1/0
> switched to timeline 1 valid until 0/0
…
Transaction MTM-1-13604-7-612438856339841 (6919) is aborted on node 2. Check its log to see error details.
...
[MTM] 28295: REMOTE begin abort transaction 7017
…
[MTM] 28295: send ABORT notification for transaction  (6919) local xid=7017 to coordinator 1

तपाइँ प्राविधिक समर्थनमा यी त्रुटिहरू के हो भनेर पत्ता लगाउन सक्नुहुन्छ, यो बेकार छैन कि तपाइँ यसलाई किन्नु भयो।

के गर्ने? सहि ! "Postgres Pro Enterprise" v 11.2 मा अपग्रेड गर्नुहोस्

अलग रूपमा, तपाइँलाई जान्न आवश्यक छ कि अनुक्रम, एक प्रतिकृति डाटाबेस को एक वस्तु भएकोले, क्लस्टर मा अन्त देखि अन्त मान छैन, प्रत्येक अनुक्रम प्रत्येक नोड को लागी स्थानीय छ र यदि तपाइँसँग अद्वितीय प्रतिबन्ध र प्रयोग अनुक्रम संग क्षेत्र छ भने, त्यसोभए तपाईले केवल क्लस्टरमा नोड नम्बरको बराबर वृद्धि गर्न सक्नुहुन्छ, किनभने क्लस्टरमा सकेसम्म धेरै नोडहरू, अनुक्रम र int तपाईंले अपेक्षा गरेभन्दा छिटो बढ्नेछ। उत्पादनमा अनुक्रमसँग काम गर्न सरल बनाउन तपाईंले alter_sequences प्रकार्य पनि फेला पार्नुहुनेछ, जसले सबै नोडहरूमा प्रत्येक अनुक्रमको लागि आवश्यक वृद्धिहरू गर्नेछ, तर तयार रहनुहोस् कि प्रकार्यले सबै संस्करणहरूमा काम गर्दैन। निस्सन्देह, तपाइँ यसलाई आफैले लेख्न सक्नुहुन्छ, आधारको रूपमा github बाट कोड प्रयोग गरेर वा DBMS मा सिधै यसलाई सुधार्नुहोस्। यस अवस्थामा, serialbigserial प्रकारका क्षेत्रहरूले अझ सही रूपमा काम गर्नेछ, तर तिनीहरूलाई प्रयोग गर्न, प्राय: तपाईंले आफ्नो प्रक्रिया र कार्यहरूको कोड पुन: लेख्न आवश्यक हुनेछ। सायद कसैले monotonic_sequences प्रकार्य उपयोगी पाउनुहुनेछ।

Postgres Pro Enterprise को संस्करण 11.2 अघि, प्रतिकृतिले मात्र काम गर्नेछ यदि त्यहाँ अद्वितीय प्राथमिक कुञ्जीहरू छन्, विकास गर्दा यसलाई ध्यानमा राख्नुहोस्।

अलग रूपमा, म npgsql ले क्लस्टर समाधानमा कसरी काम गर्छ भन्ने विशेषताहरू उल्लेख गर्न चाहन्छु; यी समस्याहरू एकल नोडमा उत्पन्न हुँदैनन्, तर मल्टिमास्टरमा धेरै उपस्थित हुन्छन्।
केही संस्करणहरूमा तपाईंले त्रुटि सामना गर्न सक्नुहुन्छ:

Exception Details: Npgsql.PostgresException: 25001: команда SET TRANSACTION ISOLATION LEVEL 
Description: An unhandled exception occurred during the execution of the current web request. Please review the stack trace for more information about the error and where it originated in the code. 

के गर्न सकिन्छ? तपाईले केहि संस्करणहरू प्रयोग गर्नुपर्दैन। तपाईंले तिनीहरूलाई चिन्नुपर्छ, किनभने... त्रुटि एक भन्दा बढी संस्करणहरूमा देखा पर्दछ, र यसको पहिलो समाधान पछि पनि, तपाईंले पछि सामना गर्न सक्नुहुन्छ। तपाईं पनि यसको लागि तयार हुन आवश्यक छ र सबै पहिचान गरिएका DBMS दोषहरू ढाक्नु राम्रो हुन्छ जुन अलग-अलग रिग्रेसन परीक्षणहरूद्वारा निर्माताद्वारा सच्याइन्छ। त्यसैले बोल्नुहोस्, विश्वास गर्नुहोस्, तर प्रमाणित गर्नुहोस्।

यदि एप्लिकेसनले npgsql प्रयोग गर्छ र नोडहरू बीचमा स्विच गर्छ कि तिनीहरू सबै उस्तै छन् भन्ने सोचेर, त्यसपछि तपाईंले त्रुटि पाउन सक्नुहुन्छ:

EXCEPTION:Npgsql.PostgresException (0x80004005): XX000: cache lookup failed for type ...

यो त्रुटि देखा पर्नेछ किनभने बाइन्डिङ प्रगतिमा छ

(NpgsqlConnection.GlobalTypeMapper.MapComposite<SomeType>("some_composite_type");) 

सबै जडानहरूको लागि अनुप्रयोग स्टार्टअपमा समग्र प्रकारहरू। नतिजाको रूपमा, हामीले एउटा नोडबाट एक पहिचानकर्ता पाउँछौं, र अर्को नोडमा अनुरोध गर्दा, यो मेल खाँदैन, जसको परिणाम स्वरूप त्रुटि फिर्ता हुन्छ, अर्थात्। क्लस्टरमा कम्पोजिट प्रकारहरूसँग पारदर्शी रूपमा काम गर्नु केही अनुप्रयोगहरूको लागि अतिरिक्त अनुप्रयोग-साइड पुन:लेखन बिना सम्भव हुनेछैन (यदि तपाईंले त्यसो गर्न प्रबन्ध गर्नुभयो भने)।

हामी सबैलाई थाहा छ, क्लस्टरको अवस्थाको समग्र मूल्याङ्कन अपरेशनको क्रममा निदान र परिचालन उपायहरूको लागि धेरै महत्त्वपूर्ण छ, उत्पादनमा तपाईंले केहि प्रकार्यहरू फेला पार्न सक्नुहुन्छ जसले तपाईंको जीवनलाई सजिलो बनाउनुपर्दछ, तर कहिलेकाहीँ तिनीहरूले के भन्दा पूर्ण रूपमा फरक दिन सक्छन्। तपाईं र निर्माता आफैंले पनि तिनीहरूबाट तपाईंले अपेक्षा गरिरहनुभएको छ।

उदाहरणका लागि:

select mtm.collect_cluster_info();
на каждой ноде выдает одинаковый результат:
(1,Online,0,0,0,2,3,0,0,0,1,0,0,1,1,3,7,0,0,0,"2018-10-31 05:33:06")
(2,Online,0,0,0,2,3,0,0,0,1,0,0,1,1,3,7,0,0,0,"2018-10-31 05:33:06")
(3,Online,0,0,0,2,3,0,0,0,1,0,0,1,1,3,7,0,0,0,"2018-10-31 05:33:09")

तर किन LiveNodes फिल्डले जताततै नम्बर 2 समावेश गर्दछ, यद्यपि मल्टिमास्टरको सञ्चालनको विवरण अनुसार यो AllNodes=3 नम्बरसँग मेल खान्छ? जवाफ: तपाईंले DBMS संस्करण अद्यावधिक गर्न आवश्यक छ।

र सबै नोडहरूको लागि लगहरू सङ्कलन गर्न तयार हुनुहोस्, किनभने... सामान्यतया तपाईले देख्नुहुनेछ "त्रुटि अर्को नोडको लगमा छ।" प्राविधिक समर्थनले तपाईंले पहिचान गर्नुभएका सबै दोषहरू स्वीकार गर्नेछ र अर्को संस्करण तयार छ भनी तपाईंलाई सूचित गर्नेछ, जुन कहिलेकाहीँ सेवा बन्द भएपछि, कहिलेकाहीँ लामो समयसम्म (तपाईंको DBMS को आकारमा निर्भर गर्दै) स्थापना गर्न आवश्यक हुन्छ। तपाईले आशा गर्नुहुँदैन कि परिचालन समस्याहरूले विक्रेतालाई धेरै बाधा पुर्‍याउनेछ, र पहिचान गरिएका त्रुटिहरूको कारणले गर्दा विक्रेताका प्रतिनिधिहरूको सहभागितामा अपडेट गरिनेछ, वा बरु, तपाईंले विक्रेताका प्रतिनिधिहरूलाई समावेश गर्न आवश्यक पर्दैन, किनकि अन्तमा तपाईले ब्याकअप बिना उत्पादनमा डिस्सेम्बल गरिएको क्लस्टरको साथ समाप्त गर्न सक्नुहुन्छ।

वास्तवमा, व्यावसायिक उत्पादनको लागि इजाजतपत्रमा, निर्माताले इमानदारीपूर्वक चेतावनी दिन्छ: "यो सफ्टवेयर "जस्तो छ" आधारमा प्रदान गरिएको छ र Postgres Professional Limited Liability Company मर्मत, समर्थन, अपडेट, विस्तार वा परिवर्तनहरू प्रदान गर्न बाध्य छैन।

यदि तपाईंले अहिलेसम्म हामीले कुन उत्पादनको बारेमा कुरा गर्दैछौं भनेर अनुमान गर्नुभएको छैन भने, यो सबै अनुभव पोस्टग्रेस प्रो इन्टरप्राइज डाटाबेसको वर्ष-लामो सञ्चालनको परिणामको रूपमा प्राप्त भएको थियो। तपाईं आफ्नै निष्कर्ष निकाल्न सक्नुहुन्छ, यो यति नम छ कि च्याउ बढ्छ।

तर यसलाई समयमै गरिदिने समस्यालाई तुरुन्तै हटाउने हो भने यो त्यति नराम्रो हुने थिएन ।

तर यो ठ्याक्कै के भइरहेको छैन। स्पष्ट रूपमा पहिचान गरिएका बगहरू हटाउनको लागि निर्मातासँग पर्याप्त स्रोतहरू छैनन्।

दर्ता भएका प्रयोगकर्ताहरूले मात्र सर्वेक्षणमा भाग लिन सक्छन्। साइन इन गर्नुहोस्कृपया

के तपाइँसँग विदेशी/स्वामित्व DBMS बाट नि:शुल्क/घरेलुमा स्विच गर्ने अनुभव छ?

• 21,3%हो, सकारात्मक १०

• 10,6%हो, नकारात्मक ५

• 21,3%होइन, DBMS परिवर्तन गरिएको थिएन10

• 4,3%DBMS परिवर्तन भएको थियो, तर केहि परिवर्तन भएको छैन

• 42,6%नतिजा हेर्नुहोस्20

47 प्रयोगकर्ताहरूले मतदान गरे। 12 प्रयोगकर्ताहरू रोकिए।

स्रोत: www.habr.com