WAL-G: नयाँ सुविधाहरू र समुदाय विस्तार। Georgy Rylov

म सुझाव दिन्छु कि तपाई जर्जी राइलोभ "WAL-G: नयाँ अवसरहरू र समुदायको विस्तार" द्वारा प्रारम्भिक २०२० रिपोर्टको ट्रान्सक्रिप्ट पढ्नुहोस्।

खुला-स्रोत मर्मतकर्ताहरूले तिनीहरू बढ्दै जाँदा धेरै चुनौतीहरूको सामना गर्छन्। थप र थप आवश्यक सुविधाहरू कसरी लेख्ने, थप र अधिक समस्याहरू समाधान गर्ने र थप र थप पुल अनुरोधहरू हेर्नको लागि प्रबन्ध गर्ने? उदाहरणको रूपमा WAL-G (PostgreSQL को लागि ब्याकअप-उपकरण) को प्रयोग गर्दै, म तपाईलाई बताउनेछु कि हामीले विश्वविद्यालयमा खुला-स्रोत विकासको पाठ्यक्रम सुरु गरेर यी समस्याहरू कसरी समाधान गर्यौं, हामीले के हासिल गर्यौं र हामी कहाँ जान्छौं।

सबैलाई फेरी नमस्कार ! म येकातेरिनबर्गबाट ​​Yandex विकासकर्ता हुँ। र आज म WAL-G को बारेमा कुरा गर्नेछु।

रिपोर्टको शीर्षकले यो ब्याकअपको बारेमा केहि थियो भनेर भनेन। के कसैलाई थाहा छ WAL-G भनेको के हो? वा सबैलाई थाहा छ? थाहा छैन भने हात उठाउनुहोस्। होली शिट, तपाईं रिपोर्टमा आउनुभयो र यो के हो थाहा छैन।

आज के हुने हो भनौं। यस्तो हुन्छ कि हाम्रो टोलीले धेरै समयको लागि ब्याकअप गरिरहेको छ। र यो शृङ्खलाको अर्को रिपोर्ट हो जहाँ हामी कसरी डेटा सुरक्षित, सुरक्षित, सहज र प्रभावकारी रूपमा भण्डारण गर्छौं भन्ने कुरा गर्छौं।

अघिल्लो श्रृंखला मा Andrei Borodin र व्लादिमीर Leskov द्वारा धेरै रिपोर्टहरू थिए। त्यहाँ हामी धेरै थियौं। र हामी धेरै वर्षदेखि WAL-G को बारेमा कुरा गर्दैछौं।

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

यो प्रतिवेदन प्राविधिक पक्षको बारेमा बढी भएकोले अरूभन्दा अलि फरक हुनेछ, तर यहाँ म समुदायको वृद्धिसँग सम्बन्धित समस्याहरू कसरी सामना गर्‍यौं भन्ने कुरा गर्नेछु। र हामी कसरी एउटा सानो विचार लिएर आएका छौं जसले हामीलाई यससँग सामना गर्न मद्दत गर्दछ।

केही वर्ष पहिले, WAL-G एकदम सानो प्रोजेक्ट थियो जुन हामीले Citus Data बाट पायौं। र हामीले भर्खरै लियौं। र यो एक व्यक्ति द्वारा विकसित गरिएको थियो।

र केवल WAL-G सँग थिएन:

• प्रतिकृतिबाट ब्याकअप।
• त्यहाँ कुनै वृद्धिशील ब्याकअपहरू थिएनन्।
• त्यहाँ कुनै WAL-Delta ब्याकअप थिएन।
• र त्यहाँ अझै धेरै हराइरहेको थियो।

यी केही वर्षहरूमा, WAL-G धेरै बढेको छ।

र 2020 सम्म, माथिका सबै पहिले नै देखा परेको छ। र यसमा हामीसँग के थपिएको छ:

• GitHub मा 1 भन्दा बढी ताराहरू।
• 150 काँटा।
• लगभग 15 खुला PRs।
• र धेरै धेरै योगदानकर्ताहरू।
• र सबै समय खुला मुद्दाहरू। र यो तथ्यको बावजुद हामी शाब्दिक रूपमा त्यहाँ हरेक दिन जान्छौं र यसको बारेमा केहि गर्छौं।

र हामी यो निष्कर्षमा पुग्यौं कि यस परियोजनालाई हाम्रो अधिक ध्यान चाहिन्छ, हामी आफैंले Yandex मा हाम्रो व्यवस्थित डाटाबेस सेवाको लागि केहि पनि लागू गर्न आवश्यक छैन।

र कतै 2018 को पतनमा, हाम्रो दिमागमा एउटा विचार आयो। सामान्यतया टोलीसँग केही सुविधाहरू विकास गर्ने वा यदि तपाईंसँग पर्याप्त हातहरू छैनन् भने बगहरू समाधान गर्ने थुप्रै तरिकाहरू छन्। उदाहरण को लागी, तपाइँ अर्को विकासकर्ता भाडामा लिन र उसलाई पैसा तिर्न सक्नुहुन्छ। वा तपाइँ केहि समयको लागि एक इन्टर्न लिन सक्नुहुन्छ र उसलाई केहि तलब पनि तिर्न सक्नुहुन्छ। तर त्यहाँ अझै पनि मानिसहरूको ठूलो समूह छ, जसमध्ये केहीलाई पहिले नै कोड लेख्ने तरिका थाहा छ। तपाईलाई सधैं थाहा छैन कि कोड कस्तो गुणस्तर हो।

हामीले यसको बारेमा सोच्यौं र विद्यार्थीहरूलाई आकर्षित गर्ने प्रयास गर्ने निर्णय गर्‍यौं। तर विद्यार्थीहरू हामीसँग सबै कुरामा भाग लिने छैनन्। तिनीहरूले कामको केही अंश मात्र गर्नेछन्। र तिनीहरूले, उदाहरणका लागि, परीक्षणहरू लेख्नेछन्, बगहरू ठीक गर्नेछन्, सुविधाहरू लागू गर्नेछन् जसले मुख्य कार्यक्षमतालाई असर गर्दैन। मुख्य कार्यक्षमता ब्याकअपहरू सिर्जना गर्दै र ब्याकअपहरू पुनर्स्थापित गर्दैछ। यदि हामीले ब्याकअप सिर्जना गर्न गल्ती गर्यौं भने, हामीले डेटा गुमाउने अनुभव गर्नेछौं। र कोही पनि यो चाहँदैनन्, पक्कै पनि। सबैजना सबै कुरा धेरै सुरक्षित हुन चाहन्छन्। त्यसकारण, अवश्य पनि, हामी कोड दिन चाहँदैनौं जुन हामीले आफ्नै भन्दा कम विश्वास गर्छौं। त्यो हो, कुनै पनि गैर-महत्वपूर्ण कोड भनेको हामी हाम्रा अतिरिक्त कामदारहरूबाट प्राप्त गर्न चाहन्छौं।

कुन अवस्थामा विद्यार्थी PR स्वीकार गरिन्छ?

• तिनीहरूले परीक्षणको साथ आफ्नो कोड कभर गर्न आवश्यक छ। सबै कुरा CI मा हुनुपर्छ।
• र हामी पनि 2 समीक्षा मार्फत जान्छौं। एउटा एन्ड्री बोरोडिन द्वारा र अर्को मेरो द्वारा।
• र थप रूपमा, यसले हाम्रो सेवामा केहि पनि तोड्दैन भनेर जाँच गर्न, म यस प्रतिबद्धताको साथ छुट्टै सभा अपलोड गर्दछु। र हामी अन्त-देखि-अन्त परीक्षणहरूमा जाँच गर्छौं कि केहि पनि असफल हुँदैन।

खुला स्रोतमा विशेष पाठ्यक्रम

यो किन आवश्यक छ र किन यो, मलाई लाग्छ, एक राम्रो विचार हो।

हाम्रो लागि, नाफा स्पष्ट छ:

• हामीले अतिरिक्त हातहरू पाउँछौं।
• र हामी स्मार्ट कोड लेख्ने स्मार्ट विद्यार्थीहरू बीच टोलीको लागि उम्मेदवारहरू खोज्दैछौं।

विद्यार्थीहरूलाई के फाइदा छ?

तिनीहरू कम स्पष्ट हुन सक्छन्, किनभने विद्यार्थीहरूले कम्तीमा, तिनीहरूले लेखेको कोडको लागि पैसा प्राप्त गर्दैनन्, तर तिनीहरूको विद्यार्थी रेकर्डहरूको लागि मात्र ग्रेडहरू प्राप्त गर्छन्।

मैले उनीहरूलाई यसबारे सोधेँ। र तिनीहरूको शब्दमा:

• खुला स्रोतमा योगदानकर्ता अनुभव।
• आफ्नो CV मा एक लाइन प्राप्त गर्नुहोस्।
• आफैलाई प्रमाणित गर्नुहोस् र Yandex मा एक साक्षात्कार पास गर्नुहोस्।
• GSoC सदस्य बन्नुहोस्।
• कोड लेख्न चाहनेहरूका लागि +1 विशेष पाठ्यक्रम।

म पाठ्यक्रम कसरी संरचित थियो भन्ने बारे कुरा गर्दिन। म केवल भन्न चाहन्छु कि WAL-G मुख्य परियोजना थियो। हामीले यस पाठ्यक्रममा Odyssey, PostgreSQL र ClickHouse जस्ता परियोजनाहरू पनि समावेश गरेका छौं।

र तिनीहरूले यस पाठ्यक्रममा समस्याहरू मात्र दिएनन्, तर डिप्लोमा र पाठ्यक्रमहरू पनि दिए।

प्रयोगकर्ताहरूको लागि फाइदाको बारेमा के हो?

अब तपाईलाई सबैभन्दा चासोको भागमा जानुहोस्। यसले तपाईंलाई के फाइदा गर्छ? बिन्दु यो हो कि विद्यार्थीहरूले धेरै बगहरू फिक्स गरे। र हामीले अनुरोध सुविधाहरू बनाएका छौं जुन तपाईंले हामीलाई गर्न भन्नुभयो।

र म तपाईंलाई ती चीजहरूको बारेमा बताउँछु जुन तपाईंले लामो समयदेखि चाहनुहुन्थ्यो र जुन साकार भएको छ।

टेबलस्पेस समर्थन। WAL-G मा टेबलस्पेसहरू सम्भवतः WAL-G को विमोचन पछि अपेक्षा गरिएको थियो, किनभने WAL-G अर्को ब्याकअप उपकरण WAL-E को उत्तराधिकारी हो, जहाँ टेबलस्पेसहरूसँग डाटाबेस ब्याकअपहरू समर्थित थिए।

मलाई छोटकरीमा यो के हो र किन यो सबै आवश्यक छ भनेर सम्झाउने गरौं। सामान्यतया, तपाइँको सबै पोस्टग्रेस डाटाले फाइल प्रणालीमा एउटा डाइरेक्टरी ओगटेको छ, जसलाई आधार भनिन्छ। र यो डाइरेक्टरीले पहिले नै पोस्टग्रेस द्वारा आवश्यक सबै फाइलहरू र उपनिर्देशिकाहरू समावेश गर्दछ।

टेबलस्पेसहरू डाइरेक्टरीहरू हुन् जसमा Postgres डाटा समावेश छ, तर तिनीहरू आधार डाइरेक्टरी बाहिर अवस्थित छैनन्। स्लाइडले देखाउँछ कि टेबलस्प्याकहरू आधार डाइरेक्टरी बाहिर अवस्थित छन्।

Postgres को लागी यो कस्तो देखिन्छ? आधार डाइरेक्टरीमा एक अलग उपनिर्देशिका pg_tblspc छ। र यसले डाइरेक्टरीहरूमा सिम्लिङ्कहरू समावेश गर्दछ जुन वास्तवमा आधार डाइरेक्टरी बाहिर पोस्टग्रेस डाटा समावेश गर्दछ।

जब तपाइँ यो सबै प्रयोग गर्नुहुन्छ, तब तपाइँको लागि यी आदेशहरू केहि यस्तो देखिन सक्छ। त्यो हो, तपाइँ केहि निर्दिष्ट टेबलस्पेस मा एक तालिका सिर्जना गर्नुहोस् र यो अहिले कहाँ छ हेर्नुहोस्। यी अन्तिम दुई लाइनहरू हुन्, अन्तिम दुई आदेशहरू भनिन्छ। र त्यहाँ यो स्पष्ट छ कि त्यहाँ केहि तरिका छ। तर वास्तवमा, यो वास्तविक तरिका होइन। यो आधार डाइरेक्टरीबाट टेबलस्पेस सम्मको उपसर्ग मार्ग हो। र त्यहाँबाट यो एक सिमलिङ्कसँग मेल खान्छ जुन तपाईंको वास्तविक डाटामा जान्छ।

हामी यो सबै हाम्रो टोलीमा प्रयोग गर्दैनौं, तर यो धेरै अन्य WAL-E प्रयोगकर्ताहरूले प्रयोग गरेका थिए जसले हामीलाई लेखेका थिए कि उनीहरू WAL-G मा जान चाहन्छन्, तर यसले तिनीहरूलाई रोकिरहेको थियो। यो अब समर्थित छ।

हाम्रो विशेष पाठ्यक्रमले हामीलाई ल्याएको अर्को विशेषता भनेको क्याचअप हो। पोस्टग्रेसको तुलनामा ओरेकलसँग धेरै काम गरेका व्यक्तिहरूलाई क्याचअपको बारेमा थाहा छ।

यो के हो भन्ने बारे संक्षेपमा। हाम्रो सेवामा रहेको क्लस्टर टोपोलोजी सामान्यतया केहि यस्तो देखिन सक्छ। हामीसँग मास्टर छ। त्यहाँ एक प्रतिकृति छ जुन स्ट्रिम-राइट-अगाडि लग स्ट्रिम गर्दछ। र प्रतिकृतिले मास्टरलाई बताउँछ कि यो हाल कुन LSN मा छ। र कतै यो संग समानांतर मा, लग संग्रह गर्न सकिन्छ। र लग संग्रह गर्नुको अतिरिक्त, ब्याकअपहरू पनि क्लाउडमा पठाइन्छ। र डेल्टा ब्याकअपहरू पठाइन्छ।

समस्या के हुन सक्छ? जब तपाइँसँग एकदम ठूलो डाटाबेस छ, यो बाहिर जान सक्छ कि तपाइँको प्रतिकृति मास्टर भन्दा धेरै पछि लाग्न थाल्छ। र उनी यति धेरै पछि परेकी छिन् कि उनी उनीसँग कहिल्यै समात्न सक्दैनन्। यो समस्या सामान्यतया कुनै न कुनै रूपमा समाधान गर्न आवश्यक छ।

र सबैभन्दा सजिलो तरीका भनेको प्रतिकृति हटाउनु र यसलाई पुन: अपलोड गर्नु हो, किनकि यसले कहिल्यै समात्ने छैन, र समस्या समाधान गर्न आवश्यक छ। तर यो धेरै लामो समय हो, किनकि सम्पूर्ण 10 TB डाटाबेस ब्याकअप पुनर्स्थापना धेरै, धेरै लामो समय हो। र यस्ता समस्याहरू उत्पन्न भएमा हामी यो सबै सकेसम्म चाँडो गर्न चाहन्छौं। र ठ्याक्कै त्यो क्याचअपको लागि हो।

क्याचअपले तपाईंलाई डेल्टा ब्याकअपहरू प्रयोग गर्न अनुमति दिन्छ, जुन यस तरिकाले क्लाउडमा भण्डारण गरिन्छ। तपाईले भन्नुहुन्छ कि कुन LSN लेगिङ प्रतिकृति हाल सक्रिय छ र त्यो LSN र LSN बीचको डेल्टा ब्याकअप सिर्जना गर्नको लागि क्याचअप आदेशमा निर्दिष्ट गर्नुहोस् जसमा तपाईको क्लस्टर हाल अवस्थित छ। र त्यस पछि तपाईले यस ब्याकअपलाई प्रतिकृतिमा पुनर्स्थापना गर्नुहुन्छ जुन पछाडि थियो।

अन्य आधारहरू

विद्यार्थीहरूले हामीलाई एकैचोटि धेरै सुविधाहरू पनि ल्याए। Yandex मा हामी पोष्टग्रेस मात्र पकाउँदैनौं, हामीसँग MySQL, MongoDB, Redis, ClickHouse पनि छ, केहि बिन्दुमा हामीले MySQL को लागि पोइन्ट-इन-टाइम रिकभरीको साथ ब्याकअपहरू बनाउन सक्षम हुन आवश्यक छ, र त्यसैले त्यहाँ अपलोड गर्ने अवसर थियो। तिनीहरूलाई बादलमा।

र हामी यसलाई WAL-G ले गर्ने जस्तै तरिकामा गर्न चाहन्थ्यौं। र हामीले प्रयोग गर्ने निर्णय गर्यौं र हेर्नुहोस् कि यो सबै कस्तो देखिन्छ।

र सुरुमा, यो तर्कलाई कुनै पनि तरिकामा साझा नगरी, तिनीहरूले फोर्कमा कोड लेखे। तिनीहरूले देखे कि हामीसँग केहि प्रकारको काम गर्ने मोडेल छ र यो उड्न सक्छ। त्यसपछि हामीले सोच्यौं कि हाम्रो मुख्य समुदाय पोस्टग्रेसिस्ट हो, तिनीहरूले WAL-G प्रयोग गर्छन्। र यसैले हामीले यी भागहरू अलग गर्न आवश्यक छ। त्यो हो, जब हामी Postgres को लागि कोड सम्पादन गर्छौं, हामी MySQL तोड्दैनौं; जब हामी MySQL सम्पादन गर्छौं, हामी Postgres तोड्दैनौं।

यसलाई कसरी अलग गर्ने बारे पहिलो विचार पोष्टग्रेएसक्यूएल विस्तारहरूमा प्रयोग गरिएको उही दृष्टिकोण प्रयोग गर्ने विचार थियो। र, वास्तवमा, MySQL ब्याकअप बनाउनको लागि तपाईंले केहि प्रकारको गतिशील पुस्तकालय स्थापना गर्नुपर्‍यो।

तर यहाँ यो दृष्टिकोण को असमानता तुरुन्तै देखिने छ। जब तपाइँ पोस्टग्रेस ब्याकअप गर्नुहुन्छ, तपाइँ यसमा पोस्टग्रेसको लागि सामान्य ब्याकअप राख्नुहुन्छ र सबै ठीक छ। र MySQL को लागी यो बाहिर जान्छ कि तपाइँ Postgres को लागी एक ब्याकअप स्थापना गर्नुहुन्छ र यसको लागि MySQL को लागी एक गतिशील पुस्तकालय स्थापना गर्नुहोस्। सुन्दा अनौठो लाग्छ । हामीले पनि यस्तै सोच्यौं र निर्णय गर्‍यौं कि यो हामीलाई चाहिएको समाधान होइन।

Postgres, MySQL, MongoDB, Redis को लागि विभिन्न निर्माणहरू

तर यसले हामीलाई अनुमति दियो, यो हामीलाई लाग्छ, सही निर्णयमा आउन - विभिन्न आधारहरूको लागि विभिन्न सभाहरू आवंटित गर्न। यसले WAL-G लागू गर्ने साझा API मा पहुँच गर्ने विभिन्न डाटाबेसहरूको ब्याकअपसँग जोडिएको तर्कलाई अलग गर्न सम्भव बनायो।

यो भाग हो जुन हामीले आफैले लेखेका छौं - विद्यार्थीहरूलाई समस्याहरू दिनु अघि। त्यो हो, यो ठ्याक्कै त्यो भाग हो जहाँ उनीहरूले केहि गलत गर्न सक्दछन्, त्यसैले हामीले निर्णय गर्यौं कि हामी यस्तो केहि गर्न सक्छौं र सबै ठीक हुनेछ।

त्यसपछि हामीले समस्याहरू दिएका छौं। तिनीहरू तुरुन्तै भत्किएका थिए। विद्यार्थीहरूलाई तीन आधारहरू समर्थन गर्न आवश्यक थियो।

यो MySQL हो, जसलाई हामीले WAL-G प्रयोग गरेर एक वर्षभन्दा बढी समयदेखि ब्याकअप गरिरहेका छौं।

र अब MongoDB उत्पादनमा आउँदैछ, जहाँ तिनीहरूले यसलाई फाइलको साथ समाप्त गर्दैछन्। वास्तवमा, हामीले यी सबैको लागि फ्रेमवर्क लेख्यौं। त्यसपछि विद्यार्थीहरूले केही व्यावहारिक कुराहरू लेखे। र त्यसपछि हामी तिनीहरूलाई उत्पादनमा स्वीकार गर्न सक्ने अवस्थामा ल्याउँछौं।

यी समस्याहरू यी प्रत्येक डेटाबेसका लागि पूर्ण ब्याकअप उपकरणहरू लेख्नका लागि विद्यार्थीहरूलाई आवश्यक जस्तो देखिएन। हामीलाई त्यस्तो समस्या थिएन। हाम्रो समस्या यो थियो कि हामी पोइन्ट-इन-टाइम रिकभरी चाहन्थ्यौं र हामी क्लाउडमा ब्याकअप गर्न चाहन्थ्यौं। र तिनीहरूले विद्यार्थीहरूलाई यो समाधान गर्ने केही कोड लेख्न भने। विद्यार्थीहरूले पहिल्यै अवस्थित ब्याकअप उपकरणहरू प्रयोग गरे, जसले कुनै न कुनै रूपमा ब्याकअप लिन्छ, र त्यसपछि सबैलाई WAL-G सँग टाँस्यो, जसले यो सबै क्लाउडमा फर्वार्ड गर्यो। र तिनीहरूले यसमा पोइन्ट-इन-टाइम रिकभरी पनि थपे।

विद्यार्थीले अरु के के ल्याए ? तिनीहरूले WAL-G मा Libsodium एन्क्रिप्शन समर्थन ल्याए।

हामीसँग ब्याकअप भण्डारण नीतिहरू पनि छन्। अब ब्याकअपहरूलाई स्थायी रूपमा चिन्ह लगाउन सकिन्छ। र तिनीहरूलाई भण्डारण गर्ने प्रक्रिया स्वचालित गर्न तपाईंको सेवाको लागि कुनै न कुनै रूपमा यो अधिक सुविधाजनक छ।

यो प्रयोगको नतिजा के थियो?

प्रारम्भमा १०० भन्दा बढी व्यक्तिहरूले पाठ्यक्रमको लागि दर्ता गरेका थिए। सुरुमा मैले येकातेरिनबर्गको विश्वविद्यालय युराल संघीय विश्वविद्यालय हो भनेर भनेन। हामीले त्यहाँ सबै कुरा घोषणा गर्यौं। 100 जनाले दर्ता गरेका छन्। वास्तवमा, धेरै कम मानिसहरूले केहि गर्न थाले, लगभग 100 जनाले।

अझ थोरै मानिसहरूले पाठ्यक्रम पूरा गरे, किनभने पहिले नै अवस्थित कोडहरूको लागि परीक्षणहरू लेख्न आवश्यक थियो। र केहि बग ठीक गर्नुहोस् वा केहि सुविधा बनाउनुहोस्। र केही विद्यार्थीहरूले अझै पाठ्यक्रम बन्द गरे।

हाल, यस पाठ्यक्रममा, विद्यार्थीहरूले लगभग 14 मुद्दाहरू समाधान गरेका छन् र विभिन्न आकारका 10 सुविधाहरू बनाएका छन्। र, यो मलाई लाग्छ, यो एक वा दुई विकासकर्ताहरूको पूर्ण प्रतिस्थापन हो।

अन्य चीजहरू मध्ये, हामीले डिप्लोमा र पाठ्यक्रम जारी गर्यौं। र 12 डिप्लोमा प्राप्त गरे। तिनीहरूमध्ये 6 ले पहिले नै "5" मा आफ्नो बचाव गरिसकेका छन्। जो बाँकी छन् तिनीहरूसँग अझै सुरक्षा छैन, तर मलाई लाग्छ कि तिनीहरूका लागि पनि सबै ठीक हुनेछ।

भविष्यको लागि योजनाहरू

भविष्यका लागि हामीसँग के योजनाहरू छन्?

कम्तिमा ती सुविधा अनुरोधहरू जुन हामीले पहिले नै प्रयोगकर्ताहरूबाट सुनेका छौं र गर्न चाहन्छौं। यो:

• HA क्लस्टर ब्याकअप अभिलेखमा टाइमलाइन ट्र्याकिङको शुद्धता निगरानी गर्दै। तपाईंले WAL-G मार्फत यो गर्न सक्नुहुन्छ। र मलाई लाग्छ कि हामीसँग विद्यार्थीहरू हुनेछन् जसले यो विषय लिनेछन्।
• हामीसँग पहिले नै क्लाउडहरू बीच ब्याकअप र WAL स्थानान्तरण गर्न जिम्मेवार व्यक्ति छ।
• र हामीले भर्खरै एउटा विचार प्रकाशित गर्‍यौं कि हामीले पृष्ठहरू पुन: लेख्न र हामीले त्यहाँ पठाउने अभिलेखहरूलाई अनुकूलन नगरी वृद्धिशील ब्याकअपहरू अनप्याक गरेर WAL-G लाई अझ गति दिन सक्छौं।

तपाईं तिनीहरूलाई यहाँ साझेदारी गर्न सक्नुहुन्छ

यो रिपोर्ट के को लागि थियो? यसबाहेक, अब, यस परियोजनालाई समर्थन गर्ने 4 व्यक्तिहरू बाहेक, हामीसँग थप हातहरू छन्, जसमध्ये त्यहाँ धेरै छन्। विशेष गरी यदि तपाइँ तिनीहरूलाई व्यक्तिगत सन्देशमा लेख्नुहुन्छ। र यदि तपाइँ तपाइँको डाटा ब्याकअप गर्नुहुन्छ र WAL-G प्रयोग गरेर गर्नुहुन्छ वा WAL-G मा जान चाहनुहुन्छ भने, तब हामी तपाइँको इच्छाहरु लाई सजिलै संग समायोजन गर्न सक्छौं।

यो QR कोड र लिङ्क हो। तपाईं तिनीहरूलाई मार्फत जान सक्नुहुन्छ र आफ्नो सबै इच्छाहरू लेख्न सक्नुहुन्छ। उदाहरण को लागी, हामी केहि बग फिक्स छैन। वा तपाइँ साँच्चै केहि सुविधा चाहानुहुन्छ, तर केहि कारणले यो हाम्रो सहित कुनै पनि ब्याकअपमा छैन। यस बारे लेख्न निश्चित हुनुहोस्।

तपाईंका प्रश्नहरू

नमस्ते! रिपोर्ट को लागी धन्यवाद! WAL-G को बारेमा प्रश्न, तर Postgres को बारेमा होइन। WAL-G ले MySQL ब्याकअप गर्छ र अतिरिक्त ब्याकअपलाई कल गर्छ। यदि हामीले CentOS मा आधुनिक स्थापनाहरू लियौं र यदि तपाईंले MySQL स्थापना गर्नुभयो भने, MariDB स्थापना हुनेछ। संस्करण 10.3 बाट अतिरिक्त ब्याकअप समर्थित छैन, MariDB ब्याकअप समर्थित छ। तपाईं यो संग कसरी गर्दै हुनुहुन्छ?

हाल हामीले MariDB ब्याकअप गर्ने प्रयास गरेका छैनौं। हामीसँग फाउन्डेशनडीबी समर्थनको लागि अनुरोधहरू छन्, तर सामान्यतया, यदि त्यहाँ त्यस्तो अनुरोध छ भने, हामी त्यसो गर्ने व्यक्तिहरू फेला पार्न सक्छौं। यो मैले सोचेको जस्तो लामो वा गाह्रो छैन।

शुभ दिउँसो रिपोर्ट को लागी धन्यवाद! सम्भावित नयाँ सुविधाहरू बारे प्रश्न। के तपाइँ WAL-G लाई टेप संग काम गर्न तयार हुनुहुन्छ ताकि तपाइँ टेपहरूमा ब्याकअप गर्न सक्नुहुन्छ?

टेप भण्डारणमा ब्याकअप स्पष्ट रूपमा मतलब छ?

हो।

त्यहाँ आन्द्रेई बोरोडिन छ, जो म भन्दा राम्रो यो प्रश्नको जवाफ दिन सक्छ।

(Andrey) हो, प्रश्नको लागि धन्यवाद! हामीले क्लाउड भण्डारणबाट टेपमा ब्याकअप स्थानान्तरण गर्न अनुरोध गरेका थियौं। र यसका लागि काट्ने बादलहरू बीच स्थानान्तरण। किनभने क्लाउड-देखि-क्लाउड स्थानान्तरण टेप स्थानान्तरणको सामान्यीकृत संस्करण हो। थप रूपमा, हामीसँग भण्डारणको सन्दर्भमा विस्तारित वास्तुकला छ। वैसे, धेरै Storges विद्यार्थीहरु द्वारा लेखिएको थियो। र यदि तपाइँ टेपको लागि भण्डारण लेख्नुहुन्छ भने, यो निस्सन्देह, समर्थित हुनेछ। हामी पुल अनुरोधहरू विचार गर्न तयार छौं। त्यहाँ तपाईंले फाइल लेख्नुपर्छ, फाइल पढ्नुपर्छ। यदि तपाईंले Go मा यी कुराहरू गर्नुहुन्छ भने, तपाइँ सामान्यतया 50 लाइनहरू कोडको साथ समाप्त हुन्छ। र त्यसपछि टेप WAL-G मा समर्थित हुनेछ।

रिपोर्ट को लागी धन्यवाद! रोचक विकास प्रक्रिया। ब्याकअप कार्यक्षमताको एक गम्भीर टुक्रा हो जुन परीक्षणहरूद्वारा राम्रोसँग कभर हुनुपर्छ। जब तपाईंले नयाँ डाटाबेसहरूको लागि कार्यक्षमता लागू गर्नुभयो, के विद्यार्थीहरूले पनि परीक्षणहरू लेख्नुभयो, वा तपाईंले आफैले परीक्षणहरू लेख्नुभयो र विद्यार्थीहरूलाई कार्यान्वयन दिनुभयो?

विद्यार्थीले परीक्षा पनि लेखे । तर विद्यार्थीहरूले नयाँ डाटाबेस जस्ता सुविधाहरूको लागि थप लेखे। तिनीहरूले एकीकरण परीक्षण लेखे। र तिनीहरूले एकाइ परीक्षण लेखे। यदि एकीकरण पास हुन्छ, त्यो हो, यो क्षणमा, यो एक स्क्रिप्ट हो जुन तपाइँ म्यानुअल रूपमा कार्यान्वयन गर्नुहुन्छ वा तपाइँले क्रोन गर्दै हुनुहुन्छ, उदाहरणका लागि। अर्थात् त्यहाँको स्क्रिप्ट एकदमै स्पष्ट छ ।

विद्यार्थीहरूसँग धेरै अनुभव छैन। समीक्षा गर्न धेरै समय लाग्छ?

हो, समीक्षाहरूले धेरै समय लिन्छ। त्यो हो, सामान्यतया, जब धेरै कमिटीहरू एकैचोटि आउँछन् र भन्छन् कि मैले यो गरें, मैले गरे, तब तपाईंले सोच्नु पर्छ र उनीहरूले त्यहाँ के लेखे भनेर पत्ता लगाउनको लागि आधा दिन छुट्याउनु पर्छ। किनभने कोड ध्यानपूर्वक पढ्नुपर्छ। उनीहरुको अन्तर्वार्ता थिएन । हामी तिनीहरूलाई राम्ररी चिन्दैनौं, त्यसैले यसले महत्त्वपूर्ण समय लिन्छ।

रिपोर्ट को लागी धन्यवाद! पहिले, एन्ड्रे बोरोडिनले WAL-G मा archive_command लाई सीधै कल गरिनु पर्ने बताए। तर कुनै प्रकारको क्लस्टर कार्ट्रिजको अवस्थामा, हामीलाई नोड निर्धारण गर्न थप तर्क चाहिन्छ जहाँबाट शाफ्टहरू पठाउन सकिन्छ। तपाईं आफैले यो समस्या कसरी समाधान गर्नुहुन्छ?

यहाँको समस्या के छ ? मानौं तपाईसँग सिंक्रोनस प्रतिकृति छ जसको साथ तपाई ब्याकअप गर्दै हुनुहुन्छ? वा के?

(Andrey) तथ्य यो हो कि वास्तवमा WAL-G शेल स्क्रिप्ट बिना प्रयोग गर्न को लागी हो। यदि केहि छुटेको छ भने, WAL-G भित्र हुनु पर्ने तर्क थपौं। जहाँबाट अभिलेख राख्नुपर्छ भन्ने कुराको लागि, हामी क्लस्टरको हालको मास्टरबाट अभिलेख राख्नुपर्छ भन्ने विश्वास गर्छौं। प्रतिकृतिबाट सङ्ग्रह गर्नु नराम्रो विचार हो। समस्याहरु संग विभिन्न सम्भावित परिदृश्यहरु छन्। विशेष गरी, संग्रह टाइमलाइन र कुनै पनि अतिरिक्त जानकारी संग समस्या। प्रश्नको लागि धन्यवाद!

(स्पष्टीकरण: हामीले शेल लिपिहरूबाट छुटकारा पायौं यस मुद्दामा)

शुभ सन्ध्या! रिपोर्ट को लागी धन्यवाद! तपाईंले कुरा गर्नुभएको क्याचअप सुविधामा मलाई रुचि छ। हामीले एउटा यस्तो अवस्थाको सामना गर्यौं जहाँ प्रतिकृति पछाडि थियो र समात्न सकेनौं। र मैले WAL-G कागजातहरूमा यो सुविधाको विवरण फेला पारेन।

क्याचअप शाब्दिक रूपमा 20 जनवरी 2020 मा देखा पर्‍यो। कागजातमा केही थप काम आवश्यक हुन सक्छ। हामी आफैले लेख्छौं र हामी यसलाई राम्रोसँग लेख्दैनौं। र सायद हामीले विद्यार्थीहरूलाई यो लेख्न आवश्यक बनाउन सुरु गर्नुपर्छ।

के यो पहिले नै जारी छ?

पुल अनुरोध पहिले नै मरेको छ, अर्थात् मैले यसलाई जाँच गरें। मैले यो परीक्षण क्लस्टरमा प्रयास गरें। अहिलेसम्म हामीसँग लडाईको उदाहरणमा परीक्षण गर्न सक्ने अवस्था छैन।

कहिले अपेक्षा गर्ने?

मलाई थाहा छैन। एक महिना पर्खनुहोस्, हामी निश्चित रूपमा जाँच गर्नेछौं।

स्रोत: www.habr.com