वाल-जी: नई सुविधाएँ और सामुदायिक विस्तार। जॉर्जी रायलोव

मेरा सुझाव है कि आप जॉर्जी रायलोव की 2020 की शुरुआती रिपोर्ट "वाल-जी: नए अवसर और समुदाय का विस्तार" की प्रतिलेख पढ़ें।

जैसे-जैसे वे बढ़ते हैं, ओपन-सोर्स अनुरक्षकों को कई चुनौतियों का सामना करना पड़ता है। अधिक से अधिक आवश्यक सुविधाएँ कैसे लिखें, अधिक से अधिक समस्याओं को कैसे ठीक करें और अधिक से अधिक पुल अनुरोधों को देखने का प्रबंधन कैसे करें? एक उदाहरण के रूप में वाल-जी (पोस्टग्रेएसक्यूएल के लिए बैकअप-टूल) का उपयोग करते हुए, मैं आपको बताऊंगा कि हमने विश्वविद्यालय में ओपन-सोर्स डेवलपमेंट पर एक पाठ्यक्रम शुरू करके इन समस्याओं को कैसे हल किया, हमने क्या हासिल किया और हम आगे कहां बढ़ेंगे।

सभी को फिर से नमस्कार! मैं येकातेरिनबर्ग से एक यांडेक्स डेवलपर हूं। और आज मैं बात करूंगा वाल-जी के बारे में।

रिपोर्ट के शीर्षक में यह नहीं कहा गया कि यह बैकअप के बारे में कुछ था। क्या किसी को पता है कि वाल-जी क्या है? या सबको पता है? यदि आप नहीं जानते तो अपना हाथ उठाएँ। अरे बकवास, आप रिपोर्ट पर आए और नहीं जानते कि यह किस बारे में है।

आइए मैं आपको बताता हूं कि आज क्या होगा. ऐसा होता है कि हमारी टीम काफी समय से बैकअप कर रही है। और यह श्रृंखला की एक और रिपोर्ट है जहां हम इस बारे में बात करते हैं कि हम डेटा को सुरक्षित, सुरक्षित, सुविधाजनक और कुशलतापूर्वक कैसे संग्रहीत करते हैं।

पिछली श्रृंखला में आंद्रेई बोरोडिन और व्लादिमीर लेसकोव की कई रिपोर्टें थीं। हममें से कई लोग थे. और हम कई वर्षों से वाल-जी के बारे में बात कर रहे हैं।

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

यह रिपोर्ट दूसरों से थोड़ी अलग होगी क्योंकि यह तकनीकी भाग के बारे में अधिक थी, लेकिन यहां मैं इस बारे में बात करूंगा कि हमें समुदाय के विकास से जुड़ी समस्याओं का सामना कैसे करना पड़ा। और कैसे हमें एक छोटा सा विचार आया जो हमें इससे निपटने में मदद करता है।

कुछ साल पहले, वाल-जी एक काफी छोटा प्रोजेक्ट था जो हमें साइटस डेटा से मिला था। और हमने इसे अभी ले लिया। और इसे एक व्यक्ति द्वारा विकसित किया गया था।

और केवल वाल-जी के पास नहीं था:

• प्रतिकृति से बैकअप.
• कोई वृद्धिशील बैकअप नहीं थे.
• कोई वाल-डेल्टा बैकअप नहीं थे।
• और अभी भी बहुत कुछ गायब था।

इन कुछ वर्षों में, वाल-जी का बहुत विकास हुआ है।

और 2020 तक, उपरोक्त सभी पहले ही सामने आ चुके हैं। और इसमें वह जोड़ा गया जो अब हमारे पास है:

• GitHub पर 1 से अधिक सितारे।
• 150 कांटे.
• लगभग 15 खुले पी.आर.
• और भी कई योगदानकर्ता।
• और हर समय खुले मुद्दे. और यह इस तथ्य के बावजूद है कि हम वस्तुतः हर दिन वहां जाते हैं और इसके बारे में कुछ न कुछ करते हैं।

और हम इस निष्कर्ष पर पहुंचे कि इस परियोजना पर हमें अधिक ध्यान देने की आवश्यकता है, तब भी जब हमें स्वयं यांडेक्स में अपनी प्रबंधित डेटाबेस सेवा के लिए कुछ भी लागू करने की आवश्यकता नहीं है।

और 2018 की शरद ऋतु में कहीं न कहीं हमारे दिमाग में एक विचार आया। यदि आपके पास पर्याप्त हाथ नहीं हैं तो आमतौर पर टीम के पास कुछ सुविधाएँ विकसित करने या बग ठीक करने के कई तरीके होते हैं। उदाहरण के लिए, आप किसी अन्य डेवलपर को काम पर रख सकते हैं और उसे पैसे दे सकते हैं। या फिर आप कुछ समय के लिए किसी इंटर्न को काम पर रख सकते हैं और उसे कुछ वेतन भी दे सकते हैं। लेकिन अभी भी लोगों का एक बड़ा समूह है, जिनमें से कुछ पहले से ही वास्तव में कोड लिखना जानते हैं। आपको हमेशा यह पता नहीं चलता कि कोड किस गुणवत्ता का है।

हमने इसके बारे में सोचा और छात्रों को आकर्षित करने का प्रयास करने का निर्णय लिया। लेकिन छात्र हमारे साथ हर चीज़ में भाग नहीं लेंगे. वे काम का केवल कुछ हिस्सा ही करेंगे. और, उदाहरण के लिए, वे परीक्षण लिखेंगे, बग ठीक करेंगे, ऐसी सुविधाएँ लागू करेंगे जो मुख्य कार्यक्षमता को प्रभावित नहीं करती हैं। मुख्य कार्यक्षमता बैकअप बनाना और बैकअप पुनर्स्थापित करना है। यदि हम बैकअप बनाने में गलती करते हैं, तो हमें डेटा हानि का अनुभव होगा। और निःसंदेह, कोई भी यह नहीं चाहता। हर कोई चाहता है कि सबकुछ बेहद सुरक्षित रहे। इसलिए, निःसंदेह, हम उस कोड को नहीं छोड़ना चाहते जिस पर हमें अपने से कम भरोसा हो। अर्थात्, कोई भी गैर-महत्वपूर्ण कोड वह है जो हम अपने अतिरिक्त कर्मचारियों से प्राप्त करना चाहेंगे।

छात्र पीआर को किन शर्तों के तहत स्वीकार किया जाता है?

• उन्हें अपने कोड को परीक्षणों के साथ कवर करना आवश्यक है। सब कुछ सीआई में होना चाहिए.
• और हम 2 समीक्षाओं से भी गुजरते हैं। एक एंड्री बोरोडिन द्वारा और एक मेरे द्वारा।
• और इसके अतिरिक्त, यह जांचने के लिए कि इससे हमारी सेवा में कुछ भी टूट नहीं जाएगा, मैं इस कमिट के साथ असेंबली को अलग से अपलोड करता हूं। और हम एंड-टू-एंड परीक्षणों में जांच करते हैं कि कुछ भी विफल नहीं होता है।

ओपन सोर्स पर विशेष पाठ्यक्रम

इसकी आवश्यकता क्यों है और यह क्यों है, इसके बारे में थोड़ा सा, मुझे ऐसा लगता है, यह एक अच्छा विचार है।

हमारे लिए, लाभ स्पष्ट है:

• हमें अतिरिक्त हाथ मिलते हैं.
• और हम स्मार्ट कोड लिखने वाले स्मार्ट छात्रों के बीच टीम के लिए उम्मीदवारों की तलाश कर रहे हैं।

छात्रों को क्या फायदा?

वे कम स्पष्ट हो सकते हैं, क्योंकि छात्रों को, कम से कम, उनके द्वारा लिखे गए कोड के लिए पैसे नहीं मिलते हैं, बल्कि केवल उनके छात्र रिकॉर्ड के लिए ग्रेड मिलते हैं।

मैंने उनसे इस बारे में पूछा. और उनके शब्दों में:

• ओपन सोर्स में योगदानकर्ता का अनुभव।
• अपने CV में एक पंक्ति प्राप्त करें.
• अपने आप को साबित करें और यांडेक्स में साक्षात्कार पास करें।
• जीएसओसी सदस्य बनें.
• उन लोगों के लिए +1 विशेष पाठ्यक्रम जो कोड लिखना चाहते हैं।

मैं इस बारे में बात नहीं करूंगा कि पाठ्यक्रम कैसे संरचित था। मैं बस यही कहूंगा कि वाल-जी मुख्य परियोजना थी। हमने इस पाठ्यक्रम में ओडिसी, पोस्टग्रेएसक्यूएल और क्लिकहाउस जैसी परियोजनाओं को भी शामिल किया है।

और उन्होंने न केवल इस पाठ्यक्रम में समस्याएं दीं, बल्कि डिप्लोमा और कोर्सवर्क भी दिया।

उपयोगकर्ताओं के लिए लाभ के बारे में क्या?

अब आइए उस हिस्से पर चलते हैं जिसमें आपकी सबसे अधिक रुचि है। इससे आपका क्या भला होता है? मुद्दा यह है कि छात्रों ने बहुत सारी गड़बड़ियाँ ठीक कर दीं। और हमने वे अनुरोध सुविधाएँ बनाईं जो आपने हमसे करने के लिए कहा था।

और मैं आपको उन चीजों के बारे में बताता हूं जो आप लंबे समय से चाहते थे और जो साकार हो गई हैं।

टेबलस्पेस समर्थन। WAL-G में टेबलस्पेस की अपेक्षा संभवतः WAL-G के जारी होने के बाद से की गई है, क्योंकि WAL-G एक अन्य बैकअप टूल WAL-E का उत्तराधिकारी है, जहां टेबलस्पेस के साथ डेटाबेस बैकअप समर्थित थे।

मैं आपको संक्षेप में याद दिला दूं कि यह क्या है और इसकी आवश्यकता क्यों है। आमतौर पर, आपके सभी पोस्टग्रेज़ डेटा फ़ाइल सिस्टम पर एक निर्देशिका में रहते हैं, जिसे आधार कहा जाता है। और इस निर्देशिका में पहले से ही पोस्टग्रेज़ के लिए आवश्यक सभी फ़ाइलें और उपनिर्देशिकाएँ शामिल हैं।

टेबलस्पेस वे निर्देशिकाएँ हैं जिनमें पोस्टग्रेज़ डेटा होता है, लेकिन वे आधार निर्देशिका के बाहर स्थित नहीं होते हैं। स्लाइड से पता चलता है कि टेबलस्पेस बेस निर्देशिका के बाहर स्थित हैं।

पोस्टग्रेज़ के लिए यह कैसा दिखता है? आधार निर्देशिका में एक अलग उपनिर्देशिका pg_tblspc है। और इसमें उन निर्देशिकाओं के सिम्लिंक शामिल हैं जिनमें वास्तव में आधार निर्देशिका के बाहर पोस्टग्रेज डेटा शामिल है।

जब आप ये सब इस्तेमाल करेंगे तो आपके लिए ये कमांड कुछ इस तरह दिख सकते हैं. यानी, आप कुछ निर्दिष्ट टेबलस्पेस में एक टेबल बनाते हैं और देखते हैं कि वह अब कहां है। ये अंतिम दो पंक्तियाँ हैं, अंतिम दो कमांड कहलाते हैं। और वहाँ यह स्पष्ट है कि कोई रास्ता है। लेकिन हकीकत में ये असली तरीका नहीं है. यह बेस डायरेक्टरी से टेबलस्पेस तक का पूर्वनिर्धारित पथ है। और वहां से इसका मिलान एक सिम्लिंक से किया जाता है जो आपके वास्तविक डेटा तक ले जाता है।

हम अपनी टीम में यह सब उपयोग नहीं करते हैं, लेकिन इसका उपयोग कई अन्य वाल-ई उपयोगकर्ताओं द्वारा किया गया था जिन्होंने हमें लिखा था कि वे वाल-जी में जाना चाहते थे, लेकिन यह उन्हें रोक रहा था। यह अब समर्थित है.

एक और विशेषता जो हमारा विशेष पाठ्यक्रम हमारे लिए लेकर आया वह है कैचअप। जिन लोगों ने शायद पोस्टग्रेज की तुलना में ओरेकल के साथ अधिक काम किया है, वे कैचअप के बारे में जानते हैं।

यह क्या है इसके बारे में संक्षेप में। हमारी सेवा में क्लस्टर टोपोलॉजी आमतौर पर कुछ इस तरह दिख सकती है। हमारे पास एक गुरु है. एक प्रतिकृति है जो इससे राइट-फ़ॉरवर्ड लॉग स्ट्रीम करती है। और प्रतिकृति मास्टर को बताती है कि यह वर्तमान में किस एलएसएन पर है। और कहीं न कहीं इसके समानांतर, लॉग को संग्रहीत किया जा सकता है। और लॉग को आर्काइव करने के अलावा बैकअप भी क्लाउड पर भेजा जाता है। और डेल्टा बैकअप भेजे जाते हैं.

क्या समस्या हो सकती है? जब आपके पास काफी बड़ा डेटाबेस होता है, तो यह पता चल सकता है कि आपकी प्रतिकृति मास्टर से बहुत पीछे रहने लगती है। और वह इतनी पिछड़ गई कि कभी भी उसके साथ नहीं मिल पाई। इस समस्या को आमतौर पर किसी तरह हल करने की आवश्यकता होती है।

और सबसे आसान तरीका यह है कि प्रतिकृति को हटा दें और इसे दोबारा अपलोड करें, क्योंकि यह कभी भी पकड़ में नहीं आएगा, और समस्या से निपटने की जरूरत है। लेकिन यह काफी लंबा समय है, क्योंकि पूरे 10 टीबी डेटाबेस बैकअप को पुनर्स्थापित करना बहुत ही लंबा समय है। और यदि ऐसी समस्याएँ आती हैं तो हम यह सब यथाशीघ्र करना चाहते हैं। और कैचअप बिल्कुल इसी के लिए है।

कैचअप आपको डेल्टा बैकअप का उपयोग करने की अनुमति देता है, जो इस तरह से क्लाउड में संग्रहीत होते हैं। आप कहते हैं कि लैगिंग प्रतिकृति किस एलएसएन पर वर्तमान में है और उस एलएसएन और एलएसएन के बीच डेल्टा बैकअप बनाने के लिए कैचअप कमांड में इसे निर्दिष्ट करें जिस पर आपका क्लस्टर वर्तमान में स्थित है। और उसके बाद आप इस बैकअप को उस प्रतिकृति पर पुनर्स्थापित करें जो पीछे रह गई थी।

अन्य आधार

छात्र हमारे लिए एक साथ कई सुविधाएँ भी लेकर आए। चूँकि Yandex में हम न केवल Postgres पकाते हैं, हमारे पास MySQL, MongoDB, Redis, ClickHouse भी हैं, कुछ बिंदु पर हमें MySQL के लिए पॉइंट-इन-टाइम रिकवरी के साथ बैकअप बनाने में सक्षम होने की आवश्यकता थी, और ताकि अपलोड करने का अवसर मिले। उन्हें बादल तक.

और हम इसे कुछ उसी तरह से करना चाहते थे जैसे वाल-जी करता है। और हमने प्रयोग करने और यह देखने का निर्णय लिया कि यह सब कैसा दिखेगा।

और सबसे पहले, इस तर्क को किसी भी तरह से साझा किए बिना, उन्होंने फोर्क में कोड लिखा। उन्होंने देखा कि हमारे पास किसी प्रकार का कार्यशील मॉडल है और वह उड़ सकता है। फिर हमने सोचा कि हमारा मुख्य समुदाय पोस्टग्रेसिस्ट है, वे वाल-जी का उपयोग करते हैं। और इसलिए हमें किसी तरह इन हिस्सों को अलग करने की जरूरत है। अर्थात्, जब हम Postgres के लिए कोड संपादित करते हैं, तो हम MySQL को नहीं तोड़ते हैं; जब हम MySQL को संपादित करते हैं, तो हम Postgres को नहीं तोड़ते हैं।

इसे कैसे अलग किया जाए इसके बारे में पहला विचार उसी दृष्टिकोण का उपयोग करने का था जो PostgreSQL एक्सटेंशन में उपयोग किया जाता है। और, वास्तव में, MySQL बैकअप बनाने के लिए आपको किसी प्रकार की गतिशील लाइब्रेरी स्थापित करनी होगी।

लेकिन यहां इस दृष्टिकोण की विषमता तुरंत दिखाई देती है। जब आप पोस्टग्रेज़ का बैकअप लेते हैं, तो आप उस पर पोस्टग्रेज़ का सामान्य बैकअप डालते हैं और सब कुछ ठीक है। और MySQL के लिए यह पता चलता है कि आप Postgres के लिए एक बैकअप स्थापित करते हैं और इसके लिए MySQL के लिए एक डायनामिक लाइब्रेरी भी स्थापित करते हैं। यह कुछ अजीब लगता है. हमने भी ऐसा सोचा और निर्णय लिया कि यह वह समाधान नहीं है जिसकी हमें आवश्यकता थी।

Postgres, MySQL, MongoDB, Redis के लिए विभिन्न बिल्ड

लेकिन हमें ऐसा लगता है कि इसने हमें सही निर्णय पर पहुंचने की अनुमति दी - विभिन्न आधारों के लिए अलग-अलग असेंबली आवंटित करने की। इससे विभिन्न डेटाबेस के बैकअप से जुड़े तर्क को अलग करना संभव हो गया जो वाल-जी द्वारा लागू किए जाने वाले सामान्य एपीआई तक पहुंच प्राप्त करेगा।

यह वह भाग है जिसे हमने स्वयं लिखा है - विद्यार्थियों को समस्याएँ बताने से पहले। यानी, यही वह हिस्सा है जहां वे कुछ गलत कर सकते हैं, इसलिए हमने फैसला किया कि बेहतर होगा कि हम ऐसा कुछ करें और सब कुछ ठीक हो जाएगा।

उसके बाद हमने समस्याएं बतायीं. उन्हें तुरंत नष्ट कर दिया गया। छात्रों को तीन आधारों का समर्थन करना आवश्यक था।

यह MySQL है, जिसका हम एक वर्ष से अधिक समय से WAL-G का उपयोग करके इस प्रकार बैकअप ले रहे हैं।

और अब MongoDB उत्पादन के करीब पहुंच रहा है, जहां वे इसे एक फ़ाइल के साथ समाप्त कर रहे हैं। वास्तव में, हमने इन सबके लिए रूपरेखा लिखी। फिर विद्यार्थियों ने कुछ काम लायक बातें लिखीं। और फिर हम उन्हें ऐसी स्थिति में लाते हैं कि हम उत्पादन में स्वीकार कर सकें।

ये समस्याएँ ऐसी नहीं लगीं कि छात्रों को इनमें से प्रत्येक डेटाबेस के लिए पूर्ण बैकअप टूल लिखने की आवश्यकता थी। हमें ऐसी कोई समस्या नहीं थी. हमारी समस्या यह थी कि हम पॉइंट-इन-टाइम रिकवरी चाहते थे और हम क्लाउड पर बैकअप लेना चाहते थे। और उन्होंने विद्यार्थियों से कुछ कोड लिखने को कहा जिससे इसका समाधान हो सके। छात्रों ने पहले से मौजूद बैकअप टूल का उपयोग किया, जो किसी तरह बैकअप लेता है, और फिर इसे वाल-जी के साथ एक साथ चिपका दिया, जिसने इसे क्लाउड पर भेज दिया। और उन्होंने इसमें पॉइंट-इन-टाइम रिकवरी भी जोड़ दी।

छात्र और क्या लाए? वे वाल-जी में लिब्सोडियम एन्क्रिप्शन समर्थन लेकर आए।

हमारे पास बैकअप भंडारण नीतियां भी हैं। अब बैकअप को स्थायी के रूप में चिह्नित किया जा सकता है। और किसी तरह आपकी सेवा के लिए उन्हें संग्रहीत करने की प्रक्रिया को स्वचालित करना अधिक सुविधाजनक है।

इस प्रयोग का नतीजा क्या निकला?

प्रारंभ में पाठ्यक्रम के लिए 100 से अधिक लोगों ने पंजीकरण कराया। पहले तो मैंने यह नहीं कहा कि येकातेरिनबर्ग में विश्वविद्यालय यूराल संघीय विश्वविद्यालय है। हमने वहां हर चीज की घोषणा की. 100 लोगों ने रजिस्ट्रेशन कराया. वास्तव में, बहुत कम लोगों ने कुछ करना शुरू किया, लगभग 30 लोगों ने।

इससे भी कम लोगों ने पाठ्यक्रम पूरा किया, क्योंकि पहले से मौजूद कोड के लिए परीक्षण लिखना आवश्यक था। और कुछ बग को भी ठीक करें या कुछ फीचर बनाएं। और कुछ छात्रों ने अभी भी पाठ्यक्रम बंद कर दिया है।

वर्तमान में, इस पाठ्यक्रम के दौरान, छात्रों ने लगभग 14 मुद्दों को ठीक किया है और विभिन्न आकारों की 10 विशेषताएं बनाई हैं। और, मुझे ऐसा लगता है, यह एक या दो डेवलपर्स का पूर्ण प्रतिस्थापन है।

अन्य बातों के अलावा, हमने डिप्लोमा और कोर्सवर्क जारी किया। और 12 को डिप्लोमा प्राप्त हुआ। उनमें से 6 ने पहले ही "5" पर अपना बचाव कर लिया है। जो बचे थे उनके पास अभी तक सुरक्षा नहीं थी, लेकिन मुझे लगता है कि उनके लिए भी सब कुछ ठीक हो जाएगा.

Планы на будущее

भविष्य के लिए हमारी क्या योजनाएँ हैं?

कम से कम वे सुविधा अनुरोध जो हम पहले ही उपयोगकर्ताओं से सुन चुके हैं और करना चाहते हैं। यह:

• एचए क्लस्टर बैकअप संग्रह में टाइमलाइन ट्रैकिंग की शुद्धता की निगरानी करना। आप इसे वाल-जी के साथ कर सकते हैं। और मुझे लगता है कि हमारे पास ऐसे छात्र होंगे जो इस मामले को उठाएंगे।
• हमारे पास पहले से ही बादलों के बीच बैकअप और वाल स्थानांतरित करने के लिए जिम्मेदार एक व्यक्ति है।
• और हमने हाल ही में एक विचार प्रकाशित किया है कि हम पृष्ठों को दोबारा लिखे बिना और वहां भेजे गए अभिलेखों को अनुकूलित किए बिना वृद्धिशील बैकअप को अनपैक करके वाल-जी को और भी तेज कर सकते हैं।

आप उन्हें यहां साझा कर सकते हैं

यह रिपोर्ट किसलिए थी? इसके अलावा, अब, इस परियोजना का समर्थन करने वाले 4 लोगों के अलावा, हमारे पास अतिरिक्त हाथ हैं, जिनकी संख्या काफी अधिक है। विशेषकर यदि आप उन्हें व्यक्तिगत संदेश में लिखते हैं। और यदि आप अपने डेटा का बैकअप लेते हैं और इसे वाल-जी का उपयोग करके करते हैं या वाल-जी में जाना चाहते हैं, तो हम आपकी इच्छाओं को आसानी से समायोजित कर सकते हैं।

यह एक QR कोड और एक लिंक है. आप उनके माध्यम से जा सकते हैं और अपनी सभी इच्छाएँ लिख सकते हैं। उदाहरण के लिए, हम कोई बग ठीक नहीं कर रहे हैं. या आप वास्तव में कुछ सुविधा चाहते हैं, लेकिन किसी कारण से यह अभी तक हमारे सहित किसी भी बैकअप में नहीं है। इसके बारे में अवश्य लिखें.

सवाल

नमस्ते! रिपोर्ट के लिए धन्यवाद! वाल-जी के बारे में प्रश्न, लेकिन पोस्टग्रेज़ के बारे में नहीं। WAL-G MySQL का बैकअप लेता है और अतिरिक्त बैकअप कॉल करता है। यदि हम CentOS पर आधुनिक इंस्टॉलेशन लेते हैं और यदि आप yum MySQL इंस्टॉल करते हैं, तो मैरीडीबी इंस्टॉल हो जाएगा। संस्करण 10.3 से अतिरिक्त बैकअप समर्थित नहीं है, मैरिडीबी बैकअप समर्थित है। आप इससे कैसे निपट रहे हैं?

फिलहाल हमने मैरीडीबी का बैकअप लेने का प्रयास नहीं किया है। हमारे पास फाउंडेशनडीबी समर्थन के लिए अनुरोध आए हैं, लेकिन सामान्य तौर पर, यदि ऐसा कोई अनुरोध है, तो हम ऐसे लोगों को ढूंढ सकते हैं जो इसे करेंगे। यह उतना लंबा या कठिन नहीं है जितना मैं सोचता हूं।

शुभ दोपहर रिपोर्ट के लिए धन्यवाद! संभावित नई सुविधाओं के बारे में प्रश्न. क्या आप वाल-जी को टेपों के साथ काम करने के लिए तैयार हैं ताकि आप टेपों का बैकअप ले सकें?

स्पष्ट रूप से टेप भंडारण पर बैकअप का क्या मतलब है?

हां.

आंद्रेई बोरोडिन हैं, जो इस प्रश्न का उत्तर मुझसे बेहतर दे सकते हैं।

(एंड्रे) हां, सवाल के लिए धन्यवाद! हमें क्लाउड स्टोरेज से बैकअप को टेप में स्थानांतरित करने का अनुरोध मिला था। और इसके लिए काटना बादलों के बीच स्थानांतरण. क्योंकि क्लाउड-टू-क्लाउड ट्रांसफर टेप ट्रांसफर का एक सामान्यीकृत संस्करण है। इसके अलावा, हमारे पास स्टोरेज के संदर्भ में एक एक्स्टेंसिबल आर्किटेक्चर है। वैसे, कई स्टोरेज छात्रों द्वारा लिखे गए थे। और यदि आप टेप के लिए स्टोरेज लिखते हैं, तो यह निश्चित रूप से समर्थित होगा। हम पुल अनुरोधों पर विचार करने के लिए तैयार हैं। वहां आपको एक फाइल लिखनी है, एक फाइल पढ़नी है। यदि आप गो में ये काम करते हैं, तो आमतौर पर आपके पास कोड की 50 पंक्तियाँ होती हैं। और फिर वाल-जी में टेप का समर्थन किया जाएगा.

रिपोर्ट के लिए धन्यवाद! दिलचस्प विकास प्रक्रिया. बैकअप कार्यक्षमता का एक गंभीर हिस्सा है जिसे परीक्षणों द्वारा अच्छी तरह से कवर किया जाना चाहिए। जब आपने नए डेटाबेस के लिए कार्यक्षमता लागू की, तो क्या छात्रों ने भी परीक्षण लिखे, या आपने स्वयं परीक्षण लिखे और फिर छात्रों को कार्यान्वयन दिया?

छात्रों ने परीक्षण भी लिखे। लेकिन छात्रों ने नए डेटाबेस जैसी सुविधाओं के लिए अधिक लिखा। उन्होंने एकीकरण परीक्षण लिखे। और उन्होंने यूनिट परीक्षण लिखे। यदि एकीकरण पारित हो जाता है, यानी, इस समय, यह एक स्क्रिप्ट है जिसे आप मैन्युअल रूप से निष्पादित करते हैं या उदाहरण के लिए, आपके पास इसे करने का क्रॉन है। यानी वहां की लिपि बहुत स्पष्ट है.

छात्रों के पास ज्यादा अनुभव नहीं है. क्या समीक्षा करने में बहुत समय लगता है?

हाँ, समीक्षाओं में काफ़ी समय लगता है। यानी, आमतौर पर, जब कई कमिटर्स एक साथ आते हैं और कहते हैं कि मैंने यह किया, मैंने वह किया, तो आपको सोचने की जरूरत है और यह पता लगाने के लिए लगभग आधा दिन अलग रखना होगा कि उन्होंने वहां क्या लिखा है। क्योंकि कोड को ध्यान से पढ़ना होगा। उनका कोई इंटरव्यू नहीं हुआ. हम उन्हें अच्छी तरह से नहीं जानते, इसलिए इसमें काफ़ी समय लगता है।

रिपोर्ट के लिए धन्यवाद! पहले, एंड्री बोरोडिन ने कहा था कि वाल-जी में आर्काइव_कमांड को सीधे कॉल किया जाना चाहिए। लेकिन किसी प्रकार के क्लस्टर कार्ट्रिज के मामले में, हमें उस नोड को निर्धारित करने के लिए अतिरिक्त तर्क की आवश्यकता होती है जिससे शाफ्ट भेजा जाए। आप स्वयं इस समस्या का समाधान कैसे करेंगे?

आपकी यहाँ क्या समस्या है? मान लीजिए कि आपके पास एक सिंक्रोनस प्रतिकृति है जिसके साथ आप बैकअप बना रहे हैं? या क्या?

(एंड्रे) तथ्य यह है कि वास्तव में वाल-जी का उपयोग शेल स्क्रिप्ट के बिना किया जाना है। यदि कुछ छूट गया है, तो आइए वह तर्क जोड़ें जो WAL-G के अंदर होना चाहिए। जहाँ तक यह सवाल है कि संग्रह कहाँ से होना चाहिए, हमारा मानना ​​है कि संग्रह क्लस्टर में वर्तमान मास्टर से होना चाहिए। किसी प्रतिकृति से संग्रहित करना एक बुरा विचार है. समस्याओं के विभिन्न संभावित परिदृश्य हैं। विशेष रूप से, समयसीमा और किसी भी अतिरिक्त जानकारी को संग्रहीत करने में समस्याएँ। प्रश्न के लिए धन्यवाद!

(स्पष्टीकरण: हमने शेल स्क्रिप्ट से छुटकारा पा लिया है इस अंक में)

शुभ संध्या! रिपोर्ट के लिए धन्यवाद! मुझे उस कैचअप सुविधा में दिलचस्पी है जिसके बारे में आपने बात की। हमें ऐसी स्थिति का सामना करना पड़ा जहां एक प्रतिकृति पीछे थी और पकड़ में नहीं आ सकी। और मुझे वाल-जी दस्तावेज़ों में इस सुविधा का विवरण नहीं मिला।

कैचअप सचमुच 20 जनवरी 2020 को सामने आया। दस्तावेज़ीकरण में कुछ और काम करने की आवश्यकता हो सकती है. हम इसे स्वयं लिखते हैं और हम इसे बहुत अच्छी तरह से नहीं लिखते हैं। और शायद हमें विद्यार्थियों से इसे लिखने के लिए कहना शुरू कर देना चाहिए।

क्या यह पहले ही रिलीज़ हो चुका है?

पुल अनुरोध पहले ही ख़त्म हो चुका है, यानी मैंने इसकी जाँच कर ली है। मैंने इसे एक परीक्षण क्लस्टर पर आज़माया। अभी तक हमारे सामने ऐसी स्थिति नहीं आई है जहां हम युद्ध के उदाहरण में इसका परीक्षण कर सकें।

कब उम्मीद करें?

मुझें नहीं पता। एक महीने प्रतीक्षा करें, हम निश्चित रूप से जाँच करेंगे।

स्रोत: www.habr.com