WAL-G: नवीन वैशिष्ट्ये आणि समुदाय विस्तार. जॉर्जी रायलोव्ह

मी सुचवितो की तुम्ही जॉर्जी रायलोव्ह "WAL-G: नवीन संधी आणि समुदायाचा विस्तार" यांच्या 2020 च्या सुरुवातीच्या अहवालाचा उतारा वाचा.

मुक्त-स्रोत देखभाल करणार्‍यांना त्यांची वाढ होत असताना त्यांना अनेक आव्हानांचा सामना करावा लागतो. अधिक आणि अधिक आवश्यक वैशिष्ट्ये कशी लिहायची, अधिकाधिक समस्यांचे निराकरण कसे करावे आणि अधिकाधिक पुल विनंत्या पाहण्यासाठी व्यवस्थापित कसे करावे? उदाहरण म्हणून WAL-G (PostgreSQL साठी बॅकअप-टूल) वापरून, मी तुम्हाला युनिव्हर्सिटीमध्ये ओपन-सोर्स डेव्हलपमेंटचा कोर्स सुरू करून या समस्या कशा सोडवल्या, आम्ही काय साध्य केले आणि आम्ही पुढे कुठे जाऊ हे सांगेन.

सर्वांना पुन्हा नमस्कार! मी येकातेरिनबर्ग येथील यांडेक्स विकसक आहे. आणि आज मी WAL-G बद्दल बोलणार आहे.

अहवालाच्या शीर्षकाने असे म्हटले नाही की ते बॅकअपबद्दल काहीतरी आहे. WAL-G म्हणजे काय हे कोणाला माहीत आहे का? किंवा प्रत्येकाला माहित आहे? तुम्हाला माहीत नसेल तर हात वर करा. होली शिट, तुम्ही रिपोर्टवर आला आहात आणि ते कशाबद्दल आहे हे माहित नाही.

आज काय होईल ते मी तुम्हाला सांगतो. असे घडते की आमचा कार्यसंघ बर्‍याच काळापासून बॅकअप घेत आहे. आणि हा मालिकेतील आणखी एक अहवाल आहे जिथे आम्ही डेटा सुरक्षितपणे, सुरक्षितपणे, सोयीस्करपणे आणि कार्यक्षमतेने कसा संग्रहित करतो याबद्दल बोलतो.

मागील मालिकेत आंद्रेई बोरोडिन आणि व्लादिमीर लेस्कोव्ह यांचे बरेच अहवाल होते. आमच्यापैकी बरेच जण होते. आणि आम्ही अनेक वर्षांपासून WAL-G बद्दल बोलत आहोत.

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

हा अहवाल इतरांपेक्षा थोडा वेगळा असेल कारण तो तांत्रिक भागाबद्दल अधिक होता, परंतु येथे मी समुदायाच्या वाढीशी संबंधित समस्या कशा आल्या याबद्दल बोलेन. आणि आम्हाला एक छोटीशी कल्पना कशी सुचली जी आम्हाला याचा सामना करण्यास मदत करते.

काही वर्षांपूर्वी, WAL-G हा एक अतिशय छोटा प्रकल्प होता जो आम्हाला Citus Data कडून मिळाला होता. आणि आम्ही फक्त ते घेतले. आणि ते एका व्यक्तीने विकसित केले होते.

आणि फक्त WAL-G कडे नव्हते:

• प्रतिकृतीमधून बॅकअप घ्या.
• कोणतेही वाढीव बॅकअप नव्हते.
• कोणतेही WAL-Delta बॅकअप नव्हते.
• आणि अजूनही बरेच काही गहाळ होते.

या काही वर्षांत, WAL-G खूप वाढला आहे.

आणि 2020 पर्यंत, वरील सर्व आधीच दिसून आले आहे. आणि त्यात आता आमच्याकडे जे आहे ते जोडले गेले:

• GitHub वर 1 पेक्षा जास्त तारे.
• 150 काटे.
• सुमारे 15 ओपन पीआर.
• आणि बरेच योगदानकर्ते.
• आणि सर्व वेळ समस्या उघडा. आणि हे असूनही आम्ही अक्षरशः दररोज तिथे जातो आणि त्याबद्दल काहीतरी करतो.

आणि आम्ही या निष्कर्षावर पोहोचलो की या प्रकल्पाकडे आमचे अधिक लक्ष देणे आवश्यक आहे, जरी आम्हाला स्वतःला Yandex मधील आमच्या व्यवस्थापित डेटाबेस सेवेसाठी काहीही लागू करण्याची आवश्यकता नाही.

आणि कुठेतरी 2018 च्या शरद ऋतूत, आमच्या मनात एक कल्पना आली. तुमच्याकडे पुरेसे हात नसल्यास काही वैशिष्‍ट्ये विकसित करण्‍याचे किंवा बगचे निराकरण करण्‍याचे अनेक मार्ग संघाकडे असतात. उदाहरणार्थ, तुम्ही दुसऱ्या डेव्हलपरची नेमणूक करू शकता आणि त्याला पैसे देऊ शकता. किंवा तुम्ही काही काळ इंटर्न घेऊ शकता आणि त्याला काही पगार देखील देऊ शकता. परंतु अजूनही लोकांचा एक मोठा गट आहे, ज्यापैकी काहींना कोड कसे लिहायचे हे आधीच माहित आहे. कोडची गुणवत्ता काय आहे हे आपल्याला नेहमी माहित नसते.

आम्ही याचा विचार करून विद्यार्थ्यांना आकर्षित करण्याचा प्रयत्न करण्याचे ठरवले. मात्र विद्यार्थी आमच्यासोबत प्रत्येक गोष्टीत सहभागी होणार नाहीत. ते कामाचा काही भागच करतील. आणि ते, उदाहरणार्थ, चाचण्या लिहितील, दोषांचे निराकरण करतील, मुख्य कार्यक्षमतेवर परिणाम न करणारी वैशिष्ट्ये लागू करतील. मुख्य कार्यक्षमता बॅकअप तयार करणे आणि बॅकअप पुनर्संचयित करणे आहे. आम्ही बॅकअप तयार करण्यात चूक केल्यास, आम्हाला डेटा गमावण्याचा अनुभव येईल. आणि कोणालाही हे नक्कीच नको आहे. प्रत्येक गोष्ट अतिशय सुरक्षित असावी अशी प्रत्येकाची इच्छा असते. म्हणूनच, अर्थातच, आम्ही आमच्या स्वतःच्या पेक्षा कमी विश्वास असलेल्या कोडला जाऊ देऊ इच्छित नाही. म्हणजेच, कोणताही नॉन-क्रिटिकल कोड आम्हाला आमच्या अतिरिक्त कामगारांकडून मिळू इच्छितो.

विद्यार्थी पीआर कोणत्या परिस्थितीत स्वीकारला जातो?

• त्यांना त्यांचा कोड चाचण्यांसह कव्हर करणे आवश्यक आहे. सर्व काही CI मध्ये घडले पाहिजे.
• आणि आम्ही 2 पुनरावलोकनांमधून देखील जातो. एक आंद्रे बोरोडिन आणि एक माझ्याकडून.
• आणि याशिवाय, आमच्या सेवेत यामुळे काहीही खंडित होणार नाही हे तपासण्यासाठी, मी स्वतंत्रपणे या कमिटसह असेंब्ली अपलोड करतो. आणि आम्ही एंड-टू-एंड चाचण्या तपासतो की काहीही अयशस्वी होत नाही.

मुक्त स्त्रोतावरील विशेष अभ्यासक्रम

याची गरज का आहे आणि हे का आहे याबद्दल थोडेसे, मला वाटते, एक छान कल्पना आहे.

आमच्यासाठी, नफा स्पष्ट आहे:

• आम्हाला अतिरिक्त हात मिळतात.
• आणि आम्ही स्मार्ट कोड लिहिणाऱ्या हुशार विद्यार्थ्यांमध्ये संघासाठी उमेदवार शोधत आहोत.

विद्यार्थ्यांसाठी काय फायदा?

ते कमी स्पष्ट असू शकतात, कारण विद्यार्थी, कमीतकमी, त्यांनी लिहिलेल्या कोडसाठी पैसे प्राप्त करत नाहीत, परंतु केवळ त्यांच्या विद्यार्थ्यांच्या नोंदींसाठी ग्रेड प्राप्त करतात.

मी त्यांना याबाबत विचारले. आणि त्यांच्या शब्दात:

• मुक्त स्रोत मध्ये योगदानकर्ता अनुभव.
• तुमच्या CV मध्ये एक ओळ मिळवा.
• स्वत: ला सिद्ध करा आणि Yandex मध्ये एक मुलाखत पास करा.
• GSoC सदस्य व्हा.
• ज्यांना कोड लिहायचा आहे त्यांच्यासाठी +1 विशेष कोर्स.

अभ्यासक्रम कसा बनवला गेला याबद्दल मी बोलणार नाही. मी फक्त असे म्हणेन की WAL-G हा मुख्य प्रकल्प होता. आम्ही या कोर्समध्ये Odyssey, PostgreSQL आणि ClickHouse सारखे प्रकल्प देखील समाविष्ट केले आहेत.

आणि त्यांनी केवळ या कोर्समध्येच समस्या दिल्या नाहीत तर डिप्लोमा आणि कोर्सवर्क देखील दिले.

वापरकर्त्यांच्या फायद्याचे काय?

आता तुम्हाला सर्वात जास्त स्वारस्य असलेल्या भागाकडे जाऊया. यातून तुमचा काय फायदा होतो? मुद्दा असा आहे की विद्यार्थ्यांनी बर्‍याच बगचे निराकरण केले आहे. आणि आम्ही विनंती वैशिष्ट्ये बनवली जी तुम्ही आम्हाला करायला सांगितली.

आणि मी तुम्हाला त्या गोष्टींबद्दल सांगतो ज्या तुम्हाला खूप पूर्वीपासून हव्या होत्या आणि ज्या प्रत्यक्षात आल्या आहेत.

टेबलस्पेस समर्थन. WAL-G मधील टेबलस्पेसेस कदाचित WAL-G च्या रिलीझ झाल्यापासून अपेक्षित आहेत, कारण WAL-G हे दुसऱ्या बॅकअप टूल WAL-E चे उत्तराधिकारी आहे, जिथे टेबलस्पेससह डेटाबेस बॅकअप समर्थित होते.

मी तुम्हाला थोडक्यात आठवण करून देतो की ते काय आहे आणि ते का आवश्यक आहे. सामान्यतः, तुमचा सर्व पोस्टग्रेस डेटा फाईल सिस्टीमवर एक निर्देशिका व्यापतो, ज्याला बेस म्हणतात. आणि या निर्देशिकेत पोस्टग्रेसला आवश्यक असलेल्या सर्व फाईल्स आणि सबडिरेक्टरीज आधीपासूनच आहेत.

टेबलस्पेस ही डिरेक्टरी असतात ज्यात पोस्टग्रेस डेटा असतो, परंतु त्या बेस डिरेक्टरीच्या बाहेर नसतात. स्लाइड दाखवते की टेबलस्पॅक्स बेस डिरेक्टरीच्या बाहेर स्थित आहेत.

पोस्टग्रेससाठी हे कसे दिसते? बेस डिरेक्टरीमध्ये pg_tblspc ही वेगळी सबडिरेक्टरी आहे. आणि त्यात बेस डिरेक्ट्रीच्या बाहेर पोस्टग्रेस डेटा असणा-या डिरेक्टरीजचे सिमलिंक्स आहेत.

जेव्हा तुम्ही हे सर्व वापरता, तेव्हा तुमच्यासाठी या आज्ञा कदाचित यासारख्या दिसू शकतात. म्हणजेच, तुम्ही काही विशिष्ट टेबलस्पेसमध्ये एक टेबल तयार करा आणि ते आता कुठे आहे ते पहा. या शेवटच्या दोन ओळी आहेत, ज्यांना शेवटच्या दोन कमांड म्हणतात. आणि तेथे हे स्पष्ट आहे की काही मार्ग आहे. पण प्रत्यक्षात, हा खरा मार्ग नाही. बेस डिरेक्टरी पासून टेबलस्पेस पर्यंत हा प्रीफिक्स्ड मार्ग आहे. आणि तेथून ते एका सिमलिंकसह जुळले आहे जे आपल्या वास्तविक डेटाकडे नेत आहे.

आम्ही आमच्या कार्यसंघामध्ये हे सर्व वापरत नाही, परंतु ते इतर अनेक WAL-E वापरकर्त्यांनी वापरले होते ज्यांनी आम्हाला लिहिले की त्यांना WAL-G मध्ये जायचे आहे, परंतु हे त्यांना थांबवत आहे. हे आता समर्थित आहे.

आमच्या विशेष कोर्सने आम्हाला आणलेले आणखी एक वैशिष्ट्य म्हणजे कॅचअप. ज्या लोकांनी कदाचित पोस्टग्रेस पेक्षा ओरॅकलमध्ये अधिक काम केले असेल त्यांना कॅचअपबद्दल माहिती आहे.

ते काय आहे याबद्दल थोडक्यात. आमच्या सेवेतील क्लस्टर टोपोलॉजी सहसा असे काहीतरी दिसू शकते. आमच्याकडे गुरु आहे. एक प्रतिकृती आहे जी त्यातून लेखन-पुढे लॉग प्रवाहित करते. आणि प्रतिकृती मास्टरला सांगते की सध्या कोणता LSN चालू आहे. आणि याच्या समांतर कुठेतरी, लॉग संग्रहित केले जाऊ शकते. आणि लॉग संग्रहित करण्याव्यतिरिक्त, बॅकअप देखील क्लाउडवर पाठवले जातात. आणि डेल्टा बॅकअप पाठवले जातात.

काय समस्या असू शकते? जेव्हा तुमच्याकडे बर्‍यापैकी मोठा डेटाबेस असतो, तेव्हा असे होऊ शकते की तुमची प्रतिकृती मास्टरपेक्षा खूप मागे पडू लागते. आणि ती इतकी मागे पडते की ती त्याला कधीच पकडू शकत नाही. या समस्येचे सहसा कसे तरी निराकरण करणे आवश्यक आहे.

आणि सर्वात सोपा मार्ग म्हणजे प्रतिकृती काढून टाकणे आणि ती पुन्हा अपलोड करणे, कारण ती कधीही पकडणार नाही आणि समस्येला सामोरे जाणे आवश्यक आहे. परंतु हा बराच काळ आहे, कारण संपूर्ण 10 TB डेटाबेस बॅकअप पुनर्संचयित करणे खूप, खूप लांब आहे. आणि अशा समस्या उद्भवल्यास आम्ही हे सर्व शक्य तितक्या लवकर करू इच्छितो. आणि कॅचअप नेमके कशासाठी आहे.

कॅचअप तुम्हाला डेल्टा बॅकअप वापरण्याची परवानगी देते, जे अशा प्रकारे क्लाउडमध्ये संग्रहित केले जातात. तुम्ही सध्या कोणती LSN ही लॅगिंग प्रतिकृती चालू आहे ते सांगा आणि ते LSN आणि LSN यांच्यामध्ये डेल्टा बॅकअप तयार करण्यासाठी कॅचअप कमांडमध्ये निर्दिष्ट करा ज्यावर तुमचा क्लस्टर सध्या आहे. आणि त्यानंतर तुम्ही हा बॅकअप मागे पडलेल्या प्रतिकृतीवर पुनर्संचयित करा.

इतर तळ

विद्यार्थ्यांनी आमच्याकडे एकाच वेळी अनेक वैशिष्ट्ये आणली. यांडेक्समध्ये आम्ही केवळ पोस्टग्रेसच शिजवत नाही तर आमच्याकडे MySQL, MongoDB, Redis, ClickHouse देखील आहे, काही वेळा आम्हाला MySQL साठी पॉइंट-इन-टाइम रिकव्हरीसह बॅकअप घेणे आवश्यक होते आणि त्यामुळे अपलोड करण्याची संधी होती. त्यांना ढगाकडे.

आणि आम्हाला हे WAL-G जे करते त्याच प्रकारे करायचे होते. आणि आम्ही प्रयोग करण्याचे ठरवले आणि ते सर्व कसे दिसेल.

आणि सुरुवातीला, हे तर्कशास्त्र कोणत्याही प्रकारे सामायिक न करता, त्यांनी काट्यात कोड लिहिला. त्यांनी पाहिले की आमच्याकडे काही प्रकारचे कार्यरत मॉडेल आहे आणि ते उडू शकते. मग आम्ही विचार केला की आमचा मुख्य समुदाय पोस्टग्रेसिस्ट आहे, ते WAL-G वापरतात. आणि म्हणूनच आपल्याला हे भाग वेगळे करणे आवश्यक आहे. म्हणजे, जेव्हा आम्ही Postgres साठी कोड संपादित करतो तेव्हा आम्ही MySQL खंडित करत नाही; जेव्हा आम्ही MySQL संपादित करतो तेव्हा आम्ही Postgres खंडित करत नाही.

हे वेगळे कसे करायचे याविषयीची पहिली कल्पना पोस्टग्रेएसक्यूएल एक्स्टेंशनमध्ये वापरली जाणारी समान पद्धत वापरण्याची कल्पना होती. आणि खरं तर, MySQL बॅकअप घेण्यासाठी तुम्हाला काही प्रकारची डायनॅमिक लायब्ररी इन्स्टॉल करावी लागेल.

परंतु येथे या दृष्टिकोनाची विषमता लगेच दिसून येते. जेव्हा तुम्ही पोस्टग्रेसचा बॅकअप घेता तेव्हा तुम्ही त्यावर पोस्टग्रेससाठी सामान्य बॅकअप ठेवता आणि सर्व काही ठीक होते. आणि MySQL साठी असे दिसून आले की तुम्ही Postgres साठी बॅकअप स्थापित करता आणि त्यासाठी MySQL साठी डायनॅमिक लायब्ररी देखील स्थापित करा. हे काहीसे विचित्र वाटते. आम्ही देखील असाच विचार केला आणि ठरवले की हा उपाय आम्हाला आवश्यक नव्हता.

Postgres, MySQL, MongoDB, Redis साठी विविध बिल्ड

परंतु यामुळे आम्हाला योग्य निर्णयावर येण्याची - वेगवेगळ्या तळांसाठी वेगवेगळ्या असेंब्लीचे वाटप करण्याची परवानगी मिळाली. यामुळे विविध डेटाबेसच्या बॅकअपशी जोडलेले तर्क वेगळे करणे शक्य झाले जे WAL-G लागू करत असलेल्या सामान्य API मध्ये प्रवेश करेल.

हा भाग आम्ही स्वतः लिहिला - विद्यार्थ्यांना समस्या देण्यापूर्वी. म्हणजेच, हा तो भाग आहे जिथे ते काहीतरी चुकीचे करू शकतात, म्हणून आम्ही ठरवले की आम्ही असे काहीतरी करू आणि सर्व काही ठीक होईल.

त्यानंतर आम्ही समस्या मांडल्या. ते ताबडतोब पाडण्यात आले. विद्यार्थ्यांना तीन आधार देणे आवश्यक होते.

हे MySQL आहे, ज्याचा आम्ही एका वर्षाहून अधिक काळ अशा प्रकारे WAL-G वापरून बॅकअप घेत आहोत.

आणि आता मोंगोडीबी उत्पादन जवळ येत आहे, जिथे ते फाइलसह पूर्ण करत आहेत. खरं तर या सगळ्याची चौकट आम्हीच लिहिली. त्यानंतर विद्यार्थ्यांनी काही कार्यक्षम गोष्टी लिहिल्या. आणि मग आम्ही त्यांना अशा स्थितीत आणतो की आम्ही उत्पादनात स्वीकारू शकतो.

या प्रत्येक डेटाबेससाठी संपूर्ण बॅकअप साधने लिहिण्यासाठी विद्यार्थ्यांना आवश्यक असलेल्या या समस्या दिसत नाहीत. आम्हाला अशी अडचण आली नाही. आमची समस्या अशी होती की आम्हाला पॉइंट-इन-टाइम रिकव्हरी हवी होती आणि आम्हाला क्लाउडवर बॅकअप घ्यायचा होता. आणि त्यांनी विद्यार्थ्यांना काही कोड लिहिण्यास सांगितले ज्यामुळे हे निराकरण होईल. विद्यार्थ्यांनी आधीपासून अस्तित्वात असलेली बॅकअप साधने वापरली, जी कशीतरी बॅकअप घेतात आणि नंतर ते सर्व WAL-G सह चिकटवले, ज्याने हे सर्व क्लाउडवर अग्रेषित केले. आणि त्यांनी यामध्ये पॉइंट-इन-टाइम रिकव्हरी देखील जोडली.

विद्यार्थ्यांनी आणखी काय आणले? त्यांनी WAL-G ला Libsodium एन्क्रिप्शन सपोर्ट आणला.

आमच्याकडे बॅकअप स्टोरेज धोरणे देखील आहेत. आता बॅकअप कायमस्वरूपी म्हणून चिन्हांकित केले जाऊ शकतात. आणि ते संचयित करण्याची प्रक्रिया स्वयंचलित करणे आपल्या सेवेसाठी कसे तरी अधिक सोयीचे आहे.

या प्रयोगाचा परिणाम काय झाला?

या अभ्यासक्रमासाठी सुरुवातीला १०० हून अधिक लोकांनी नोंदणी केली. येकातेरिनबर्गमधील विद्यापीठ हे उरल फेडरल युनिव्हर्सिटी आहे असे मी सुरुवातीला म्हटले नाही. आम्ही तिथे सर्व काही जाहीर केले. 100 लोकांनी नोंदणी केली. प्रत्यक्षात, खूप कमी लोक काहीतरी करू लागले, सुमारे 100 लोक.

अगदी कमी लोकांनी कोर्स पूर्ण केला, कारण आधीपासून अस्तित्वात असलेल्या कोडसाठी चाचण्या लिहिणे आवश्यक होते. आणि काही बगचे निराकरण करा किंवा काही वैशिष्ट्य बनवा. आणि काही विद्यार्थ्यांनी अजूनही अभ्यासक्रम बंद केला आहे.

सध्या, या अभ्यासक्रमादरम्यान, विद्यार्थ्यांनी सुमारे 14 समस्यांचे निराकरण केले आहे आणि विविध आकारांची 10 वैशिष्ट्ये बनविली आहेत. आणि, मला असे वाटते की ही एक किंवा दोन विकसकांची पूर्ण बदली आहे.

इतर गोष्टींबरोबरच, आम्ही डिप्लोमा आणि कोर्सवर्क जारी केले. आणि 12 डिप्लोमा प्राप्त केले. त्यापैकी 6 जणांनी आधीच "5" वर स्वतःचा बचाव केला आहे. जे राहिले त्यांना अद्याप संरक्षण मिळाले नाही, परंतु मला वाटते की त्यांच्यासाठीही सर्व काही ठीक होईल.

भविष्यासाठी योजना

भविष्यासाठी आमच्याकडे काय योजना आहेत?

किमान त्या वैशिष्ट्य विनंत्या ज्या आम्ही वापरकर्त्यांकडून आधीच ऐकल्या आहेत आणि करू इच्छितो. हे:

• HA क्लस्टर बॅकअप आर्काइव्हमध्ये टाइमलाइन ट्रॅकिंगच्या अचूकतेचे परीक्षण करणे. तुम्ही हे WAL-G सह करू शकता. आणि मला वाटते की आमच्याकडे असे विद्यार्थी असतील जे हे प्रकरण उचलतील.
• आमच्याकडे आधीपासूनच एक व्यक्ती आहे जी क्लाउड्स दरम्यान बॅकअप आणि WAL हस्तांतरित करण्यासाठी जबाबदार आहे.
• आणि आम्ही नुकतीच एक कल्पना प्रकाशित केली आहे की आम्ही पृष्ठांचे पुनर्लेखन न करता वाढीव बॅकअप अनपॅक करून आणि आम्ही तेथे पाठवलेल्या संग्रहणांना अनुकूल करून WAL-G आणखी वेगवान करू शकतो.

तुम्ही त्यांना येथे शेअर करू शकता

हा अहवाल कशासाठी होता? शिवाय, आता, या प्रकल्पाला पाठिंबा देणाऱ्या 4 लोकांव्यतिरिक्त, आमच्याकडे अतिरिक्त हात आहेत, त्यापैकी बरेच आहेत. विशेषतः जर तुम्ही त्यांना वैयक्तिक संदेशात लिहित असाल. आणि जर तुम्ही तुमच्या डेटाचा बॅकअप घेतला आणि तो WAL-G वापरून केला किंवा WAL-G वर जायचे असेल, तर आम्ही तुमच्या इच्छेला अगदी सहजपणे सामावून घेऊ शकतो.

हा QR कोड आणि लिंक आहे. आपण त्यांच्याद्वारे जाऊ शकता आणि आपल्या सर्व इच्छा लिहू शकता. उदाहरणार्थ, आम्ही काही दोष निराकरण करत नाही. किंवा तुम्हाला खरोखर काही वैशिष्ट्य हवे आहे, परंतु काही कारणास्तव ते अद्याप आमच्यासह कोणत्याही बॅकअपमध्ये नाही. याबद्दल जरूर लिहा.

प्रश्न

नमस्कार! अहवालाबद्दल धन्यवाद! WAL-G बद्दल प्रश्न, पण Postgres बद्दल नाही. WAL-G MySQL चा बॅकअप घेतो आणि अतिरिक्त बॅकअप कॉल करतो. आम्ही CentOS वर आधुनिक इंस्टॉलेशन्स घेतल्यास आणि तुम्ही MySQL इंस्टॉल केल्यास, MariDB इंस्टॉल केले जाईल. आवृत्ती 10.3 पासून अतिरिक्त बॅकअप समर्थित नाही, MariDB बॅकअप समर्थित आहे. तुम्ही हे कसे करत आहात?

याक्षणी आम्ही MariDB बॅकअप करण्याचा प्रयत्न केला नाही. आमच्याकडे फाउंडेशनडीबी समर्थनासाठी विनंत्या आल्या आहेत, परंतु सर्वसाधारणपणे, अशी विनंती असल्यास, आम्ही असे लोक शोधू शकतो जे ते करतील. हे मला वाटते तितके लांब किंवा कठीण नाही.

शुभ दुपार अहवालाबद्दल धन्यवाद! संभाव्य नवीन वैशिष्ट्यांबद्दल प्रश्न. तुम्ही टेपसह WAL-G काम करण्यास तयार आहात जेणेकरून तुम्ही टेपचा बॅकअप घेऊ शकता?

टेप स्टोरेज वर बॅकअप वरवर पाहता म्हणजे?

होय

आंद्रेई बोरोडिन आहे, जो या प्रश्नाचे माझ्यापेक्षा चांगले उत्तर देऊ शकतो.

(अँड्री) होय, प्रश्नासाठी धन्यवाद! आम्हाला क्लाउड स्टोरेजमधून टेपवर बॅकअप हस्तांतरित करण्याची विनंती होती. आणि या साठी कापणी ढग दरम्यान हस्तांतरण. कारण क्लाउड-टू-क्लाउड ट्रान्सफर ही टेप ट्रान्सफरची सामान्यीकृत आवृत्ती आहे. याव्यतिरिक्त, आमच्याकडे स्टोरेजच्या बाबतीत विस्तारित आर्किटेक्चर आहे. तसे, अनेक स्टोरेज विद्यार्थ्यांनी लिहिले होते. आणि जर तुम्ही टेपसाठी स्टोरेज लिहिलं, तर ते अर्थातच समर्थित असेल. आम्ही पुल विनंत्यांवर विचार करण्यास तयार आहोत. तिथे तुम्हाला फाइल लिहायची आहे, फाइल वाचायची आहे. तुम्ही गो मध्ये या गोष्टी केल्यास, तुम्हाला सहसा 50 ओळी कोड मिळतात. आणि नंतर टेप WAL-G मध्ये समर्थित असेल.

अहवालाबद्दल धन्यवाद! मनोरंजक विकास प्रक्रिया. बॅकअप हा कार्यक्षमतेचा एक गंभीर भाग आहे जो चाचण्यांनी चांगल्या प्रकारे कव्हर केला पाहिजे. जेव्हा तुम्ही नवीन डेटाबेससाठी कार्यक्षमता लागू केली, तेव्हा विद्यार्थ्यांनीही चाचण्या लिहिल्या, की तुम्ही स्वतः चाचण्या लिहिल्या आणि नंतर विद्यार्थ्यांना अंमलबजावणी दिली?

विद्यार्थ्यांनी चाचण्याही लिहिल्या. परंतु विद्यार्थ्यांनी नवीन डेटाबेससारख्या वैशिष्ट्यांसाठी अधिक लिहिले. त्यांनी एकत्रीकरण चाचण्या लिहिल्या. आणि त्यांनी युनिट चाचण्या लिहिल्या. जर एकत्रीकरण पास झाले, म्हणजे या क्षणी, ही एक स्क्रिप्ट आहे जी तुम्ही व्यक्तिचलितपणे चालवली आहे किंवा तुमच्याकडे क्रॉन आहे, उदाहरणार्थ. म्हणजेच तिथली स्क्रिप्ट अगदी स्पष्ट आहे.

विद्यार्थ्यांना फारसा अनुभव नाही. पुनरावलोकनासाठी खूप वेळ लागतो का?

होय, पुनरावलोकनांना बराच वेळ लागतो. म्हणजे, सहसा, जेव्हा अनेक कमिटर एकाच वेळी येतात आणि म्हणतात की मी हे केले, मी ते केले, तेव्हा त्यांनी तेथे काय लिहिले आहे हे शोधण्यासाठी तुम्हाला अर्धा दिवस विचार करावा लागेल आणि बाजूला ठेवावे लागेल. कारण संहिता काळजीपूर्वक वाचणे आवश्यक आहे. त्यांची मुलाखत नव्हती. आम्ही त्यांना चांगल्या प्रकारे ओळखत नाही, म्हणून यास बराच वेळ लागतो.

अहवालाबद्दल धन्यवाद! पूर्वी, आंद्रे बोरोडिनने सांगितले की WAL-G मधील archive_command थेट कॉल केला पाहिजे. परंतु काही प्रकारच्या क्लस्टर कार्ट्रिजच्या बाबतीत, ज्या नोडमधून शाफ्ट पाठवायचे ते निर्धारित करण्यासाठी आम्हाला अतिरिक्त तर्कशास्त्र आवश्यक आहे. आपण स्वतः ही समस्या कशी सोडवाल?

तुमची इथे काय अडचण आहे? समजा तुमच्याकडे सिंक्रोनस प्रतिकृती आहे ज्यावरून तुम्ही बॅकअप बनवत आहात? किंवा काय?

(Andrey) वस्तुस्थिती अशी आहे की खरोखर WAL-G शेल स्क्रिप्टशिवाय वापरण्याचा हेतू आहे. जर काहीतरी गहाळ असेल, तर WAL-G च्या आत असले पाहिजे ते तर्क जोडूया. संग्रहण कोठून आले पाहिजे याबद्दल, आमचा विश्वास आहे की संग्रहण हे क्लस्टरमधील सध्याच्या मास्टरकडून असावे. प्रतिकृतीवरून संग्रहित करणे ही वाईट कल्पना आहे. समस्यांसह विविध संभाव्य परिस्थिती आहेत. विशेषतः, टाइमलाइन आणि कोणतीही अतिरिक्त माहिती संग्रहित करण्यात समस्या. प्रश्नासाठी धन्यवाद!

(स्पष्टीकरण: आम्ही शेल स्क्रिप्ट्सपासून मुक्त झालो या अंकात)

शुभ संध्या! अहवालाबद्दल धन्यवाद! तुम्ही बोललेल्या कॅचअप वैशिष्ट्यामध्ये मला स्वारस्य आहे. आम्हाला अशा परिस्थितीचा सामना करावा लागला जिथे प्रतिकृती मागे होती आणि ती पकडू शकली नाही. आणि मला WAL-G दस्तऐवजांमध्ये या वैशिष्ट्याचे वर्णन आढळले नाही.

कॅचअप 20 जानेवारी 2020 रोजी अक्षरशः दिसू लागले. दस्तऐवजीकरणासाठी आणखी काही कामाची आवश्यकता असू शकते. आम्ही ते स्वतः लिहितो आणि आम्ही ते चांगले लिहित नाही. आणि कदाचित आपण विद्यार्थ्यांना ते लिहिणे आवश्यक आहे.

ते आधीच प्रसिद्ध झाले आहे का?

पुल विनंती आधीच मृत आहे, म्हणजे मी ती तपासली आहे. मी चाचणी क्लस्टरवर हा प्रयत्न केला. आतापर्यंत आमच्याकडे अशी परिस्थिती नव्हती जिथे आम्ही लढाऊ उदाहरणात याची चाचणी करू शकू.

अपेक्षा कधी करावी?

मला माहीत नाही. एक महिना थांबा, आम्ही नक्की तपासू.

स्त्रोत: www.habr.com