सिटीमोबिलमध्ये आम्ही आमचा मुख्य पर्सिस्टंट डेटा स्टोरेज म्हणून MySQL डेटाबेस वापरतो. आमच्याकडे विविध सेवा आणि उद्देशांसाठी अनेक डेटाबेस क्लस्टर आहेत.

मास्टरची सतत उपलब्धता संपूर्ण प्रणाली आणि त्याच्या वैयक्तिक भागांच्या कार्यप्रदर्शनाचे महत्त्वपूर्ण सूचक आहे. मास्टर अयशस्वी झाल्यास स्वयंचलित क्लस्टर पुनर्प्राप्ती घटना प्रतिसाद वेळ आणि सिस्टम डाउनटाइम मोठ्या प्रमाणात कमी करते. या लेखात, मी यावर आधारित MySQL क्लस्टरसाठी उच्च उपलब्धता (HA) डिझाइन पाहणार आहे. MySQL ऑर्केस्ट्रेटर आणि आभासी IP पत्ते (VIP).

व्हीआयपीवर आधारित एचए समाधान

प्रथम, आमची डेटा स्टोरेज सिस्टम काय आहे ते मी तुम्हाला थोडक्यात सांगेन.

आम्ही एक लेखन-प्रवेशयोग्य मास्टर आणि एकाधिक-वाचनीय प्रतिकृतींसह क्लासिक प्रतिकृती योजना वापरतो. क्लस्टरमध्ये इंटरमीडिएट मास्टर असू शकतो - एक नोड जो इतरांसाठी प्रतिकृती आणि मास्टर दोन्ही आहे. क्लायंट HAProxy द्वारे प्रतिकृतींमध्ये प्रवेश करतात, जे समान लोड वितरण आणि सुलभ स्केलिंगसाठी अनुमती देते. HAProxy चा वापर ऐतिहासिक कारणांमुळे आहे आणि आम्ही सध्या ProxySQL वर स्थलांतर करण्याच्या प्रक्रियेत आहोत.

वर आधारित अर्ध-सिंक्रोनस मोडमध्ये प्रतिकृती केली जाते GTID. याचा अर्थ असा की किमान एका प्रतिकृतीने व्यवहार यशस्वी मानला जाण्यापूर्वी लॉग इन करणे आवश्यक आहे. हा प्रतिकृती मोड मास्टर नोड अयशस्वी झाल्यास कार्यप्रदर्शन आणि डेटा सुरक्षितता दरम्यान इष्टतम संतुलन प्रदान करतो. मुळात सर्व बदल मास्टरकडून प्रतिकृती वापरून हस्तांतरित केले जातात Row Based Replication (RBR), परंतु काही नोड्स असू शकतात mixed binlog format.

ऑर्केस्ट्रेटर वेळोवेळी क्लस्टर टोपोलॉजीची स्थिती अद्यतनित करतो, प्राप्त झालेल्या माहितीचे विश्लेषण करतो आणि समस्या उद्भवल्यास, तो स्वयंचलित पुनर्प्राप्ती प्रक्रिया सुरू करू शकतो. विकसक स्वतः प्रक्रियेसाठी जबाबदार आहे, कारण ती वेगवेगळ्या प्रकारे लागू केली जाऊ शकते: VIP, DNS वर आधारित, सेवा शोध सेवा किंवा स्वयं-लिखित यंत्रणा वापरून.

मास्टर अयशस्वी झाल्यास पुनर्संचयित करण्याचा एक सोपा मार्ग म्हणजे फ्लोटिंग VIP पत्ते वापरणे.

पुढे जाण्यापूर्वी तुम्हाला या उपायाबद्दल काय माहित असणे आवश्यक आहे:

• VIP एक IP पत्ता आहे जो विशिष्ट भौतिक नेटवर्क इंटरफेसशी संबंधित नाही. नोड अयशस्वी झाल्यास किंवा नियोजित देखभाल दरम्यान, आम्ही कमीतकमी डाउनटाइमसह VIP ला दुसर्‍या संसाधनावर स्विच करू शकतो.
• व्हर्च्युअल IP पत्ता मुक्त करणे आणि जारी करणे हे एक स्वस्त आणि जलद ऑपरेशन आहे.
• व्हीआयपी सह कार्य करण्यासाठी, तुम्हाला एसएसएच द्वारे सर्व्हरवर प्रवेश करणे किंवा विशेष उपयुक्तता वापरणे आवश्यक आहे, उदाहरणार्थ, keepalived.

चला आमच्या विझार्डसह संभाव्य समस्या पाहू आणि स्वयंचलित पुनर्प्राप्ती यंत्रणा कशी कार्य करावी याची कल्पना करूया.

मास्टरशी नेटवर्क कनेक्टिव्हिटी गायब झाली आहे किंवा हार्डवेअर स्तरावर समस्या उद्भवली आहे आणि सर्व्हर अनुपलब्ध आहे

1. ऑर्केस्ट्रेटर क्लस्टर टोपोलॉजी अपडेट करतो, प्रत्येक प्रतिकृती मास्टर अनुपलब्ध असल्याचा अहवाल देतो. ऑर्केस्ट्रेटर नवीन मास्टरच्या भूमिकेसाठी योग्य प्रतिकृती निवडण्याची प्रक्रिया सुरू करतो आणि पुनर्प्राप्ती सुरू करतो.
2. आम्ही जुन्या मास्टरपासून व्हीआयपी काढण्याचा प्रयत्न करीत आहोत - यश न येता.
3. प्रतिकृती मास्टरच्या भूमिकेवर स्विच करते. टोपोलॉजीची पुनर्बांधणी केली जात आहे.
4. VIP सह नवीन नेटवर्क इंटरफेस जोडत आहे. व्हीआयपी काढणे शक्य नसल्यामुळे, आम्ही वेळोवेळी पार्श्वभूमीत विनंती पाठवणे सुरू करतो नि:शुल्क ARP. या प्रकारची विनंती/प्रतिसाद तुम्हाला कनेक्ट केलेल्या स्विचेसवर IP आणि MAC अॅड्रेस मॅपिंग टेबल अपडेट करण्याची परवानगी देतो, ज्यामुळे तुम्हाला सूचित केले जाईल की आमचा VIP हलला आहे. यामुळे शक्यता कमी होते split brain जुना मास्टर परत करताना.
5. सर्व नवीन कनेक्शन ताबडतोब नवीन मास्टरकडे पुनर्निर्देशित केले जातात. जुने कनेक्शन अयशस्वी होतात आणि डेटाबेसला वारंवार कॉल अॅप्लिकेशन स्तरावर केले जातात.

सर्व्हर सामान्य मोडमध्ये कार्यरत आहे, डीबीएमएस स्तरावर बिघाड झाला

अल्गोरिदम मागील केस प्रमाणेच आहे: टोपोलॉजी अद्यतनित करणे आणि पुनर्प्राप्ती प्रक्रिया सुरू करणे. सर्व्हर उपलब्ध असल्याने, आम्ही जुन्या मास्टरवर व्हीआयपी यशस्वीपणे सोडतो, ते नवीनकडे हस्तांतरित करतो आणि अनेक ARP विनंत्या पाठवतो. जुन्या मास्टरच्या संभाव्य रिटर्नचा पुनर्निर्मित क्लस्टर आणि अनुप्रयोगाच्या ऑपरेशनवर परिणाम होऊ नये.

इतर समस्या

प्रतिकृती किंवा इंटरमीडिएट मास्टर्सचे अपयश नेतृत्व करत नाही स्वयंचलित क्रिया करण्यासाठी आणि मॅन्युअल हस्तक्षेप आवश्यक आहे.

व्हर्च्युअल नेटवर्क इंटरफेस नेहमी तात्पुरता जोडला जातो, म्हणजेच सर्व्हर रीबूट केल्यानंतर, VIP स्वयंचलितपणे नियुक्त केला जात नाही. प्रत्येक डेटाबेस उदाहरण डीफॉल्टनुसार केवळ-वाचनीय मोडमध्ये सुरू होते, ऑर्केस्ट्रेटर स्वयंचलितपणे नवीन मास्टर लिहिण्यासाठी स्विच करतो आणि स्थापित करण्याचा प्रयत्न करतो read only जुन्या मास्टर वर. या क्रिया संभाव्यता कमी करण्याच्या उद्देशाने आहेत split brain.

पुनर्प्राप्ती प्रक्रियेदरम्यान समस्या उद्भवू शकतात, ज्याला मानक निरीक्षण साधनांव्यतिरिक्त ऑर्केस्ट्रेटर UI द्वारे देखील सूचित केले जावे. आम्ही हे वैशिष्ट्य जोडून REST API चा विस्तार केला आहे (PR सध्या पुनरावलोकनाधीन).

HA सोल्यूशनचे सामान्य आकृती खाली सादर केले आहे.

नवीन मास्टर निवडत आहे

ऑर्केस्ट्रेटर पुरेसा हुशार आहे आणि निवडण्याचा प्रयत्न करतो सर्वात योग्य प्रतिकृती खालील निकषांनुसार नवीन मास्टर म्हणून:

• प्रतिकृती मास्टरच्या मागे आहे;
• मास्टर आणि प्रतिकृतीची MySQL आवृत्ती;
• प्रतिकृती प्रकार (RBR, SBR किंवा मिश्रित);
• समान किंवा भिन्न डेटा केंद्रांमध्ये स्थान;
• उपलब्धता errant GTID - प्रतिकृतीवर अंमलात आणलेले आणि मास्टरवर नसलेले व्यवहार;
• सानुकूल निवड नियम देखील विचारात घेतले जातात.

प्रत्येक क्यू मास्टरसाठी आदर्श उमेदवार नाही. उदाहरणार्थ, डेटाचा बॅकअप घेण्यासाठी प्रतिकृती वापरली जाऊ शकते किंवा सर्व्हरमध्ये कमकुवत हार्डवेअर कॉन्फिगरेशन आहे. वाद्यवृंद समर्थन मॅन्युअल नियम ज्याद्वारे तुम्ही तुमची उमेदवार निवड प्राधान्ये सर्वात पसंतीच्या ते दुर्लक्षित करण्यासाठी सानुकूलित करू शकता.

प्रतिसाद आणि पुनर्प्राप्ती वेळ

एखादी घटना घडल्यास, सिस्टम डाउनटाइम कमी करणे महत्वाचे आहे, म्हणून ऑर्केस्ट्रेटरद्वारे क्लस्टर टोपोलॉजीच्या निर्मितीवर आणि अपडेट करण्यावर परिणाम करणारे MySQL पॅरामीटर्स विचारात घेऊ या:

• slave_net_timeout — कनेक्शन हरवलेल्या आणि पुन्हा कनेक्ट झाल्याची ओळख होण्यापूर्वी प्रतिकृती नवीन डेटाची किंवा मास्टरकडून हृदयाचा ठोका सिग्नल येण्यासाठी प्रतीक्षा करते त्या सेकंदांची संख्या. मूल्य जितके कमी असेल तितक्या वेगाने प्रतिकृती हे निर्धारित करू शकते की मास्टरशी संवाद तुटलेला आहे. आम्ही हे मूल्य 5 सेकंदांवर सेट केले.
• MASTER_CONNECT_RETRY — पुन्हा जोडण्याच्या प्रयत्नांमधील सेकंदांची संख्या. नेटवर्क समस्या उद्भवल्यास, या पॅरामीटरसाठी कमी मूल्य जलद पुनर्कनेक्शनला अनुमती देईल आणि क्लस्टर पुनर्प्राप्ती प्रक्रिया सुरू होण्यापासून प्रतिबंधित करेल. शिफारस केलेले मूल्य 1 सेकंद आहे.
• MASTER_RETRY_COUNT — पुन: जोडणी प्रयत्नांची कमाल संख्या.
• MASTER_HEARTBEAT_PERIOD - सेकंदांमध्ये मध्यांतर ज्यानंतर मास्टर हृदयाचा ठोका सिग्नल पाठवतो. अर्ध्या मूल्यापर्यंत डीफॉल्ट slave_net_timeout.

ऑर्केस्ट्रेटर पर्याय:

• DelayMasterPromotionIfSQLThreadNotUpToDate - समान असल्यास true, नंतर प्रतिकृतीच्या SQL थ्रेडने रिले लॉगमधून लागू न केलेले सर्व व्यवहार पूर्ण होईपर्यंत उमेदवाराच्या प्रतिकृतीवर मुख्य भूमिका लागू केली जाणार नाही. जेव्हा सर्व उमेदवारांच्या प्रतिकृती मागे पडतात तेव्हा व्यवहार गमावू नये म्हणून आम्ही हा पर्याय वापरतो.
• InstancePollSeconds - टोपोलॉजी तयार करण्याची आणि अद्यतनित करण्याची वारंवारता.
• RecoveryPollSeconds - टोपोलॉजी विश्लेषणाची वारंवारता. समस्या आढळल्यास, टोपोलॉजी पुनर्प्राप्ती सुरू केली जाते. या स्थिर, 1 सेकंदाच्या समान.

प्रत्येक क्लस्टर नोड प्रत्येक एकदा ऑर्केस्ट्रेटरद्वारे पोल केला जातो InstancePollSeconds सेकंद जेव्हा एखादी समस्या आढळते, तेव्हा क्लस्टर स्थिती सक्ती केली जाते अद्यतनित, आणि नंतर पुनर्प्राप्ती करण्यासाठी अंतिम निर्णय घेतला जातो. विविध डेटाबेस आणि ऑर्केस्ट्रेटर पॅरामीटर्ससह प्रयोग करून, आम्ही प्रतिसाद आणि पुनर्प्राप्ती वेळ 30 सेकंदांपर्यंत कमी करू शकलो.

चाचणी स्टँड

आम्ही स्थानिक विकासासह HA योजनेची चाचणी सुरू केली चाचणी खंडपीठ आणि चाचणी आणि उत्पादन वातावरणात पुढील अंमलबजावणी. स्थानिक स्टँड डॉकरवर आधारित पूर्णपणे स्वयंचलित आहे आणि तुम्हाला ऑर्केस्ट्रेटर आणि नेटवर्कच्या कॉन्फिगरेशनसह प्रयोग करण्यास, क्लस्टरला 2-3 सर्व्हरवरून अनेक डझनपर्यंत स्केल करण्यास आणि सुरक्षित वातावरणात व्यायाम करण्यास अनुमती देते.

व्यायामादरम्यान, आम्ही समस्या अनुकरण पद्धतींपैकी एक निवडतो: त्वरित वापरून मास्टर शूट करा kill -9, हळूवारपणे प्रक्रिया समाप्त करा आणि सर्व्हर थांबवा (docker-compose stop), वापरून नेटवर्क समस्यांचे अनुकरण करा iptables -j REJECT किंवा iptables -j DROP. आम्ही खालील परिणामांची अपेक्षा करतो:

• ऑर्केस्ट्रेटर मास्टरच्या समस्या शोधेल आणि 10 सेकंदांपेक्षा जास्त वेळेत टोपोलॉजी अपडेट करेल;
• पुनर्प्राप्ती प्रक्रिया स्वयंचलितपणे सुरू होईल: नेटवर्क कॉन्फिगरेशन बदलेल, मास्टरची भूमिका प्रतिकृतीकडे जाईल, टोपोलॉजी पुन्हा तयार केली जाईल;
• नवीन मास्टर लिहिण्यायोग्य होईल, पुनर्बांधणी प्रक्रियेदरम्यान थेट प्रतिकृती गमावल्या जाणार नाहीत;
• डेटा नवीन मास्टरवर लिहिण्यास आणि प्रतिकृती तयार करणे सुरू होईल;
• एकूण पुनर्प्राप्ती वेळ 30 सेकंदांपेक्षा जास्त नसेल.

तुम्हाला माहिती आहेच, भिन्न हार्डवेअर आणि नेटवर्क कॉन्फिगरेशन, सिंथेटिक आणि रिअल लोडमधील फरक इत्यादींमुळे सिस्टम चाचणी आणि उत्पादन वातावरणात वेगळ्या पद्धतीने वागू शकते. म्हणून, आम्ही वेळोवेळी वास्तविक परिस्थितीत व्यायाम करतो, जेव्हा नेटवर्क कनेक्टिव्हिटी गमावली जाते किंवा त्याचे वैयक्तिक भाग खराब होतात तेव्हा सिस्टम कसे वागते ते तपासतो. भविष्यात, आम्हाला दोन्ही वातावरणासाठी पूर्णपणे एकसारखी पायाभूत सुविधा तयार करायची आहे आणि त्याची चाचणी स्वयंचलित करायची आहे.

निष्कर्ष

मुख्य स्टोरेज सिस्टम नोडचे आरोग्य हे SRE आणि ऑपरेशन्स टीमच्या मुख्य कार्यांपैकी एक आहे. व्हीआयपीवर आधारित ऑर्केस्ट्रेटर आणि एचए सोल्यूशनच्या अंमलबजावणीमुळे आम्हाला खालील परिणाम साध्य करता आले:

• डेटाबेस क्लस्टरच्या टोपोलॉजीसह समस्यांचे विश्वसनीय शोध;
• मास्टर-संबंधित घटनांना स्वयंचलित आणि जलद प्रतिसाद, सिस्टम डाउनटाइम कमी करणे.

तथापि, सोल्यूशनच्या मर्यादा आणि तोटे आहेत:

• HA योजना अनेक डेटा सेंटर्सवर स्केलिंग करण्यासाठी त्यांच्या दरम्यान एकल L2 नेटवर्क आवश्यक असेल;
• नवीन मास्टरवर व्हीआयपी नियुक्त करण्यापूर्वी, आम्हाला ते जुन्या मास्टरवर सोडण्याची आवश्यकता आहे. प्रक्रिया अनुक्रमिक आहे, जी पुनर्प्राप्ती वेळ वाढवते;
• व्हीआयपी रिलीझ करण्यासाठी सर्व्हरवर एसएसएच प्रवेश आवश्यक आहे, किंवा दूरस्थ प्रक्रिया कॉल करण्याच्या इतर कोणत्याही पद्धतीची आवश्यकता आहे. सर्व्हर किंवा डेटाबेसमध्ये समस्या येत असल्याने पुनर्प्राप्ती प्रक्रियेस कारणीभूत ठरत असल्याने, VIP काढणे यशस्वीरित्या पूर्ण होईल याची आम्ही खात्री बाळगू शकत नाही. आणि यामुळे समान आभासी आयपी पत्त्यासह दोन सर्व्हर दिसू शकतात आणि समस्या उद्भवू शकतात split brain.

टाळण्यासाठी split brain, आपण पद्धत वापरू शकता स्टोनिथ (“शूट द अदर नोड इन द हेड”), जे प्रॉब्लेम नोड पूर्णपणे वेगळे किंवा अक्षम करते. क्लस्टर उच्च उपलब्धता लागू करण्याचे इतर मार्ग आहेत: VIP आणि DNS चे संयोजन, सेवा शोध आणि प्रॉक्सी सेवा, समकालिक प्रतिकृती आणि इतर पद्धती ज्यांचे स्वतःचे तोटे आणि फायदे आहेत.

मी MySQL फेलओव्हर क्लस्टर तयार करण्याच्या आमच्या दृष्टिकोनाबद्दल बोललो. हे अंमलात आणणे सोपे आहे आणि सध्याच्या परिस्थितीत विश्वासार्हतेची स्वीकार्य पातळी प्रदान करते. सर्वसाधारणपणे संपूर्ण प्रणाली आणि विशेषतः पायाभूत सुविधा विकसित होत असताना, हा दृष्टिकोन निःसंशयपणे विकसित होईल.

स्त्रोत: www.habr.com