क्लोस्टर → साधे OTP क्लस्टर व्यवस्थापन

जवळजवळ प्रत्येक यशस्वी व्यवसाय अनुप्रयोग लवकर किंवा नंतर अशा टप्प्यात प्रवेश करतो जेथे क्षैतिज स्केलिंग आवश्यक असते. बर्‍याच प्रकरणांमध्ये, तुम्ही फक्त एक नवीन उदाहरण सुरू करू शकता आणि लोड सरासरी कमी करू शकता. परंतु अशी काही क्षुल्लक प्रकरणे देखील आहेत जिथे आम्हाला हे सुनिश्चित करणे आवश्यक आहे की भिन्न नोड्स एकमेकांबद्दल जाणून घेतात आणि कार्यभार काळजीपूर्वक वितरित करतात.

तो इतका भाग्यवान निघाला की एरलांग, जे आम्ही त्याच्या आनंददायी वाक्यरचना आणि त्याच्या सभोवतालच्या प्रचारासाठी निवडले आहे, त्याला प्रथम श्रेणी आहे वितरित प्रणालींसाठी समर्थन. सिद्धांततः, हे पूर्णपणे क्षुल्लक वाटते:

निरनिराळ्या नोड्सवरील प्रक्रियांदरम्यान तसेच लिंक्स आणि मॉनिटर्समधील संदेश पारदर्शक आहे […]

सराव मध्ये, सर्वकाही थोडे अधिक क्लिष्ट आहे. वितरित केले एरलांग जेव्हा "कंटेनर" चा अर्थ शिपिंगसाठी एक मोठा लोखंडी बॉक्स होता तेव्हा विकसित झाला आणि "डॉकर" हा फक्त लाँगशोरमनसाठी समानार्थी शब्द होता. IN IP4 तेथे बरेच अव्यवस्थित पत्ते होते, नेटवर्क खंडित होणे सामान्यत: उंदरांनी केबल चघळल्यामुळे होते आणि उत्पादन प्रणालीचा सरासरी अपटाइम दशकांमध्ये मोजला गेला.

आता आम्ही सर्व आश्चर्यकारकपणे स्वयंपूर्ण, पॅकेज केलेले आणि वितरित वितरित आहोत एरलांग अशा वातावरणात जिथे डायनॅमिक आयपी पत्ते उत्कृष्ट यादृच्छिकतेच्या तत्त्वावर दिले जातात आणि शेड्युलरच्या डाव्या टाचांच्या लहरीनुसार नोड दिसू शकतात आणि अदृश्य होऊ शकतात. वितरित केलेल्या प्रत्येक प्रकल्पात बॉयलरप्लेट कोडचे ढीग टाळण्यासाठी एरलांग, प्रतिकूल वातावरणाचा सामना करण्यासाठी, मदत आवश्यक आहे.

शेरा: आहे याची मला जाणीव आहे libcluster. हे खरोखर छान आहे, त्यात हजाराहून अधिक तारे आहेत, लेखक समाजात प्रसिद्ध आहे आणि ते सर्व. क्लस्टर तयार करण्यासाठी आणि देखरेख करण्यासाठी या पॅकेजद्वारे ऑफर केलेल्या पद्धती तुमच्यासाठी पुरेशा असल्यास, मी तुमच्यासाठी आनंदी आहे. दुर्दैवाने, मला आणखी बरेच काही हवे आहे. मला सेटअपवर तपशीलवार नियंत्रण ठेवायचे आहे आणि क्लस्टर पुनर्रचनेच्या थिएटरमध्ये बाहेरचा प्रेक्षक होऊ नये.

आवश्यकता

मला वैयक्तिकरित्या क्लस्टरचे व्यवस्थापन घेणारी लायब्ररी होती आणि त्यात खालील गुणधर्म असतील:

• नोड्सची हार्ड-कोडेड यादी आणि सेवांद्वारे डायनॅमिक शोध या दोन्हीसह पारदर्शक कार्य एरलांग;
• प्रत्येक टोपोलॉजी बदलासाठी पूर्णपणे कार्यात्मक कॉलबॅक (नोड तेथे, नोड येथे, नेटवर्क अस्थिरता, विभाजन);
• लांब आणि लहान नावांसह क्लस्टर लॉन्च करण्यासाठी पारदर्शक इंटरफेस, जसे की :nonode@nohost;
• पायाभूत सुविधा कोड लिहिल्याशिवाय डॉकर सपोर्ट ऑफ द बॉक्स.

नंतरचा अर्थ असा की मी स्थानिक पातळीवर अनुप्रयोगाची चाचणी केल्यानंतर :nonode@nohost, किंवा वापरून कृत्रिमरित्या वितरित वातावरणात test_cluster_task, मला फक्त धावायचे आहे docker-compose up --scale my_app=3 आणि ते कोणत्याही कोड बदलाशिवाय डॉकरमध्ये तीन घटना कसे कार्यान्वित करते ते पहा. मला सारखे आश्रित अनुप्रयोग देखील हवे आहेत mnesia - जेव्हा टोपोलॉजी बदलते, तेव्हा पडद्यामागे ते ऍप्लिकेशनच्या कोणत्याही अतिरिक्त किकशिवाय क्लस्टर लाईव्ह पुन्हा तयार करतात.

मठ क्लस्टरला सपोर्ट करण्यापासून कॉफी बनवण्यापर्यंत सर्व गोष्टींसाठी सक्षम असलेले लायब्ररी बनवण्याचा हेतू नव्हता. ही सिल्व्हर बुलेट नाही ज्याचे उद्दिष्ट सर्व संभाव्य प्रकरणे कव्हर करणे किंवा शैक्षणिकदृष्ट्या पूर्ण समाधान आहे या अर्थाने सिद्धांतवादी CS या टर्ममध्ये टाका. हे लायब्ररी अतिशय स्पष्ट उद्देश पूर्ण करण्यासाठी डिझाइन केले आहे, परंतु त्याचे काम खूप मोठे नाही. स्थानिक विकास वातावरण आणि प्रतिकूल कंटेनरने भरलेले वितरित लवचिक वातावरण यांच्यात संपूर्ण पारदर्शकता प्रदान करणे हे हे लक्ष्य असेल.

निवडलेला दृष्टिकोन

मठ प्रगत वापरकर्ते थेट चालवून क्लस्टरच्या असेंब्ली आणि देखभालीसह कार्य करू शकतात, तरीही अनुप्रयोग म्हणून चालवण्याचा हेतू आहे. Cloister.Manager लक्ष्य अनुप्रयोगाच्या पर्यवेक्षकाच्या झाडामध्ये.

अनुप्रयोग म्हणून चालवल्यावर, लायब्ररी यावर अवलंबून असते config, ज्यावरून ते खालील मूलभूत मूल्ये वाचते:

config :cloister,
  otp_app: :my_app,
  sentry: :"cloister.local", # or ~w|n1@foo n2@bar|a
  consensus: 3,              # number of nodes to consider
                             #    the cluster is up
  listener: MyApp.Listener   # listener to be called when
                             #    the ring has changed

वरील पॅरामीटर्सचा शब्दशः अर्थ खालीलप्रमाणे आहे: मठ OTP अनुप्रयोगासाठी वापरले जाते :my_app, वापरते erlang सेवा शोध नोड्स कनेक्ट करण्यासाठी, किमान तीन, आणि MyApp.Listener मॉड्यूल (अंमलबजावणी @behaviour Cloister.Listener) टोपोलॉजी बदलांबद्दल सूचना प्राप्त करण्यासाठी कॉन्फिगर केले आहे. संपूर्ण कॉन्फिगरेशनचे तपशीलवार वर्णन आढळू शकते दस्तऐवजीकरण.

या कॉन्फिगरेशनसह, अनुप्रयोग मठ असेल टप्प्यात लाँच करा, एकमत होईपर्यंत मुख्य ऍप्लिकेशन सुरू करण्याच्या प्रक्रियेस उशीर करणे (वरील उदाहरणाप्रमाणे तीन नोड जोडलेले आणि जोडलेले आहेत.) हे मुख्य ऍप्लिकेशनला असे मानण्याची संधी देते की जेव्हा ते सुरू होते, तेव्हा क्लस्टर आधीच उपलब्ध आहे. जेव्हा जेव्हा टोपोलॉजी बदलते (त्यापैकी बरेच असतील, कारण नोड्स पूर्णपणे समक्रमितपणे सुरू होत नाहीत), हँडलरला कॉल केला जाईल. MyApp.Listener.on_state_change/2. जेव्हा आम्हाला स्टेटस मेसेज येतो तेव्हा बहुतेक वेळा आम्ही एखादी कृती करतो %Cloister.Monitor{status: :up}, ज्याचा अर्थ: "हॅलो, क्लस्टर एकत्र केला आहे."

बर्याच बाबतीत, स्थापना consensus: 3 इष्टतम आहे कारण आम्‍हाला अधिक नोडस् जोडण्‍याची अपेक्षा असल्‍यास, कॉलबॅक जाईल status: :rehashing → status: :up कोणत्याही नव्याने जोडलेल्या किंवा काढलेल्या नोडवर.

विकास मोडमध्ये प्रारंभ करताना, आपल्याला फक्त सेट करणे आवश्यक आहे consensus: 1 и मठ तो पाहतो तेव्हा आनंदाने क्लस्टर असेंब्लीची प्रतीक्षा सोडून देईल :nonode@nohost, किंवा :node@host, किंवा :[email protected] - नोड कसा कॉन्फिगर केला गेला यावर अवलंबून (:none | :shortnames | :longnames).

वितरित अनुप्रयोग व्यवस्थापन

व्हॅक्यूममध्ये नसलेल्या वितरीत अनुप्रयोगांमध्ये सामान्यतः वितरित अवलंबनांचा समावेश होतो, जसे की mnesia. त्याच कॉलबॅकमधून त्यांचे पुनर्संरचना हाताळणे आमच्यासाठी सोपे आहे on_state_change/2. येथे, उदाहरणार्थ, पुन्हा कॉन्फिगर कसे करायचे याचे तपशीलवार वर्णन आहे mnesia फ्लाय मध्ये दस्तऐवजीकरण मठ.

वापरण्याचा मुख्य फायदा मठ टोपोलॉजी बदलानंतर क्लस्टरची पुनर्बांधणी करण्यासाठी ते सर्व आवश्यक ऑपरेशन्स करते प्रहर अंतर्गत. अनुप्रयोग फक्त आधीपासून तयार केलेल्या वितरित वातावरणात चालतो, सर्व नोड्स कनेक्ट केलेले असतात, आम्हाला IP पत्ते आणि म्हणून नोडची नावे आधीच माहित आहेत की नाही किंवा ते डायनॅमिकरित्या नियुक्त/बदलले गेले आहेत याची पर्वा न करता. यासाठी कोणत्याही विशेष डॉकर कॉन्फिगरेशन सेटिंग्जची आवश्यकता नाही आणि अॅप्लिकेशन डेव्हलपरच्या दृष्टिकोनातून, वितरित वातावरणात चालणे किंवा स्थानिक वातावरणात चालणे यात काही फरक नाही. :nonode@nohost. आपण याबद्दल अधिक वाचू शकता दस्तऐवजीकरण.

जरी टोपोलॉजी बदलांची जटिल हाताळणी सानुकूल अंमलबजावणीद्वारे शक्य आहे MyApp.Listener, अशी काही प्रकरणे नेहमीच असू शकतात जिथे या लायब्ररी मर्यादा आणि कॉन्फिगरेशन पूर्वाग्रह हे अंमलबजावणीचे कोनशिला सिद्ध होतात. ठीक आहे, फक्त वरील घ्या libcluster, जे अधिक सामान्य-उद्देश आहे, किंवा अगदी निम्न-स्तरीय क्लस्टर स्वतः हाताळा. या कोड लायब्ररीचे उद्दिष्ट प्रत्येक संभाव्य परिस्थितीला कव्हर करणे नाही, परंतु अनावश्यक वेदना आणि अवजड कॉपी-पेस्ट न करता सर्वात सामान्य परिस्थिती वापरणे हे आहे.

टीप: मूळच्या या टप्प्यावर "हॅपी क्लस्टरिंग!" हा वाक्यांश होता आणि यांडेक्स, ज्याचा मी अनुवाद करतो (मला स्वत: शब्दकोषांमधून जाण्याची गरज नाही), मला "हॅपी क्लस्टरिंग!" हा पर्याय ऑफर केला. विशेषत: सध्याच्या भू-राजकीय परिस्थितीच्या प्रकाशात, चांगल्या अनुवादाची कल्पना करणे कदाचित अशक्य आहे.

स्त्रोत: www.habr.com