चेल्याबिंस्क में साउथब्रिज और कुबेरनेट्स में बिट्रिक्स

Sysadminka सिस्टम एडमिनिस्ट्रेटर मीटअप चेल्याबिंस्क में हो रहे हैं, और आखिरी में मैंने कुबेरनेट्स में 1C-बिट्रिक्स पर एप्लिकेशन चलाने के लिए हमारे समाधान पर एक रिपोर्ट दी थी।

बिट्रिक्स, कुबेरनेट्स, सेफ - एक बढ़िया मिश्रण?

मैं आपको बताऊंगा कि कैसे हम इन सबके बीच एक कार्यशील समाधान तैयार करते हैं।

चलो चलें!

यह मुलाकात 18 अप्रैल को चेल्याबिंस्क में हुई। आप हमारी मुलाकातों के बारे में यहां पढ़ सकते हैं टाइमपैड और देखो यूट्यूब.

यदि आप किसी रिपोर्ट के साथ या श्रोता के रूप में हमारे पास आना चाहते हैं - तो स्वागत है, लिखें [ईमेल संरक्षित] और टेलीग्राम पर t.me/vadimisakanov।

मेरी रिपोर्ट

स्लाइड्स

समाधान "कुबेरनेट्स में बिट्रिक्स, संस्करण साउथब्रिज 1.0"

मैं हमारे समाधान के बारे में "कुबेरनेट्स में डमी के लिए" प्रारूप में बात करूंगा, जैसा कि मीटअप में किया गया था। लेकिन मेरा मानना ​​है कि आप कम से कम विकिपीडिया पर लेखों के स्तर पर Bitrix, Docker, Kubernetes, Ceph शब्द जानते हैं।

कुबेरनेट्स में बिट्रिक्स के बारे में क्या तैयार है?

कुबेरनेट्स में बिट्रिक्स अनुप्रयोगों के संचालन के बारे में पूरे इंटरनेट पर बहुत कम जानकारी है।
मुझे केवल ये सामग्रियाँ मिलीं:

क्यूसॉफ्ट से अलेक्जेंडर सर्बुल, 1सी-बिट्रिक्स और एंटोन तुजलुकोव की रिपोर्ट:

मैं इसे सुनने की सलाह देता हूं.

उपयोगकर्ता से अपना स्वयं का समाधान विकसित करना सेर्किरोन हेबेरे पर.
और भी मिला ऐसा निर्णय.

आनंद... दरअसल, बस इतना ही।

मैं आपको चेतावनी देता हूं, हमने उपरोक्त लिंक में समाधानों की गुणवत्ता की जांच नहीं की है :)
वैसे, अपना समाधान तैयार करते समय, मैंने अलेक्जेंडर सेर्बुल से बात की, तब उनकी रिपोर्ट अभी तक सामने नहीं आई थी, इसलिए मेरी स्लाइड्स में एक आइटम है "बिट्रिक्स कुबेरनेट्स का उपयोग नहीं करता है।"

लेकिन डॉकर में बिट्रिक्स चलाने के लिए पहले से ही बहुत सारी तैयार डॉकर छवियां मौजूद हैं: https://hub.docker.com/search?q=bitrix&type=image

क्या यह कुबेरनेट्स में बिट्रिक्स के लिए पूर्ण समाधान बनाने के लिए पर्याप्त है?
नहीं। बड़ी संख्या में ऐसी समस्याएं हैं जिनका समाधान किया जाना जरूरी है।

कुबेरनेट्स में बिट्रिक्स के साथ क्या समस्याएं हैं?

सबसे पहले, डॉकरहब की तैयार छवियां कुबेरनेट्स के लिए उपयुक्त नहीं हैं

यदि हम एक माइक्रोसर्विसेज आर्किटेक्चर बनाना चाहते हैं (और कुबेरनेट्स में हम आमतौर पर ऐसा करते हैं), तो हमें अपने कुबेरनेट्स एप्लिकेशन को कंटेनरों में अलग करना होगा और प्रत्येक कंटेनर को एक छोटा कार्य करना होगा (और इसे अच्छी तरह से करना होगा)। केवल एक ही क्यों? संक्षेप में, जितना सरल उतना अधिक विश्वसनीय।
अधिक विशिष्ट होने के लिए, कृपया यह लेख और वीडियो देखें: https://habr.com/ru/company/southbridge/blog/426637/

डॉकरहब में डॉकर छवियां मुख्य रूप से ऑल-इन-वन सिद्धांत पर बनाई गई हैं, इसलिए हमें अभी भी अपनी बाइक बनानी पड़ी और यहां तक ​​कि स्क्रैच से छवियां भी बनानी पड़ीं।

दूसरा - साइट कोड को एडमिन पैनल से संपादित किया जाता है

हमने साइट पर एक नया अनुभाग बनाया - कोड अपडेट किया गया (नए अनुभाग के नाम के साथ एक निर्देशिका जोड़ी गई)।

यदि आपने व्यवस्थापक पैनल से किसी घटक के गुण बदले हैं, तो कोड बदल गया है।

कुबेरनेट्स "डिफ़ॉल्ट रूप से" इसके साथ काम नहीं कर सकता; कंटेनरों को स्टेटलेस होना चाहिए।

कारण: क्लस्टर में प्रत्येक कंटेनर (पॉड) ट्रैफ़िक के केवल एक हिस्से को संसाधित करता है। यदि आप केवल एक कंटेनर (पॉड) में कोड बदलते हैं, तो अलग-अलग पॉड में कोड अलग-अलग होगा, साइट अलग-अलग काम करेगी, और साइट के अलग-अलग संस्करण अलग-अलग उपयोगकर्ताओं को दिखाए जाएंगे। आप उस तरह नहीं रह सकते.

तीसरा - आपको तैनाती के साथ समस्या को हल करने की आवश्यकता है

यदि हमारे पास एक मोनोलिथ और एक "क्लासिक" सर्वर है, तो सब कुछ काफी सरल है: हम एक नया कोड बेस तैनात करते हैं, डेटाबेस को माइग्रेट करते हैं, ट्रैफ़िक को कोड के नए संस्करण में स्विच करते हैं। स्विचिंग तुरंत होती है.
यदि हमारे पास कुबेरनेट्स में एक साइट है, जिसे माइक्रोसर्विसेज में विभाजित किया गया है, तो कोड के साथ बहुत सारे कंटेनर हैं - ओह। आपको कोड के नए संस्करण के साथ कंटेनरों को इकट्ठा करना होगा, पुराने के बजाय उन्हें रोल आउट करना होगा, डेटाबेस को सही ढंग से स्थानांतरित करना होगा, और आदर्श रूप से आगंतुकों द्वारा ध्यान दिए बिना ऐसा करना होगा। सौभाग्य से, कुबेरनेट्स विभिन्न प्रकार की तैनाती का समर्थन करते हुए इसमें हमारी मदद करता है।

चौथा - आपको सांख्यिकी भंडारण के मुद्दे को हल करने की आवश्यकता है

यदि आपकी साइट "केवल" 10 गीगाबाइट की है और आप इसे पूरी तरह से कंटेनरों में तैनात करते हैं, तो आपके पास 10 गीगाबाइट कंटेनर होंगे जिन्हें तैनात करने में काफी समय लगेगा।
आपको साइट के "सबसे भारी" हिस्सों को कंटेनरों के बाहर संग्रहीत करने की आवश्यकता है, और सवाल उठता है कि इसे सही तरीके से कैसे किया जाए

हमारे समाधान में क्या कमी है?

संपूर्ण बिट्रिक्स कोड को माइक्रोफंक्शन/माइक्रोसर्विसेज में विभाजित नहीं किया गया है (ताकि पंजीकरण अलग हो, ऑनलाइन स्टोर मॉड्यूल अलग हो, आदि)। हम प्रत्येक कंटेनर में संपूर्ण कोड बेस संग्रहीत करते हैं।

हम डेटाबेस को कुबेरनेट्स में संग्रहीत नहीं करते हैं (मैंने अभी भी विकास परिवेशों के लिए कुबेरनेट्स में डेटाबेस के साथ समाधान लागू किया है, लेकिन उत्पादन के लिए नहीं)।

साइट प्रशासकों को यह अभी भी ध्यान देने योग्य होगा कि साइट कुबेरनेट्स पर चलती है। "सिस्टम चेक" फ़ंक्शन सही ढंग से काम नहीं करता है; व्यवस्थापक पैनल से साइट कोड को संपादित करने के लिए, आपको पहले "मैं कोड को संपादित करना चाहता हूं" बटन पर क्लिक करना होगा।

समस्याओं की पहचान की गई है, माइक्रोसर्विसेज को लागू करने की आवश्यकता निर्धारित की गई है, लक्ष्य स्पष्ट है - कुबेरनेट्स में बिट्रिक्स पर एप्लिकेशन चलाने के लिए एक कार्य प्रणाली प्राप्त करना, बिट्रिक्स की क्षमताओं और कुबेरनेट्स के फायदे दोनों को संरक्षित करना। आइए कार्यान्वयन शुरू करें।

आर्किटेक्चर

एक वेब सर्वर (कर्मचारी) के साथ कई "कार्यशील" पॉड हैं।
क्रॉन कार्यों के साथ एक के अंतर्गत (केवल एक की आवश्यकता है)।
व्यवस्थापक पैनल से साइट कोड को संपादित करने के लिए एक अपग्रेड (केवल एक की भी आवश्यकता है)।

हम प्रश्न हल करते हैं:

• सत्र कहाँ संग्रहीत करें?
• कैश कहां स्टोर करें?
• स्टैटिक्स को कहां संग्रहीत किया जाए, कंटेनरों के समूह में गीगाबाइट स्टैटिक्स न रखें?
• डेटाबेस कैसे काम करेगा?

डोकर छवि

हम एक डॉकर छवि बनाकर शुरुआत करते हैं।

आदर्श विकल्प यह है कि हमारे पास एक सार्वभौमिक छवि हो, इसके आधार पर हमें वर्कर पॉड्स, क्रोनटास्क वाले पॉड्स और अपग्रेड पॉड्स मिलते हैं।

हमने ऐसी ही एक छवि बनाई.

इसमें nginx, apache/php-fpm (निर्माण के दौरान चुना जा सकता है), मेल भेजने के लिए msmtp और cron शामिल हैं।

छवि को असेंबल करते समय, साइट का संपूर्ण कोड बेस /ऐप निर्देशिका में कॉपी किया जाता है (उन हिस्सों को छोड़कर जिन्हें हम एक अलग साझा स्टोरेज में ले जाएंगे)।

माइक्रोसर्विसेज, सेवाएं

कार्यकर्ता पॉड्स:

• nginx + कंटेनर apache/php-fpm + msmtp वाला कंटेनर
• एमएसएमटीपी को एक अलग माइक्रोसर्विस में स्थानांतरित करने से काम नहीं चला, बिट्रिक्स को गुस्सा आने लगा है कि वह सीधे मेल नहीं भेज सकता है
• प्रत्येक कंटेनर में एक पूर्ण कोडबेस होता है।
• कंटेनरों में कोड बदलने पर रोक.

क्रॉन के अंतर्गत:

• Apache, php, cron के साथ कंटेनर
• पूरा कोड आधार शामिल है
• कंटेनरों में कोड बदलने पर प्रतिबंध

इसके अंतर्गत अपग्रेड करें:

• nginx कंटेनर + अपाचे/php-fpm कंटेनर + msmtp
• कंटेनरों में कोड बदलने पर कोई रोक नहीं है

सत्र भंडारण

बिट्रिक्स कैश भंडारण

एक और महत्वपूर्ण बात: हम डेटाबेस से लेकर मेल तक, कुबेरनेट्स सीक्रेट्स में हर चीज से कनेक्ट करने के लिए पासवर्ड स्टोर करते हैं। हमें एक बोनस मिलता है: पासवर्ड केवल उन लोगों को दिखाई देते हैं जिन्हें हम रहस्यों तक पहुंच देते हैं, और उन सभी को नहीं जिनके पास प्रोजेक्ट के कोड बेस तक पहुंच है।

स्थैतिक के लिए भंडारण

आप कुछ भी उपयोग कर सकते हैं: सीईएफ, एनएफएस (लेकिन हम उत्पादन के लिए एनएफएस की अनुशंसा नहीं करते हैं), क्लाउड प्रदाताओं से नेटवर्क स्टोरेज, आदि।

भंडारण को कंटेनरों में साइट की /अपलोड/ निर्देशिका और स्थिर सामग्री वाली अन्य निर्देशिकाओं से कनेक्ट करने की आवश्यकता होगी।

डेटाबेस

सरलता के लिए, हम डेटाबेस को कुबेरनेट्स के बाहर ले जाने की सलाह देते हैं। कुबेरनेट्स में आधार एक अलग जटिल कार्य है; यह योजना को परिमाण के क्रम में और अधिक जटिल बना देगा।

सत्र भंडारण

हम मेमकैच्ड का उपयोग करते हैं :)

यह सत्र भंडारण को अच्छी तरह से संभालता है, क्लस्टर किया गया है, और PHP में session.save_path के रूप में "मूल रूप से" समर्थित है। ऐसी प्रणाली का शास्त्रीय अखंड वास्तुकला में कई बार परीक्षण किया गया है, जब हमने बड़ी संख्या में वेब सर्वर के साथ क्लस्टर बनाए थे। तैनाती के लिए हम हेल्म का उपयोग करते हैं।

$ helm install stable/memcached --name session

php.ini - यहां छवि में मेमकैच्ड में सत्र संग्रहीत करने के लिए सेटिंग्स शामिल हैं

मेम्केच्ड के साथ मेजबानों के बारे में डेटा पास करने के लिए हमने पर्यावरण चर का उपयोग किया https://kubernetes.io/docs/tasks/inject-data-application/define-environment-variable-container/.
यह आपको डेव, स्टेज, टेस्ट, प्रोड वातावरण में समान कोड का उपयोग करने की अनुमति देता है (उनमें मेम्केच्ड होस्ट नाम अलग-अलग होंगे, इसलिए हमें प्रत्येक वातावरण में सत्रों के लिए एक अद्वितीय होस्ट नाम पास करने की आवश्यकता है)।
बिट्रिक्स कैश भंडारण

हमें दोष-सहिष्णु भंडारण की आवश्यकता है जिससे सभी पॉड्स लिख और पढ़ सकें।

हम मेमकैच्ड का भी उपयोग करते हैं।
इस समाधान की अनुशंसा स्वयं बिट्रिक्स ने की है।

$ helm install stable/memcached --name cache

bitrix/.settings_extra.php - यहां Bitrix में यह निर्दिष्ट किया गया है कि कैश कहां संग्रहीत है

हम पर्यावरण चर का भी उपयोग करते हैं।

क्रोंतास्की

कुबेरनेट्स में क्रोनटास्क चलाने के लिए अलग-अलग दृष्टिकोण हैं।

• क्रोनटास्क चलाने के लिए पॉड के साथ अलग तैनाती
• crontasks निष्पादित करने के लिए cronjob (यदि यह एक वेब ऐप है - wget के साथ https://$host$cronjobname, या वर्कर पॉड्स में से किसी एक के अंदर kubectl निष्पादन, आदि)
• इत्यादि

आप सबसे सही के बारे में बहस कर सकते हैं, लेकिन इस मामले में हमने "क्रॉन्टास्क के लिए पॉड्स के साथ अलग तैनाती" विकल्प चुना है।

यह कैसे किया है:

• कॉन्फिग मैप के माध्यम से या कॉन्फिग/एडक्रॉन फ़ाइल के माध्यम से क्रॉन कार्य जोड़ें
• एक उदाहरण में हम वर्कर पॉड के समान एक कंटेनर लॉन्च करते हैं + इसमें क्राउन कार्यों के निष्पादन की अनुमति देते हैं
• समान कोड आधार का उपयोग किया जाता है, एकीकरण के लिए धन्यवाद, कंटेनर असेंबली सरल है

हमें क्या अच्छा मिलता है:

• हमारे पास डेवलपर्स के वातावरण (डॉकर) के समान वातावरण में क्रोनटास्क काम कर रहे हैं
• कुबेरनेट्स के लिए क्रोनटास्क को "फिर से लिखने" की आवश्यकता नहीं है, वे पहले की तरह उसी रूप में और उसी कोड बेस में काम करते हैं
• क्रॉन कार्यों को केवल व्यवस्थापक ही नहीं, बल्कि उत्पादन शाखा के प्रतिबद्ध अधिकारों वाले सभी टीम सदस्यों द्वारा जोड़ा जा सकता है

साउथब्रिज K8SD एडमिन पैनल से मॉड्यूल और कोड संपादन तैनात करें

हम अपग्रेड के बारे में बात कर रहे थे?
वहां यातायात कैसे निर्देशित करें?
हुर्रे, हमने इसके लिए PHP में एक मॉड्यूल लिखा :) यह बिट्रिक्स के लिए एक छोटा क्लासिक मॉड्यूल है। यह अभी तक सार्वजनिक रूप से उपलब्ध नहीं है, लेकिन हम इसे खोलने की योजना बना रहे हैं।
मॉड्यूल Bitrix में एक नियमित मॉड्यूल की तरह स्थापित है:

और यह इस तरह दिखता है:

यह आपको एक कुकी सेट करने की अनुमति देता है जो साइट व्यवस्थापक की पहचान करती है और कुबेरनेट्स को अपग्रेड पॉड पर ट्रैफ़िक भेजने की अनुमति देती है।

जब परिवर्तन पूरे हो जाएं, तो आपको गिट पुश पर क्लिक करना होगा, कोड परिवर्तन गिट को भेजा जाएगा, फिर सिस्टम कोड के एक नए संस्करण के साथ एक छवि बनाएगा और पुराने पॉड्स को प्रतिस्थापित करते हुए इसे क्लस्टर में "रोल आउट" करेगा। .

हां, यह थोड़ा मुश्किल है, लेकिन साथ ही हम माइक्रोसर्विस आर्किटेक्चर को बनाए रखते हैं और बिट्रिक्स उपयोगकर्ताओं से एडमिन पैनल से कोड को सही करने का उनका पसंदीदा अवसर नहीं छीनते हैं। अंत में, यह एक विकल्प है; आप कोड को संपादित करने की समस्या को अलग तरीके से हल कर सकते हैं।

हेल्म चार्ट

कुबेरनेट्स पर एप्लिकेशन बनाने के लिए, हम आम तौर पर हेल्म पैकेज मैनेजर का उपयोग करते हैं।
कुबेरनेट्स में हमारे बिट्रिक्स समाधान के लिए, हमारे अग्रणी सिस्टम प्रशासक सर्गेई बोंडारेव ने एक विशेष हेल्म चार्ट लिखा।

यह वर्कर, अपग्रेड, क्रॉन पॉड्स बनाता है, इनग्रेस, सेवाओं को कॉन्फ़िगर करता है और कुबेरनेट्स सीक्रेट्स से पॉड्स में वेरिएबल ट्रांसफर करता है।

हम कोड को Gitlab में संग्रहीत करते हैं, और हम Gitlab से हेल्म बिल्ड भी चलाते हैं।

संक्षेप में, यह इस तरह दिखता है

$ helm upgrade --install project .helm --set image=registrygitlab.local/k8s/bitrix -f .helm/values.yaml --wait --timeout 300 --debug --tiller-namespace=production

यदि तैनाती के दौरान अचानक कुछ गलत हो जाता है तो हेल्म आपको "निर्बाध" रोलबैक करने की भी अनुमति देता है। यह अच्छा है जब आप घबराहट में नहीं होते हैं "एफ़टीपी के माध्यम से कोड को ठीक करें क्योंकि उत्पाद गिर गया है," लेकिन कुबेरनेट्स इसे स्वचालित रूप से और बिना डाउनटाइम के करता है।

तैनात करना

हाँ, हम Gitlab और Gitlab CI के प्रशंसक हैं, हम इसका उपयोग करते हैं :)
Gitlab में प्रोजेक्ट रिपॉजिटरी के लिए प्रतिबद्ध होने पर, Gitlab एक पाइपलाइन लॉन्च करता है जो पर्यावरण का एक नया संस्करण तैनात करता है।

चरणों:

• निर्माण (एक नई डॉकर छवि का निर्माण)
• परीक्षण (परीक्षण)
• साफ़ करें (परीक्षण वातावरण को हटाना)
• पुश (हम इसे डॉकर रजिस्ट्री को भेजते हैं)
• तैनात करें (हम एप्लिकेशन को हेल्म के माध्यम से कुबेरनेट्स पर तैनात करते हैं)।

हुर्रे, यह तैयार है, आइए इसे लागू करें!
ठीक है, या यदि कोई हो तो प्रश्न पूछें।

तो हम क्या करते

तकनीकी दृष्टिकोण से:

• डॉकरीकृत बिट्रिक्स;
• बिट्रिक्स को कंटेनरों में "काटें", जिनमें से प्रत्येक न्यूनतम कार्य करता है;
• कंटेनरों की स्टेटलेस स्थिति हासिल की;
• कुबेरनेट्स में बिट्रिक्स को अपडेट करने की समस्या हल हो गई;
• बिट्रिक्स के सभी फ़ंक्शन काम करते रहे (लगभग सभी);
• हमने कुबेरनेट्स पर तैनाती और संस्करणों के बीच रोलबैक पर काम किया।

व्यापारिक दृष्टिकोण से:

• दोष सहिष्णुता;
• कुबेरनेट्स उपकरण (गीटलैब सीआई के साथ आसान एकीकरण, निर्बाध तैनाती, आदि);
• गुप्त पासवर्ड (केवल उन लोगों के लिए दृश्यमान जिन्हें सीधे पासवर्ड तक पहुंच प्रदान की गई है);
• एक ही बुनियादी ढांचे के भीतर अतिरिक्त वातावरण (विकास, परीक्षण आदि के लिए) बनाना सुविधाजनक है।

स्रोत: www.habr.com