सीआई या परीक्षण वातावरण के लिए डॉकर-इन-डॉकर का उपयोग करने से पहले सावधानी से सोचें

डॉकर-इन-डॉकर एक वर्चुअलाइज्ड डॉकर डेमॉन वातावरण है जो कंटेनर इमेज बनाने के लिए कंटेनर के भीतर ही चलता है। डॉकर-इन-डॉकर बनाने का मुख्य उद्देश्य डॉकर को स्वयं विकसित करने में मदद करना था। कई लोग जेनकींस सीआई चलाने के लिए इसका उपयोग करते हैं। यह पहली बार में सामान्य लगता है, लेकिन फिर समस्याएं उत्पन्न होती हैं जिन्हें जेनकिंस सीआई कंटेनर में डॉकर स्थापित करके टाला जा सकता है। यह आलेख आपको बताता है कि यह कैसे करना है। यदि आप बिना विवरण के अंतिम समाधान में रुचि रखते हैं, तो लेख का अंतिम भाग, "समस्या का समाधान" पढ़ें।

डॉकर-इन-डॉकर: "अच्छा"

दो साल से अधिक समय पहले मैंने डॉकर में डाला था झंडा -विशेषाधिकार प्राप्त और लिखा डिंड का पहला संस्करण. लक्ष्य कोर टीम को डॉकर को तेजी से विकसित करने में मदद करना था। डॉकर-इन-डॉकर से पहले, सामान्य विकास चक्र इस तरह दिखता था:

• हैकिटी हैक;
• निर्माण;
• चल रहे डॉकर डेमॉन को रोकना;
• एक नया डॉकर डेमॉन लॉन्च करना;
• परीक्षण,
• चक्र दोहराएँ.

यदि आप एक सुंदर, प्रतिलिपि प्रस्तुत करने योग्य संयोजन (अर्थात् एक कंटेनर में) बनाना चाहते थे, तो यह और अधिक जटिल हो गया:

• हैकिटी हैक;
• सुनिश्चित करें कि डॉकर का कार्यशील संस्करण चल रहा है;
• पुराने डॉकर के साथ नया डॉकर बनाएं;
• डॉकर डेमॉन बंद करो;
• एक नया डॉकर डेमॉन प्रारंभ करें;
• परीक्षा;
• नए डॉकर डेमॉन को रोकें;
• दोहराना।

डॉकर-इन-डॉकर के आगमन के साथ, प्रक्रिया सरल हो गई है:

• हैकिटी हैक;
• एक चरण में असेंबली + लॉन्च;
• चक्र दोहराएँ.

क्या यह इस तरह से बहुत बेहतर नहीं है?

डॉकर-इन-डॉकर: "बुरा"

हालाँकि, आम धारणा के विपरीत, डॉकर-इन-डॉकर 100% सितारे, टट्टू और यूनिकॉर्न नहीं हैं। मेरे कहने का मतलब यह है कि ऐसे कई मुद्दे हैं जिनके बारे में एक डेवलपर को जागरूक होने की आवश्यकता है।

उनमें से एक LSM (लिनक्स सुरक्षा मॉड्यूल) जैसे AppArmor और SELinux से संबंधित है: एक कंटेनर चलाते समय, "आंतरिक डॉकर" सुरक्षा प्रोफाइल लागू करने का प्रयास कर सकता है जो "बाहरी डॉकर" के साथ टकराव या भ्रमित करेगा। -विशेषाधिकार प्राप्त ध्वज के मूल कार्यान्वयन को मर्ज करने का प्रयास करते समय हल करना सबसे कठिन समस्या है। मेरे परिवर्तन काम कर गए और सभी परीक्षण मेरी डेबियन मशीन और उबंटू परीक्षण वीएम पर पास हो गए, लेकिन वे माइकल क्रॉस्बी की मशीन पर दुर्घटनाग्रस्त हो गए और जल गए (जैसा कि मुझे याद है उनके पास फेडोरा था)। मुझे समस्या का सटीक कारण याद नहीं है, लेकिन ऐसा इसलिए हो सकता है क्योंकि माइक एक बुद्धिमान व्यक्ति है जो SELINUX=enforce के साथ काम करता है (मैंने AppArmor का उपयोग किया) और मेरे परिवर्तनों ने SELinux प्रोफाइल को ध्यान में नहीं रखा।

डॉकर-इन-डॉकर: "बुराई"

दूसरा मुद्दा डॉकर स्टोरेज ड्राइवरों के साथ है। जब आप डॉकर-इन-डॉकर चलाते हैं, तो बाहरी डॉकर एक नियमित फ़ाइल सिस्टम (EXT4, BTRFS, या जो भी आपके पास है) के शीर्ष पर चलता है और आंतरिक डॉकर एक कॉपी-ऑन-राइट सिस्टम (AUFS, BTRFS, डिवाइस मैपर) के शीर्ष पर चलता है। , आदि)। , बाहरी डॉकर का उपयोग करने के लिए क्या कॉन्फ़िगर किया गया है पर निर्भर करता है)। इससे कई संयोजन बनते हैं जो काम नहीं करेंगे. उदाहरण के लिए, आप AUFS के शीर्ष पर AUFS नहीं चला पाएंगे।

यदि आप बीटीआरएफएस के शीर्ष पर बीटीआरएफएस चलाते हैं, तो इसे पहले काम करना चाहिए, लेकिन एक बार नेस्टेड सबवॉल्यूम होने पर, पैरेंट सबवॉल्यूम को हटाना विफल हो जाएगा। डिवाइस मैपर मॉड्यूल में कोई नेमस्पेस नहीं है, इसलिए यदि कई डॉकर इंस्टेंस इसे एक ही मशीन पर चला रहे हैं, तो वे सभी एक-दूसरे पर और कंटेनर बैकअप डिवाइस पर छवियों को देख (और प्रभावित) करने में सक्षम होंगे। यह तो बुरा हुआ।

इनमें से कई समस्याओं को हल करने के लिए समाधान मौजूद हैं। उदाहरण के लिए, यदि आप आंतरिक डॉकर में AUFS का उपयोग करना चाहते हैं, तो बस /var/lib/docker फ़ोल्डर को वॉल्यूम में बदल दें और आप ठीक हो जाएंगे। डॉकर ने डिवाइस मैपर लक्ष्य नामों में कुछ बेस नेमस्पेस जोड़े हैं ताकि यदि एक ही मशीन पर कई डॉकर कॉल चल रहे हों, तो वे एक-दूसरे पर कदम न रखें।

हालाँकि, ऐसा सेटअप बिल्कुल भी सरल नहीं है, जैसा कि इनसे देखा जा सकता है सामग्री GitHub पर डिंड रिपॉजिटरी में।

डॉकर-इन-डॉकर: यह बदतर हो जाता है

बिल्ड कैश के बारे में क्या? ये काफी मुश्किल भी हो सकता है. लोग अक्सर मुझसे पूछते हैं "अगर मैं डॉकर-इन-डॉकर चला रहा हूं, तो मैं अपने आंतरिक डॉकर में सब कुछ वापस खींचने के बजाय अपने होस्ट पर होस्ट की गई छवियों का उपयोग कैसे कर सकता हूं"?

कुछ उद्यमशील लोगों ने /var/lib/docker को होस्ट से डॉकर-इन-डॉकर कंटेनर में बाँधने का प्रयास किया है। कभी-कभी वे एकाधिक कंटेनरों के साथ /var/lib/docker साझा करते हैं।

क्या आप अपना डेटा दूषित करना चाहते हैं? क्योंकि यह वही है जो आपके डेटा को नुकसान पहुंचाएगा!

डॉकर डेमॉन को स्पष्ट रूप से /var/lib/docker तक विशेष पहुंच के लिए डिज़ाइन किया गया था। इस फ़ोल्डर में स्थित किसी भी डॉकर फ़ाइल को किसी अन्य चीज़ को "स्पर्श, प्रहार या ठेस" नहीं देना चाहिए।

ऐसा क्यों है? क्योंकि यह डॉटक्लाउड विकसित करते समय सीखे गए सबसे कठिन पाठों में से एक का परिणाम है। डॉटक्लाउड कंटेनर इंजन एक साथ /var/lib/dotcloud तक पहुंचने वाली कई प्रक्रियाओं के द्वारा चलता है। परमाणु फ़ाइल प्रतिस्थापन (इन-प्लेस संपादन के बजाय), सलाहकार और अनिवार्य लॉक के साथ पेपिंग कोड, और SQLite और BDB जैसे सुरक्षित सिस्टम के साथ अन्य प्रयोग जैसी चालाक चालें हमेशा काम नहीं करतीं। जब हम अपने कंटेनर इंजन को फिर से डिज़ाइन कर रहे थे, जो अंततः डॉकर बन गया, तो बड़े डिज़ाइन निर्णयों में से एक सभी समवर्ती बकवास को दूर करने के लिए एक ही डेमॉन के तहत सभी कंटेनर संचालन को समेकित करना था।

मुझे गलत मत समझिए: कुछ अच्छा, विश्वसनीय और तेज़ बनाना पूरी तरह से संभव है जिसमें कई प्रक्रियाएं और आधुनिक समानांतर नियंत्रण शामिल हों। लेकिन हमारा मानना ​​है कि एकमात्र प्लेयर के रूप में डॉकर का उपयोग करके कोड लिखना और बनाए रखना आसान और आसान है।

इसका मतलब यह है कि यदि आप /var/lib/docker निर्देशिका को कई डॉकर उदाहरणों के बीच साझा करते हैं, तो आपको समस्याएं होंगी। बेशक, यह काम कर सकता है, खासकर परीक्षण के शुरुआती चरणों में। "सुनो माँ, मैं उबंटू को डॉकर के रूप में चला सकता हूँ!" लेकिन कुछ अधिक जटिल प्रयास करें, जैसे दो अलग-अलग उदाहरणों से एक ही छवि खींचना, और आप देखेंगे कि दुनिया जल रही है।

इसका मतलब यह है कि यदि आपका सीआई सिस्टम निर्माण और पुनर्निर्माण करता है, तो हर बार जब आप अपने डॉकर-इन-डॉकर कंटेनर को पुनरारंभ करते हैं, तो आप इसके कैश में एक परमाणु गिराने का जोखिम उठाते हैं। यह बिल्कुल अच्छा नहीं है!

समाधान

आइए एक कदम पीछे चलें. क्या आपको वास्तव में डॉकर-इन-डॉकर की आवश्यकता है या क्या आप केवल डॉकर को चलाने और अपने सीआई सिस्टम से कंटेनर और छवियों को बनाने और चलाने में सक्षम होना चाहते हैं, जबकि सीआई सिस्टम स्वयं एक कंटेनर में है?

मुझे यकीन है कि अधिकांश लोग बाद वाला विकल्प चाहते हैं, जिसका अर्थ है कि वे कंटेनर चलाने में सक्षम होने के लिए जेनकींस जैसी सीआई प्रणाली चाहते हैं। और ऐसा करने का सबसे आसान तरीका बस अपने सीआई कंटेनर में एक डॉकर सॉकेट डालना है और इसे -v ध्वज के साथ जोड़ना है।

सीधे शब्दों में कहें, जब आप अपना सीआई कंटेनर (जेनकींस या अन्य) चलाते हैं, तो डॉकर-इन-डॉकर के साथ कुछ हैक करने के बजाय, इसे लाइन से शुरू करें:

docker run -v /var/run/docker.sock:/var/run/docker.sock ...

इस कंटेनर के पास अब डॉकर सॉकेट तक पहुंच होगी और इसलिए यह कंटेनर चलाने में सक्षम होगा। सिवाय इसके कि "चाइल्ड" कंटेनर चलाने के बजाय, यह "सिबलिंग" कंटेनर लॉन्च करेगा।

आधिकारिक डॉकर छवि (जिसमें डॉकर बाइनरी शामिल है) का उपयोग करके इसे आज़माएँ:

docker run -v /var/run/docker.sock:/var/run/docker.sock 
           -ti docker

यह डॉकर-इन-डॉकर की तरह दिखता है और काम करता है, लेकिन यह डॉकर-इन-डॉकर नहीं है: जब यह कंटेनर अतिरिक्त कंटेनर बनाता है, तो वे शीर्ष-स्तरीय डॉकर में बनाए जाएंगे। आपको नेस्टिंग के दुष्प्रभावों का अनुभव नहीं होगा और असेंबली कैश को कई कॉलों में साझा किया जाएगा।

नोट: इस लेख के पिछले संस्करणों में डॉकर बाइनरी को होस्ट से कंटेनर से जोड़ने की सलाह दी गई थी। यह अब अविश्वसनीय हो गया है क्योंकि डॉकर इंजन अब स्थिर या निकट-स्थैतिक पुस्तकालयों को कवर नहीं करता है।

इसलिए, यदि आप जेनकिंस सीआई से डॉकर का उपयोग करना चाहते हैं, तो आपके पास 2 विकल्प हैं:
डॉकर एपीआई का उपयोग करके मूल छवि पैकेजिंग सिस्टम (यानी यदि आपकी छवि डेबियन पर आधारित है, तो .deb पैकेज का उपयोग करें) का उपयोग करके डॉकर सीएलआई स्थापित करना।

कुछ विज्ञापन 🙂

हमारे साथ रहने के लिए धन्यवाद। क्या आप हमारे लेख पसंद करते हैं? अधिक रोचक सामग्री देखना चाहते हैं? आदेश देकर या मित्रों को अनुशंसा करके हमारा समर्थन करें, डेवलपर्स के लिए क्लाउड VPS $4.99 से शुरू, प्रवेश स्तर के सर्वरों का एक अनूठा एनालॉग, जिसका आविष्कार हमने आपके लिए किया था: VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps के बारे में पूरी सच्चाई $19 से या सर्वर कैसे साझा करें? (RAID1 और RAID10 के साथ उपलब्ध, 24 कोर तक और 40GB DDR4 तक)।

एम्स्टर्डम में इक्विनिक्स टियर IV डेटा सेंटर में Dell R730xd 2x सस्ता है? केवल यहां 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 टीवी $199 से नीदरलैंड में! डेल R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - $99 से! के बारे में पढ़ा इन्फ्रास्ट्रक्चर कॉर्प का निर्माण कैसे करें। एक पैसा के लिए 730 यूरो मूल्य के डेल R5xd E2650-4 v9000 सर्वर के उपयोग के साथ वर्ग?

स्रोत: www.habr.com