डॉकर म्हणजे काय: इतिहास आणि मूलभूत अ‍ॅबस्ट्रॅक्शनमध्ये एक संक्षिप्त भ्रमण

स्लर्ममध्ये 10 ऑगस्ट रोजी सुरू झाला डॉकर व्हिडिओ कोर्स, ज्यामध्ये आम्ही त्याचे पूर्णपणे विश्लेषण करतो - मूलभूत अमूर्ततेपासून नेटवर्क पॅरामीटर्सपर्यंत.

या लेखात आपण डॉकरच्या इतिहासाबद्दल आणि त्याच्या मुख्य अमूर्त गोष्टींबद्दल बोलू: प्रतिमा, क्ली, डॉकरफाइल. व्याख्यान नवशिक्यांसाठी आहे, म्हणून अनुभवी वापरकर्त्यांना ते स्वारस्य असण्याची शक्यता नाही. रक्त, परिशिष्ट किंवा खोल विसर्जन होणार नाही. अगदी मूलभूत.

डॉकर म्हणजे काय

विकिपीडियावरून डॉकरची व्याख्या पाहू.

डॉकर हे कंटेनरीकृत वातावरणात अनुप्रयोगांचे तैनाती आणि व्यवस्थापन स्वयंचलित करण्यासाठी सॉफ्टवेअर आहे.

या व्याख्येतून काहीही स्पष्ट होत नाही. "कंटेनरायझेशनला समर्थन देणार्‍या वातावरणात" म्हणजे काय हे विशेषतः अस्पष्ट आहे. शोधण्यासाठी, चला वेळेत परत जाऊया. चला त्या युगापासून सुरुवात करू ज्याला मी पारंपारिकपणे “मोनोलिथिक युग” म्हणतो.

मोनोलिथिक युग

मोनोलिथिक युग हे 2000 च्या दशकाच्या सुरुवातीचे आहे, जेव्हा सर्व ऍप्लिकेशन्स मोनोलिथिक होते, ज्यामध्ये अनेक अवलंबन होते. विकासाला बराच वेळ लागला. त्याच वेळी, तेथे बरेच सर्व्हर नव्हते; आम्ही सर्व त्यांना नावाने ओळखतो आणि त्यांचे निरीक्षण केले. अशी एक मजेदार तुलना आहे:

पाळीव प्राणी हे पाळीव प्राणी आहेत. मोनोलिथिक युगात, आम्ही आमच्या सर्व्हरला पाळीव प्राण्यांप्रमाणे वागवले, धूळचे ठिपके उडवून दिले. आणि चांगल्या रिसोर्स मॅनेजमेंटसाठी, आम्ही व्हर्च्युअलायझेशन वापरले: आम्ही एक सर्व्हर घेतला आणि तो अनेक व्हर्च्युअल मशीनमध्ये कापला, ज्यामुळे पर्यावरणाचे वेगळेपण सुनिश्चित केले.

हायपरवाइजर-आधारित वर्च्युअलायझेशन सिस्टम

प्रत्येकाने कदाचित व्हर्च्युअलायझेशन सिस्टमबद्दल ऐकले असेल: VMware, VirtualBox, Hyper-V, Qemu KVM, इ. ते ऍप्लिकेशन अलगाव आणि संसाधन व्यवस्थापन प्रदान करतात, परंतु त्यांचे तोटे देखील आहेत. वर्च्युअलायझेशन करण्यासाठी, तुम्हाला हायपरवाइजरची आवश्यकता आहे. आणि हायपरवाइजर हे एक संसाधन ओव्हरहेड आहे. आणि व्हर्च्युअल मशीन स्वतःच सामान्यतः संपूर्ण कोलोसस असते - ऑपरेटिंग सिस्टम, Nginx, Apache आणि शक्यतो MySQL असलेली एक भारी प्रतिमा. प्रतिमा मोठी आहे आणि आभासी मशीन ऑपरेट करण्यासाठी गैरसोयीचे आहे. परिणामी, व्हर्च्युअल मशीनसह काम करणे धीमे असू शकते. या समस्येचे निराकरण करण्यासाठी, कर्नल स्तरावर आभासीकरण प्रणाली तयार केली गेली.

कर्नल-स्तरीय आभासीकरण प्रणाली

कर्नल-स्तरीय आभासीकरण OpenVZ, Systemd-nspawn, LXC प्रणालीद्वारे समर्थित आहे. अशा आभासीकरणाचे एक उल्लेखनीय उदाहरण म्हणजे LXC (लिनक्स कंटेनर्स).

LXC ही एक ऑपरेटिंग सिस्टीम-स्तरीय वर्च्युअलायझेशन सिस्टीम आहे जी एका नोडवर Linux ऑपरेटिंग सिस्टीमची एकापेक्षा जास्त वेगळी उदाहरणे चालवते. LXC व्हर्च्युअल मशीन वापरत नाही, परंतु स्वतःच्या प्रोसेस स्पेस आणि नेटवर्क स्टॅकसह आभासी वातावरण तयार करते.

मूलत: LXC कंटेनर तयार करते. व्हर्च्युअल मशीन आणि कंटेनरमध्ये काय फरक आहे?

कंटेनर वेगळ्या प्रक्रियेसाठी योग्य नाही: कर्नल स्तरावर वर्च्युअलायझेशन सिस्टममध्ये भेद्यता आढळतात ज्यामुळे त्यांना कंटेनरमधून होस्टकडे जाण्याची परवानगी मिळते. म्हणून, जर तुम्हाला काहीतरी वेगळे करायचे असेल तर, व्हर्च्युअल मशीन वापरणे चांगले.

व्हर्च्युअलायझेशन आणि कंटेनरायझेशनमधील फरक आकृतीमध्ये पाहिले जाऊ शकतात.
हार्डवेअर हायपरव्हायझर्स, OS च्या वर हायपरवाइजर आणि कंटेनर आहेत.

जर तुम्हाला खरोखर काहीतरी वेगळे करायचे असेल तर हार्डवेअर हायपरवाइजर छान आहेत. कारण मेमरी पृष्ठे आणि प्रोसेसरच्या स्तरावर वेगळे करणे शक्य आहे.

प्रोग्राम म्हणून हायपरवाइजर आहेत आणि कंटेनर आहेत आणि आम्ही त्यांच्याबद्दल पुढे बोलू. कंटेनरायझेशन सिस्टीममध्ये हायपरवाइजर नसतो, परंतु एक कंटेनर इंजिन आहे जे कंटेनर तयार करते आणि व्यवस्थापित करते. ही गोष्ट अधिक हलकी आहे, म्हणून कोरसह काम केल्यामुळे कमी ओव्हरहेड आहे किंवा अजिबात नाही.

कर्नल स्तरावर कंटेनरायझेशनसाठी काय वापरले जाते

मुख्य तंत्रज्ञान जे तुम्हाला इतर प्रक्रियांपासून वेगळे कंटेनर तयार करण्याची परवानगी देतात ते नेमस्पेसेस आणि कंट्रोल ग्रुप्स आहेत.

नेमस्पेस: PID, नेटवर्किंग, माउंट आणि वापरकर्ता. बरेच काही आहेत, परंतु समजण्यास सुलभतेसाठी आम्ही यावर लक्ष केंद्रित करू.

PID नेमस्पेस प्रक्रिया मर्यादित करते. उदाहरणार्थ, जेव्हा आपण PID नेमस्पेस तयार करतो आणि तेथे प्रक्रिया ठेवतो तेव्हा ती PID 1 सह बनते. सहसा PID 1 सिस्टीम किंवा init असते. त्यानुसार, जेव्हा आपण नवीन नेमस्पेसमध्ये प्रक्रिया ठेवतो तेव्हा त्याला PID 1 देखील प्राप्त होतो.

नेटवर्किंग नेमस्पेस तुम्हाला नेटवर्क मर्यादित/विलग करण्याची आणि तुमचे स्वतःचे इंटरफेस आत ठेवण्याची परवानगी देते. माउंट ही फाइल सिस्टम मर्यादा आहे. वापरकर्ता - वापरकर्त्यांवर निर्बंध.

नियंत्रण गट: मेमरी, CPU, IOPS, नेटवर्क - एकूण सुमारे 12 सेटिंग्ज. अन्यथा त्यांना Cgroups (“C-groups”) असेही म्हणतात.

नियंत्रण गट कंटेनरसाठी संसाधने व्यवस्थापित करतात. नियंत्रण गटांद्वारे आम्ही असे म्हणू शकतो की कंटेनरने विशिष्ट प्रमाणात संसाधनांचा वापर करू नये.

कंटेनरीकरण पूर्णपणे कार्य करण्यासाठी, अतिरिक्त तंत्रज्ञान वापरले जातात: क्षमता, कॉपी-ऑन-राइट आणि इतर.

क्षमता म्हणजे जेव्हा आपण एखादी प्रक्रिया सांगू शकतो की ती काय करू शकते आणि काय करू शकत नाही. कर्नल स्तरावर, हे फक्त अनेक पॅरामीटर्स असलेले बिटमॅप आहेत. उदाहरणार्थ, रूट वापरकर्त्यास पूर्ण विशेषाधिकार आहेत आणि तो सर्वकाही करू शकतो. टाइम सर्व्हर सिस्टमची वेळ बदलू शकतो: टाइम कॅप्सूलमध्ये त्याची क्षमता आहे आणि तेच आहे. विशेषाधिकारांचा वापर करून, तुम्ही प्रक्रियांसाठी निर्बंध लवचिकपणे कॉन्फिगर करू शकता आणि त्याद्वारे स्वतःचे संरक्षण करू शकता.

कॉपी-ऑन-राइट सिस्टीम आम्हाला डॉकर प्रतिमांसह कार्य करण्यास आणि त्यांचा अधिक कार्यक्षमतेने वापर करण्यास अनुमती देते.

डॉकरला सध्या Cgroups v2 सह सुसंगतता समस्या आहेत, म्हणून हा लेख विशेषतः Cgroups v1 वर केंद्रित आहे.

पण इतिहासाकडे वळूया.

वर्च्युअलायझेशन सिस्टीम कर्नल स्तरावर दिसू लागल्यावर, ते सक्रियपणे वापरले जाऊ लागले. हायपरवाइजरवरील ओव्हरहेड गायब झाले, परंतु काही समस्या राहिल्या:

• मोठ्या प्रतिमा: ते ऑपरेटिंग सिस्टम, लायब्ररी, वेगवेगळ्या सॉफ्टवेअरचा समूह एकाच ओपनव्हीझेडमध्ये ढकलतात आणि शेवटी प्रतिमा अजूनही खूप मोठी असल्याचे दिसून येते;
• पॅकेजिंग आणि वितरणासाठी कोणतेही सामान्य मानक नाही, त्यामुळे अवलंबनांची समस्या कायम आहे. अशी परिस्थिती असते जेव्हा कोडचे दोन तुकडे समान लायब्ररी वापरतात, परंतु भिन्न आवृत्त्यांसह. त्यांच्यात संघर्ष होऊ शकतो.

या सर्व समस्यांचे निराकरण करण्यासाठी, पुढील युग आले आहे.

कंटेनर युग

जेव्हा कंटेनर्सचा युग आला तेव्हा त्यांच्याबरोबर काम करण्याचे तत्वज्ञान बदलले:

• एक प्रक्रिया - एक कंटेनर.
• आम्ही प्रक्रियेसाठी आवश्यक असलेले सर्व अवलंबित्व त्याच्या कंटेनरवर वितरीत करतो. यासाठी सूक्ष्म सेवांमध्ये मोनोलिथ कापण्याची आवश्यकता आहे.
• प्रतिमा जितकी लहान, तितकी चांगली - कमी संभाव्य भेद्यता आहेत, ती जलद रोल आउट होते आणि असेच.
• प्रसंग क्षणभंगुर होतात.

पाळीव प्राणी विरुद्ध गुरेढोरे याबद्दल मी काय बोललो ते लक्षात ठेवा? पूर्वी, उदाहरणे पाळीव जनावरांसारखी होती, परंतु आता ती गुरांसारखी झाली आहेत. पूर्वी, एक मोनोलिथ होता - एक अर्ज. आता 100 मायक्रो सर्व्हिसेस, 100 कंटेनर आहेत. काही कंटेनरमध्ये 2-3 प्रतिकृती असू शकतात. प्रत्येक कंटेनरवर नियंत्रण ठेवणे आपल्यासाठी कमी महत्त्वाचे होते. आमच्यासाठी सर्वात महत्त्वाचे म्हणजे सेवेची उपलब्धता: कंटेनरचा हा संच काय करतो. हे निरीक्षण करण्याच्या दृष्टिकोनात बदल करते.

2014-2015 मध्ये, डॉकरची भरभराट झाली - तंत्रज्ञान ज्याबद्दल आपण आता बोलू.

डॉकरने तत्त्वज्ञान आणि प्रमाणित अनुप्रयोग पॅकेजिंग बदलले. डॉकर वापरून, आम्ही एखादे अॅप्लिकेशन पॅकेज करू शकतो, रिपॉजिटरीमध्ये पाठवू शकतो, तेथून डाउनलोड करू शकतो आणि तो उपयोजित करू शकतो.

आम्हाला आवश्यक असलेली प्रत्येक गोष्ट आम्ही डॉकर कंटेनरमध्ये ठेवतो, त्यामुळे अवलंबित्व समस्या सोडवली जाते. डॉकर पुनरुत्पादनक्षमतेची हमी देतो. मला असे वाटते की बर्‍याच लोकांना अपरिवर्तनीयतेचा सामना करावा लागला आहे: सर्वकाही तुमच्यासाठी कार्य करते, तुम्ही ते उत्पादनाकडे ढकलता आणि तेथे ते कार्य करणे थांबवते. डॉकरसह ही समस्या दूर होते. जर तुमचा डॉकर कंटेनर सुरू झाला आणि त्याला जे करणे आवश्यक आहे ते करत असल्यास, उच्च संभाव्यतेसह ते उत्पादनात सुरू होईल आणि तेथे तेच करेल.

ओव्हरहेड बद्दल विषयांतर

ओव्हरहेड्सबद्दल नेहमीच वाद होतात. काही लोकांचा असा विश्वास आहे की डॉकर अतिरिक्त भार उचलत नाही, कारण ते लिनक्स कर्नल आणि कंटेनरायझेशनसाठी आवश्यक असलेल्या सर्व प्रक्रियांचा वापर करते. जसे की, "जर तुम्ही असे म्हणता की डॉकर ओव्हरहेड आहे, तर लिनक्स कर्नल ओव्हरहेड आहे."

दुसरीकडे, जर तुम्ही खोलवर गेलात तर, डॉकरमध्ये खरोखरच अशा अनेक गोष्टी आहेत ज्यांना ताणून, ओव्हरहेड म्हटले जाऊ शकते.

पहिले पीआयडी नेमस्पेस आहे. जेव्हा आपण नेमस्पेसमध्ये प्रक्रिया ठेवतो, तेव्हा ती PID 1 नियुक्त केली जाते. त्याच वेळी, या प्रक्रियेमध्ये कंटेनरच्या बाहेर, होस्ट नेमस्पेसवर दुसरा PID असतो. उदाहरणार्थ, आम्ही कंटेनरमध्ये Nginx लाँच केले, ते PID 1 (मास्टर प्रक्रिया) बनले. आणि होस्टवर त्याचे PID 12623 आहे. आणि ते किती ओव्हरहेड आहे हे सांगणे कठीण आहे.

दुसरी गोष्ट म्हणजे Cgroups. मेमरीनुसार Cgroups घेऊ, म्हणजेच कंटेनरची मेमरी मर्यादित करण्याची क्षमता. जेव्हा ते सक्षम केले जाते, तेव्हा काउंटर आणि मेमरी अकाउंटिंग सक्रिय केले जाते: कर्नलला हे समजणे आवश्यक आहे की या कंटेनरसाठी किती पृष्ठे वाटप केली गेली आहेत आणि किती अद्याप विनामूल्य आहेत. हे शक्यतो एक ओव्हरहेड आहे, परंतु ते कार्यक्षमतेवर कसा परिणाम करते यावर मी कोणतेही अचूक अभ्यास पाहिलेले नाहीत. आणि माझ्या स्वतःच्या लक्षात आले नाही की डॉकरमध्ये चालू असलेल्या ऍप्लिकेशनने अचानक कार्यक्षमतेत तीव्र नुकसान अनुभवले.

आणि कामगिरीबद्दल आणखी एक टीप. काही कर्नल पॅरामीटर्स होस्टकडून कंटेनरमध्ये दिले जातात. विशेषतः, काही नेटवर्क पॅरामीटर्स. म्हणूनच, जर तुम्हाला डॉकरमध्ये काहीतरी उच्च-कार्यक्षमता चालवायची असेल, उदाहरणार्थ, नेटवर्क सक्रियपणे वापरेल असे काहीतरी, तर तुम्हाला किमान हे पॅरामीटर्स समायोजित करणे आवश्यक आहे. काही nf_conntrack, उदाहरणार्थ.

डॉकर संकल्पनेबद्दल

डॉकरमध्ये अनेक घटक असतात:

1. डॉकर डिमन समान कंटेनर इंजिन आहे; कंटेनर लाँच करते.
2. डॉकर सीआयआय ही डॉकर व्यवस्थापन उपयुक्तता आहे.
3. डॉकरफाइल - प्रतिमा कशी तयार करावी यावरील सूचना.
4. प्रतिमा — ती प्रतिमा ज्यामधून कंटेनर आणला जातो.
5. कंटेनर
6. डॉकर रेजिस्ट्री एक प्रतिमा भांडार आहे.

योजनाबद्धरित्या हे असे काहीतरी दिसते:

डॉकर डिमन डॉकर_होस्टवर चालतो आणि कंटेनर लाँच करतो. एक क्लायंट आहे जो आज्ञा पाठवतो: प्रतिमा तयार करा, प्रतिमा डाउनलोड करा, कंटेनर लाँच करा. डॉकर डिमन रेजिस्ट्रीकडे जातो आणि त्यांना कार्यान्वित करतो. डॉकर क्लायंट स्थानिक पातळीवर (युनिक्स सॉकेटवर) आणि दूरस्थ होस्टवरून TCP द्वारे प्रवेश करू शकतो.

चला प्रत्येक घटकाकडे जाऊया.

डॉकर डिमन - हा सर्व्हरचा भाग आहे, तो होस्ट मशीनवर कार्य करतो: प्रतिमा डाउनलोड करतो आणि त्यांच्याकडून कंटेनर लाँच करतो, कंटेनर दरम्यान नेटवर्क तयार करतो, लॉग गोळा करतो. जेव्हा आपण "प्रतिमा तयार करा" म्हणतो तेव्हा राक्षसही तेच करत असतो.

डॉकर CLI - डॉकर क्लायंट भाग, डिमनसह कार्य करण्यासाठी कन्सोल उपयुक्तता. मी पुनरावृत्ती करतो, ते केवळ स्थानिकच नाही तर नेटवर्कवर देखील कार्य करू शकते.

मूलभूत आज्ञा:

डॉकर पीएस - सध्या डॉकर होस्टवर चालू असलेले कंटेनर दाखवा.
डॉकर प्रतिमा - स्थानिकरित्या डाउनलोड केलेल्या प्रतिमा दर्शवा.
डॉकर शोध <> - रेजिस्ट्रीमध्ये प्रतिमा शोधा.
डॉकर पुल <> - रेजिस्ट्रीमधून मशीनवर प्रतिमा डाउनलोड करा.
डॉकर बिल्ड < > - प्रतिमा गोळा करा.
डॉकर रन <> - कंटेनर लाँच करा.
डॉकर आरएम <> - कंटेनर काढा.
डॉकर लॉग <> - कंटेनर लॉग
डॉकर स्टार्ट/स्टॉप/रीस्टार्ट <> - कंटेनरसह कार्य करणे

जर तुम्ही या कमांड्समध्ये प्रभुत्व मिळवत असाल आणि त्यांचा वापर करण्यात तुम्हाला विश्वास असेल तर, वापरकर्ता स्तरावर डॉकरमध्ये स्वत:ला ७०% निपुण समजा.

डॉकरफाइल - प्रतिमा तयार करण्यासाठी सूचना. जवळजवळ प्रत्येक सूचना आदेश एक नवीन स्तर आहे. एक उदाहरण पाहू.

डॉकरफाइल असे दिसते: डावीकडे आदेश, उजवीकडे वितर्क. येथे असलेली प्रत्येक कमांड (आणि सामान्यतः डॉकरफाइलमध्ये लिहिलेली) इमेजमध्ये एक नवीन स्तर तयार करते.

अगदी डाव्या बाजूला बघितले तरी काय चालले आहे ते अंदाजे समजू शकते. आम्ही म्हणतो: "आमच्यासाठी एक फोल्डर तयार करा" - हा एक स्तर आहे. “फोल्डरला कार्यरत करा” हा दुसरा स्तर आहे, आणि असेच. थर केक जीवन सोपे करते. जर मी दुसरी डॉकरफाइल तयार केली आणि शेवटच्या ओळीत काहीतरी बदलले तर - मी “python” “main.py” व्यतिरिक्त काहीतरी चालवतो किंवा दुसर्‍या फाईलमधून अवलंबित्व स्थापित करतो - नंतर मागील स्तर कॅशे म्हणून पुन्हा वापरले जातील.

प्रतिमा - हे कंटेनर पॅकेजिंग आहे; कंटेनर इमेजमधून लॉन्च केले जातात. जर आपण पॅकेज मॅनेजरच्या दृष्टिकोनातून डॉकरकडे पाहिले (जसे की आपण डेब किंवा आरपीएम पॅकेजेससह काम करत आहोत), तर प्रतिमा मूलत: आरपीएम पॅकेज असते. yum install द्वारे आम्ही ऍप्लिकेशन इंस्टॉल करू शकतो, तो हटवू शकतो, रिपॉजिटरीमध्ये शोधू शकतो आणि डाउनलोड करू शकतो. हे येथे सारखेच आहे: प्रतिमेवरून कंटेनर लाँच केले जातात, ते डॉकर रेजिस्ट्रीमध्ये संग्रहित केले जातात (यम प्रमाणेच, रेपॉजिटरीमध्ये), आणि प्रत्येक प्रतिमेमध्ये SHA-256 हॅश, नाव आणि टॅग असतो.

डॉकरफाइलच्या सूचनांनुसार प्रतिमा तयार केली आहे. डॉकरफाइलमधील प्रत्येक सूचना एक नवीन स्तर तयार करते. स्तर पुन्हा वापरले जाऊ शकतात.

डॉकर रेजिस्ट्री डॉकर प्रतिमा भांडार आहे. OS प्रमाणेच, डॉकरकडे सार्वजनिक मानक नोंदणी आहे - डॉकरहब. परंतु तुम्ही तुमचे स्वतःचे भांडार, तुमची स्वतःची डॉकर रेजिस्ट्री तयार करू शकता.

कंटेनर - प्रतिमेतून काय लॉन्च केले जाते. आम्ही डॉकरफाइलच्या सूचनांनुसार प्रतिमा तयार केली, त्यानंतर आम्ही ती या प्रतिमेवरून लॉन्च केली. हा कंटेनर इतर कंटेनरपासून वेगळा केला आहे आणि अनुप्रयोग कार्य करण्यासाठी आवश्यक असलेल्या सर्व गोष्टी त्यात असणे आवश्यक आहे. या प्रकरणात, एक कंटेनर - एक प्रक्रिया. असे होते की आपल्याला दोन प्रक्रिया कराव्या लागतील, परंतु हे काहीसे डॉकर विचारसरणीच्या विरुद्ध आहे.

"एक कंटेनर, एक प्रक्रिया" आवश्यकता पीआयडी नेमस्पेसशी संबंधित आहे. जेव्हा नेमस्पेसमध्ये PID 1 सह प्रक्रिया सुरू होते, जर ती अचानक मरते, तर संपूर्ण कंटेनर देखील मरतो. जर तेथे दोन प्रक्रिया चालू असतील: एक जिवंत आहे आणि दुसरी मृत आहे, तर कंटेनर अजूनही जिवंत राहील. परंतु हा सर्वोत्तम पद्धतींचा प्रश्न आहे, आम्ही त्यांच्याबद्दल इतर सामग्रीमध्ये बोलू.

अभ्यासक्रमाची वैशिष्ट्ये आणि संपूर्ण कार्यक्रम अधिक तपशीलवार अभ्यासण्यासाठी, कृपया दुव्याचे अनुसरण करा: “डॉकर व्हिडिओ कोर्स».

लेखक: मार्सेल इब्राएव, प्रमाणित कुबर्नेट्स प्रशासक, साउथब्रिज येथे सराव अभियंता, स्पीकर आणि स्लर्म कोर्सेसचे विकसक.

स्त्रोत: www.habr.com