कोड म्हणून पायाभूत सुविधा: प्रथम परिचय

आमची कंपनी SRE टीम ऑनबोर्ड करण्याच्या प्रक्रियेत आहे. मी विकासाच्या बाजूने या संपूर्ण कथेत आलो. प्रक्रियेत, मी विचार आणि अंतर्दृष्टी घेऊन आलो जे मला इतर विकसकांसह सामायिक करायचे आहे. या प्रतिबिंब लेखात मी काय घडत आहे, ते कसे घडत आहे आणि प्रत्येकजण त्याच्यासह कसे जगू शकतो याबद्दल बोलत आहे.

आमच्या अंतर्गत कार्यक्रमातील भाषणांवर आधारित लेखांची मालिका सुरू आहे देवफोरम:

1. बॉक्सशिवाय श्रोडिंगरची मांजर: वितरित प्रणालींमध्ये एकमताची समस्या.
2. कोड म्हणून पायाभूत सुविधा. (तुम्ही येथे आहात)
3. C# मॉडेल वापरून टाइपस्क्रिप्ट कॉन्ट्रॅक्टची निर्मिती. (सुरू आहे...)
4. राफ्ट कन्सेन्सस अल्गोरिदमचा परिचय. (सुरू आहे...)
...

आम्ही एक SRE टीम तयार करण्याचा निर्णय घेतला, कल्पनांची अंमलबजावणी केली google sre. त्यांनी त्यांच्या स्वतःच्या विकासकांमधून प्रोग्रामरची नियुक्ती केली आणि त्यांना अनेक महिने प्रशिक्षणासाठी पाठवले.

संघाकडे खालील प्रशिक्षण कार्ये होती:

• आमच्या पायाभूत सुविधांचे वर्णन करा, जे बहुतेक Microsoft Azure मध्ये कोडच्या स्वरूपात आहे (टेराफॉर्म आणि आजूबाजूचे सर्व काही).
• विकासकांना पायाभूत सुविधांसह कसे कार्य करायचे ते शिकवा.
• विकासकांना कर्तव्यासाठी तयार करा.

आम्ही कोड म्हणून पायाभूत सुविधांची संकल्पना मांडतो

जगाच्या नेहमीच्या मॉडेलमध्ये (शास्त्रीय प्रशासन), पायाभूत सुविधांचे ज्ञान दोन ठिकाणी आहे:

1. किंवा तज्ञांच्या डोक्यात ज्ञानाच्या स्वरूपात.
2. किंवा ही माहिती काही टाइपरायटरवर आहे, ज्यापैकी काही तज्ञांना माहित आहेत. परंतु बाहेरील व्यक्ती (आमची संपूर्ण टीम अचानक मरण पावल्यास) काय कार्य करते आणि ते कसे कार्य करते हे शोधण्यास सक्षम असेल हे तथ्य नाही. मशीनवर बरीच माहिती असू शकते: अॅक्सेसरीज, क्रोनजॉब्स, घाबरवलेले (पहा. डिस्क माउंटिंग) डिस्क आणि काय होऊ शकते याची फक्त अंतहीन यादी. नेमके काय घडत आहे हे समजणे कठीण आहे.

दोन्ही प्रकरणांमध्ये, आम्ही स्वतःला परावलंबी होण्यात अडकतो:

• किंवा एखाद्या व्यक्तीकडून जो नश्वर आहे, आजारपणाच्या अधीन आहे, प्रेमात पडणे, मनःस्थिती बदलणे आणि फक्त सामान्य टाळेबंदी;
• किंवा शारीरिकरित्या कार्यरत असलेल्या मशीनमधून, जे पडते, चोरीला जाते आणि आश्चर्य आणि गैरसोय देते.

हे सांगण्याशिवाय नाही की आदर्शपणे प्रत्येक गोष्ट मानवी-वाचनीय, देखरेख करण्यायोग्य, सु-लिखित कोडमध्ये अनुवादित केली पाहिजे.

अशा प्रकारे, कोड म्हणून इन्फ्रास्ट्रक्चर (Incfastructure as Code - IaC) हे कोडच्या स्वरूपात संपूर्ण विद्यमान पायाभूत सुविधांचे वर्णन आहे, तसेच त्यासोबत काम करण्यासाठी आणि त्यातून वास्तविक पायाभूत सुविधांची अंमलबजावणी करण्यासाठी संबंधित साधने आहेत.

प्रत्येक गोष्ट कोडमध्ये का अनुवादित करायची?लोक मशीन नाहीत. त्यांना सर्व काही आठवत नाही. माणसाची आणि यंत्राची प्रतिक्रिया वेगळी असते. मानवाने केलेल्या कोणत्याही गोष्टीपेक्षा स्वयंचलित कोणतीही गोष्ट संभाव्यतः वेगवान असते. सर्वात महत्वाची गोष्ट म्हणजे सत्याचा एकच स्त्रोत.

नवीन SRE अभियंते कोठून येतात?म्हणून, आम्ही नवीन एसआरई अभियंते घेण्याचे ठरवले, परंतु ते कुठून आणायचे? योग्य उत्तरांसह बुक करा (Google SRE बुक) आम्हाला सांगते: विकसकांकडून. शेवटी, ते कोडसह कार्य करतात आणि आपण आदर्श स्थिती प्राप्त करता.

आम्ही आमच्या कंपनीच्या बाहेरील कर्मचारी बाजारात त्यांचा बराच काळ शोध घेतला. परंतु आम्हाला हे मान्य करावे लागेल की आम्हाला आमच्या विनंतीस अनुकूल असे कोणीही सापडले नाही. मला माझ्याच लोकांमध्ये शोधावे लागले.

कोड म्हणून पायाभूत सुविधांमध्ये समस्या

आता कोडमध्ये पायाभूत सुविधा कशा हार्डकोड केल्या जाऊ शकतात याची उदाहरणे पाहू. टिप्पण्या आणि इंडेंटेशनसह कोड चांगला, उच्च दर्जाचा आहे.

टेराफॉर्मा मधील उदाहरण कोड.

Ansible मधील उदाहरण कोड.

सज्जनांनो, इतके साधे असते तर! आम्ही वास्तविक जगात आहोत आणि ते तुम्हाला आश्चर्यचकित करण्यासाठी, आश्चर्य आणि समस्यांसह सादर करण्यासाठी नेहमीच तयार आहे. येथे त्यांच्याशिवाय करू शकत नाही.

1. पहिली समस्या अशी आहे की बहुतेक प्रकरणांमध्ये IaC हा काही प्रकारचा dsl असतो.

आणि डीएसएल, यामधून, संरचनेचे वर्णन आहे. अधिक तंतोतंत, तुमच्याकडे काय असावे: Json, Yaml, काही मोठ्या कंपन्यांमधील बदल ज्यांनी त्यांचे स्वतःचे dsl (HCL टेराफॉर्ममध्ये वापरले जाते).

अडचण अशी आहे की त्यात सहजपणे अशा परिचित गोष्टी असू शकत नाहीत जसे:

• चल;
• परिस्थिती;
• कुठेतरी टिप्पण्या नाहीत, उदाहरणार्थ, जेसनमध्ये, डीफॉल्टनुसार त्या प्रदान केल्या जात नाहीत;
• कार्ये;
• आणि मी वर्ग, वारसा आणि या सर्व सारख्या उच्च-स्तरीय गोष्टींबद्दल बोलत नाही.

2. अशा कोडची दुसरी समस्या ही आहे की बहुतेकदा ते विषम वातावरण असते. सहसा तुम्ही C# सह बसून काम करता, म्हणजे. एक भाषा, एक स्टॅक, एक इकोसिस्टम. आणि इथे तुमच्याकडे तंत्रज्ञानाची प्रचंड विविधता आहे.

ही एक अतिशय वास्तविक परिस्थिती आहे जेव्हा बॅश विथ पायथन काही प्रक्रिया सुरू करते ज्यामध्ये Json घातला जातो. तुम्ही त्याचे विश्लेषण करा, नंतर काही अन्य जनरेटर आणखी 30 फाइल्स तयार करतो. या सर्वांसाठी, Azure Key Vault कडून इनपुट व्हेरिएबल्स प्राप्त होतात, जे Go मध्ये लिहिलेल्या drone.io साठी प्लगइनद्वारे एकत्रित केले जातात आणि हे व्हेरिएबल्स yaml मधून जातात, जे jsonnet टेम्पलेट इंजिनच्या निर्मितीच्या परिणामी तयार केले गेले होते. तुमच्याकडे इतके वैविध्यपूर्ण वातावरण असताना कोडचे काटेकोरपणे वर्णन करणे खूप अवघड आहे.

एका कार्याच्या चौकटीत पारंपारिक विकास एकाच भाषेसह येतो. येथे आम्ही मोठ्या संख्येने भाषांसह काम करतो.

3. तिसरी समस्या ट्यूनिंग आहे. आम्हाला थंड संपादक (मिस व्हिज्युअल स्टुडिओ, जेटब्रेन्स रायडर) वापरण्याची सवय आहे जे आमच्यासाठी सर्वकाही करतात. आणि आपण मूर्ख असलो तरी ते म्हणतील की आपण चुकीचे आहोत. हे सामान्य आणि नैसर्गिक दिसते.

परंतु जवळपास कुठेतरी VSCode आहे, ज्यामध्ये असे काही प्लगइन आहेत जे कसे तरी स्थापित केलेले आहेत, समर्थित आहेत किंवा समर्थित नाहीत. नवीन आवृत्त्या बाहेर आल्या आणि समर्थित नाहीत. फंक्शन अंमलात आणण्यासाठी एक सामान्य संक्रमण (जरी ते अस्तित्वात असले तरीही) एक जटिल आणि क्षुल्लक समस्या बनते. व्हेरिएबलचे साधे नाव बदलणे म्हणजे डझनभर फाइल्सच्या प्रोजेक्टमध्ये रिप्ले. जर त्याने तुम्हाला हवे ते ठेवले तर तुम्ही भाग्यवान व्हाल. अर्थात, येथे आणि तेथे बॅकलाइटिंग आहे, स्वयं-पूर्णता आहे, कुठेतरी स्वरूपन आहे (जरी विंडोजवरील टेराफॉर्ममध्ये ते माझ्यासाठी कार्य करत नाही).

या लेखनाच्या वेळी vscode-terraform प्लगइन आवृत्ती 0.12 चे समर्थन करण्यासाठी अद्याप रिलीझ केले गेले नाही, जरी ती 3 महिन्यांसाठी रिलीज झाली आहे.

विसरण्याची वेळ आली आहे...

1. डीबगिंग.
2. रिफॅक्टरिंग टूल.
3. स्वयं पूर्ण.
4. संकलनादरम्यान त्रुटी शोधणे.

हे मजेदार आहे, परंतु यामुळे विकासाचा वेळ देखील वाढतो आणि अपरिहार्यपणे उद्भवणार्‍या त्रुटींची संख्या वाढते.

सर्वात वाईट गोष्ट अशी आहे की आम्हाला फोल्डर्समध्ये फायली कसे डिझाइन करावे, व्यवस्थापित करावे, विघटित करावे, कोड राखता येण्याजोगा, वाचनीय बनवावा इत्यादीबद्दल विचार न करता, परंतु मी ही आज्ञा योग्यरित्या कशी लिहू शकतो याबद्दल विचार करण्यास भाग पाडले आहे, कारण मी ती चुकीची लिहिली आहे. .

नवशिक्या म्हणून, तुम्ही टेराफॉर्म्स शिकण्याचा प्रयत्न करत आहात आणि IDE तुम्हाला अजिबात मदत करत नाही. जेव्हा कागदपत्रे असतील तेव्हा आत जा आणि पहा. परंतु जर तुम्ही नवीन प्रोग्रामिंग भाषा प्रविष्ट करत असाल तर, IDE तुम्हाला सांगेल की असा प्रकार आहे, परंतु असे काहीही नाही. किमान int किंवा स्ट्रिंग स्तरावर. हे अनेकदा उपयुक्त आहे.

चाचण्यांचे काय?

तुम्ही विचारता: "चाचण्यांबद्दल काय, सज्जन प्रोग्रामर?" गंभीर लोक उत्पादनावर प्रत्येक गोष्टीची चाचणी घेतात आणि ते कठीण आहे. येथे वेबसाइटवरील टेराफॉर्म मॉड्यूलसाठी युनिट चाचणीचे उदाहरण आहे मायक्रोसॉफ्ट.

त्यांच्याकडे चांगली कागदपत्रे आहेत. दस्तऐवजीकरण आणि प्रशिक्षणाच्या दृष्टीकोनासाठी मला मायक्रोसॉफ्ट नेहमीच आवडते. परंतु हा परिपूर्ण कोड नाही हे समजून घेण्यासाठी तुम्हाला अंकल बॉब असण्याची गरज नाही. उजवीकडे प्रमाणीकरण लक्षात घ्या.

युनिट चाचणीची समस्या अशी आहे की तुम्ही आणि मी Json आउटपुटची शुद्धता तपासू शकतो. मी 5 पॅरामीटर्स टाकले आणि मला 2000 ओळींसह एक Json फूटक्लॉथ देण्यात आला. मी येथे काय चालले आहे याचे विश्लेषण करू शकतो, चाचणी निकाल सत्यापित करू शकतो...

गो मध्ये Json पार्स करणे कठीण आहे. आणि तुम्हाला गो मध्ये लिहिणे आवश्यक आहे, कारण तुम्ही ज्या भाषेत लिहिता त्या भाषेच्या चाचणीसाठी गो मधील टेराफॉर्म हा एक चांगला सराव आहे. संहितेची संघटना स्वतःच खूप कमकुवत आहे. त्याच वेळी, हे चाचणीसाठी सर्वोत्तम लायब्ररी आहे.

मायक्रोसॉफ्ट स्वतः त्याचे मॉड्यूल लिहिते, त्यांची अशा प्रकारे चाचणी करते. अर्थात ते ओपन सोर्स आहे. मी तुमच्याबद्दल जे काही बोलत आहे ते सर्व येऊन दुरुस्त करू शकता. मी एका आठवड्यात बसून सर्वकाही ठीक करू शकतो, ओपन सोर्स व्हीएस कोड प्लगइन्स, टेराफॉर्म्स, रायडरसाठी प्लगइन बनवू शकतो. कदाचित दोन विश्लेषक लिहा, लिंटर जोडा, चाचणीसाठी लायब्ररीमध्ये योगदान द्या. मी सर्व काही करू शकतो. पण मी तेच करायला हवे असे नाही.

कोड म्हणून सर्वोत्तम पद्धती पायाभूत सुविधा

चला पुढे जाऊया. IaC मध्ये कोणत्याही चाचण्या नसल्यास, IDE आणि ट्यूनिंग खराब असल्यास, किमान सर्वोत्तम पद्धती असाव्यात. मी आत्ताच Google Analytics वर गेलो आणि दोन शोध प्रश्नांची तुलना केली: टेराफॉर्म सर्वोत्तम पद्धती आणि c# सर्वोत्तम पद्धती.

आम्ही काय पाहतो? निर्दयी आकडेवारी आमच्या बाजूने नाही. सामग्रीचे प्रमाण समान आहे. C# डेव्हलपमेंटमध्ये, आम्ही केवळ सामग्रीमध्ये अस्ताव्यस्त आहोत, आमच्याकडे उत्कृष्ट-उत्तम पद्धती आहेत, तज्ञांनी लिहिलेली पुस्तके आहेत आणि त्या पुस्तकांवर टीका करणार्‍या इतर तज्ञांनी लिहिलेली पुस्तके देखील आहेत. अधिकृत कागदपत्रे, लेख, प्रशिक्षण अभ्यासक्रम आणि आता मुक्त स्त्रोत विकासाचा समुद्र.

IaC विनंतीसाठी: येथे तुम्ही हायलोड किंवा HashiConf अहवाल, अधिकृत दस्तऐवज आणि Github वरील असंख्य समस्यांमधून माहिती गोळा करण्याचा प्रयत्न करत आहात. या मॉड्यूल्सचे सर्वसाधारणपणे वितरण कसे करावे, त्यांचे काय करावे? असे दिसते की ही एक वास्तविक समस्या आहे... एक समुदाय आहे, सज्जनांनो, जिथे कोणत्याही प्रश्नासाठी तुम्हाला Github वर 10 टिप्पण्या दिल्या जातील. पण ते नक्की नाही.

दुर्दैवाने, या टप्प्यावर, तज्ञ नुकतेच उदयास येऊ लागले आहेत. त्यापैकी आतापर्यंत खूप कमी आहेत. आणि समाज स्वतःच प्राथमिक स्तरावर हँग आउट करत आहे.

हे सर्व कुठे चालले आहे आणि काय करावे

तुम्ही सर्वकाही सोडू शकता आणि C# वर, रायडरच्या जगात परत जाऊ शकता. पण नाही. जर तुम्हाला उपाय सापडत नसेल तर तुम्ही हे करण्याचा त्रास का घ्याल. खाली मी माझे व्यक्तिनिष्ठ निष्कर्ष सादर करतो. आपण टिप्पण्यांमध्ये माझ्याशी वाद घालू शकता, ते मनोरंजक असेल.

वैयक्तिकरित्या, मी काही गोष्टींवर पैज लावत आहे:

1. या भागात विकास वेगाने होत आहे. येथे DevOps साठी विनंत्यांचे वेळापत्रक आहे.

   
   
   विषय हायप असू शकतो, परंतु गोलाकार वाढत आहे ही वस्तुस्थिती थोडी आशा देते.

   एखादी गोष्ट एवढ्या लवकर वाढली तर हुशार लोक नक्कीच दिसतील जे तुम्हाला काय करावे आणि काय करू नये हे सांगतील. लोकप्रियतेच्या वाढीमुळे कदाचित कोणालातरी शेवटी vscode साठी jsonnet प्लगइन जोडण्यासाठी वेळ मिळेल, जे तुम्हाला ctrl+shift+f द्वारे शोधण्याऐवजी फंक्शनची अंमलबजावणी करण्यासाठी पुढे जाण्यास अनुमती देईल. गोष्टी जसजशा विकसित होतात तसतसे अधिक साहित्य दिसून येते. Google कडून SRE बद्दलचे पुस्तक प्रकाशित करणे हे त्याचे उत्कृष्ट उदाहरण आहे.

2. पारंपारिक विकासामध्ये विकसित तंत्रे आणि पद्धती आहेत ज्या आपण येथे यशस्वीरित्या लागू करू शकतो. होय, चाचणी आणि विषम वातावरणात बारकावे आहेत, अपुरे टूलिंग आहे, परंतु मोठ्या संख्येने सराव जमा झाले आहेत जे उपयुक्त आणि उपयुक्त ठरू शकतात.

   एक क्षुल्लक उदाहरण: जोडी प्रोग्रामिंगद्वारे सहयोग. ते शोधण्यात खूप मदत होते. जेव्हा तुमचा शेजारी शेजारी असेल जो काहीतरी समजून घेण्याचा प्रयत्न करत असेल, तेव्हा तुम्हाला एकत्र चांगले समजेल.

   रिफॅक्टरिंग कसे केले जाते हे समजून घेतल्यास अशा परिस्थितीतही ते पार पाडण्यास मदत होते. म्हणजेच, तुम्ही सर्व काही एकाच वेळी बदलू शकत नाही, परंतु नामकरण बदलू शकता, नंतर स्थान बदलू शकता, नंतर तुम्ही काही भाग हायलाइट करू शकता, अरेरे, परंतु येथे पुरेशा टिप्पण्या नाहीत.

निष्कर्ष

माझे तर्क निराशावादी वाटत असले तरी, मी आशेने भविष्याकडे पाहतो आणि प्रामाणिकपणे आशा करतो की सर्वकाही आमच्यासाठी (आणि तुमच्यासाठी) कार्य करेल.

लेखाचा दुसरा भाग पुढे तयार होत आहे. त्यामध्ये, आम्ही आमची शिकण्याची प्रक्रिया सुधारण्यासाठी आणि पायाभूत सुविधांसह कार्य करण्यासाठी चपळ विकास पद्धती वापरण्याचा प्रयत्न कसा केला याबद्दल मी बोलेन.

स्त्रोत: www.habr.com