🥇पुलुमी वापरून कोड म्हणून पायाभूत सुविधा चाचणी. भाग १

शुभ दुपार मित्रांनो. दराने नवीन प्रवाह सुरू होण्याच्या अपेक्षेने "DevOps सराव आणि साधने" आम्ही तुमच्यासोबत नवीन अनुवाद शेअर करत आहोत. जा.

इन्फ्रास्ट्रक्चर कोडसाठी पुलुमी आणि सामान्य-उद्देशीय प्रोग्रामिंग भाषा वापरणे (कोड म्हणून पायाभूत सुविधा) अनेक फायदे प्रदान करतात: कौशल्ये आणि ज्ञानाची उपलब्धता, अॅब्स्ट्रॅक्शनद्वारे कोडमधील बॉयलरप्लेट काढून टाकणे, तुमच्या टीमला परिचित असलेली साधने, जसे की IDEs आणि linters. ही सर्व सॉफ्टवेअर अभियांत्रिकी साधने केवळ आम्हाला अधिक उत्पादक बनवत नाहीत तर आमच्या कोडची गुणवत्ता देखील सुधारतात. म्हणूनच, हे स्वाभाविक आहे की सामान्य-उद्देशीय प्रोग्रामिंग भाषांचा वापर आम्हाला आणखी एक महत्त्वाचा सॉफ्टवेअर विकास सराव सादर करण्यास अनुमती देतो - चाचणी.

या लेखात, आम्ही आमच्या पायाभूत सुविधा-एज-कोड तपासण्यासाठी पुलुमी आम्हाला कशी मदत करते ते पाहू.

पायाभूत सुविधांची चाचणी का?

तपशिलात जाण्यापूर्वी, हा प्रश्न विचारणे योग्य आहे: "पायाभूत सुविधांची अजिबात चाचणी का?" याची अनेक कारणे आहेत आणि त्यापैकी काही येथे आहेत:

वैयक्तिक फंक्शन्स किंवा तुमच्या प्रोग्राम लॉजिकच्या तुकड्यांची युनिट चाचणी
विशिष्ट मर्यादांविरूद्ध पायाभूत सुविधांची इच्छित स्थिती सत्यापित करते.
स्टोरेज बकेटच्या एन्क्रिप्शनचा अभाव किंवा असुरक्षित, इंटरनेटवरून व्हर्च्युअल मशिन्समध्ये प्रवेश उघडणे यासारख्या सामान्य त्रुटी शोधणे.
पायाभूत सुविधांची अंमलबजावणी तपासत आहे.
तरतूद केल्यानंतर कार्यक्षमता तपासण्यासाठी तुमच्या "प्रोग्राम केलेल्या" इन्फ्रास्ट्रक्चरमध्ये चालू असलेल्या ऍप्लिकेशन लॉजिकची रनटाइम चाचणी करणे.
जसे आपण पाहू शकतो, पायाभूत सुविधा चाचणी पर्यायांची विस्तृत श्रेणी आहे. पोलुमीकडे या स्पेक्ट्रमवरील प्रत्येक बिंदूवर चाचणी करण्याची यंत्रणा आहे. चला प्रारंभ करूया आणि ते कसे कार्य करते ते पाहूया.

युनिट चाचणी

Pulumi प्रोग्राम्स JavaScript, Python, TypeScript किंवा Go सारख्या सामान्य-उद्देशीय प्रोग्रामिंग भाषांमध्ये लिहिलेले असतात. म्हणून, या भाषांची संपूर्ण शक्ती, त्यांच्या साधनांचा आणि ग्रंथालयांसह, चाचणी फ्रेमवर्कसह, त्यांच्याकडे उपलब्ध आहे. पुलुमी मल्टी-क्लाउड आहे, याचा अर्थ ते कोणत्याही क्लाउड प्रदात्याकडून चाचणीसाठी वापरले जाऊ शकते.

(या लेखात, बहुभाषिक आणि मल्टीक्लाउड असूनही, आम्ही JavaScript आणि Mocha वापरतो आणि AWS वर लक्ष केंद्रित करतो. तुम्ही Python वापरू शकता. unittest, चाचणी फ्रेमवर्क किंवा तुम्हाला आवडत असलेल्या इतर कोणत्याही चाचणी फ्रेमवर्कवर जा. आणि अर्थातच, Pulumi Azure, Google Cloud, Kubernetes सह उत्तम काम करते.)

आम्ही पाहिल्याप्रमाणे, तुम्हाला तुमच्या पायाभूत सुविधा कोडची चाचणी घेण्याची अनेक कारणे आहेत. त्यापैकी एक परंपरागत युनिट चाचणी आहे. कारण तुमच्या कोडमध्ये फंक्शन्स असू शकतात - उदाहरणार्थ, CIDR ची गणना करण्यासाठी, डायनॅमिकली नावे, टॅग इत्यादींची गणना करा. - आपण कदाचित त्यांची चाचणी घेऊ इच्छित असाल. हे तुमच्या आवडत्या प्रोग्रामिंग भाषेतील अनुप्रयोगांसाठी नियमित युनिट चाचण्या लिहिण्यासारखेच आहे.
थोडे अधिक क्लिष्ट होण्यासाठी, तुमचा प्रोग्राम संसाधनांचे वाटप कसे करतो ते तुम्ही तपासू शकता. स्पष्ट करण्यासाठी, कल्पना करूया की आम्हाला एक साधा EC2 सर्व्हर तयार करायचा आहे आणि आम्हाला पुढील गोष्टींची खात्री हवी आहे:

उदाहरणांना टॅग असतो Name.
उदाहरणांनी इनलाइन स्क्रिप्ट वापरू नये userData - आपण AMI (प्रतिमा) वापरणे आवश्यक आहे.
इंटरनेटच्या संपर्कात कोणताही SSH नसावा.

हे उदाहरण यावर आधारित आहे माझे उदाहरण aws-js-webserver:

index.js:

"use strict";
 
let aws = require("@pulumi/aws");
 
let group = new aws.ec2.SecurityGroup("web-secgrp", {
    ingress: [
        { protocol: "tcp", fromPort: 22, toPort: 22, cidrBlocks: ["0.0.0.0/0"] },
        { protocol: "tcp", fromPort: 80, toPort: 80, cidrBlocks: ["0.0.0.0/0"] },
    ],
});
 
let userData =
`#!/bin/bash
echo "Hello, World!" > index.html
nohup python -m SimpleHTTPServer 80 &`;
 
let server = new aws.ec2.Instance("web-server-www", {
    instanceType: "t2.micro",
    securityGroups: [ group.name ], // reference the group object above
    ami: "ami-c55673a0"             // AMI for us-east-2 (Ohio),
    userData: userData              // start a simple web server
});
 
exports.group = group;
exports.server = server;
exports.publicIp = server.publicIp;
exports.publicHostName = server.publicDns;

हा मूलभूत पुलुमी प्रोग्राम आहे: तो फक्त एक EC2 सुरक्षा गट आणि एक उदाहरण वाटप करतो. तथापि, हे लक्षात घ्यावे की येथे आपण वर सांगितलेल्या तीनही नियमांचे उल्लंघन करत आहोत. चला चाचण्या लिहूया!

लेखन चाचण्या

आमच्या चाचण्यांची सामान्य रचना नियमित मोचा चाचण्यांसारखी दिसेल:

ec2tests.js

test.js:
let assert = require("assert");
let mocha = require("mocha");
let pulumi = require("@pulumi/pulumi");
let infra = require("./index");
 
describe("Infrastructure", function() {
    let server = infra.server;
    describe("#server", function() {
        // TODO(check 1): Должен быть тэг Name.
        // TODO(check 2): Не должно быть inline-скрипта userData.
    });
    let group = infra.group;
    describe("#group", function() {
        // TODO(check 3): Не должно быть SSH, открытого в Интернет.
    });
});

आता आमची पहिली चाचणी लिहू: उदाहरणांमध्ये टॅग असल्याची खात्री करा Name. हे तपासण्यासाठी आम्हाला फक्त EC2 उदाहरण ऑब्जेक्ट मिळेल आणि संबंधित गुणधर्म तपासा tags:

 // check 1: Должен быть тэг Name.
        it("must have a name tag", function(done) {
            pulumi.all([server.urn, server.tags]).apply(([urn, tags]) => {
                if (!tags || !tags["Name"]) {
                    done(new Error(`Missing a name tag on server ${urn}`));
                } else {
                    done();
                }
            });
        });

हे नियमित चाचणीसारखे दिसते, परंतु लक्षात घेण्यासारखे काही वैशिष्ट्यांसह:

आम्ही उपयोजन करण्यापूर्वी संसाधनाच्या स्थितीची चौकशी करत असल्यामुळे, आमच्या चाचण्या नेहमी “प्लॅन” (किंवा “पूर्वावलोकन”) मोडमध्ये चालवल्या जातात. अशा प्रकारे, असे बरेच गुणधर्म आहेत ज्यांची मूल्ये फक्त पुनर्प्राप्त केली जाणार नाहीत किंवा परिभाषित केली जाणार नाहीत. यामध्ये तुमच्या क्लाउड प्रदात्याद्वारे गणना केलेल्या सर्व आउटपुट गुणधर्मांचा समावेश आहे. आमच्या चाचण्यांसाठी हे सामान्य आहे - आम्ही फक्त इनपुट डेटा तपासतो. एकत्रीकरण चाचण्यांच्या बाबतीत आम्ही नंतर या समस्येकडे परत येऊ.
सर्व पुलुमी संसाधन गुणधर्म आउटपुट असल्याने, आणि त्यापैकी अनेकांचे मूल्यमापन समकालिकपणे केले जाते, आम्हाला मूल्यांमध्ये प्रवेश करण्यासाठी लागू पद्धत वापरण्याची आवश्यकता आहे. हे वचन आणि कार्यासारखेच आहे then .
एरर मेसेजमध्ये रिसोर्स URN दाखवण्यासाठी आम्ही अनेक गुणधर्म वापरत असल्याने, आम्हाला फंक्शन वापरण्याची गरज आहे pulumi.allत्यांना एकत्र करण्यासाठी.
शेवटी, ही मूल्ये असिंक्रोनस पद्धतीने मोजली जात असल्याने, आम्हाला Mocha चे अंगभूत async कॉलबॅक वैशिष्ट्य वापरावे लागेल done किंवा वचन परत करणे.

एकदा आम्ही सर्वकाही सेट केले की, आम्हाला साध्या JavaScript मूल्यांप्रमाणे इनपुटमध्ये प्रवेश मिळेल. मालमत्ता tags हा नकाशा (सहकारी अ‍ॅरे) आहे, म्हणून आम्ही फक्त याची खात्री करू की ते (1) खोटे नाही आणि (2) यासाठी एक की आहे Name. हे अगदी सोपे आहे आणि आता आम्ही काहीही तपासू शकतो!

आता आपला दुसरा चेक लिहू. हे आणखी सोपे आहे:

 // check 2: Не должно быть inline-скрипта userData.
        it("must not use userData (use an AMI instead)", function(done) {
            pulumi.all([server.urn, server.userData]).apply(([urn, userData]) => {
                if (userData) {
                    done(new Error(`Illegal use of userData on server ${urn}`));
                } else {
                    done();
                }
            });
        });

आणि शेवटी, तिसरी चाचणी लिहूया. हे थोडे अधिक क्लिष्ट असेल कारण आम्ही सुरक्षा गटाशी संबंधित लॉगिन नियम शोधत आहोत, ज्यापैकी बरेच असू शकतात आणि त्या नियमांमध्ये CIDR श्रेणी आहेत, ज्यामध्ये बरेच असू शकतात. परंतु आम्ही व्यवस्थापित केले:

    // check 3: Не должно быть SSH, открытого в Интернет.
        it("must not open port 22 (SSH) to the Internet", function(done) {
            pulumi.all([ group.urn, group.ingress ]).apply(([ urn, ingress ]) => {
                if (ingress.find(rule =>
                        rule.fromPort == 22 && rule.cidrBlocks.find(block =>
                            block === "0.0.0.0/0"))) {
                    done(new Error(`Illegal SSH port 22 open to the Internet (CIDR 0.0.0.0/0) on group ${urn}`));
                } else {
                    done();
                }
            });
        });

इतकंच. आता चाचण्या करूया!

चाचण्या चालू आहेत

बर्‍याच प्रकरणांमध्ये, तुम्ही तुमच्या पसंतीच्या चाचणी फ्रेमवर्कचा वापर करून नेहमीच्या पद्धतीने चाचण्या चालवू शकता. परंतु पुलुमीचे एक वैशिष्ट्य आहे ज्याकडे लक्ष देणे योग्य आहे.
सामान्यतः, पुलुमी प्रोग्राम्स चालवण्यासाठी, पुलिमी सीएलआय (कमांड लाइन इंटरफेस) वापरला जातो, जो भाषेचा रनटाइम कॉन्फिगर करतो, पुलुमी इंजिनच्या लॉन्चवर नियंत्रण ठेवतो जेणेकरून संसाधनांसह ऑपरेशन्स रेकॉर्ड केल्या जाऊ शकतात आणि योजनेमध्ये समाविष्ट केल्या जाऊ शकतात. तथापि, एक समस्या आहे. तुमच्या चाचणी फ्रेमवर्कच्या नियंत्रणाखाली चालत असताना, CLI आणि Pulumi इंजिनमध्ये कोणताही संवाद होणार नाही.

या समस्येचे निराकरण करण्यासाठी, आम्हाला फक्त खालील गोष्टी निर्दिष्ट करणे आवश्यक आहे:

प्रकल्पाचे नाव, जे पर्यावरण व्हेरिएबलमध्ये समाविष्ट आहे PULUMI_NODEJS_PROJECT (किंवा, अधिक सामान्यतः, PULUMI__PROJECT для других языков).
पर्यावरण व्हेरिएबलमध्ये निर्दिष्ट केलेल्या स्टॅकचे नाव PULUMI_NODEJS_STACK (किंवा, अधिक सामान्यतः, PULUMI__ STACK).
तुमचे स्टॅक कॉन्फिगरेशन व्हेरिएबल्स. ते पर्यावरण व्हेरिएबल वापरून मिळवता येतात PULUMI_CONFIG आणि त्यांचे स्वरूप की/मूल्य जोड्यांसह JSON नकाशा आहे.

कार्यान्वित करताना CLI/इंजिनशी जोडणी उपलब्ध नसल्याचा संकेत देणारा कार्यक्रम इशारे जारी करेल. हे महत्त्वाचे आहे कारण तुमचा प्रोग्राम प्रत्यक्षात काहीही उपयोजित करणार नाही आणि तुम्हाला ते करायचे नसेल तर आश्चर्य वाटेल! पुलुमीला सांगण्यासाठी की तुम्हाला हेच हवे आहे, तुम्ही इन्स्टॉल करू शकता PULUMI_TEST_MODE в true.

कल्पना करा की आम्हाला प्रकल्पाचे नाव निर्दिष्ट करणे आवश्यक आहे my-ws, स्टॅकचे नाव dev, आणि AWS प्रदेश us-west-2. मोचा चाचण्या चालविण्यासाठी कमांड लाइन यासारखी दिसेल:
```
$ PULUMI_TEST_MODE=true 
    PULUMI_NODEJS_STACK="my-ws" 
    PULUMI_NODEJS_PROJECT="dev" 
    PULUMI_CONFIG='{ "aws:region": "us-west-2" }' 
    mocha tests.js
```
असे केल्याने, अपेक्षेप्रमाणे, आम्हाला दिसून येईल की आमच्या तीन चाचण्या अयशस्वी झाल्या आहेत!
```
Infrastructure
    #server
      1) must have a name tag
 	 2) must not use userData (use an AMI instead)
    #group
      3) must not open port 22 (SSH) to the Internet

  0 passing (17ms)
  3 failing
 
 1) Infrastructure
       #server
         must have a name tag:
     Error: Missing a name tag on server
        urn:pulumi:my-ws::my-dev::aws:ec2/instance:Instance::web-server-www

 2) Infrastructure
       #server
         must not use userData (use an AMI instead):
     Error: Illegal use of userData on server
        urn:pulumi:my-ws::my-dev::aws:ec2/instance:Instance::web-server-www

 3) Infrastructure
       #group
         must not open port 22 (SSH) to the Internet:
     Error: Illegal SSH port 22 open to the Internet (CIDR 0.0.0.0/0) on group
```
चला आमच्या प्रोग्रामचे निराकरण करूया:
```
"use strict";
 
let aws = require("@pulumi/aws");
 
let group = new aws.ec2.SecurityGroup("web-secgrp", {
    ingress: [
        { protocol: "tcp", fromPort: 80, toPort: 80, cidrBlocks: ["0.0.0.0/0"] },
    ],
});
 
let server = new aws.ec2.Instance("web-server-www", {
    tags: { "Name": "web-server-www" },
    instanceType: "t2.micro",
    securityGroups: [ group.name ], // reference the group object above
    ami: "ami-c55673a0"             // AMI for us-east-2 (Ohio),
});
 
exports.group = group;
exports.server = server;
exports.publicIp = server.publicIp;
exports.publicHostName = server.publicDns;
```
आणि नंतर पुन्हा चाचण्या चालवा:
```
Infrastructure
    #server
      ✓ must have a name tag
      ✓ must not use userData (use an AMI instead)
    #group
      ✓ must not open port 22 (SSH) to the Internet
 
 
 3 passing (16ms)
```
सर्व काही ठीक चालले... हुर्रे! ✓✓✓

आजसाठी एवढेच आहे, परंतु आम्ही भाषांतराच्या दुसऱ्या भागात उपयोजन चाचणीबद्दल बोलू 😉

स्त्रोत: www.habr.com

पुलुमीसह कोड म्हणून पायाभूत सुविधांची चाचणी करणे. भाग 1