🥇 उदाहरणको रूपमा Grafana प्रयोग गरेर Yandex.Cloud मा वितरित सेवाहरूको तैनाती

नमस्ते सबै! मेरो पाठ्यक्रम कार्यको भागको रूपमा, मैले यस्तो घरेलु क्लाउड प्लेटफर्मको क्षमताहरूको अनुसन्धान गरें Yandex.Cloud। प्लेटफर्मले व्यावहारिक समस्याहरू समाधान गर्न विभिन्न सेवाहरू प्रदान गर्दछ। यद्यपि, कहिलेकाहीँ तपाईंले यी सेवाहरूमा आधारित पर्याप्त व्यापक पूर्वाधारको साथ आफ्नो क्लाउड अनुप्रयोग सेट अप गर्न आवश्यक छ। यस लेखमा म यस्तो अनुप्रयोग तैनातीमा मेरो अनुभव साझा गर्न चाहन्छु।

तपाईं के प्राप्त गर्न चाहनुहुन्छ?

ग्राफाना - विश्लेषणात्मक समस्याहरू समाधान गर्न वा कुनै पनि प्रणालीहरूको निगरानी समस्याहरूको लागि एक शक्तिशाली उपकरण। यसको आधारभूत कन्फिगरेसनमा, यो Grafana वेब सर्भरको साथ एक भर्चुअल मेसिन हो, साथै डाटासेटको साथ डाटाबेस (ClickHouse, InfluxDB, आदि) जसमा विश्लेषण आधारित हुनेछ।

वेब सर्भरको साथ भर्चुअल मेसिन सुरु गरेपछि, तपाइँ यसको होस्टमा जान सक्नुहुन्छ र सुन्दर UI प्राप्त गर्न सक्नुहुन्छ, थप कामको लागि स्रोतको रूपमा डाटाबेस निर्दिष्ट गर्नुहोस्, ड्यासबोर्डहरू र ग्राफहरू सिर्जना गर्नुहोस्।

आधारभूत संस्करणमा एउटा महत्त्वपूर्ण कमी छ - यो कुनै पनि दोष-सहिष्णु छैन। त्यो हो, अनुप्रयोगको सम्पूर्ण कार्यक्षमता एक भर्चुअल मेसिनको व्यवहार्यतामा निर्भर गर्दछ। यदि यसले अस्वीकार गर्यो वा 10 जनाले एकै समयमा UI खोल्यो भने, त्यसपछि समस्या उत्पन्न हुनेछ।

तिनीहरू सरल रूपमा समाधान गर्न सकिन्छ: तपाईंले भर्खरै... वेब सर्भरको साथ धेरै समान भर्चुअल मेसिनहरू प्रयोग गर्न आवश्यक छ र तिनीहरूलाई L3 ब्यालेन्सर अन्तर्गत राख्नुहोस्। तर यहाँ सबै कुरा स्पष्ट छैन। Grafana ले प्रयोगकर्ता सेटिङहरू (डाटाबेसहरू, ड्यासबोर्डहरू, ग्राफहरू, आदि) लाई सीधा यसको भर्चुअल मेसिनको डिस्कमा भण्डारण गर्दछ। यसैले, यदि हामीले UI मा केही सेटिङहरू परिवर्तन गर्छौं भने, यी परिवर्तनहरू भर्चुअल मेसिनमा मात्र प्रतिबिम्बित हुनेछन् जहाँ ब्यालेन्सरले हामीलाई पठाएको थियो। यसले हाम्रो अनुप्रयोगको लागि असंगत सेटिङहरू निम्त्याउनेछ, सुरुवात र प्रयोगमा समस्याहरू निम्त्याउँछ।

यहाँ अर्को डाटाबेस उद्धारमा आउनेछ, उदाहरणका लागि, MySQL वा यसको समकक्ष। हामी Grafana लाई यो "स्पेयर" डाटाबेसमा प्रयोगकर्ता सेटिङहरू भण्डारण गर्नुपर्छ भनेर बताउँछौं। पछि, यो प्रत्येक मेसिनमा एक पटक यो डाटाबेसको मार्ग निर्दिष्ट गर्न पर्याप्त हुनेछ, र कुनै पनि भर्चुअल मेसिनहरूमा अन्य सबै प्रयोगकर्ता सेटिङहरू सम्पादन गर्नुहोस्; तिनीहरू अरूमा विस्तार हुनेछन्।

यहाँ अन्तिम अनुप्रयोग पूर्वाधारको रेखाचित्र छ:

हातले उठाउन सिकौं

MySQL र ClickHouse

एउटा बटनको क्लिकको साथ यस्तो एप्लिकेसन डिप्लोइ गर्नु अघि, यसको प्रत्येक कम्पोनेन्टहरू कसरी ह्यान्डल गर्ने र तिनीहरूलाई एकअर्कासँग एकीकृत गर्ने सिक्नु आवश्यक थियो।

यहाँ Yandex.Cloud ले हामीलाई मद्दत गर्नेछ, जसले L3 ब्यालेन्सरहरू, ClickHouse र MySQL लाई व्यवस्थित सेवाहरू प्रदान गर्दछ। प्रयोगकर्ताले केवल प्यारामिटरहरू निर्दिष्ट गर्न र प्लेटफर्मले सबै चीजहरू काम गर्ने क्रममा नआएसम्म पर्खनु पर्छ।

मैले दर्ता गरें, क्लाउड र भुक्तानी खाता सिर्जना गरें। त्यस पछि, म क्लाउडमा गएँ र न्यूनतम सेटिङहरूको साथ MySQL र ClickHouse क्लस्टरहरू सेटअप गरें। म तिनीहरू सक्रिय नभएसम्म पर्खिएँ।

तपाईंले प्रत्येक क्लस्टरमा डाटाबेस सिर्जना गर्न र लगइन र पासवर्ड प्रयोग गरेर पहुँच कन्फिगर गर्न पनि सम्झनु आवश्यक छ। म यहाँ विवरणहरूमा जाने छैन - सबै कुरा इन्टरफेसमा एकदम स्पष्ट छ।

गैर-स्पष्ट विवरण यो थियो कि यी डाटाबेसहरूमा धेरै होस्टहरू छन्, जसले तिनीहरूको गल्ती सहिष्णुता सुनिश्चित गर्दछ। जे होस्, Grafana ले काम गर्ने प्रत्येक डाटाबेसको लागि ठ्याक्कै एउटा होस्ट चाहिन्छ। लामो पढाइ कागजात बादलले मलाई निर्णयमा ल्यायो। यो प्रजाति को होस्ट बाहिर जान्छ c-<cluster_id>.rw.mdb.yandexcloud.net सम्बन्धित ID संग क्लस्टरको हालको सक्रिय मास्टर होस्टमा म्याप गरियो। यो हामीले Grafana लाई दिनेछौं।

वेब सर्भर

अब यो वेब सर्भर मा निर्भर छ। लिनक्सको साथ नियमित भर्चुअल मेसिन खडा गरौं र यसमा म्यानुअल रूपमा Grafana कन्फिगर गरौं।

ssh मार्फत जडान गरौं र आवश्यक प्याकेजहरू स्थापना गरौं।

sudo apt-get install -y apt-transport-https software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
sudo add-apt-repository "deb https://packages.grafana.com/enterprise/deb stable main"
sudo apt-get update
sudo apt-get install -y grafana-enterprise

त्यस पछि, Grafana चलाउनुहोस् systemctl अन्तर्गत र ClickHouse सँग काम गर्नको लागि प्लगइन स्थापना गर्नुहोस् (हो, यो आधारभूत प्याकेजमा आपूर्ति गरिएको छैन)।

sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo grafana-cli plugins install vertamedia-clickhouse-datasource

त्यो हो, त्यस पछि एक साधारण आदेश संग

sudo service grafana-server start

हामी वेब सर्भर सुरु गर्नेछौं। अब तपाइँ ब्राउजरमा भर्चुअल मेसिनको बाह्य आईपी ठेगाना प्रविष्ट गर्न सक्नुहुन्छ, पोर्ट 3000 निर्दिष्ट गर्नुहोस् र सुन्दर Grafana UI हेर्नुहोस्।

तर हतार नगर्नुहोस्, Grafana सेट अप गर्नु अघि, तपाईंले त्यहाँ सेटिङहरू भण्डारण गर्न MySQL को बाटो बताउन सम्झनु पर्छ।

Grafana वेब सर्भरको सम्पूर्ण कन्फिगरेसन फाइलमा छ /etc/grafana/grafana.ini। आवश्यक रेखा यस्तो देखिन्छ:

;url =

हामीले होस्टलाई MySQL क्लस्टरमा सेट गर्यौं। उही फाइलले माथिको तस्विरमा ग्राफाना पहुँच गर्न लगइन र पासवर्ड समावेश गर्दछ, जुन पूर्वनिर्धारित रूपमा दुवै बराबर छन्। admin.

तपाईं sed आदेशहरू प्रयोग गर्न सक्नुहुन्छ:

sudo sed -i "s#.*;url =.*#url = mysql://${MYSQL_USERNAME}:${MYSQL_PASSWORD}@${MYSQL_CLUSTER_URI}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${GRAFANA_USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${GRAFANA_PASSWORD}#" /etc/grafana/grafana.ini

यो वेब सर्भर पुन: सुरु गर्ने समय हो!

sudo service grafana-server restart

अब Grafana UI मा हामी DataSource को रूपमा ClickHouse निर्दिष्ट गर्नेछौं।

मैले निम्न सेटिङहरूसँग काम गर्ने कन्फिगरेसन प्राप्त गर्न सक्षम थिएँ:

मैले URL को रूपमा निर्दिष्ट गरें https://c-<cluster_id>.rw.mdb.yandexcloud.net:8443

सबै! हामीसँग CH र MySQL मा जडान भएको वेब सर्भर भएको एउटा भर्चुअल मेसिन छ। तपाईंले पहिले नै क्लिकहाउसमा डाटासेट अपलोड गर्न सक्नुहुन्छ र ड्यासबोर्डहरू निर्माण गर्न सक्नुहुन्छ। तर, हामीले अहिलेसम्म हाम्रो लक्ष्य हासिल गर्न सकेका छैनौँ र पूर्ण पूर्वाधार निर्माण गरेका छैनौँ ।

प्याकर

Yandex.Cloud ले तपाईंलाई अवस्थित भर्चुअल मेसिनको डिस्क छवि सिर्जना गर्न अनुमति दिन्छ, र यसको आधारमा - एकअर्कासँग मिल्दोजुल्दो मेसिनहरूको संख्या। यो ठ्याक्कै हामीले प्रयोग गर्ने कुरा हो। सजिलै संग छवि संयोजन गर्न, उपकरण लिनुहोस् प्याकर HashiCorp बाट। यसले छवि संयोजनको लागि निर्देशनहरू सहितको json फाइल इनपुटको रूपमा लिन्छ।

हाम्रो json फाइलमा दुईवटा ब्लकहरू हुन्छन्: निर्माणकर्ता र प्रावधानकर्ताहरू। पहिलो ब्लकले छविको प्यारामिटरहरूलाई एक इकाईको रूपमा वर्णन गर्दछ, र दोस्रो ब्लकले आवश्यक सामग्रीसँग भर्न निर्देशनहरू वर्णन गर्दछ।

बिल्डर्स

{
"builders": [
    {
      "type": "yandex",
      "endpoint": "{{user `endpoint`}}",
      "folder_id": "<folder_id>",
      "subnet_id": "{{user `subnet_id`}}",
      "zone": "{{user `zone`}}",
      "labels": {},
      "use_ipv4_nat": true,
      "use_internal_ip": false,
      "service_account_key_file": "<service_account_key_file>",
      "image_name": "grafana-{{timestamp}}",
      "image_family": "grafana",
      "image_labels": {},
      "image_description": "GRAFANA",
      "source_image_family": "ubuntu-1804-lts",
      "disk_size_gb": 3,
      "disk_type": "network-hdd",
      "ssh_username": "ubuntu"
    }
  ],
...
}

यस टेम्प्लेटमा, तपाईंले क्लाउडमा खण्डको पहिचानकर्ता सेट गर्न आवश्यक छ जहाँ तपाईं छवि सिर्जना गर्न चाहनुहुन्छ, साथै यस खण्डमा पहिले सिर्जना गरिएको सेवा खाताबाट कुञ्जीहरू सहित फाइलको मार्ग। तपाईं सम्बन्धित खण्डमा फाइलको रूपमा सेवा खाताहरू र कुञ्जीहरू सिर्जना गर्ने बारे थप पढ्न सक्नुहुन्छ कागजात.

यो कन्फिगरेसनले भन्छ कि डिस्क छवि प्लेटफर्ममा आधारित बनाइनेछ ubuntu-1804-lts, छवि परिवारमा उपयुक्त प्रयोगकर्ता खण्डमा राखिएको छ GRAFANA नाम अन्तर्गत grafana-{{timestamp}}.

प्रावधानकर्ताहरू

अब कन्फिगरेसन को अधिक रोचक भाग आउँछ। यसले डिस्क छविमा यसको स्थिति फ्रिज गर्नु अघि भर्चुअल मेसिनमा प्रदर्शन गर्न आवश्यक हुने कार्यहरूको अनुक्रम वर्णन गर्दछ।

{
...,
"provisioners": [
    {
            "type": "shell",
            "pause_before": "5s",
            "scripts": [
                "prepare-ctg.sh"
            ]
        },
    {
            "type": "file",
            "source": "setup.sh",
            "destination": "/opt/grafana/setup.sh"
        },
        {
            "type": "shell",
        "execute_command": "sudo {{ .Vars }} bash '{{ .Path }}'",
            "pause_before": "5s",
            "scripts": [
                "install-packages.sh",
                "grafana-setup.sh",
                "run-setup-at-reboot.sh"
        ]
        }
  ]
}

यहाँ सबै कार्यहरू 3 चरणहरूमा विभाजित छन्। पहिलो चरणमा, एक साधारण लिपि कार्यान्वयन गरिन्छ जसले सहायक डाइरेक्टरी सिर्जना गर्दछ।

तयारी-ctg.sh:

#!/bin/bash
sudo mkdir -p /opt/grafana
sudo chown -R ubuntu:ubuntu /opt/grafana

अर्को चरणमा, हामी यस डाइरेक्टरीमा एउटा स्क्रिप्ट राख्छौं, जुन भर्चुअल मेसिन सुरु गरेपछि तुरुन्तै सुरु गर्न आवश्यक हुनेछ। यो स्क्रिप्टले प्रयोगकर्ता चरहरू राख्नेछ जुन Grafana कन्फिगरेसनमा दर्ता गर्न र वेब सर्भर पुन: सुरु गर्न आवश्यक छ।

setup.sh:

#!/bin/bash
CLUSTER_ID="<cluster_id>"
USERNAME="<username>"
PASSWORD="<password>"
sudo sed -i "s#.*;url =.*#url = mysql://${USERNAME}:${PASSWORD}@c-${CLUSTER_ID}.rw.mdb.yandexcloud.net#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${PASSWORD}#" /etc/grafana/grafana.ini
sudo service grafana-server restart

यस पछि त्यहाँ 3 काम गर्न बाँकी छ:
1) प्याकेजहरू स्थापना गर्नुहोस्
२) Systemctl अन्तर्गत Grafana चलाउनुहोस् र ClickHouse प्लगइन स्थापना गर्नुहोस्
3) भर्चुअल मेसिन अन गरेपछि तुरुन्तै लन्च लाइनमा setup.sh स्क्रिप्ट राख्नुहोस्।

install-packages.sh:

#!/bin/bash
sudo systemd-run --property='After=apt-daily.service apt-daily-upgrade.service' --wait /bin/true
sudo apt-get install -y apt-transport-https
sudo apt-get install -y software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
sudo add-apt-repository "deb https://packages.grafana.com/enterprise/deb stable main"
sudo apt-get update
sudo apt-get install -y grafana-enterprise

grafana-setup.sh:

#!/bin/bash
sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo grafana-cli plugins install vertamedia-clickhouse-datasource

run-setup-at-reboot.sh:

#!/bin/bash
chmod +x /opt/grafana/setup.sh
cat > /etc/cron.d/first-boot <<EOF
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games
@reboot root /bin/bash /opt/grafana/setup.sh > /var/log/yc-setup.log 2>&1
EOF
chmod +x /etc/cron.d/first-boot;

अब बाँकी सबै प्याकर चलाउन र निर्दिष्ट सेक्सनमा राखिएको आउटपुट छवि प्राप्त गर्न हो। भर्चुअल मेसिन सिर्जना गर्दा, तपाइँ यसलाई बुट डिस्कको रूपमा चयन गर्न सक्नुहुन्छ र सुरुवात पछि तपाइँले तयार-निर्मित Grafana वेब सर्भर प्राप्त गर्नुहुनेछ।

उदाहरण समूह र ब्यालेन्सर

एकपटक हामीसँग डिस्क छवि छ जसले हामीलाई धेरै समान ग्राफना वेब सर्भरहरू सिर्जना गर्न अनुमति दिन्छ, हामी एउटा उदाहरण समूह सिर्जना गर्न सक्छौं। Yandex.Cloud प्लेटफर्ममा, यो शब्दले समान विशेषताहरू भएका भर्चुअल मेसिनहरूको मिलनलाई जनाउँछ। उदाहरण समूह सिर्जना गर्दा, यस समूहका सबै मेसिनहरूको प्रोटोटाइप कन्फिगर गरिएको छ, र त्यसपछि समूहका विशेषताहरू (उदाहरणका लागि, सक्रिय मेसिनहरूको न्यूनतम र अधिकतम संख्या)। यदि हालको नम्बरले यी मापदण्डहरू पूरा गर्दैन भने, उदाहरण समूह आफैले अनावश्यक मेसिनहरू हटाउनेछ वा आफ्नै छविमा नयाँ सिर्जना गर्नेछ।

हाम्रो कार्यको भागको रूपमा, हामी वेब सर्भरहरूको उदाहरण समूह सिर्जना गर्नेछौं जुन पहिले सिर्जना गरिएको डिस्क छविबाट उत्पन्न हुनेछ।

के साँच्चै उल्लेखनीय छ अन्तिम उदाहरण समूह सेटअप हो। लोड ब्यालेन्सरसँगको एकीकरणमा रहेको लक्ष्य समूहले तपाईंलाई केही बटनहरू क्लिक गरेर यस समूहको भर्चुअल मेसिनहरूको शीर्षमा L3 ब्यालेन्सर कन्फिगर गर्न मद्दत गर्नेछ।

ब्यालेन्सर सेटअप गर्दा, मैले दुई महत्त्वपूर्ण बिन्दुहरू लागू गरे:

मैले ब्यालेन्सरलाई पोर्ट 80 मा प्रयोगकर्ता ट्राफिक स्वीकार गरें र यसलाई भर्चुअल मेसिनहरूको पोर्ट 3000 मा रिडिरेक्ट गरें, जहाँ ग्राफना बस्छ।
मैले पोर्ट 3000 मा पिङ गरेर मेसिनहरूको व्यवहार्यता जाँच गर्ने सेटअप गरें।

मिनी सारांश

अन्तमा, हामीले म्यानुअल रूपमा वांछित एप्लिकेसन पूर्वाधारहरू प्रयोग गर्न सक्षम भयौं, र अब हामीसँग उच्च लचिलो Grafana सेवा छ। तपाईले केवल ब्यालेन्सरको आईपी ठेगानालाई अनुप्रयोगको प्रविष्टि बिन्दु र क्लिकहाउस क्लस्टरको होस्टको रूपमा डेटासेट लोड गर्नको लागि थाहा पाउनु पर्छ।

यो जित जस्तो लाग्छ? हो, विजय। तर केहि कुरा अझै पनि मलाई भ्रमित गर्दछ। माथिको सम्पूर्ण प्रक्रियालाई धेरै म्यानुअल चरणहरू चाहिन्छ र मापनयोग्य छैन; म यसलाई सम्भव भएमा स्वचालित गर्न चाहन्छु। यो के अर्को खण्ड समर्पित हुनेछ।

Terraform एकीकरण

हामी फेरि HashiCorp बाट एउटा उपकरण प्रयोग गर्नेछौं ट्राफर्म। यसले तपाइँलाई बटनको क्लिकको साथ सम्पूर्ण एप्लिकेसन इन्फ्रास्ट्रक्चर डिप्लोय गर्न मद्दत गर्दछ, प्रयोगकर्ता द्वारा पास गरिएका धेरै चरहरूमा आधारित। एक नुस्खा लेखौं जुन विभिन्न प्रयोगकर्ताहरूको विभिन्न खण्डहरूमा धेरै पटक चलाउन सकिन्छ।

Terraform सँग सबै काम कन्फिगरेसन फाइल लेख्न तल आउँछ (*.tf) र त्यसमा आधारित पूर्वाधार निर्माण गर्ने ।

चरहरू

फाईलको सुरुमा, हामी चरहरू समावेश गर्नेछौं जसले भविष्यको पूर्वाधार कहाँ र कसरी तैनात गरिनेछ भनेर निर्धारण गर्दछ।

variable "oauth_token" {
    type = string
    default = "<oauth-token>"
}
variable "cloud_id" {
    type = string
    default = "<cloud-id>"
}
variable "folder_id" {
    type = string
    default = "<folder_id>"
}
variable "service_account_id" {
    type = string
    default = "<service_account_id>"
}
variable "image_id" {
    type = string
    default = "<image_id>"
}
variable "username" {
    type = string
    default = "<username>"
}
variable "password" {
    type = string
    default = "<password>"
}
variable "dbname" {
    type = string
    default = "<dbname>"
}
variable "public_key_path" {
    type = string
    default = "<path to ssh public key>"
}

सम्पूर्ण एप्लिकेसन डिप्लोइमेन्ट प्रक्रिया डिस्क छवि निर्माण गर्न र यी चरहरू सेट गर्न तल आउनेछ। मलाई तिनीहरू के जिम्मेवार छन् भनेर व्याख्या गरौं:

oauth_token - क्लाउड पहुँच गर्नको लागि एक टोकन। द्वारा प्राप्त गर्न सकिन्छ लिङ्क.
cloud_id - क्लाउड पहिचानकर्ता जहाँ हामी अनुप्रयोग तैनात गर्नेछौं
फोल्डर_आईडी — खण्ड पहिचानकर्ता जहाँ हामी अनुप्रयोग तैनात गर्नेछौं
service_account_id - क्लाउडको सम्बन्धित खण्डमा सेवा खाता पहिचानकर्ता।
image_id - प्याकर प्रयोग गरेर प्राप्त डिस्क छवि को पहिचानकर्ता
प्रयोगकर्ता नाम и पासवर्ड - डाटाबेस र Grafana वेब सर्भर दुवै पहुँच गर्न प्रयोगकर्ता नाम र पासवर्ड
dbname — CH र MySQL क्लस्टरहरू भित्र डाटाबेस नाम
सार्वजनिक_कुञ्जी_पथ — तपाईंको सार्वजनिक ssh कुञ्जीसँग फाइलमा जाने बाटो, जुन तपाईंले नाम अन्तर्गत जडान गर्न प्रयोग गर्न सक्नुहुन्छ ubuntu वेब सर्भरहरूको साथ भर्चुअल मेसिनहरूमा

प्रदायक सेटअप

अब तपाईंले Terraform प्रदायक कन्फिगर गर्न आवश्यक छ - हाम्रो अवस्थामा, Yandex:

provider "yandex" {
  token     = var.oauth_token
  cloud_id  = var.cloud_id
  folder_id = var.folder_id
  zone      = "ru-central1-a"
}

तपाईंले याद गर्नुहुनेछ कि यहाँ हामी माथि परिभाषित चरहरू प्रयोग गर्दैछौं।

नेटवर्क र क्लस्टरहरू

अब हामी एउटा नेटवर्क सिर्जना गर्नेछौं जसमा हाम्रो पूर्वाधारका तत्वहरूले सञ्चार गर्नेछन्, तीन सबनेटहरू (प्रत्येक क्षेत्रमा एक) र CH र MySQL क्लस्टरहरू उठाउनेछन्।


resource "yandex_vpc_network" "grafana_network" {}

resource "yandex_vpc_subnet" "subnet_a" {
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.1.0.0/24"]
}

resource "yandex_vpc_subnet" "subnet_b" {
  zone           = "ru-central1-b"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.2.0.0/24"]
}

resource "yandex_vpc_subnet" "subnet_c" {
  zone           = "ru-central1-c"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.3.0.0/24"]
}

resource "yandex_mdb_clickhouse_cluster" "ch_cluster" {
  name        = "grafana-clickhouse"
  environment = "PRODUCTION"
  network_id  = yandex_vpc_network.grafana_network.id

  clickhouse {
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = 16
    }
  }

  zookeeper {
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = 10
    }
  }

  database {
    name = var.dbname
  }

  user {
    name     = var.username
    password = var.password
    permission {
      database_name = var.dbname
    }
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }
}

resource "yandex_mdb_mysql_cluster" "mysql_cluster" {
  name        = "grafana_mysql"
  environment = "PRODUCTION"
  network_id  = yandex_vpc_network.grafana_network.id
  version     = "8.0"

  resources {
    resource_preset_id = "s2.micro"
    disk_type_id       = "network-ssd"
    disk_size          = 16
  }

  database {
    name = var.dbname
  }

  user {
    name     = var.username
    password = var.password
    permission {
      database_name = var.dbname
      roles         = ["ALL"]
    }
  }

  host {
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }
  host {
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }
  host {
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }
}

तपाईंले देख्न सक्नुहुने रूपमा, दुईवटा क्लस्टरहरू मध्ये प्रत्येक तीन उपलब्धता क्षेत्रहरूमा अवस्थित भएर धेरै गल्ती-सहिष्णु बनाइएको छ।

वेब सर्भरहरू

यस्तो लाग्थ्यो कि हामी एउटै भावनामा जारी रहन सक्छौं, तर म कठिनाइमा भागें। यो भन्दा पहिले, मैले पहिले MySQL क्लस्टर उठाएँ र त्यस पछि मात्र, यसको ID थाहा पाएर, मैले आवश्यक कन्फिगरेसनको साथ डिस्क छवि सङ्कलन गरें, जहाँ मैले क्लस्टरमा होस्ट निर्दिष्ट गरें। तर अब हामीलाई टेराफर्म सुरु गर्नु अघि क्लस्टर आईडी थाहा छैन, छवि निर्माण गर्दा सहित। तसर्थ, मैले निम्न उपायहरू अपनाउनु पर्यो चाल.

Amazon को मेटाडेटा सेवा प्रयोग गरेर, हामी भर्चुअल मेसिनमा केही प्यारामिटरहरू पास गर्नेछौं, जुन यसले स्वीकार गर्नेछ र प्रक्रिया गर्नेछ। हामीलाई MySQL क्लस्टर होस्ट र प्रयोगकर्ता नाम-पासवर्ड पछाडिको मेटाडेटामा जानको लागि मेसिन चाहिन्छ, जुन प्रयोगकर्ताले सुरु गरेपछि Terraform फाइलमा निर्दिष्ट गरेको छ। फाइलको सामग्रीलाई थोरै परिवर्तन गरौं setup.sh, जुन भर्चुअल मेसिन अन हुँदा चल्छ।

setup.sh:

#!/bin/bash
CLUSTER_URI="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/mysql_cluster_uri)"
USERNAME="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/username)"
PASSWORD="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/password)"
sudo sed -i "s#.*;url =.*#url = mysql://${USERNAME}:${PASSWORD}@${CLUSTER_URI}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${PASSWORD}#" /etc/grafana/grafana.ini
sudo service grafana-server restart

इन्टेन्स समूह र ब्यालेन्सर

नयाँ डिस्क छवि पुन: निर्माण गरिसकेपछि, हामी अन्ततः Terraform को लागी हाम्रो फाइल थप्न सक्छौं।

हामी अवस्थित डिस्क छवि प्रयोग गर्न चाहन्छौं भनेर संकेत गरौं:

data "yandex_compute_image" "grafana_image" {
  image_id = var.image_id
}

अब एउटा उदाहरण समूह सिर्जना गरौं:

resource "yandex_compute_instance_group" "grafana_group" {
  name               = "grafana-group"
  folder_id          = var.folder_id
  service_account_id = var.service_account_id
  instance_template {
    platform_id = "standard-v1"
    resources {
      memory = 1
      cores  = 1
    }
    boot_disk {
      mode = "READ_WRITE"
      initialize_params {
        image_id = data.yandex_compute_image.grafana_image.id
        size     = 4
      }
    }
    network_interface {
      network_id = yandex_vpc_network.grafana_network.id
      subnet_ids = [yandex_vpc_subnet.subnet_a.id, yandex_vpc_subnet.subnet_b.id, yandex_vpc_subnet.subnet_c.id]
      nat = "true"
    }
    metadata = {
      mysql_cluster_uri = "c-${yandex_mdb_mysql_cluster.mysql_cluster.id}.rw.mdb.yandexcloud.net:3306/${var.dbname}"
      username = var.username
      password = var.password
      ssh-keys = "ubuntu:${file("${var.public_key_path}")}"
    }
    network_settings {
      type = "STANDARD"
    }
  }

  scale_policy {
    fixed_scale {
      size = 6
    }
  }

  allocation_policy {
    zones = ["ru-central1-a", "ru-central1-b", "ru-central1-c"]
  }

  deploy_policy {
    max_unavailable = 2
    max_creating    = 2
    max_expansion   = 2
    max_deleting    = 2
  }

  load_balancer {
    target_group_name = "grafana-target-group"
  }
}

हामीले यसलाई मेटाडेटामा कसरी पास गर्यौं भन्ने कुरामा ध्यान दिन लायक छ cluster_uri, username и password। यो भर्चुअल मेसिनले स्टार्टअपमा बाहिर निकाल्छ र Grafana कन्फिगरेसनमा राख्छ।

यो ब्यालेन्सर मा निर्भर छ।

resource "yandex_lb_network_load_balancer" "grafana_balancer" {
  name = "grafana-balancer"

  listener {
    name = "grafana-listener"
    port = 80
    target_port = 3000
    external_address_spec {
      ip_version = "ipv4"
    }
  }

  attached_target_group {
    target_group_id = yandex_compute_instance_group.grafana_group.load_balancer.0.target_group_id

    healthcheck {
      name = "healthcheck"
      tcp_options {
        port = 3000
      }
    }
  }
}

अलिकति चिनी

थोरै मात्र बाँकी छ। पूर्वाधार तयार भइसकेपछि, तपाईंले Grafana UI मा जानुपर्नेछ र म्यानुअल रूपमा CH क्लस्टर (जसको ID अझै प्राप्त गर्न आवश्यक छ) डेटा स्रोतको रूपमा थप्नुपर्छ। तर Terraform लाई क्लस्टर आईडी थाहा छ। उहाँलाई यो कुरालाई निष्कर्षमा पुर्‍याउने जिम्मा दिऔं।

एउटा नयाँ प्रदायक थपौं - Grafana, र होस्टको रूपमा उसलाई ब्यालेन्सरको IP ठेगाना दिनुहोस्। सबै परिवर्तनहरू जुन टेराफर्मले मेसिनमा गर्छ जहाँ यसको ब्यालेन्सरले निर्धारण गर्दछ MySQL मा बढ्छ, र त्यसैले अन्य सबै मेसिनहरूमा।

provider "grafana" {
  url  = "http://${[for s in yandex_lb_network_load_balancer.grafana_balancer.listener: s.external_address_spec.0.address].0}"
  auth = "${var.username}:${var.password}"
}

resource "grafana_data_source" "ch_data_source" {
  type          = "vertamedia-clickhouse-datasource"
  name          = "grafana"
  url           = "https://c-${yandex_mdb_clickhouse_cluster.ch_cluster.id}.rw.mdb.yandexcloud.net:8443"
  basic_auth_enabled = "true"
  basic_auth_username = var.username
  basic_auth_password = var.password
  is_default = "true"
  access_mode = "proxy"
}

हाम्रो कपालमा कंघी गरौं

ब्यालेन्सर IP ठेगाना र ClickHouse क्लस्टरको होस्ट प्रदर्शन गरौं

output "grafana_balancer_ip_address" {
  value = [for s in yandex_lb_network_load_balancer.grafana_balancer.listener: s.external_address_spec.0.address].0
}

output "clickhouse_cluster_host" {
  value = "https://c-${yandex_mdb_clickhouse_cluster.ch_cluster.id}.rw.mdb.yandexcloud.net:8443"
}

दौडिन सक्छ

सबै! हाम्रो कन्फिगरेसन फाइल तयार छ र हामी, चर सेट गरेर, हामीले माथि वर्णन गरेको सबै कुरा उठाउन Terraform लाई भन्न सक्छौं। सम्पूर्ण प्रक्रियाले मलाई लगभग 15 मिनेट लियो।
अन्त्यमा तपाईले एउटा सुन्दर सन्देश देख्न सक्नुहुन्छ:

Apply complete! Resources: 9 added, 0 changed, 0 destroyed.
Outputs:

clickhouse_cluster_host = https://c-c9q14ipa2ngadqsbp2iq.rw.mdb.yandexcloud.net:8443
grafana_balancer_ip_address = 130.193.50.25

र क्लाउडमा, उठाएको पूर्वाधारका तत्वहरू देखिनेछन्:

नतिजाको परिणाम दिनुहोस्

अब, उदाहरणको रूपमा Grafana प्रयोग गरेर, तपाईं प्रत्येकले Yandex.Cloud प्लेटफर्ममा फराकिलो क्लाउड आर्किटेक्चरको साथ अनुप्रयोगहरू प्रयोग गर्न सक्नुहुन्छ। HashiCorp बाट सहयोगी उपकरणहरू जस्तै Packer र Terraform ले तपाईंलाई यसमा मद्दत गर्न सक्छ। मलाई आशा छ कि कसैलाई यो लेख उपयोगी छ :)

PS तल म रिपोजिटरीमा लिङ्क संलग्न गर्नेछु जहाँ तपाइँ प्याकर र टेराफर्मको लागि तयार-बनाउने रेसिपीहरू फेला पार्न सक्नुहुन्छ, जसका टुक्राहरू मैले यस लेखमा प्रदान गरेको छु।

भण्डार

स्रोत: www.habr.com

उदाहरणको रूपमा Grafana प्रयोग गरेर Yandex.Cloud मा वितरित सेवाहरूको तैनाती