🥇 उदाहरण म्हणून Grafana वापरून Yandex.Cloud मध्ये वितरित सेवांचा उपयोजन

सर्वांना नमस्कार! माझ्या अभ्यासक्रमाच्या कामाचा भाग म्हणून, मी अशा घरगुती क्लाउड प्लॅटफॉर्मच्या क्षमतांवर संशोधन केले Yandex.Cloud. प्लॅटफॉर्म व्यावहारिक समस्या सोडवण्यासाठी विविध सेवा देते. तथापि, काहीवेळा आपल्याला या सेवांवर आधारित बर्‍यापैकी विस्तृत पायाभूत सुविधांसह आपला स्वतःचा क्लाउड अनुप्रयोग सेट करणे आवश्यक आहे. या लेखात मी असा अनुप्रयोग तैनात करण्याचा माझा अनुभव सामायिक करू इच्छितो.

तुम्हाला काय प्राप्त करायचे आहे?

ग्राफाना — विश्लेषणात्मक समस्या सोडवण्यासाठी किंवा कोणत्याही सिस्टमच्या समस्यांचे निरीक्षण करण्यासाठी एक शक्तिशाली साधन. त्याच्या मूलभूत कॉन्फिगरेशनमध्ये, हे Grafana वेब सर्व्हरसह एक आभासी मशीन आहे, तसेच डेटासेटसह डेटाबेस (क्लिकहाऊस, इन्फ्लक्सडीबी, इ.) आहे ज्यावर विश्लेषण आधारित असेल.

वेब सर्व्हरसह व्हर्च्युअल मशीन लॉन्च केल्यानंतर, तुम्ही त्याच्या होस्टवर जाऊन एक सुंदर UI मिळवू शकता, पुढील कामासाठी स्त्रोत म्हणून डेटाबेस निर्दिष्ट करू शकता, डॅशबोर्ड आणि आलेख तयार करू शकता.

मूलभूत आवृत्तीमध्ये एक महत्त्वपूर्ण कमतरता आहे - ती दोष-सहिष्णु नाही. म्हणजेच, अनुप्रयोगाची संपूर्ण कार्यक्षमता एका आभासी मशीनच्या व्यवहार्यतेवर अवलंबून असते. जर ते नाकारले किंवा 10 लोकांनी एकाच वेळी UI उघडले तर समस्या उद्भवतील.

ते सहजपणे सोडवले जाऊ शकतात: तुम्हाला फक्त... वेब सर्व्हरसह अनेक समान आभासी मशीन तैनात करणे आणि त्यांना L3 बॅलन्सरखाली ठेवणे आवश्यक आहे. परंतु येथे सर्व काही इतके स्पष्ट नाही. Grafana वापरकर्ता सेटिंग्ज (डेटाबेसचे मार्ग, डॅशबोर्ड, आलेख इ.) थेट त्याच्या व्हर्च्युअल मशीनच्या डिस्कवर संग्रहित करते. अशा प्रकारे, आम्ही UI मध्ये काही सेटिंग्ज बदलल्यास, हे बदल केवळ व्हर्च्युअल मशीनवर दिसून येतील जिथे बॅलन्सरने आम्हाला पाठवले आहे. हे आमच्या अनुप्रयोगासाठी विसंगत सेटिंग्जकडे नेईल, ज्यामुळे लॉन्च आणि वापरामध्ये समस्या निर्माण होतील.

येथे दुसरा डेटाबेस बचावासाठी येईल, उदाहरणार्थ, MySQL किंवा त्याच्या समतुल्य. आम्ही ग्राफानाला सांगतो की तिने या “स्पेअर” डेटाबेसमध्ये वापरकर्ता सेटिंग्ज संग्रहित करावी. त्यानंतर, प्रत्येक मशीनवर एकदा या डेटाबेसचा मार्ग निर्दिष्ट करणे आणि कोणत्याही व्हर्च्युअल मशीनवर इतर सर्व वापरकर्ता सेटिंग्ज संपादित करणे पुरेसे असेल; ते इतरांपर्यंत विस्तारित होतील.

अंतिम ऍप्लिकेशन इन्फ्रास्ट्रक्चरचा आकृती येथे आहे:

चला आपल्या हातांनी उचलायला शिकूया

MySQL आणि ClickHouse

बटणाच्या क्लिकवर असे अनुप्रयोग तैनात करण्यापूर्वी, त्यातील प्रत्येक घटक कसे हाताळायचे आणि ते एकमेकांशी कसे समाकलित करायचे हे शिकणे आवश्यक होते.

येथे Yandex.Cloud आम्हाला मदत करेल, जे L3 बॅलन्सर्स, क्लिकहाऊस आणि MySQL व्यवस्थापित सेवा म्हणून प्रदान करते. वापरकर्त्याला फक्त पॅरामीटर्स निर्दिष्ट करणे आवश्यक आहे आणि प्लॅटफॉर्म सर्वकाही कार्य क्रमाने आणेपर्यंत प्रतीक्षा करा.

मी नोंदणी केली, क्लाउड आणि पेमेंट खाते तयार केले. त्यानंतर, मी क्लाउडवर गेलो आणि किमान सेटिंग्जसह MySQL आणि ClickHouse क्लस्टर सेट केले. ते सक्रिय होईपर्यंत मी थांबलो.

तुम्हाला प्रत्येक क्लस्टरमध्ये डेटाबेस तयार करणे आणि लॉगिन आणि पासवर्ड वापरून त्यात प्रवेश कॉन्फिगर करणे देखील लक्षात ठेवणे आवश्यक आहे. मी येथे तपशीलांमध्ये जाणार नाही - सर्व काही इंटरफेसमध्ये अगदी स्पष्ट आहे.

गैर-स्पष्ट तपशील असा होता की या डेटाबेसमध्ये अनेक होस्ट आहेत, जे त्यांचे दोष सहिष्णुता सुनिश्चित करतात. तथापि, Grafana ला ते काम करत असलेल्या प्रत्येक डेटाबेससाठी अगदी एक होस्ट आवश्यक आहे. लांब वाचन दस्तऐवजीकरण ढगांनी मला एका निर्णयापर्यंत आणले. हे प्रजातींचे यजमान बाहेर वळते c-<cluster_id>.rw.mdb.yandexcloud.net संबंधित ID सह क्लस्टरच्या वर्तमान सक्रिय मास्टर होस्टवर मॅप केले. हेच आम्ही ग्राफाना देऊ.

वेब सर्व्हर

आता हे वेब सर्व्हरवर अवलंबून आहे. लिनक्ससह एक नियमित व्हर्च्युअल मशीन वाढवू आणि त्यावर ग्राफाना मॅन्युअली कॉन्फिगर करू.

चला ssh द्वारे कनेक्ट करू आणि आवश्यक पॅकेजेस स्थापित करू.

sudo apt-get install -y apt-transport-https software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
sudo add-apt-repository "deb https://packages.grafana.com/enterprise/deb stable main"
sudo apt-get update
sudo apt-get install -y grafana-enterprise

त्यानंतर, Grafana systemctl अंतर्गत चालवू आणि ClickHouse सह काम करण्यासाठी प्लगइन स्थापित करू (होय, ते मूलभूत पॅकेजमध्ये दिलेले नाही).

sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo grafana-cli plugins install vertamedia-clickhouse-datasource

तेच, त्यानंतर साध्या आदेशाने

sudo service grafana-server start

आम्ही वेब सर्व्हर सुरू करू. आता आपण ब्राउझरमध्ये व्हर्च्युअल मशीनचा बाह्य IP पत्ता प्रविष्ट करू शकता, पोर्ट 3000 निर्दिष्ट करू शकता आणि सुंदर Grafana UI पाहू शकता.

परंतु घाई करू नका, ग्राफाना सेट करण्यापूर्वी, सेटिंग्ज संचयित करण्यासाठी तुम्ही त्यास MySQL चा मार्ग सांगणे आवश्यक आहे.

Grafana वेब सर्व्हरचे संपूर्ण कॉन्फिगरेशन फाइलमध्ये आहे /etc/grafana/grafana.ini. आवश्यक ओळ असे दिसते:

;url =

आम्ही होस्टला MySQL क्लस्टरवर सेट करतो. त्याच फाईलमध्ये वरील चित्रात ग्राफानामध्ये प्रवेश करण्यासाठी लॉगिन आणि पासवर्ड आहे, जे डीफॉल्टनुसार दोन्ही समान आहेत admin.

तुम्ही sed कमांड वापरू शकता:

sudo sed -i "s#.*;url =.*#url = mysql://${MYSQL_USERNAME}:${MYSQL_PASSWORD}@${MYSQL_CLUSTER_URI}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${GRAFANA_USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${GRAFANA_PASSWORD}#" /etc/grafana/grafana.ini

वेब सर्व्हर रीस्टार्ट करण्याची वेळ आली आहे!

sudo service grafana-server restart

आता Grafana UI मध्ये आम्ही क्लिकहाऊस डेटास्रोत म्हणून निर्दिष्ट करू.

मी खालील सेटिंग्जसह कार्यरत कॉन्फिगरेशन प्राप्त करण्यास सक्षम होतो:

मी URL म्हणून निर्दिष्ट केले आहे https://c-<cluster_id>.rw.mdb.yandexcloud.net:8443

सर्व! आमच्याकडे CH आणि MySQL शी कनेक्ट केलेले वेब सर्व्हर असलेले एक कार्यरत आभासी मशीन आहे. तुम्ही क्लिकहाऊसवर डेटासेट आधीच अपलोड करू शकता आणि डॅशबोर्ड तयार करू शकता. तथापि, आम्ही अद्याप आमचे ध्येय साध्य केलेले नाही आणि पूर्ण वाढीव पायाभूत सुविधा तैनात केलेल्या नाहीत.

पॅकर

Yandex.Cloud तुम्हाला विद्यमान व्हर्च्युअल मशीनची डिस्क प्रतिमा तयार करण्याची परवानगी देते आणि त्याच्या आधारावर - एकमेकांशी सारखीच कितीही मशीन. हे आपण नक्की वापरणार आहोत. प्रतिमा सोयीस्करपणे एकत्र करण्यासाठी, साधन घ्या पॅकर HashiCorp कडून इमेज असेंबल करण्याच्या सूचनांसह json फाइल इनपुट म्हणून घेते.

आमच्या json फाइलमध्ये दोन ब्लॉक असतील: बिल्डर आणि प्रोव्हिजनर्स. पहिला ब्लॉक प्रतिमेच्या पॅरामीटर्सचे स्वतः एक अस्तित्व म्हणून वर्णन करतो आणि दुसरा ब्लॉक आवश्यक सामग्रीसह भरण्याच्या सूचनांचे वर्णन करतो.

बिल्डर्स

{
"builders": [
    {
      "type": "yandex",
      "endpoint": "{{user `endpoint`}}",
      "folder_id": "<folder_id>",
      "subnet_id": "{{user `subnet_id`}}",
      "zone": "{{user `zone`}}",
      "labels": {},
      "use_ipv4_nat": true,
      "use_internal_ip": false,
      "service_account_key_file": "<service_account_key_file>",
      "image_name": "grafana-{{timestamp}}",
      "image_family": "grafana",
      "image_labels": {},
      "image_description": "GRAFANA",
      "source_image_family": "ubuntu-1804-lts",
      "disk_size_gb": 3,
      "disk_type": "network-hdd",
      "ssh_username": "ubuntu"
    }
  ],
...
}

या टेम्प्लेटमध्ये, तुम्हाला क्लाउडमधील विभागाचा आयडेंटिफायर सेट करणे आवश्यक आहे जिथे तुम्हाला प्रतिमा तयार करायची आहे, तसेच या विभागात पूर्वी तयार केलेल्या सेवा खात्यातील की असलेल्या फाइलचा मार्ग. तुम्ही संबंधित विभागातील फाइलच्या स्वरूपात सेवा खाती आणि की तयार करण्याबद्दल अधिक वाचू शकता दस्तऐवजीकरण.

हे कॉन्फिगरेशन म्हणते की प्लॅटफॉर्मवर आधारित डिस्क प्रतिमा तयार केली जाईल ubuntu-1804-lts, प्रतिमा कुटुंबातील योग्य वापरकर्ता विभागात ठेवले GRAFANA नावाखाली grafana-{{timestamp}}.

प्रोव्हिजनर्स

आता कॉन्फिगरेशनचा अधिक मनोरंजक भाग येतो. ते कृतींच्या क्रमाचे वर्णन करेल जे व्हर्च्युअल मशीनवर डिस्क इमेजमध्ये गोठवण्याआधी कराव्या लागतील.

{
...,
"provisioners": [
    {
            "type": "shell",
            "pause_before": "5s",
            "scripts": [
                "prepare-ctg.sh"
            ]
        },
    {
            "type": "file",
            "source": "setup.sh",
            "destination": "/opt/grafana/setup.sh"
        },
        {
            "type": "shell",
        "execute_command": "sudo {{ .Vars }} bash '{{ .Path }}'",
            "pause_before": "5s",
            "scripts": [
                "install-packages.sh",
                "grafana-setup.sh",
                "run-setup-at-reboot.sh"
        ]
        }
  ]
}

येथे सर्व क्रिया 3 टप्प्यात विभागल्या आहेत. पहिल्या टप्प्यावर, एक साधी स्क्रिप्ट कार्यान्वित केली जाते जी एक सहायक निर्देशिका तयार करते.

तयारी-ctg.sh:

#!/bin/bash
sudo mkdir -p /opt/grafana
sudo chown -R ubuntu:ubuntu /opt/grafana

पुढच्या टप्प्यावर, आम्ही या निर्देशिकेत एक स्क्रिप्ट ठेवतो, जी व्हर्च्युअल मशीन सुरू केल्यानंतर लगेच लॉन्च करणे आवश्यक आहे. ही स्क्रिप्ट वापरकर्ता व्हेरिएबल्स ठेवेल ज्यांना ग्राफाना कॉन्फिगरेशनमध्ये नोंदणी करणे आणि वेब सर्व्हर रीस्टार्ट करणे आवश्यक आहे.

setup.sh:

#!/bin/bash
CLUSTER_ID="<cluster_id>"
USERNAME="<username>"
PASSWORD="<password>"
sudo sed -i "s#.*;url =.*#url = mysql://${USERNAME}:${PASSWORD}@c-${CLUSTER_ID}.rw.mdb.yandexcloud.net#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${PASSWORD}#" /etc/grafana/grafana.ini
sudo service grafana-server restart

यानंतर 3 गोष्टी करायच्या राहिल्या आहेत:
1) पॅकेजेस स्थापित करा
२) Systemctl अंतर्गत Grafana चालवा आणि ClickHouse प्लगइन स्थापित करा
3) व्हर्च्युअल मशीन चालू केल्यानंतर लगेचच setup.sh स्क्रिप्ट लाँच रांगेत ठेवा.

install-packages.sh:

#!/bin/bash
sudo systemd-run --property='After=apt-daily.service apt-daily-upgrade.service' --wait /bin/true
sudo apt-get install -y apt-transport-https
sudo apt-get install -y software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
sudo add-apt-repository "deb https://packages.grafana.com/enterprise/deb stable main"
sudo apt-get update
sudo apt-get install -y grafana-enterprise

grafana-setup.sh:

#!/bin/bash
sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo grafana-cli plugins install vertamedia-clickhouse-datasource

run-setup-at-reboot.sh:

#!/bin/bash
chmod +x /opt/grafana/setup.sh
cat > /etc/cron.d/first-boot <<EOF
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games
@reboot root /bin/bash /opt/grafana/setup.sh > /var/log/yc-setup.log 2>&1
EOF
chmod +x /etc/cron.d/first-boot;

आता फक्त पॅकर चालवणे आणि निर्दिष्ट विभागात आउटपुट प्रतिमा ठेवणे बाकी आहे. व्हर्च्युअल मशीन तयार करताना, तुम्ही ते बूट डिस्क म्हणून निवडू शकता आणि लाँच केल्यानंतर तुम्हाला एक तयार Grafana वेब सर्व्हर मिळेल.

उदाहरण गट आणि बॅलन्सर

एकदा आमच्याकडे डिस्क इमेज आली जी आम्हाला अनेक समान ग्राफाना वेब सर्व्हर तयार करण्यास अनुमती देते, आम्ही एक उदाहरण गट तयार करू शकतो. Yandex.Cloud प्लॅटफॉर्मवर, ही संज्ञा समान वैशिष्ट्ये असलेल्या आभासी मशीनच्या युनियनला संदर्भित करते. एक उदाहरण गट तयार करताना, या गटातील सर्व मशीनचे प्रोटोटाइप कॉन्फिगर केले जाते आणि नंतर गटाची स्वतःची वैशिष्ट्ये (उदाहरणार्थ, सक्रिय मशीनची किमान आणि कमाल संख्या). जर सध्याची संख्या या निकषांची पूर्तता करत नसेल, तर उदाहरण गट स्वतः अनावश्यक मशीन काढून टाकेल किंवा स्वतःच्या प्रतिमेमध्ये नवीन तयार करेल.

आमच्या कार्याचा एक भाग म्हणून, आम्ही वेब सर्व्हरचा एक उदाहरण गट तयार करू जो पूर्वी तयार केलेल्या डिस्क प्रतिमेवरून तयार केला जाईल.

खरोखरच उल्लेखनीय गोष्ट म्हणजे शेवटचा समूह सेटअप. लोड बॅलन्सरसह एकत्रीकरणातील लक्ष्य गट काही बटणे क्लिक करून या गटाच्या आभासी मशीनच्या शीर्षस्थानी L3 बॅलन्सर कॉन्फिगर करण्यात मदत करेल.

बॅलन्सर सेट करताना, मी दोन महत्त्वाचे मुद्दे लागू केले:

मी बॅलन्सरला पोर्ट 80 वर वापरकर्ता ट्रॅफिक स्वीकारायला लावले आणि ते पोर्ट 3000 वर व्हर्च्युअल मशीनवर पुनर्निर्देशित केले, जिथे ग्राफाना राहतो.
मी पोर्ट 3000 वर पिंग करून मशीनची व्यवहार्यता तपासणे सेट केले.

लहान सारांश

शेवटी, आम्ही इच्छित ऍप्लिकेशन इन्फ्रास्ट्रक्चर मॅन्युअली तैनात करण्यात सक्षम झालो आणि आता आमच्याकडे अत्यंत लवचिक ग्राफना सेवा आहे. तुम्हाला फक्त बॅलन्सरचा IP पत्ता ऍप्लिकेशनचा एंट्री पॉईंट आणि क्लिकहाऊस क्लस्टरच्या होस्टमध्ये डेटासेट लोड करण्यासाठी माहित असणे आवश्यक आहे.

विजयी वाटेल का? होय, विजय. पण तरीही काहीतरी मला गोंधळात टाकते. वरील संपूर्ण प्रक्रियेसाठी पुष्कळ मॅन्युअल चरणांची आवश्यकता आहे आणि ते अजिबात स्केलेबल नाही; मी शक्य असल्यास ते स्वयंचलित करू इच्छितो. यालाच पुढील भाग वाहिलेला असेल.

टेराफॉर्म एकत्रीकरण

आम्ही पुन्हा HashiCorp नावाचे साधन वापरू टेराफॉर्म. हे तुम्हाला वापरकर्त्याने पास केलेल्या अनेक व्हेरिएबल्सच्या आधारे एका बटणावर क्लिक करून संपूर्ण ऍप्लिकेशन इन्फ्रास्ट्रक्चर तैनात करण्यात मदत करेल. चला एक रेसिपी लिहूया जी वेगवेगळ्या वापरकर्त्यांच्या वेगवेगळ्या विभागांमध्ये अनेक वेळा चालविली जाऊ शकते.

टेराफॉर्मसह सर्व कार्य कॉन्फिगरेशन फाइल लिहिण्यापर्यंत येते (*.tf) आणि त्यावर आधारित पायाभूत सुविधांची निर्मिती.

चल

फाईलच्या अगदी सुरुवातीला, आम्ही व्हेरिएबल्स समाविष्ट करू जे भविष्यातील पायाभूत सुविधा कुठे आणि कशा तैनात केल्या जातील हे निर्धारित करतात.

variable "oauth_token" {
    type = string
    default = "<oauth-token>"
}
variable "cloud_id" {
    type = string
    default = "<cloud-id>"
}
variable "folder_id" {
    type = string
    default = "<folder_id>"
}
variable "service_account_id" {
    type = string
    default = "<service_account_id>"
}
variable "image_id" {
    type = string
    default = "<image_id>"
}
variable "username" {
    type = string
    default = "<username>"
}
variable "password" {
    type = string
    default = "<password>"
}
variable "dbname" {
    type = string
    default = "<dbname>"
}
variable "public_key_path" {
    type = string
    default = "<path to ssh public key>"
}

संपूर्ण ऍप्लिकेशन डिप्लॉयमेंट प्रक्रिया डिस्क इमेज तयार करण्यासाठी आणि हे व्हेरिएबल्स सेट करण्यासाठी खाली येईल. ते कशासाठी जबाबदार आहेत हे मला समजावून सांगा:

oauth_token - क्लाउडमध्ये प्रवेश करण्यासाठी एक टोकन. द्वारे मिळू शकते दुवा.
cloud_id - क्लाउड आयडेंटिफायर जेथे आम्ही अनुप्रयोग तैनात करू
फोल्डर_आयडी — विभाग अभिज्ञापक जेथे आम्ही अनुप्रयोग उपयोजित करू
service_account_id — क्लाउडच्या संबंधित विभागात सेवा खाते अभिज्ञापक.
image_id - पॅकर वापरून मिळवलेल्या डिस्क प्रतिमेचा अभिज्ञापक
वापरकर्ता नाव и पासवर्ड — डेटाबेस आणि Grafana वेब सर्व्हर दोन्हीमध्ये प्रवेश करण्यासाठी वापरकर्तानाव आणि पासवर्ड
dbname — CH आणि MySQL क्लस्टर्समध्ये डेटाबेस नाव
सार्वजनिक_की_पथ — तुमच्या सार्वजनिक ssh की सह फाइलचा मार्ग, ज्याचा वापर तुम्ही नावाखाली जोडण्यासाठी करू शकता ubuntu वेब सर्व्हरसह आभासी मशीनवर

प्रदाता सेटअप

आता आपल्याला टेराफॉर्म प्रदाता कॉन्फिगर करण्याची आवश्यकता आहे - आमच्या बाबतीत, यांडेक्स:

provider "yandex" {
  token     = var.oauth_token
  cloud_id  = var.cloud_id
  folder_id = var.folder_id
  zone      = "ru-central1-a"
}

तुमच्या लक्षात येईल की येथे आम्ही वर परिभाषित व्हेरिएबल्स वापरत आहोत.

नेटवर्क आणि क्लस्टर्स

आता आम्ही एक नेटवर्क तयार करू ज्यामध्ये आमच्या पायाभूत सुविधांचे घटक संवाद साधतील, तीन सबनेट (प्रत्येक प्रदेशात एक) आणि CH आणि MySQL क्लस्टर वाढवतील.


resource "yandex_vpc_network" "grafana_network" {}

resource "yandex_vpc_subnet" "subnet_a" {
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.1.0.0/24"]
}

resource "yandex_vpc_subnet" "subnet_b" {
  zone           = "ru-central1-b"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.2.0.0/24"]
}

resource "yandex_vpc_subnet" "subnet_c" {
  zone           = "ru-central1-c"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.3.0.0/24"]
}

resource "yandex_mdb_clickhouse_cluster" "ch_cluster" {
  name        = "grafana-clickhouse"
  environment = "PRODUCTION"
  network_id  = yandex_vpc_network.grafana_network.id

  clickhouse {
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = 16
    }
  }

  zookeeper {
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = 10
    }
  }

  database {
    name = var.dbname
  }

  user {
    name     = var.username
    password = var.password
    permission {
      database_name = var.dbname
    }
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }
}

resource "yandex_mdb_mysql_cluster" "mysql_cluster" {
  name        = "grafana_mysql"
  environment = "PRODUCTION"
  network_id  = yandex_vpc_network.grafana_network.id
  version     = "8.0"

  resources {
    resource_preset_id = "s2.micro"
    disk_type_id       = "network-ssd"
    disk_size          = 16
  }

  database {
    name = var.dbname
  }

  user {
    name     = var.username
    password = var.password
    permission {
      database_name = var.dbname
      roles         = ["ALL"]
    }
  }

  host {
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }
  host {
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }
  host {
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }
}

तुम्ही बघू शकता, दोन क्लस्टर्सपैकी प्रत्येक तीन उपलब्धता झोनमध्ये स्थित असल्याने बर्‍यापैकी दोष-सहिष्णु तयार केले आहे.

वेब सर्व्हर

असे दिसते की आपण त्याच भावनेने पुढे जाऊ शकतो, परंतु मी अडचणीत सापडलो. याआधी, मी प्रथम MySQL क्लस्टर तयार केला आणि त्यानंतरच, त्याचा ID जाणून घेऊन, मी आवश्यक कॉन्फिगरेशनसह डिस्क प्रतिमा गोळा केली, जिथे मी क्लस्टरला होस्ट निर्दिष्ट केला. पण आता आम्हाला टेराफॉर्म लाँच करण्यापूर्वी क्लस्टर आयडी माहीत नाही, इमेज बनवण्याच्या वेळेसह. म्हणून, मला खालील गोष्टींचा अवलंब करावा लागला युक्ती.

Amazon च्या मेटाडेटा सेवेचा वापर करून, आम्ही व्हर्च्युअल मशीनला काही पॅरामीटर्स पास करू, जे ते स्वीकारेल आणि प्रक्रिया करेल. आम्हाला MySQL क्लस्टर होस्ट आणि वापरकर्तानाव-पासवर्डच्या मागे असलेल्या मेटाडेटावर जाण्यासाठी मशीनची आवश्यकता आहे, जे वापरकर्त्याने टेराफॉर्म फाइलमध्ये निर्दिष्ट केले आहे, सुरू केल्यानंतर. फाईलची सामग्री थोडीशी बदलू setup.sh, जे आभासी मशीन चालू असताना चालते.

setup.sh:

#!/bin/bash
CLUSTER_URI="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/mysql_cluster_uri)"
USERNAME="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/username)"
PASSWORD="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/password)"
sudo sed -i "s#.*;url =.*#url = mysql://${USERNAME}:${PASSWORD}@${CLUSTER_URI}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${PASSWORD}#" /etc/grafana/grafana.ini
sudo service grafana-server restart

इंटेन्स ग्रुप आणि बॅलन्सर

नवीन डिस्क प्रतिमा पुन्हा तयार केल्यावर, आम्ही शेवटी आमची फाईल टेराफॉर्मसाठी जोडू शकतो.

चला सूचित करूया की आम्हाला विद्यमान डिस्क प्रतिमा वापरायची आहे:

data "yandex_compute_image" "grafana_image" {
  image_id = var.image_id
}

आता एक उदाहरण गट तयार करूया:

resource "yandex_compute_instance_group" "grafana_group" {
  name               = "grafana-group"
  folder_id          = var.folder_id
  service_account_id = var.service_account_id
  instance_template {
    platform_id = "standard-v1"
    resources {
      memory = 1
      cores  = 1
    }
    boot_disk {
      mode = "READ_WRITE"
      initialize_params {
        image_id = data.yandex_compute_image.grafana_image.id
        size     = 4
      }
    }
    network_interface {
      network_id = yandex_vpc_network.grafana_network.id
      subnet_ids = [yandex_vpc_subnet.subnet_a.id, yandex_vpc_subnet.subnet_b.id, yandex_vpc_subnet.subnet_c.id]
      nat = "true"
    }
    metadata = {
      mysql_cluster_uri = "c-${yandex_mdb_mysql_cluster.mysql_cluster.id}.rw.mdb.yandexcloud.net:3306/${var.dbname}"
      username = var.username
      password = var.password
      ssh-keys = "ubuntu:${file("${var.public_key_path}")}"
    }
    network_settings {
      type = "STANDARD"
    }
  }

  scale_policy {
    fixed_scale {
      size = 6
    }
  }

  allocation_policy {
    zones = ["ru-central1-a", "ru-central1-b", "ru-central1-c"]
  }

  deploy_policy {
    max_unavailable = 2
    max_creating    = 2
    max_expansion   = 2
    max_deleting    = 2
  }

  load_balancer {
    target_group_name = "grafana-target-group"
  }
}

आम्ही ते मेटाडेटामध्ये कसे पास केले याकडे लक्ष देणे योग्य आहे cluster_uri, username и password. हे व्हर्च्युअल मशीन स्टार्टअपच्या वेळी बाहेर काढेल आणि ग्राफना कॉन्फिगमध्ये ठेवेल.

हे बॅलन्सरवर अवलंबून आहे.

resource "yandex_lb_network_load_balancer" "grafana_balancer" {
  name = "grafana-balancer"

  listener {
    name = "grafana-listener"
    port = 80
    target_port = 3000
    external_address_spec {
      ip_version = "ipv4"
    }
  }

  attached_target_group {
    target_group_id = yandex_compute_instance_group.grafana_group.load_balancer.0.target_group_id

    healthcheck {
      name = "healthcheck"
      tcp_options {
        port = 3000
      }
    }
  }
}

थोडी साखर

थोडेच उरले आहे. पायाभूत सुविधा उपयोजित केल्यानंतर, तुम्हाला Grafana UI वर जावे लागेल आणि डेटा स्रोत म्हणून CH क्लस्टर (ज्याचा आयडी अद्याप प्राप्त करणे आवश्यक आहे) मॅन्युअली जोडावे लागेल. पण टेराफॉर्मला क्लस्टर आयडी माहीत आहे. हे प्रकरण प्रत्यक्षात आणण्याची जबाबदारी त्याच्यावर सोपवू.

चला एक नवीन प्रदाता जोडू - Grafana, आणि तिला यजमान म्हणून बॅलन्सरचा IP पत्ता देऊ. टेराफॉर्म मशीनवर जे बदल करतो ते सर्व बदल जेथे त्याचे बॅलन्सर ठरवते ते MySQL मध्ये वाढेल आणि म्हणून इतर सर्व मशीनवर.

provider "grafana" {
  url  = "http://${[for s in yandex_lb_network_load_balancer.grafana_balancer.listener: s.external_address_spec.0.address].0}"
  auth = "${var.username}:${var.password}"
}

resource "grafana_data_source" "ch_data_source" {
  type          = "vertamedia-clickhouse-datasource"
  name          = "grafana"
  url           = "https://c-${yandex_mdb_clickhouse_cluster.ch_cluster.id}.rw.mdb.yandexcloud.net:8443"
  basic_auth_enabled = "true"
  basic_auth_username = var.username
  basic_auth_password = var.password
  is_default = "true"
  access_mode = "proxy"
}

चला आपले केस कंघी करूया

बॅलन्सर आयपी अॅड्रेस आणि क्लिकहाऊस क्लस्टरचे होस्ट दाखवू

output "grafana_balancer_ip_address" {
  value = [for s in yandex_lb_network_load_balancer.grafana_balancer.listener: s.external_address_spec.0.address].0
}

output "clickhouse_cluster_host" {
  value = "https://c-${yandex_mdb_clickhouse_cluster.ch_cluster.id}.rw.mdb.yandexcloud.net:8443"
}

तुम्ही धावू शकता

सर्व! आमची कॉन्फिगरेशन फाइल तयार आहे आणि आम्ही व्हेरिएबल्स सेट करून, आम्ही वर वर्णन केलेल्या सर्व गोष्टी वाढवायला टेराफॉर्मला सांगू शकतो. संपूर्ण प्रक्रियेसाठी मला सुमारे 15 मिनिटे लागली.
शेवटी आपण एक सुंदर संदेश पाहू शकता:

Apply complete! Resources: 9 added, 0 changed, 0 destroyed.
Outputs:

clickhouse_cluster_host = https://c-c9q14ipa2ngadqsbp2iq.rw.mdb.yandexcloud.net:8443
grafana_balancer_ip_address = 130.193.50.25

आणि मेघमध्ये, उभारलेल्या पायाभूत सुविधांचे घटक दृश्यमान असतील:

चला परिणामांची बेरीज करूया

आता, उदाहरण म्हणून Grafana वापरून, तुमच्यापैकी प्रत्येकजण Yandex.Cloud प्लॅटफॉर्मवर विस्तृत क्लाउड आर्किटेक्चरसह अनुप्रयोग तैनात करू शकतो. HashiCorp मधील उपयुक्त साधने जसे की Packer आणि Terraform तुम्हाला यामध्ये मदत करू शकतात. मला आशा आहे की कोणालातरी हा लेख उपयुक्त वाटेल :)

P.S. खाली मी रेपॉजिटरीशी एक लिंक संलग्न करेन जिथे तुम्हाला पॅकर आणि टेराफॉर्मसाठी तयार पाककृती सापडतील, ज्याचे तुकडे मी या लेखात प्रदान केले आहेत.

भांडार

स्त्रोत: www.habr.com

उदाहरण म्हणून Grafana वापरून Yandex.Cloud मध्ये वितरित सेवांची तैनाती

तुम्हाला काय प्राप्त करायचे आहे?

चला आपल्या हातांनी उचलायला शिकूया

MySQL आणि ClickHouse

वेब सर्व्हर

पॅकर

बिल्डर्स

प्रोव्हिजनर्स

उदाहरण गट आणि बॅलन्सर

लहान सारांश

टेराफॉर्म एकत्रीकरण

चल

प्रदाता सेटअप

नेटवर्क आणि क्लस्टर्स

वेब सर्व्हर

इंटेन्स ग्रुप आणि बॅलन्सर

थोडी साखर

चला आपले केस कंघी करूया

तुम्ही धावू शकता

चला परिणामांची बेरीज करूया

एक टिप्पणी जोडा Отменить ответ