နမူနာအဖြစ် Grafana ကို အသုံးပြု၍ Yandex.Cloud တွင် ဖြန့်ဝေထားသော ဝန်ဆောင်မှုများကို ဖြန့်ကျက်ခြင်း။

အားလုံးမင်္ဂလာပါ! ကျွန်ုပ်၏သင်တန်းအလုပ်၏တစ်စိတ်တစ်ပိုင်းအနေဖြင့်၊ ဤကဲ့သို့သောပြည်တွင်း cloud platform ၏စွမ်းရည်များကို သုတေသနပြုခဲ့ပါသည်။ Yandex.Cloud. ပလက်ဖောင်းသည် လက်တွေ့ကျသော ပြဿနာများကို ဖြေရှင်းရန်အတွက် ဝန်ဆောင်မှုအမျိုးမျိုးကို ပေးဆောင်သည်။ သို့သော်၊ တစ်ခါတစ်ရံတွင် သင်သည် ဤဝန်ဆောင်မှုများကိုအခြေခံ၍ သင့်ကိုယ်ပိုင် cloud အက်ပ်လီကေးရှင်းကို တည်ဆောက်ရန် လိုအပ်ပါသည်။ ဤဆောင်းပါးတွင် ဤကဲ့သို့သော အက်ပလီကေးရှင်းကို အသုံးပြုရာတွင် ကျွန်ုပ်၏ အတွေ့အကြုံကို မျှဝေလိုပါသည်။

ဘာကို လိုချင်တာလဲ။

Grafana — ခွဲခြမ်းစိတ်ဖြာမှုပြဿနာများကိုဖြေရှင်းရန် သို့မဟုတ် မည်သည့်စနစ်၏ပြဿနာများကို စောင့်ကြည့်စစ်ဆေးရန်အတွက် အစွမ်းထက်သောကိရိယာတစ်ခုဖြစ်သည်။ ၎င်း၏အခြေခံဖွဲ့စည်းပုံတွင်၊ ၎င်းသည် Grafana ဝဘ်ဆာဗာပါရှိသော virtual machine တစ်ခုဖြစ်သလို ခွဲခြမ်းစိတ်ဖြာမှုကိုအခြေခံမည့် ဒေတာအတွဲတစ်ခု (ClickHouse၊ InfluxDB စသည်ဖြင့်) ပါရှိသည်။

ဝဘ်ဆာဗာဖြင့် virtual machine တစ်ခုကို စတင်ပြီးနောက်၊ သင်သည် ၎င်း၏ host သို့သွားကာ လှပသော UI ကို ရယူနိုင်ပြီး၊ နောက်ထပ် အလုပ်အတွက် အရင်းအမြစ်များအဖြစ် ဒေတာဘေ့စ်များကို သတ်မှတ်ခြင်း၊ ဒက်ရှ်ဘုတ်များနှင့် ဂရပ်များကို ဖန်တီးနိုင်သည်။

အခြေခံဗားရှင်းတွင် သိသာထင်ရှားသော အားနည်းချက်တစ်ခုရှိသည် - ၎င်းသည် အမှားခံနိုင်ရည်လုံးဝမရှိပါ။ ဆိုလိုသည်မှာ၊ အပလီကေးရှင်း၏လုပ်ဆောင်နိုင်စွမ်းတစ်ခုလုံးသည် virtual machine တစ်ခု၏ရှင်သန်နိုင်စွမ်းပေါ်တွင်မူတည်သည်။ UI ကို တစ်ချိန်တည်းတွင် လူ 10 ယောက်က ငြင်းဆိုပါက သို့မဟုတ် ပြဿနာများ ပေါ်ပေါက်လာမည်ဖြစ်သည်။

၎င်းတို့ကို ရိုးရှင်းစွာဖြေရှင်းနိုင်သည်- သင်လိုအပ်သည်မှာ... ဝဘ်ဆာဗာတစ်ခုဖြင့် ထပ်တူထပ်မျှသော virtual machines အများအပြားကို ဖြန့်ကျက်ပြီး L3 balancer အောက်တွင် ထားလိုက်ပါ။ ဒါပေမယ့် ဒီမှာ အားလုံးက ဒီလောက်ရှင်းနေတာ မဟုတ်ဘူး။ Grafana သည် အသုံးပြုသူဆက်တင်များ (ဒေတာဘေ့စ်များ၊ ဒက်ရှ်ဘုတ်များ၊ ဂရပ်များစသည်ဖြင့်) ကို ၎င်း၏ virtual machine ဒစ်ပေါ်တွင် တိုက်ရိုက်သိမ်းဆည်းသည်။ ထို့ကြောင့်၊ ကျွန်ုပ်တို့သည် UI ရှိ ဆက်တင်အချို့ကို ပြောင်းလဲပါက၊ ဤပြောင်းလဲမှုများသည် ကျွန်ုပ်တို့ကို ချိန်ခွင်လျှာပေးပို့သည့် virtual machine ပေါ်တွင်သာ ထင်ဟပ်စေမည်ဖြစ်သည်။ ၎င်းသည် ကျွန်ုပ်တို့၏ အပလီကေးရှင်းအတွက် မကိုက်ညီသော ဆက်တင်များကို ဖြစ်ပေါ်စေပြီး စတင်အသုံးပြုခြင်းနှင့် အသုံးပြုခြင်းတွင် ပြဿနာများဖြစ်စေသည်။

ဤနေရာတွင် အခြားသော ဒေတာဘေ့စ်သည် ဥပမာ၊ MySQL သို့မဟုတ် ၎င်း၏ ညီမျှခြင်းတို့ကို ကယ်တင်နိုင်မည်ဖြစ်သည်။ သူသည် ဤ "အပိုပစ္စည်း" ဒေတာဘေ့စ်တွင် အသုံးပြုသူဆက်တင်များကို သိမ်းဆည်းသင့်သည်ဟု Grafana အား ကျွန်ုပ်တို့ပြောထားသည်။ ထို့နောက်၊ စက်တစ်ခုစီတွင်တစ်ကြိမ် ဤဒေတာဘေ့စ်သို့ လမ်းကြောင်းကို သတ်မှတ်ရန်နှင့် virtual machines တစ်ခုခုရှိ အခြားအသုံးပြုသူဆက်တင်များအားလုံးကို တည်းဖြတ်ရန်၊ ၎င်းတို့သည် အခြားသူများထံ တိုးချဲ့မည်ဖြစ်သည်။

ဤသည်မှာ နောက်ဆုံးအပလီကေးရှင်းအခြေခံအဆောက်အအုံ၏ ပုံကြမ်းဖြစ်သည်-

လက်ဖြင့်မြှောက်ရန် သင်ယူကြပါစို့

MySQL နှင့် ClickHouse

ခလုတ်တစ်ချက်နှိပ်ရုံဖြင့် ထိုကဲ့သို့သော အပလီကေးရှင်းကို အသုံးမပြုမီ၊ ၎င်း၏အစိတ်အပိုင်းတစ်ခုစီကို မည်သို့ကိုင်တွယ်ရမည်ကို လေ့လာပြီး ၎င်းတို့ကို တစ်ခုနှင့်တစ်ခု ပေါင်းစည်းရန် လိုအပ်သည်။

ဤနေရာတွင် Yandex.Cloud သည် L3 balancers၊ ClickHouse နှင့် MySQL ကို စီမံခန့်ခွဲသည့် ဝန်ဆောင်မှုများအဖြစ် ပံ့ပိုးပေးပါသည်။ အသုံးပြုသူသည် ကန့်သတ်ချက်များကို သတ်မှတ်ရန်သာ လိုအပ်ပြီး ပလက်ဖောင်းသည် အရာအားလုံးကို အလုပ်အဖြစ်သို့ ရောက်သည်အထိ စောင့်ပါ။

စာရင်းသွင်းပြီး cloud တစ်ခုနှင့် ငွေပေးချေမှုအကောင့်တစ်ခု ဖန်တီးခဲ့သည်။ ထို့နောက်၊ ကျွန်ုပ်သည် cloud သို့သွား၍ အနည်းငယ်မျှသော ဆက်တင်များဖြင့် MySQL နှင့် ClickHouse အစုအဝေးများကို စနစ်ထည့်သွင်းပါ။ သူတို့ လှုပ်လှုပ်ရှားရှားဖြစ်လာတဲ့အထိ ငါစောင့်ခဲ့တယ်။

အစုအဝေးတစ်ခုစီတွင် ဒေတာဘေ့စ်တစ်ခုဖန်တီးရန်နှင့် လော့ဂ်အင်နှင့် စကားဝှက်ကို အသုံးပြု၍ ၎င်းထံသို့ ဝင်ရောက်ခွင့်ကို စီစဉ်သတ်မှတ်ရန်လည်း သတိရရန် လိုအပ်ပါသည်။ ဤနေရာတွင် အသေးစိတ်အချက်အလက်များကို ကျွန်ုပ်မဖော်ပြထားပါ - အရာအားလုံးသည် အင်တာဖေ့စ်တွင် သိသာထင်ရှားပါသည်။

ရှင်းရှင်းလင်းလင်းမဟုတ်သောအသေးစိတ်အချက်မှာ ဤဒေတာဘေ့စ်များတွင် ၎င်းတို့၏အမှားကို ခံနိုင်ရည်ရှိစေရန် သေချာစေသော host အများအပြားရှိသည်။ သို့သော်၊ Grafana သည် ၎င်းနှင့်အလုပ်လုပ်သောဒေတာဘေ့စ်တစ်ခုစီအတွက် host တစ်ခုအတိအကျလိုအပ်သည်။ အကြာကြီးဖတ်တယ်။ စာရွက်စာတမ်း တိမ်တွေက ကျွန်တော့်ကို ဆုံးဖြတ်ချက်ချခိုင်းတယ်။ မျိုးစိတ်၏အိမ်ရှင်ထွက်လှည့် c-<cluster_id>.rw.mdb.yandexcloud.net သက်ဆိုင်ရာ ID ဖြင့် အစုအဝေး၏ လက်ရှိအသုံးပြုနေသော မာစတာအိမ်ရှင်ထံသို့ မြေပုံဆွဲထားသည်။ ဒါက Grafana ကိုပေးမယ်။

ဝဘ်ဆာဗာ

ယခုအခါ ၎င်းသည် ဝဘ်ဆာဗာသို့ ရောက်ရှိနေပြီဖြစ်သည်။ Linux ဖြင့် ပုံမှန် virtual machine တစ်ခုကို မြှင့်တင်ပြီး ၎င်းတွင် Grafana ကို ကိုယ်တိုင်ပြင်ဆင်ကြပါစို့။

ssh မှတဆင့်ချိတ်ဆက်ပြီး လိုအပ်သော packages များကို ထည့်သွင်းကြပါစို့။

sudo apt-get install -y apt-transport-https software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
sudo add-apt-repository "deb https://packages.grafana.com/enterprise/deb stable main"
sudo apt-get update
sudo apt-get install -y grafana-enterprise 

ထို့နောက် systemctl အောက်တွင် Grafana ကို run ပြီး ClickHouse နှင့်အလုပ်လုပ်ရန်အတွက် plugin ကိုထည့်သွင်းကြပါစို့ (ဟုတ်ကဲ့၊ ၎င်းကိုအခြေခံအထုပ်တွင်မထည့်သွင်းပါ) ။

sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo grafana-cli plugins install vertamedia-clickhouse-datasource

ဒါပါပဲ၊ ရိုးရှင်းတဲ့ command နဲ့ ပြီးသွားပါပြီ။

sudo service grafana-server start

ဝဘ်ဆာဗာကို စတင်ပါမည်။ ယခု သင်သည် ဘရောက်ဆာရှိ virtual machine ၏ ပြင်ပ IP လိပ်စာကို ရိုက်ထည့်နိုင်ပြီး port 3000 ကို သတ်မှတ်ပြီး လှပသော Grafana UI ကို ကြည့်ရှုနိုင်ပါသည်။

သို့သော် Grafana ကိုမသတ်မှတ်မီ၊ ဆက်တင်များကိုထိုနေရာတွင်သိမ်းဆည်းရန်အတွက် MySQL သို့လမ်းကြောင်းကိုပြောပြရန်မမေ့ပါနှင့်။

Grafana ဝဘ်ဆာဗာ၏ဖွဲ့စည်းပုံတစ်ခုလုံးသည် ဖိုင်တွင်ရှိသည်။ /etc/grafana/grafana.ini. လိုအပ်သောစာကြောင်းသည် ဤကဲ့သို့ဖြစ်သည်-

;url =

ကျွန်ုပ်တို့သည် host ကို MySQL အစုအဝေးတွင်သတ်မှတ်ထားသည်။ တူညီသောဖိုင်တွင် အထက်ပုံရှိ Grafana ကိုဝင်ရောက်ရန်အတွက် လော့ဂ်အင်နှင့် စကားဝှက်ပါရှိသည်၊ ပုံမှန်အားဖြင့် နှစ်ခုလုံးတူညီပါသည်။ admin.

သင်သည် sed အမိန့်များကိုသုံးနိုင်သည်။

sudo sed -i "s#.*;url =.*#url = mysql://${MYSQL_USERNAME}:${MYSQL_PASSWORD}@${MYSQL_CLUSTER_URI}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${GRAFANA_USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${GRAFANA_PASSWORD}#" /etc/grafana/grafana.ini

ဝဘ်ဆာဗာကို ပြန်လည်စတင်ရန် အချိန်ကျရောက်ပြီဖြစ်သည်။

sudo service grafana-server restart

ယခု Grafana UI တွင် ClickHouse ကို DataSource အဖြစ် သတ်မှတ်ပါမည်။

အောက်ပါဆက်တင်များဖြင့် အလုပ်ဖွဲ့စည်းမှုပုံစံကို ကျွန်ုပ်အောင်မြင်နိုင်သည်-

ငါ URL အဖြစ်သတ်မှတ်ထားသည်။ https://c-<cluster_id>.rw.mdb.yandexcloud.net:8443

အားလုံး! ကျွန်ုပ်တို့တွင် CH နှင့် MySQL နှင့် ချိတ်ဆက်ထားသော ဝဘ်ဆာဗာတစ်ခုဖြင့် အလုပ်လုပ်သော virtual machine တစ်ခုရှိသည်။ သင်သည် ဒေတာအစုံကို ClickHouse သို့ အပ်လုဒ်လုပ်ပြီး ဒက်ရှ်ဘုတ်များ တည်ဆောက်နိုင်ပါပြီ။ သို့သော်လည်း ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ ရည်မှန်းချက်ကို မအောင်မြင်သေးဘဲ ပြည့်စုံသော အခြေခံအဆောက်အဦကို အသုံးမပြုရသေးပါ။

Packer ပါ

Yandex.Cloud သည် သင့်အား ရှိပြီးသား virtual machine တစ်ခု၏ ဒစ်ပုံတစ်ပုံကို ဖန်တီးနိုင်စေပြီး ၎င်း၏အခြေခံပေါ်တွင် - တစ်ခုနှင့်တစ်ခု တူညီသည့် မည်သည့်စက်အရေအတွက်ကိုမဆို ပြုလုပ်နိုင်သည်။ ဤသည်မှာ ကျွန်ုပ်တို့အသုံးပြုမည့်အရာဖြစ်သည်။ ပုံအား အဆင်ပြေစွာ စုစည်းရန် ကိရိယာကို ယူပါ။ Packer ပါ HashiCorp မှ ပုံအား စုစည်းရန်အတွက် ညွှန်ကြားချက်များနှင့်အတူ json ဖိုင်ကို ထည့်သွင်းရန် လိုအပ်သည်။

ကျွန်ုပ်တို့၏ json ဖိုင်တွင် ဘလောက်နှစ်ခုပါဝင်သည်- တည်ဆောက်သူများနှင့် စီမံပေးသူများ။ ပထမဘလောက်သည် ပုံ၏ ကန့်သတ်ဘောင်များကို အကြောင်းအရာတစ်ခုအဖြစ် ဖော်ပြပြီး ဒုတိယဘလောက်သည် ၎င်းအား လိုအပ်သောအကြောင်းအရာဖြင့် ဖြည့်ရန် ညွှန်ကြားချက်များကို ဖော်ပြသည်။

လက်သမား

{
"builders": [
    {
      "type": "yandex",
      "endpoint": "{{user `endpoint`}}",
      "folder_id": "<folder_id>",
      "subnet_id": "{{user `subnet_id`}}",
      "zone": "{{user `zone`}}",
      "labels": {},
      "use_ipv4_nat": true,
      "use_internal_ip": false,
      "service_account_key_file": "<service_account_key_file>",
      "image_name": "grafana-{{timestamp}}",
      "image_family": "grafana",
      "image_labels": {},
      "image_description": "GRAFANA",
      "source_image_family": "ubuntu-1804-lts",
      "disk_size_gb": 3,
      "disk_type": "network-hdd",
      "ssh_username": "ubuntu"
    }
  ],
...
}

ဤပုံစံပလိတ်တွင်၊ သင်သည် ရုပ်ပုံဖန်တီးလိုသည့် cloud ရှိ ကဏ္ဍ၏ identifier ကို သတ်မှတ်ရန်နှင့် ဤကဏ္ဍတွင် ယခင်က ဖန်တီးထားသည့် ဝန်ဆောင်မှုအကောင့်မှ သော့များဖြင့် ဖိုင်ဆီသို့ လမ်းကြောင်းကို သတ်မှတ်ရန် လိုအပ်သည်။ သက်ဆိုင်ရာကဏ္ဍရှိ ဖိုင်တစ်ခုပုံစံဖြင့် ဝန်ဆောင်မှုအကောင့်များနှင့် သော့များဖန်တီးခြင်းအကြောင်း ပိုမိုဖတ်ရှုနိုင်ပါသည်။ စာရွက်စာတမ်း.

ဤဖွဲ့စည်းပုံသည် ပလပ်ဖောင်းပေါ်တွင် အခြေခံ၍ ဒစ်ခ်ရုပ်ပုံတည်ဆောက်မည်ဟု ဆိုသည်။ ubuntu-1804-ltsပုံမိသားစုရှိ သင့်လျော်သော အသုံးပြုသူကဏ္ဍတွင် ထည့်သွင်းပါ။ GRAFANA နာမည်အောက်မှာ grafana-{{timestamp}}.

စီမံပေးသည်။

ယခု configuration ၏ ပိုစိတ်ဝင်စားစရာကောင်းသည့် အပိုင်းကို လာပါပြီ။ ၎င်းသည် ၎င်း၏အခြေအနေကို ဒစ်ခ်ရုပ်ပုံအဖြစ် အေးခဲခြင်းမပြုမီ virtual machine တွင် လုပ်ဆောင်ရန် လိုအပ်သည့် လုပ်ဆောင်ချက်များ၏ အစီအရီကို ဖော်ပြပါမည်။

{
...,
"provisioners": [
    {
            "type": "shell",
            "pause_before": "5s",
            "scripts": [
                "prepare-ctg.sh"
            ]
        },
    {
            "type": "file",
            "source": "setup.sh",
            "destination": "/opt/grafana/setup.sh"
        },
        {
            "type": "shell",
        "execute_command": "sudo {{ .Vars }} bash '{{ .Path }}'",
            "pause_before": "5s",
            "scripts": [
                "install-packages.sh",
                "grafana-setup.sh",
                "run-setup-at-reboot.sh"
        ]
        }
  ]
}

ဤနေရာတွင် လုပ်ဆောင်မှုအားလုံးကို အဆင့် ၃ ဆင့်ခွဲထားသည်။ ပထမအဆင့်တွင်၊ auxiliary directory ကိုဖန်တီးပေးသည့် ရိုးရှင်းသော script ကို execute လုပ်ပါသည်။

ပြင်ဆင်-ctg.sh-

#!/bin/bash
sudo mkdir -p /opt/grafana
sudo chown -R ubuntu:ubuntu /opt/grafana

နောက်အဆင့်တွင်၊ ကျွန်ုပ်တို့သည် virtual machine ကိုစတင်ပြီးနောက်ချက်ချင်းစတင်ရန်လိုအပ်မည့်ဤလမ်းညွှန်တွင် script တစ်ခုထားရှိပါမည်။ ဤ script သည် Grafana config တွင်မှတ်ပုံတင်ရန်လိုအပ်သောအသုံးပြုသူ variable များကိုထည့်သွင်းပြီးဝဘ်ဆာဗာကိုပြန်လည်စတင်မည်ဖြစ်သည်။

setup.sh-

#!/bin/bash
CLUSTER_ID="<cluster_id>"
USERNAME="<username>"
PASSWORD="<password>"
sudo sed -i "s#.*;url =.*#url = mysql://${USERNAME}:${PASSWORD}@c-${CLUSTER_ID}.rw.mdb.yandexcloud.net#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${PASSWORD}#" /etc/grafana/grafana.ini
sudo service grafana-server restart

ဒါပြီးရင် လုပ်စရာ ၃ ခုကျန်သေးတယ်-
1) အထုပ်များကို install လုပ်ပါ။
2) systemctl အောက်တွင် Grafana ကို run ပြီး ClickHouse plugin ကို ထည့်သွင်းပါ။
3) virtual machine ကိုဖွင့်ပြီးနောက် setup.sh script ကို launch တန်းစီတွင်ထည့်ပါ။

install-packages.sh-

#!/bin/bash
sudo systemd-run --property='After=apt-daily.service apt-daily-upgrade.service' --wait /bin/true
sudo apt-get install -y apt-transport-https
sudo apt-get install -y software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
sudo add-apt-repository "deb https://packages.grafana.com/enterprise/deb stable main"
sudo apt-get update
sudo apt-get install -y grafana-enterprise 

grafana-setup.sh-

#!/bin/bash
sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo grafana-cli plugins install vertamedia-clickhouse-datasource

run-setup-at-reboot.sh-

#!/bin/bash
chmod +x /opt/grafana/setup.sh
cat > /etc/cron.d/first-boot <<EOF
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games
@reboot root /bin/bash /opt/grafana/setup.sh > /var/log/yc-setup.log 2>&1
EOF
chmod +x /etc/cron.d/first-boot;

ယခုကျန်ရှိသောအရာအားလုံးသည် Packer ကိုလည်ပတ်ရန်နှင့်သတ်မှတ်ထားသောအပိုင်းတွင်ထည့်ထားသော output image ကိုရယူရန်ဖြစ်သည်။ virtual machine တစ်ခုကို ဖန်တီးသောအခါ၊ သင်သည် ၎င်းကို boot disk အဖြစ် ရွေးချယ်နိုင်ပြီး စတင်ပြီးနောက်တွင် အသင့်လုပ်ထားသော Grafana ဝဘ်ဆာဗာကို ရရှိမည်ဖြစ်သည်။

ဥပမာ အုပ်စုနှင့် ချိန်ခွင်လျှာ

ကျွန်ုပ်တို့တွင် အလားတူ Grafana ဝဘ်ဆာဗာများစွာကို ဖန်တီးနိုင်စေမည့် ဒစ်ပုံတစ်ပုံရှိသည်နှင့်တစ်ပြိုင်နက်၊ ကျွန်ုပ်တို့သည် ဥပမာအုပ်စုတစ်ခုကို ဖန်တီးနိုင်သည်။ Yandex.Cloud ပလပ်ဖောင်းတွင်၊ ဤအသုံးအနှုန်းသည် တူညီသောဝိသေသလက္ခဏာများရှိသော virtual machines များသမဂ္ဂကို ရည်ညွှန်းသည်။ သာဓကအဖွဲ့ကို ဖန်တီးသောအခါ၊ ဤအုပ်စုရှိ စက်အားလုံး၏ ရှေ့ပြေးပုံစံကို စီစဉ်သတ်မှတ်ထားပြီး၊ ထို့နောက် အုပ်စုကိုယ်တိုင်၏ ဝိသေသလက္ခဏာများ (ဥပမာ၊ အနိမ့်ဆုံးနှင့် အများဆုံး တက်ကြွသည့် စက်အရေအတွက်)။ လက်ရှိနံပါတ်သည် ဤသတ်မှတ်ချက်များနှင့် မကိုက်ညီပါက၊ ဥပမာအဖွဲ့ကိုယ်တိုင်က မလိုအပ်သော စက်များကို ဖယ်ရှားမည် သို့မဟုတ် ၎င်း၏ကိုယ်ပိုင်ပုံတွင် အသစ်များကို ဖန်တီးမည်ဖြစ်သည်။

ကျွန်ုပ်တို့၏လုပ်ငန်းတာဝန်တစ်စိတ်တစ်ပိုင်းအနေဖြင့်၊ ကျွန်ုပ်တို့သည် ယခင်ဖန်တီးထားသော ဒစ်ခ်ပုံမှ ထုတ်ပေးမည့် ဝဘ်ဆာဗာများ၏ instance အုပ်စုတစ်ခုကို ဖန်တီးပါမည်။

အမှန်တကယ် မှတ်သားစရာမှာ နောက်ဆုံး သာဓက အုပ်စု တပ်ဆင်ခြင်း ဖြစ်သည်။ Load Balancer နှင့် ပေါင်းစည်းထားသော ပစ်မှတ်အုပ်စုသည် ခလုတ်အချို့ကို နှိပ်ခြင်းဖြင့် ဤအဖွဲ့၏ virtual machines များထိပ်ရှိ L3 balancer ကို စီစဉ်သတ်မှတ်ရန် သင့်အား ကူညီပေးပါမည်။

ချိန်ခွင်လျှာကို စနစ်ထည့်သွင်းသောအခါတွင်၊ ကျွန်ုပ်သည် အရေးကြီးသော အချက်နှစ်ချက်ကို အကောင်အထည်ဖော်ခဲ့သည်-

1. ကျွန်ုပ်သည် ချိန်ခွင်လျှာအား port 80 တွင် အသုံးပြုသူအသွားအလာကိုလက်ခံပြီး Grafana နေထိုင်သည့်နေရာအတိအကျဖြစ်သော virtual machines ၏ port 3000 သို့ ပြန်ညွှန်းထားပါသည်။
2. ကျွန်ုပ်သည် ၎င်းတို့အား port 3000 သို့ ping လုပ်ခြင်းဖြင့် စက်များ၏ ရှင်သန်နိုင်စွမ်းကို စစ်ဆေးခြင်းအား စနစ်ထည့်သွင်းပါသည်။

အကျဉ်းချုပ်

နောက်ဆုံးတွင်၊ ကျွန်ုပ်တို့သည် အလိုရှိသော အပလီကေးရှင်းအခြေခံအဆောက်အအုံကို ကိုယ်တိုင်အသုံးချနိုင်ခဲ့ပြီး ယခုအခါတွင် ကျွန်ုပ်တို့တွင် အလွန်ခံနိုင်ရည်ရှိသော Grafana ဝန်ဆောင်မှုတစ်ခုရှိသည်။ ဒေတာအစုံကို ၎င်းသို့တင်ရန်အတွက် အပလီကေးရှင်းနှင့် ClickHouse အစုအဝေး၏ host ကိုဝင်ရောက်သည့်အချက်အနေဖြင့် Balancer ၏ IP လိပ်စာကို သိရန်လိုအပ်ပါသည်။

အောင်ပွဲလို့ထင်ရမလား? ဟုတ်တယ်၊ အောင်ပွဲ။ ဒါပေမယ့် တစ်ခုခုတော့ ရှုပ်နေတုန်းပဲ။ အထက်ဖော်ပြပါ လုပ်ငန်းစဉ်တစ်ခုလုံးသည် ကိုယ်တိုင်လုပ်ဆောင်ရမည့် အဆင့်များစွာ လိုအပ်ပြီး အတိုင်းအတာတစ်ခုအထိတော့ မရနိုင်ပါ၊ ဖြစ်နိုင်ပါက ၎င်းကို အလိုအလျောက်ပြုလုပ်လိုပါသည်။ ဒါက နောက်အပိုင်းကို ဆက်ရှင်းသွားမယ်။

Terraform ပေါင်းစပ်မှု

HashiCorp ဟုခေါ်သော ကိရိယာကို ထပ်မံအသုံးပြုပါမည်။ Terraform. အသုံးပြုသူမှပေးပို့သော variable အများအပြားအပေါ်အခြေခံ၍ ခလုတ်တစ်ခုကိုနှိပ်ခြင်းဖြင့် အပလီကေးရှင်းအခြေခံအဆောက်အအုံတစ်ခုလုံးကို အသုံးပြုနိုင်စေရန် ကူညီပေးပါမည်။ မတူညီသောအသုံးပြုသူများ၏ မတူညီသောကဏ္ဍများတွင် အကြိမ်ပေါင်းများစွာ လုပ်ဆောင်နိုင်သော ဟင်းချက်နည်းကို ရေးကြပါစို့။

Terraform နှင့်လုပ်ဆောင်မှုအားလုံးသည် configuration file ကိုရေးသားခြင်းမှဆင်းသက်လာသည် (*.tf) အခြေခံအဆောက်အဦများ ဖန်တီးပေးခြင်း။

ကိန်းရှင်များ

ဖိုင်၏အစတွင်၊ ကျွန်ုပ်တို့သည် အနာဂတ်အခြေခံအဆောက်အအုံကို မည်သည့်နေရာနှင့် မည်သို့အသုံးပြုမည်ကို ဆုံးဖြတ်သည့် variable များပါရှိသည်။

variable "oauth_token" {
    type = string
    default = "<oauth-token>"
}
variable "cloud_id" {
    type = string
    default = "<cloud-id>"
}
variable "folder_id" {
    type = string
    default = "<folder_id>"
}
variable "service_account_id" {
    type = string
    default = "<service_account_id>"
}
variable "image_id" {
    type = string
    default = "<image_id>"
}
variable "username" {
    type = string
    default = "<username>"
}
variable "password" {
    type = string
    default = "<password>"
}
variable "dbname" {
    type = string
    default = "<dbname>"
}
variable "public_key_path" {
    type = string
    default = "<path to ssh public key>"
}

အပလီကေးရှင်း ဖြန့်ကျက်ခြင်း လုပ်ငန်းစဉ်တစ်ခုလုံးသည် ဒစ်ခ်ရုပ်ပုံတည်ဆောက်ခြင်းနှင့် ဤကိန်းရှင်များကို သတ်မှတ်ခြင်းဆီသို့ ဆင်းသက်လာမည်ဖြစ်သည်။ သူတို့မှာ တာဝန်ရှိတယ်ဆိုတာကို ရှင်းပြပါရစေ။

outh_token - cloud သို့ဝင်ရောက်ရန် သင်္ကေတတစ်ခု။ ဖြင့်မှာယူနိုင်ပါသည်။ link ကို.
cloud_id — ကျွန်ုပ်တို့သည် အပလီကေးရှင်းကို အသုံးပြုမည့်နေရာတွင် cloud identifier ဖြစ်သည်။
folder_id — အပလီကေးရှင်းကို ဖြန့်ကျက်မည့်နေရာ အပိုင်း အမှတ်အသား
ဝန်ဆောင်မှု_အကောင့်_id — cloud ၏သက်ဆိုင်ရာကဏ္ဍရှိဝန်ဆောင်မှုအကောင့်အမှတ်အသား။
image_id — Packer ကို အသုံးပြု၍ ရရှိသော ဒစ်ခ်ရုပ်ပုံ၏ အထောက်အထား
အသုံးပြုသူအမည် и စကားဝှက်ကို — ဒေတာဘေ့စ်များနှင့် Grafana ဝဘ်ဆာဗာနှစ်ခုလုံးကိုဝင်ရောက်ရန် အသုံးပြုသူအမည်နှင့် စကားဝှက်
dbname — CH နှင့် MySQL အစုအဝေးအတွင်း ဒေတာဘေ့စ်အမည်
public_key_path — အမည်အောက်တွင် ချိတ်ဆက်အသုံးပြုနိုင်သည့် သင်၏ အများသူငှာ ssh သော့ဖြင့် ဖိုင်ဆီသို့ လမ်းကြောင်း ubuntu ဝဘ်ဆာဗာများပါရှိသော virtual machines များသို့

ပံ့ပိုးသူ စနစ်ထည့်သွင်းခြင်း။

ယခုသင် Terraform ပံ့ပိုးပေးသူကို configure လုပ်ရန်လိုအပ်သည် - ကျွန်ုပ်တို့၏ကိစ္စတွင်၊ Yandex:

provider "yandex" {
  token     = var.oauth_token
  cloud_id  = var.cloud_id
  folder_id = var.folder_id
  zone      = "ru-central1-a"
}

အထက်ဖော်ပြပါ ကိန်းရှင်များကို ဤနေရာတွင် ကျွန်ုပ်တို့အသုံးပြုနေသည် ကို သင်သတိပြုမိပါလိမ့်မည်။

ကွန်ရက်နှင့် အစုအဖွဲ့များ

ယခုကျွန်ုပ်တို့၏အခြေခံအဆောက်အဦ၏ဒြပ်စင်များဆက်သွယ်မည့်ကွန်ရက်တစ်ခု၊ subnets သုံးခု (ဒေသတစ်ခုစီတွင်တစ်ခု) နှင့် CH နှင့် MySQL အစုအဝေးများကိုမြှင့်တင်ပါမည်။

resource "yandex_vpc_network" "grafana_network" {}

resource "yandex_vpc_subnet" "subnet_a" {
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.1.0.0/24"]
}

resource "yandex_vpc_subnet" "subnet_b" {
  zone           = "ru-central1-b"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.2.0.0/24"]
}

resource "yandex_vpc_subnet" "subnet_c" {
  zone           = "ru-central1-c"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.3.0.0/24"]
}

resource "yandex_mdb_clickhouse_cluster" "ch_cluster" {
  name        = "grafana-clickhouse"
  environment = "PRODUCTION"
  network_id  = yandex_vpc_network.grafana_network.id

  clickhouse {
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = 16
    }
  }

  zookeeper {
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = 10
    }
  }

  database {
    name = var.dbname
  }

  user {
    name     = var.username
    password = var.password
    permission {
      database_name = var.dbname
    }
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }
}

resource "yandex_mdb_mysql_cluster" "mysql_cluster" {
  name        = "grafana_mysql"
  environment = "PRODUCTION"
  network_id  = yandex_vpc_network.grafana_network.id
  version     = "8.0"

  resources {
    resource_preset_id = "s2.micro"
    disk_type_id       = "network-ssd"
    disk_size          = 16
  }

  database {
    name = var.dbname
  }

  user {
    name     = var.username
    password = var.password
    permission {
      database_name = var.dbname
      roles         = ["ALL"]
    }
  }

  host {
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }
  host {
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }
  host {
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }
}

သင်တွေ့မြင်ရသည့်အတိုင်း၊ အစုနှစ်ခုမှ တစ်ခုစီသည် ရရှိနိုင်မှုဇုန် သုံးခုတွင် တည်ရှိခြင်းဖြင့် အမှားအယွင်းများကို ခံနိုင်ရည်ရှိအောင် ဖန်တီးထားသည်။

ဝဘ်ဆာဗာများ

တူညီတဲ့ စိတ်ဓာတ်နဲ့ ရှေ့ဆက်နိုင်မယ်လို့ ထင်ရပေမယ့် ခက်ခက်ခဲခဲ ကြုံတွေ့ခဲ့ရပါတယ်။ ၎င်းမတိုင်မီတွင်၊ ကျွန်ုပ်သည် MySQL အစုအဝေးကို ဦးစွာပြုစုပျိုးထောင်ပြီးမှသာ ၎င်း၏ ID ကိုသိ၍ လိုအပ်သောဖွဲ့စည်းမှုပုံစံဖြင့် ဒစ်ခ်ရုပ်ပုံတစ်ပုံကို စုဆောင်းခဲ့ပြီး၊ အစုအဝေးသို့ လက်ခံသတ်မှတ်ပေးခဲ့သည်။ သို့သော် ယခု ပုံတည်ဆောက်ချိန်တွင် အပါအဝင် Terraform မစတင်မီ အစုလိုက် ID ကို ကျွန်ုပ်တို့ မသိပါ။ ထို့ကြောင့် အောက်ပါတို့ကို အားကိုးသင့်ပါသည်။ လှည့်ကွက်.

Amazon ၏ မက်တာဒေတာဝန်ဆောင်မှုကို အသုံးပြုခြင်းဖြင့် ကျွန်ုပ်တို့သည် လက်ခံပြီး လုပ်ဆောင်ပေးမည့် virtual machine သို့ ကန့်သတ်ချက်အချို့ကို ပေးပို့ပါမည်။ စတင်ပြီးနောက် Terraform ဖိုင်တွင် အသုံးပြုသူသတ်မှတ်ထားသည့် MySQL အစုအဝေးနှင့် အသုံးပြုသူအမည်-စကားဝှက်နောက်ကွယ်ရှိ မက်တာဒေတာသို့ သွားရန်အတွက် ကျွန်ုပ်တို့သည် စက်ကို လိုအပ်ပါသည်။ ဖိုင်ရဲ့ အကြောင်းအရာတွေကို နည်းနည်းပြောင်းကြည့်ရအောင် setup.shvirtual machine ကိုဖွင့်သောအခါတွင်အလုပ်လုပ်သည်။

setup.sh-

#!/bin/bash
CLUSTER_URI="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/mysql_cluster_uri)"
USERNAME="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/username)"
PASSWORD="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/password)"
sudo sed -i "s#.*;url =.*#url = mysql://${USERNAME}:${PASSWORD}@${CLUSTER_URI}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${PASSWORD}#" /etc/grafana/grafana.ini
sudo service grafana-server restart

Instance အုပ်စုနှင့် balancer

ဒစ်ခ်ရုပ်ပုံအသစ်ကို ပြန်လည်တည်ဆောက်ပြီးနောက်၊ ကျွန်ုပ်တို့သည် နောက်ဆုံးတွင် Terraform အတွက် ကျွန်ုပ်တို့၏ဖိုင်ကို ထည့်နိုင်သည်။

ကျွန်ုပ်တို့သည် ရှိပြီးသားဒစ်ပုံတစ်ပုံကို အသုံးပြုလိုကြောင်း ညွှန်ပြကြပါစို့။

data "yandex_compute_image" "grafana_image" {
  image_id = var.image_id
}

အခု ဥပမာ အဖွဲ့တစ်ခုကို ဖန်တီးလိုက်ရအောင်။

resource "yandex_compute_instance_group" "grafana_group" {
  name               = "grafana-group"
  folder_id          = var.folder_id
  service_account_id = var.service_account_id
  instance_template {
    platform_id = "standard-v1"
    resources {
      memory = 1
      cores  = 1
    }
    boot_disk {
      mode = "READ_WRITE"
      initialize_params {
        image_id = data.yandex_compute_image.grafana_image.id
        size     = 4
      }
    }
    network_interface {
      network_id = yandex_vpc_network.grafana_network.id
      subnet_ids = [yandex_vpc_subnet.subnet_a.id, yandex_vpc_subnet.subnet_b.id, yandex_vpc_subnet.subnet_c.id]
      nat = "true"
    }
    metadata = {
      mysql_cluster_uri = "c-${yandex_mdb_mysql_cluster.mysql_cluster.id}.rw.mdb.yandexcloud.net:3306/${var.dbname}"
      username = var.username
      password = var.password
      ssh-keys = "ubuntu:${file("${var.public_key_path}")}"
    }
    network_settings {
      type = "STANDARD"
    }
  }

  scale_policy {
    fixed_scale {
      size = 6
    }
  }

  allocation_policy {
    zones = ["ru-central1-a", "ru-central1-b", "ru-central1-c"]
  }

  deploy_policy {
    max_unavailable = 2
    max_creating    = 2
    max_expansion   = 2
    max_deleting    = 2
  }

  load_balancer {
    target_group_name = "grafana-target-group"
  }
}

၎င်းကို မက်တာဒေတာသို့ ကျွန်ုပ်တို့ မည်သို့ပေးပို့သည်ကို ဂရုပြုထိုက်သည်။ cluster_uri, username и password. ၎င်းသည် စတင်ချိန်တွင် virtual machine မှထုတ်ယူပြီး Grafana config တွင်ထည့်သွင်းမည်ဖြစ်သည်။

ချိန်ခွင်လျှာပေါ် မူတည်ပါတယ်။

resource "yandex_lb_network_load_balancer" "grafana_balancer" {
  name = "grafana-balancer"

  listener {
    name = "grafana-listener"
    port = 80
    target_port = 3000
    external_address_spec {
      ip_version = "ipv4"
    }
  }

  attached_target_group {
    target_group_id = yandex_compute_instance_group.grafana_group.load_balancer.0.target_group_id

    healthcheck {
      name = "healthcheck"
      tcp_options {
        port = 3000
      }
    }
  }
}

သကြားအနည်းငယ်

နည်းနည်းပဲကျန်တော့တယ်။ အခြေခံအဆောက်အအုံကို အသုံးပြုပြီးနောက်၊ သင်သည် Grafana UI သို့သွား၍ ဒေတာအရင်းအမြစ်တစ်ခုအဖြစ် CH အစုအဝေး (ID ကို ရယူရန် လိုအပ်နေသေးသော ID) ကို ကိုယ်တိုင်ထည့်သွင်းရမည်ဖြစ်သည်။ သို့သော် Terraform သည် cluster ID ကိုသိသည်။ ဒီကိစ္စကို အကောင် အထည်ဖော်ဖို့ သူ့ကို အပ်နှံကြပါစို့။

ဝန်ဆောင်မှုပေးသူအသစ်ကို ပေါင်းထည့်ကြပါစို့ - Grafana နှင့် ဟန်ချက်ညီသူ၏ IP လိပ်စာကို လက်ခံဆောင်ရွက်ပေးသူအဖြစ် ပေးလိုက်ပါ။ Terraform သည် ၎င်း၏ Balancer မှဆုံးဖြတ်သည့်စက်တွင် MySQL တွင်ကြီးထွားမည်ဖြစ်ပြီး၊ ထို့ကြောင့်အခြားစက်များအားလုံးတွင် Terraform မှပြုလုပ်သောပြောင်းလဲမှုများအားလုံး။

provider "grafana" {
  url  = "http://${[for s in yandex_lb_network_load_balancer.grafana_balancer.listener: s.external_address_spec.0.address].0}"
  auth = "${var.username}:${var.password}"
}

resource "grafana_data_source" "ch_data_source" {
  type          = "vertamedia-clickhouse-datasource"
  name          = "grafana"
  url           = "https://c-${yandex_mdb_clickhouse_cluster.ch_cluster.id}.rw.mdb.yandexcloud.net:8443"
  basic_auth_enabled = "true"
  basic_auth_username = var.username
  basic_auth_password = var.password
  is_default = "true"
  access_mode = "proxy"
}

ငါတို့ဆံပင်ကို ဖြီးကြရအောင်

ဟန်ချက်ညီသော IP လိပ်စာနှင့် ClickHouse အစုအဝေး၏ အိမ်ရှင်ကို ပြသကြပါစို့

output "grafana_balancer_ip_address" {
  value = [for s in yandex_lb_network_load_balancer.grafana_balancer.listener: s.external_address_spec.0.address].0
}

output "clickhouse_cluster_host" {
  value = "https://c-${yandex_mdb_clickhouse_cluster.ch_cluster.id}.rw.mdb.yandexcloud.net:8443"
}

ပြေးနိုင်သည်။

အားလုံး! ကျွန်ုပ်တို့၏ဖွဲ့စည်းပုံစနစ်ဖိုင်သည် အဆင်သင့်ဖြစ်နေပြီဖြစ်ပြီး ကျွန်ုပ်တို့သည် အထက်ဖော်ပြပါအရာအားလုံးကို မြှင့်တင်ရန် Terraform အား ကိန်းရှင်များကို သတ်မှတ်ခြင်းဖြင့် ကျွန်ုပ်တို့လုပ်နိုင်သည် ။ လုပ်ငန်းစဉ်တစ်ခုလုံးသည် ကျွန်ုပ်အား ၁၅ မိနစ်ခန့် ကြာပါသည်။
အဆုံးတွင် လှပသော မက်ဆေ့ချ်ကို သင်တွေ့နိုင်သည်-

Apply complete! Resources: 9 added, 0 changed, 0 destroyed.
Outputs:

clickhouse_cluster_host = https://c-c9q14ipa2ngadqsbp2iq.rw.mdb.yandexcloud.net:8443
grafana_balancer_ip_address = 130.193.50.25

ပြီးတော့ cloud ထဲမှာ၊ မြှင့်တင်ထားတဲ့ အခြေခံအဆောက်အဦရဲ့ အစိတ်အပိုင်းတွေကို မြင်နိုင်ပါလိမ့်မယ်-

အနှစ်ချုပ်ရန်

ယခု Grafana ကို နမူနာအဖြစ် အသုံးပြုကာ၊ သင်တစ်ဦးစီသည် Yandex.Cloud ပလပ်ဖောင်းပေါ်တွင် ကျယ်ဝန်းသော cloud တည်ဆောက်မှုဖြင့် အပလီကေးရှင်းများကို အသုံးချနိုင်သည်။ Packer နှင့် Terraform ကဲ့သို့သော HashiCorp မှ အထောက်အကူဖြစ်စေသော ကိရိယာများက သင့်အား ဤအရာကို ကူညီပေးနိုင်သည်။ ဒီဆောင်းပါးလေး အသုံးဝင်မယ်လို့ မျှော်လင့်ပါတယ် :)

PS အောက်တွင်ကျွန်ုပ်သည်ဤဆောင်းပါးတွင်ကျွန်ုပ်ပေးထားသောအပိုင်းအစများ၊ Packer နှင့် Terraform အတွက်အဆင်သင့်လုပ်ထားသောချက်ပြုတ်နည်းများကိုသင်ရှာတွေ့နိုင်သည့် repository ၏လင့်ခ်ကို ပူးတွဲတင်ပြပါမည်။

သိုလှောင်မှု

source: www.habr.com