একটি উদাহরণ হিসাবে Grafana ব্যবহার করে Yandex.Cloud এ বিতরণ করা পরিষেবার স্থাপনা

হাই সব! আমার কোর্স কাজের অংশ হিসাবে, আমি যেমন একটি ঘরোয়া ক্লাউড প্ল্যাটফর্মের সম্ভাবনাগুলি নিয়ে গবেষণা করছিলাম Yandex.Cloud. প্ল্যাটফর্মটি ব্যবহারিক সমস্যা সমাধানের জন্য বিভিন্ন পরিষেবা প্রদান করে। যাইহোক, কখনও কখনও এই পরিষেবাগুলির উপর ভিত্তি করে একটি বরং বিস্তৃত পরিকাঠামো সহ আপনার ক্লাউড অ্যাপ্লিকেশনটি কনফিগার করা প্রয়োজন। এই নিবন্ধে, আমি এই ধরনের একটি অ্যাপ্লিকেশন স্থাপনের অভিজ্ঞতা শেয়ার করতে চাই।

আপনি কি পেতে চান?

গ্রাফানা - কোনো সিস্টেমের বিশ্লেষণাত্মক সমস্যা সমাধান বা পর্যবেক্ষণের জন্য একটি শক্তিশালী টুল। এর মৌলিক কনফিগারেশনে, এটি Grafana ওয়েব সার্ভার সহ একটি ভার্চুয়াল মেশিন, সেইসাথে একটি ডেটাসেট সহ একটি ডেটাবেস (ক্লিকহাউস, ইনফ্লাক্সডিবি, ইত্যাদি) যা বিশ্লেষণ তৈরি করতে ব্যবহার করা হবে৷

একটি ওয়েব সার্ভারের সাথে একটি ভার্চুয়াল মেশিন শুরু করার পরে, আপনি এটির হোস্টে যেতে পারেন এবং একটি সুন্দর UI পেতে পারেন, আরও কাজের জন্য উত্স হিসাবে ডেটাবেস নির্দিষ্ট করতে পারেন, ড্যাশবোর্ড এবং গ্রাফ তৈরি করতে পারেন৷

মৌলিক সংস্করণটির একটি উল্লেখযোগ্য ত্রুটি রয়েছে - এটি মোটেও দোষ-সহনশীল নয়। অর্থাৎ, অ্যাপ্লিকেশনটির সম্পূর্ণ কর্মক্ষমতা একটি ভার্চুয়াল মেশিনের কার্যকারিতার উপর নির্ভর করে। যদি সে প্রত্যাখ্যান করে বা একই সময়ে 10 জন UI খুললে সমস্যা দেখা দেবে।

এগুলি সহজভাবে সমাধান করা হয়েছে: আপনাকে কেবল একটি ওয়েব সার্ভারের সাথে অনেকগুলি অভিন্ন ভার্চুয়াল মেশিন স্থাপন করতে হবে এবং সেগুলিকে একটি L3 ব্যালেন্সারের অধীনে রাখতে হবে৷ কিন্তু এখানে সবকিছু এত পরিষ্কার নয়। Grafana ব্যবহারকারীর সেটিংস (ডাটাবেস, ড্যাশবোর্ড, গ্রাফিক্স, ইত্যাদির পথ) সরাসরি তার ভার্চুয়াল মেশিনের ডিস্কে সঞ্চয় করে। এইভাবে, আপনি যদি UI-তে কিছু সেটিংস পরিবর্তন করেন, তাহলে এই পরিবর্তনগুলি শুধুমাত্র ভার্চুয়াল মেশিনে প্রদর্শিত হবে যেখানে ব্যালেন্সার আমাদের পাঠিয়েছে। এটি আমাদের অ্যাপ্লিকেশনের জন্য অসামঞ্জস্যপূর্ণ সেটিংস, লঞ্চ এবং ব্যবহারে সমস্যাগুলির দিকে পরিচালিত করবে৷

এখানে আরেকটি ডাটাবেস রেসকিউ আসবে, উদাহরণস্বরূপ, মাইএসকিউএল বা তার সমতুল্য। আমরা গ্রাফানাকে বলি যে তাকে এই "অতিরিক্ত" ডাটাবেসে ব্যবহারকারীর সেটিংস সংরক্ষণ করা উচিত। এর পরে, প্রতিটি মেশিনে একবার এই ডাটাবেসের পথটি নির্দিষ্ট করার জন্য যথেষ্ট হবে, এবং যে কোনও ভার্চুয়াল মেশিনে অন্য সমস্ত ব্যবহারকারীর সেটিংস সম্পাদনা করুন, তারা বাকিগুলিতে বৃদ্ধি পাবে।

এখানে চূড়ান্ত অ্যাপ্লিকেশন পরিকাঠামোর একটি চিত্র রয়েছে:

আপনার হাত দিয়ে বাড়াতে শিখুন

মাইএসকিউএল এবং ক্লিক হাউস

একটি বোতামে ক্লিক করে এই জাতীয় অ্যাপ্লিকেশন স্থাপন করার আগে, এটির প্রতিটি উপাদানকে হ্যান্ডেলগুলির সাহায্যে কীভাবে তুলতে হবে এবং একে অপরের সাথে একীভূত করতে হবে তা শিখতে হবে।

Yandex.Cloud এখানে আমাদের সাহায্য করবে, যা L3 ব্যালেন্সার, ClickHouse এবং MySQL পরিচালিত পরিষেবা হিসেবে প্রদান করে। ব্যবহারকারীকে শুধুমাত্র পরামিতিগুলি নির্দিষ্ট করতে হবে এবং প্ল্যাটফর্মটি সবকিছুকে একটি কার্যকরী অবস্থায় নিয়ে আসা পর্যন্ত অপেক্ষা করতে হবে।

আমি নিবন্ধন করেছি, নিজের জন্য একটি ক্লাউড এবং একটি বিলিং অ্যাকাউন্ট তৈরি করেছি। এর পরে, আমি ক্লাউডে গিয়েছিলাম এবং ন্যূনতম সেটিংস সহ MySQL এবং ClickHouse ক্লাস্টারগুলি উত্থাপন করেছি। তারা সক্রিয় না হওয়া পর্যন্ত অপেক্ষা করুন।

আপনাকে প্রতিটি ক্লাস্টারে একটি ডাটাবেস তৈরি করতে এবং লগইন এবং পাসওয়ার্ডের মাধ্যমে এটিতে অ্যাক্সেস কনফিগার করার কথাও মনে রাখতে হবে। আমি এখানে বিশদে যাব না - ইন্টারফেসে সবকিছু বেশ স্পষ্ট।

অ-স্পষ্ট বিবরণ ছিল যে এই ডাটাবেসগুলিতে অনেক হোস্ট রয়েছে যা তাদের দোষ সহনশীলতা প্রদান করে। যাইহোক, Grafana এর সাথে কাজ করে এমন প্রতিটি ডাটাবেসের জন্য ঠিক একটি হোস্ট প্রয়োজন। দীর্ঘ পড়া ডকুমেন্টেশন মেঘ আমাকে একটা সিদ্ধান্তে নিয়ে গেল। দেখা যাচ্ছে যে ফর্মের একটি হোস্ট c-<cluster_id>.rw.mdb.yandexcloud.net সংশ্লিষ্ট আইডি সহ বর্তমান সক্রিয় ক্লাস্টার মাস্টার হোস্টে মানচিত্র। সেটাই আমরা গ্রাফনাকে দেব।

ওয়েব সার্ভার

এখন এটি ওয়েব সার্ভারের উপর নির্ভর করে। চলুন লিনাক্সের সাথে একটি নিয়মিত ভার্চুয়াল মেশিন তৈরি করি এবং আমাদের হাতে গ্রাফানা সেট আপ করি।

আসুন ssh এর মাধ্যমে সংযোগ করি এবং প্রয়োজনীয় প্যাকেজগুলি ইনস্টল করি।

sudo apt-get install -y apt-transport-https software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
sudo add-apt-repository "deb https://packages.grafana.com/enterprise/deb stable main"
sudo apt-get update
sudo apt-get install -y grafana-enterprise 

এর পরে, আমরা systemctl এর অধীনে Grafana শুরু করব এবং ClickHouse এর সাথে কাজ করার জন্য প্লাগইনটি ইনস্টল করব (হ্যাঁ, এটি মৌলিক প্যাকেজে সরবরাহ করা হয় না)।

sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo grafana-cli plugins install vertamedia-clickhouse-datasource

একটি সহজ আদেশ সঙ্গে যে পরে সবকিছু

sudo service grafana-server start

আমরা ওয়েব সার্ভার শুরু করব। এখন ব্রাউজারে ভার্চুয়াল মেশিনের বাহ্যিক আইপি ঠিকানায় ড্রাইভ করা, পোর্ট 3000 উল্লেখ করা এবং সুন্দর UI গ্রাফনা দেখা সম্ভব হবে।

তবে তাড়াহুড়ো করবেন না, Grafana সেট আপ করার আগে, আপনি সেটিংস সংরক্ষণ করার জন্য MySQL এর পথ নির্দিষ্ট করতে ভুলবেন না।

গ্রাফানা ওয়েব সার্ভারের সম্পূর্ণ কনফিগারেশন ফাইলটিতে রয়েছে /etc/grafana/grafana.ini. প্রয়োজনীয় লাইন এই মত দেখায়:

;url =

আমরা হোস্টকে মাইএসকিউএল ক্লাস্টারে প্রকাশ করি। উপরের ছবিতে গ্রাফানা অ্যাক্সেস করার জন্য একই ফাইলটিতে লগইন এবং পাসওয়ার্ড রয়েছে, যা ডিফল্টরূপে উভয়ই সমান admin.

আপনি sed কমান্ড ব্যবহার করতে পারেন:

sudo sed -i "s#.*;url =.*#url = mysql://${MYSQL_USERNAME}:${MYSQL_PASSWORD}@${MYSQL_CLUSTER_URI}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${GRAFANA_USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${GRAFANA_PASSWORD}#" /etc/grafana/grafana.ini

এটা ওয়েব সার্ভার পুনরায় চালু করার সময়!

sudo service grafana-server restart

এখন Grafana UI এ, আমরা DataSource হিসাবে ClickHouse নির্দিষ্ট করব।

আমি নিম্নলিখিত সেটিংসের সাথে একটি কার্যকরী কনফিগারেশন অর্জন করতে পেরেছি:

আমি URL হিসেবে দিয়েছি https://c-<cluster_id>.rw.mdb.yandexcloud.net:8443

সমস্ত ! আমাদের কাছে CH এবং MySQL এর সাথে সংযুক্ত একটি ওয়েব সার্ভার সহ একটি কাজ করা ভার্চুয়াল মেশিন রয়েছে৷ আপনি ইতিমধ্যেই ক্লিকহাউসে ডেটাসেট আপলোড করতে পারেন এবং ড্যাশবোর্ড তৈরি করতে পারেন৷ যাইহোক, আমরা এখনও আমাদের লক্ষ্যে পৌঁছাতে পারিনি এবং একটি পূর্ণাঙ্গ অবকাঠামো স্থাপন করিনি।

ভরক

Yandex.Cloud আপনাকে একটি বিদ্যমান ভার্চুয়াল মেশিনের একটি ডিস্ক ইমেজ তৈরি করতে দেয় এবং এটির উপর ভিত্তি করে আপনি আপনার পছন্দ মতো অনেকগুলি অভিন্ন মেশিন তৈরি করতে পারেন। এই আমরা ব্যবহার করব ঠিক কি. সুবিধাজনকভাবে চিত্রটি একত্রিত করতে, টুলটি নিন ভরক HashiCorp থেকে এটি ইমেজ তৈরির জন্য নির্দেশাবলী সহ একটি json ফাইল ইনপুট হিসাবে নেয়।

আমাদের json ফাইলে দুটি ব্লক থাকবে: নির্মাতা এবং প্রভিজার। প্রথম ব্লকটি চিত্রের প্যারামিটারগুলিকে একটি সত্তা হিসাবে বর্ণনা করে এবং দ্বিতীয়টি প্রয়োজনীয় সামগ্রী দিয়ে এটি পূরণ করার নির্দেশাবলী বর্ণনা করে।

নির্মাতা

{
"builders": [
    {
      "type": "yandex",
      "endpoint": "{{user `endpoint`}}",
      "folder_id": "<folder_id>",
      "subnet_id": "{{user `subnet_id`}}",
      "zone": "{{user `zone`}}",
      "labels": {},
      "use_ipv4_nat": true,
      "use_internal_ip": false,
      "service_account_key_file": "<service_account_key_file>",
      "image_name": "grafana-{{timestamp}}",
      "image_family": "grafana",
      "image_labels": {},
      "image_description": "GRAFANA",
      "source_image_family": "ubuntu-1804-lts",
      "disk_size_gb": 3,
      "disk_type": "network-hdd",
      "ssh_username": "ubuntu"
    }
  ],
...
}

এই টেমপ্লেটে, আপনাকে ক্লাউডের সেই বিভাগের আইডেন্টিফায়ার সেট করতে হবে যেখানে আপনি একটি ইমেজ তৈরি করতে চান, সেইসাথে এই বিভাগে পূর্বে তৈরি করা পরিষেবা অ্যাকাউন্ট থেকে কীগুলির সাহায্যে ফাইলের পথ। আপনি সংশ্লিষ্ট বিভাগে একটি ফাইল আকারে পরিষেবা অ্যাকাউন্ট এবং কী তৈরি সম্পর্কে আরও পড়তে পারেন। ডকুমেন্টেশন.

এই কনফিগারেশন বলে যে ডিস্ক ইমেজ প্ল্যাটফর্মের উপর ভিত্তি করে তৈরি করা হবে ubuntu-1804-lts, চিত্র পরিবারে উপযুক্ত ব্যবহারকারী বিভাগে স্থাপন করা হয়েছে GRAFANA নামের নিচে grafana-{{timestamp}}.

বিধানকারী

এখন কনফিগারেশনের আরও আকর্ষণীয় অংশের জন্য। এটি ক্রিয়াগুলির ক্রম বর্ণনা করবে যা একটি ভার্চুয়াল মেশিনে একটি ডিস্ক চিত্রের মধ্যে স্থির করার আগে সম্পাদন করতে হবে৷

{
...,
"provisioners": [
    {
            "type": "shell",
            "pause_before": "5s",
            "scripts": [
                "prepare-ctg.sh"
            ]
        },
    {
            "type": "file",
            "source": "setup.sh",
            "destination": "/opt/grafana/setup.sh"
        },
        {
            "type": "shell",
        "execute_command": "sudo {{ .Vars }} bash '{{ .Path }}'",
            "pause_before": "5s",
            "scripts": [
                "install-packages.sh",
                "grafana-setup.sh",
                "run-setup-at-reboot.sh"
        ]
        }
  ]
}

এখানে, সমস্ত ক্রিয়াকে 3টি পর্যায়ে বিভক্ত করা হয়েছে। প্রথম পর্যায়ে, একটি সাধারণ স্ক্রিপ্ট চালানো হয় যা একটি সহায়ক ডিরেক্টরি তৈরি করে।

প্রস্তুত-ctg.sh:

#!/bin/bash
sudo mkdir -p /opt/grafana
sudo chown -R ubuntu:ubuntu /opt/grafana

পরবর্তী পর্যায়ে, আমরা এই ডিরেক্টরিতে একটি স্ক্রিপ্ট রাখি, যা ভার্চুয়াল মেশিন শুরু করার সাথে সাথে চালানোর প্রয়োজন হবে। এই স্ক্রিপ্টটি ব্যবহারকারীর ভেরিয়েবলগুলিকে Grafana এর কনফিগারেশনে সেট করতে এবং ওয়েব সার্ভারটি পুনরায় চালু করবে।

setup.sh:

#!/bin/bash
CLUSTER_ID="<cluster_id>"
USERNAME="<username>"
PASSWORD="<password>"
sudo sed -i "s#.*;url =.*#url = mysql://${USERNAME}:${PASSWORD}@c-${CLUSTER_ID}.rw.mdb.yandexcloud.net#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${PASSWORD}#" /etc/grafana/grafana.ini
sudo service grafana-server restart

এর পরে, 3টি জিনিস করতে হবে:
1) প্যাকেজ ইনস্টল করুন
2) Systemctl এর অধীনে Grafana শুরু করুন এবং ClickHouse প্লাগইন ইনস্টল করুন
3) ভার্চুয়াল মেশিন চালু করার সাথে সাথেই চালানোর জন্য setup.sh স্ক্রিপ্টটিকে সারিতে রাখুন।

install-packages.sh:

#!/bin/bash
sudo systemd-run --property='After=apt-daily.service apt-daily-upgrade.service' --wait /bin/true
sudo apt-get install -y apt-transport-https
sudo apt-get install -y software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
sudo add-apt-repository "deb https://packages.grafana.com/enterprise/deb stable main"
sudo apt-get update
sudo apt-get install -y grafana-enterprise 

grafana-setup.sh:

#!/bin/bash
sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo grafana-cli plugins install vertamedia-clickhouse-datasource

run-setup-at-reboot.sh:

#!/bin/bash
chmod +x /opt/grafana/setup.sh
cat > /etc/cron.d/first-boot <<EOF
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games
@reboot root /bin/bash /opt/grafana/setup.sh > /var/log/yc-setup.log 2>&1
EOF
chmod +x /etc/cron.d/first-boot;

এখন প্যাকার চালানো এবং নির্দিষ্ট পার্টিশনে আউটপুট ইমেজ স্থাপন করা বাকি আছে। একটি ভার্চুয়াল মেশিন তৈরি করার সময়, আপনি এটিকে বুট ডিস্ক হিসাবে নির্বাচন করতে পারেন এবং শুরু করার পরে, একটি রেডিমেড গ্রাফানা ওয়েব সার্ভার পান।

ইনস্ট্যান্স গ্রুপ এবং ব্যালেন্সার

একবার একটি ডিস্ক চিত্র পাওয়া গেলে যা আপনাকে অনেকগুলি অভিন্ন গ্রাফানা ওয়েব সার্ভার তৈরি করতে দেয়, আমরা একটি উদাহরণ গ্রুপ তৈরি করতে পারি। Yandex.Cloud প্ল্যাটফর্মে, এই শব্দটি ভার্চুয়াল মেশিনগুলির মিলনকে বোঝায় যেগুলির একই বৈশিষ্ট্য রয়েছে। একটি ইনস্ট্যান্স গ্রুপ তৈরি করার সময়, এই গ্রুপের সমস্ত মেশিনের প্রোটোটাইপ কনফিগার করা হয় এবং তারপরে গ্রুপের বৈশিষ্ট্যগুলি (উদাহরণস্বরূপ, সক্রিয় মেশিনের সর্বনিম্ন এবং সর্বাধিক সংখ্যা)। যদি বর্তমান সংখ্যাটি এই মানদণ্ডটি পূরণ না করে, তাহলে ইনস্ট্যান্স গ্রুপ নিজেই অপ্রয়োজনীয় মেশিনগুলি সরিয়ে ফেলবে বা ইমেজ এবং সাদৃশ্যে নতুন তৈরি করবে।

আমাদের টাস্কের অংশ হিসেবে, আমরা ওয়েব সার্ভারের একটি ইনস্ট্যান্স গ্রুপ তৈরি করব যা পূর্বে তৈরি করা ডিস্ক ইমেজ থেকে তৈরি করা হবে।

শেষ উদাহরণ গ্রুপ সেটিং সত্যিই উল্লেখযোগ্য। লোড ব্যালেন্সারের সাথে একত্রিত লক্ষ্য গোষ্ঠীটি আপনাকে কয়েকটি বোতাম টিপে এই গ্রুপের ভার্চুয়াল মেশিনের উপরে একটি L3 ব্যালেন্সার সেট আপ করতে সহায়তা করবে।

ব্যালেন্সার সেট আপ করার সময়, আমি দুটি গুরুত্বপূর্ণ পয়েন্ট বাস্তবায়ন করেছি:

1. আমি এটি তৈরি করেছি যাতে ব্যালেন্সারটি পোর্ট 80-এ ব্যবহারকারীর ট্র্যাফিক গ্রহণ করে এবং এটিকে ভার্চুয়াল মেশিনের 3000 পোর্টে পুনঃনির্দেশিত করে, যেখানে Grafana বাস করে।
2. পোর্ট 3000 এ পিং করে মেশিনের স্বাস্থ্য পরীক্ষা সেট আপ করুন।

মিনি মোট

অবশেষে, আমরা ম্যানুয়ালি পছন্দসই অ্যাপ্লিকেশন পরিকাঠামো স্থাপন করতে সক্ষম হয়েছি, এবং এখন আমাদের কাছে একটি অত্যন্ত স্থিতিস্থাপক গ্রাফানা পরিষেবা রয়েছে। এটিতে ডেটাসেট লোড করার জন্য অ্যাপ্লিকেশনটির এন্ট্রি পয়েন্ট এবং ক্লিকহাউস ক্লাস্টারের হোস্ট হিসাবে ব্যালেন্সারের আইপি ঠিকানা জানতে হবে।

এটা কি বিজয় বলে মনে হবে? হ্যাঁ, বিজয়। কিন্তু কিছু এখনও আমাকে বিরক্ত করে. উপরের পুরো প্রক্রিয়াটির জন্য অনেকগুলি ম্যানুয়াল অ্যাকশন প্রয়োজন এবং এটি মোটেও স্কেল করে না, আমি সম্ভব হলে এটি স্বয়ংক্রিয় করতে চাই। এটি পরবর্তী বিভাগের ফোকাস হবে।

Terraform সঙ্গে ইন্টিগ্রেশন

আমরা আবার HashiCorp নামক একটি টুল ব্যবহার করব Terraform. এটি ব্যবহারকারীর দ্বারা পাস করা কয়েকটি ভেরিয়েবলের উপর ভিত্তি করে একটি বোতামের ক্লিকে সম্পূর্ণ অ্যাপ্লিকেশন পরিকাঠামো স্থাপন করতে সহায়তা করবে। আসুন একটি রেসিপি লিখি যা বিভিন্ন ব্যবহারকারীদের বিভিন্ন বিভাগে একাধিকবার চালানো যেতে পারে।

টেরাফর্মের সাথে সমস্ত কাজ একটি কনফিগারেশন ফাইল লিখতে নেমে আসে (*.tf) এবং এর উপর ভিত্তি করে অবকাঠামো তৈরি করা।

পরিবর্তনশীল

ফাইলের একেবারে শুরুতে, আমরা ভেরিয়েবলগুলি বের করব যা নির্ধারণ করে যে ভবিষ্যতে পরিকাঠামো কোথায় এবং কীভাবে স্থাপন করা হবে।

variable "oauth_token" {
    type = string
    default = "<oauth-token>"
}
variable "cloud_id" {
    type = string
    default = "<cloud-id>"
}
variable "folder_id" {
    type = string
    default = "<folder_id>"
}
variable "service_account_id" {
    type = string
    default = "<service_account_id>"
}
variable "image_id" {
    type = string
    default = "<image_id>"
}
variable "username" {
    type = string
    default = "<username>"
}
variable "password" {
    type = string
    default = "<password>"
}
variable "dbname" {
    type = string
    default = "<dbname>"
}
variable "public_key_path" {
    type = string
    default = "<path to ssh public key>"
}

একটি অ্যাপ্লিকেশন স্থাপনের পুরো প্রক্রিয়াটি একটি ডিস্ক ইমেজ তৈরি এবং এই ভেরিয়েবলগুলি সেট করার জন্য নেমে আসবে। আমাকে ব্যাখ্যা করা যাক তারা কি জন্য দায়ী:

oauth_token - ক্লাউডে অ্যাক্সেসের জন্য একটি টোকেন। দ্বারা পাওয়া যাবে লিংক.
ক্লাউড_আইডি - ক্লাউডের শনাক্তকারী যেখানে আমরা অ্যাপ্লিকেশনটি স্থাপন করব
ফোল্ডার_আইডি — যে বিভাগের শনাক্তকারী আমরা আবেদনটি স্থাপন করব
service_account_id — ক্লাউডের সংশ্লিষ্ট বিভাগে পরিষেবা অ্যাকাউন্টের শনাক্তকারী।
image_id - প্যাকার ব্যবহার করে প্রাপ্ত ডিস্ক চিত্রের সনাক্তকারী
ব্যবহারকারীর নাম и পাসওয়ার্ড - ডাটাবেস এবং Grafana ওয়েব সার্ভার উভয় অ্যাক্সেস করতে ব্যবহারকারীর নাম এবং পাসওয়ার্ড
dbname - CH এবং MySQL ক্লাস্টারের ভিতরে ডাটাবেসের নাম
সর্বজনীন_কী_পথ - আপনার সর্বজনীন ssh কী সহ ফাইলের পথ, যার মাধ্যমে আপনি নামের অধীনে সংযোগ করতে পারেন ubuntu ওয়েব সার্ভার সহ ভার্চুয়াল মেশিনে

প্রদানকারী সেটিং

এখন আপনাকে Terraform প্রদানকারী কনফিগার করতে হবে - আমাদের ক্ষেত্রে, Yandex:

provider "yandex" {
  token     = var.oauth_token
  cloud_id  = var.cloud_id
  folder_id = var.folder_id
  zone      = "ru-central1-a"
}

আপনি দেখতে পাচ্ছেন যে এখানে আমরা উপরে সংজ্ঞায়িত ভেরিয়েবল ব্যবহার করছি।

নেটওয়ার্ক এবং ক্লাস্টার

এখন আসুন একটি নেটওয়ার্ক তৈরি করি যেখানে আমাদের অবকাঠামোর উপাদান যোগাযোগ করবে, তিনটি সাবনেট (প্রতিটি অঞ্চলে একটি) এবং CH এবং MySQL ক্লাস্টার বাড়াবে।

resource "yandex_vpc_network" "grafana_network" {}

resource "yandex_vpc_subnet" "subnet_a" {
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.1.0.0/24"]
}

resource "yandex_vpc_subnet" "subnet_b" {
  zone           = "ru-central1-b"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.2.0.0/24"]
}

resource "yandex_vpc_subnet" "subnet_c" {
  zone           = "ru-central1-c"
  network_id     = yandex_vpc_network.grafana_network.id
  v4_cidr_blocks = ["10.3.0.0/24"]
}

resource "yandex_mdb_clickhouse_cluster" "ch_cluster" {
  name        = "grafana-clickhouse"
  environment = "PRODUCTION"
  network_id  = yandex_vpc_network.grafana_network.id

  clickhouse {
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = 16
    }
  }

  zookeeper {
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = 10
    }
  }

  database {
    name = var.dbname
  }

  user {
    name     = var.username
    password = var.password
    permission {
      database_name = var.dbname
    }
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }

  host {
    type      = "ZOOKEEPER"
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }
}

resource "yandex_mdb_mysql_cluster" "mysql_cluster" {
  name        = "grafana_mysql"
  environment = "PRODUCTION"
  network_id  = yandex_vpc_network.grafana_network.id
  version     = "8.0"

  resources {
    resource_preset_id = "s2.micro"
    disk_type_id       = "network-ssd"
    disk_size          = 16
  }

  database {
    name = var.dbname
  }

  user {
    name     = var.username
    password = var.password
    permission {
      database_name = var.dbname
      roles         = ["ALL"]
    }
  }

  host {
    zone      = "ru-central1-a"
    subnet_id = yandex_vpc_subnet.subnet_a.id
  }
  host {
    zone      = "ru-central1-b"
    subnet_id = yandex_vpc_subnet.subnet_b.id
  }
  host {
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.subnet_c.id
  }
}

আপনি দেখতে পাচ্ছেন, দুটি ক্লাস্টারের প্রতিটি তিনটি প্রাপ্যতা অঞ্চলে স্থাপন করে মোটামুটি ত্রুটি-সহনশীল হতে তৈরি করা হয়েছে।

ওয়েব সার্ভার

মনে হচ্ছে আপনি একই চেতনায় চালিয়ে যেতে পারেন, কিন্তু আমি অসুবিধায় পড়েছিলাম। তার আগে, আমি প্রথমে MySQL ক্লাস্টার উত্থাপন করেছি এবং শুধুমাত্র তার পরে, এর আইডি জেনে, আমি পছন্দসই কনফিগারেশন সহ একটি ডিস্ক চিত্র সংগ্রহ করেছি, যেখানে আমি ক্লাস্টারে হোস্ট নির্দিষ্ট করেছি। কিন্তু এখন আমরা টেরাফর্ম চালু করার আগে ক্লাস্টার আইডি জানি না, ছবি তৈরির সময় সহ। তাই আমি নিম্নলিখিত অবলম্বন ছিল কৌশল.

Amazon থেকে মেটাডেটা পরিষেবা ব্যবহার করে, আমরা ভার্চুয়াল মেশিনে কিছু পরামিতি পাস করব, যা এটি গ্রহণ করবে এবং প্রক্রিয়া করবে। ক্লাস্টারের MySQL হোস্ট এবং ব্যবহারকারীর নাম-পাসওয়ার্ডের জন্য মেটাডেটাতে যাওয়ার জন্য আমাদের মেশিনের প্রয়োজন যা ব্যবহারকারী শুরু করার পরে Terraform ফাইলে নির্দিষ্ট করেছে। ফাইলের বিষয়বস্তু সামান্য পরিবর্তন করুন setup.sh, যা ভার্চুয়াল মেশিন চালু হলে চলে।

setup.sh:

#!/bin/bash
CLUSTER_URI="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/mysql_cluster_uri)"
USERNAME="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/username)"
PASSWORD="$(curl -H 'Metadata-Flavor:Google' http://169.254.169.254/computeMetadata/v1/instance/attributes/password)"
sudo sed -i "s#.*;url =.*#url = mysql://${USERNAME}:${PASSWORD}@${CLUSTER_URI}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_user =.*#admin_user = ${USERNAME}#" /etc/grafana/grafana.ini
sudo sed -i "s#.*;admin_password =.*#admin_password = ${PASSWORD}#" /etc/grafana/grafana.ini
sudo service grafana-server restart

ইনট্যান্স গ্রুপ এবং ব্যালেন্সার

নতুন ডিস্ক ইমেজ পুনর্নির্মাণ করার পরে, আমরা অবশেষে Terraform এর জন্য আমাদের ফাইল যোগ করতে পারি।

আমরা নির্দেশ করি যে আমরা একটি বিদ্যমান ডিস্ক চিত্র ব্যবহার করতে চাই:

data "yandex_compute_image" "grafana_image" {
  image_id = var.image_id
}

এখন একটি উদাহরণ গ্রুপ তৈরি করা যাক:

resource "yandex_compute_instance_group" "grafana_group" {
  name               = "grafana-group"
  folder_id          = var.folder_id
  service_account_id = var.service_account_id
  instance_template {
    platform_id = "standard-v1"
    resources {
      memory = 1
      cores  = 1
    }
    boot_disk {
      mode = "READ_WRITE"
      initialize_params {
        image_id = data.yandex_compute_image.grafana_image.id
        size     = 4
      }
    }
    network_interface {
      network_id = yandex_vpc_network.grafana_network.id
      subnet_ids = [yandex_vpc_subnet.subnet_a.id, yandex_vpc_subnet.subnet_b.id, yandex_vpc_subnet.subnet_c.id]
      nat = "true"
    }
    metadata = {
      mysql_cluster_uri = "c-${yandex_mdb_mysql_cluster.mysql_cluster.id}.rw.mdb.yandexcloud.net:3306/${var.dbname}"
      username = var.username
      password = var.password
      ssh-keys = "ubuntu:${file("${var.public_key_path}")}"
    }
    network_settings {
      type = "STANDARD"
    }
  }

  scale_policy {
    fixed_scale {
      size = 6
    }
  }

  allocation_policy {
    zones = ["ru-central1-a", "ru-central1-b", "ru-central1-c"]
  }

  deploy_policy {
    max_unavailable = 2
    max_creating    = 2
    max_expansion   = 2
    max_deleting    = 2
  }

  load_balancer {
    target_group_name = "grafana-target-group"
  }
}

আমরা কিভাবে মেটাডেটা পাস করেছি সেদিকে মনোযোগ দেওয়া মূল্যবান cluster_uri, username и password. এটি তাদের ভার্চুয়াল মেশিন যা স্টার্টআপে এটি পাবে এবং গ্রাফানা কনফিগারে রাখবে।

এটা ব্যালেন্সার সম্পর্কে.

resource "yandex_lb_network_load_balancer" "grafana_balancer" {
  name = "grafana-balancer"

  listener {
    name = "grafana-listener"
    port = 80
    target_port = 3000
    external_address_spec {
      ip_version = "ipv4"
    }
  }

  attached_target_group {
    target_group_id = yandex_compute_instance_group.grafana_group.load_balancer.0.target_group_id

    healthcheck {
      name = "healthcheck"
      tcp_options {
        port = 3000
      }
    }
  }
}

সামান্য চিনি

খুব কম বাকি ছিল। পরিকাঠামো স্থাপনের পর, আপনাকে Grafana UI-এ যেতে হবে এবং ম্যানুয়ালি CH ক্লাস্টার (যার আইডি আপনাকে এখনও পেতে হবে) ডেটা উৎস হিসেবে যোগ করতে হবে। কিন্তু Terraform ক্লাস্টার আইডি জানে। ওকে কাজ শেষ করিয়ে দেই।

আসুন একটি নতুন প্রদানকারী যোগ করি - Grafana, এবং একটি হোস্ট হিসাবে ব্যালেন্সার আইপি স্লিপ করুন৷ টেরাফর্ম মেশিনে যে সমস্ত পরিবর্তনগুলি করে যেখানে তার ব্যালেন্সার নির্ধারণ করে MySQL-এ এবং সেইজন্য অন্যান্য সমস্ত মেশিনে বৃদ্ধি পাবে।

provider "grafana" {
  url  = "http://${[for s in yandex_lb_network_load_balancer.grafana_balancer.listener: s.external_address_spec.0.address].0}"
  auth = "${var.username}:${var.password}"
}

resource "grafana_data_source" "ch_data_source" {
  type          = "vertamedia-clickhouse-datasource"
  name          = "grafana"
  url           = "https://c-${yandex_mdb_clickhouse_cluster.ch_cluster.id}.rw.mdb.yandexcloud.net:8443"
  basic_auth_enabled = "true"
  basic_auth_username = var.username
  basic_auth_password = var.password
  is_default = "true"
  access_mode = "proxy"
}

চলুন চিরুনি

ব্যালেন্সার আইপি এবং ক্লিকহাউস ক্লাস্টার হোস্ট প্রদর্শন করুন

output "grafana_balancer_ip_address" {
  value = [for s in yandex_lb_network_load_balancer.grafana_balancer.listener: s.external_address_spec.0.address].0
}

output "clickhouse_cluster_host" {
  value = "https://c-${yandex_mdb_clickhouse_cluster.ch_cluster.id}.rw.mdb.yandexcloud.net:8443"
}

রান করতে পারেন

সমস্ত ! আমাদের কনফিগারেশন ফাইল প্রস্তুত এবং আমরা ভেরিয়েবল সেট করে টেরাফর্মকে বলতে পারি আমরা উপরে বর্ণিত সবকিছু বাড়াতে। পুরো প্রক্রিয়াটি আমার প্রায় 15 মিনিট সময় নেয়।
শেষে, আপনি একটি সুন্দর বার্তা দেখতে পারেন:

Apply complete! Resources: 9 added, 0 changed, 0 destroyed.
Outputs:

clickhouse_cluster_host = https://c-c9q14ipa2ngadqsbp2iq.rw.mdb.yandexcloud.net:8443
grafana_balancer_ip_address = 130.193.50.25

এবং মেঘে, উত্থাপিত অবকাঠামোর উপাদানগুলি দৃশ্যমান হবে:

আসুন পরিণাম সম্পর্কে ফলাফল

এখন, Grafana-এর উদাহরণ ব্যবহার করে, আপনারা প্রত্যেকেই Yandex.Cloud প্ল্যাটফর্মে বিস্তৃত ক্লাউড আর্কিটেকচার সহ অ্যাপ্লিকেশন স্থাপন করতে পারেন। HashiCorp থেকে দরকারী টুল যেমন Packer এবং Terraform আপনাকে এতে সাহায্য করতে পারে। আমি আশা করি এই নিবন্ধটি কারও কাজে লাগবে 🙂

পিএস নীচে আমি সংগ্রহস্থলের একটি লিঙ্ক সংযুক্ত করব, যেখানে আপনি প্যাকার এবং টেরাফর্মের জন্য তৈরি রেসিপিগুলি খুঁজে পেতে পারেন, যার টুকরোগুলি আমি এই নিবন্ধে উদ্ধৃত করেছি।

ভান্ডার

উত্স: www.habr.com