আমরা Yandex.Cloud এ 10টি ইভেন্ট গ্রহণ করি। অংশ 000

হ্যালো সবাই, বন্ধুরা!

* এই নিবন্ধটি REBRAIN এবং Yandex.Cloud খোলা ওয়ার্কশপের উপর ভিত্তি করে, আপনি যদি আরও ভিডিও দেখতে পছন্দ করেন তবে আপনি এটি এই লিঙ্কে খুঁজে পেতে পারেন - https://youtu.be/cZLezUm0ekE

সম্প্রতি, আমরা Yandex.Cloud লাইভ অনুভব করার সুযোগ পেয়েছি। যেহেতু আমরা দীর্ঘ সময়ের জন্য এবং শক্তভাবে অনুভব করতে চেয়েছিলাম, আমরা অবিলম্বে একটি ক্লাউড বেস সহ একটি সাধারণ ওয়ার্ডপ্রেস ব্লগ শুরু করার ধারণাটি ত্যাগ করেছি - এটি খুব বিরক্তিকর। কিছু আলোচনার পরে, আমরা কাছাকাছি রিয়েল টাইম মোডে ইভেন্টগুলি গ্রহণ এবং বিশ্লেষণ করার জন্য পরিষেবাটির উত্পাদন আর্কিটেকচারের মতো কিছু স্থাপন করার সিদ্ধান্ত নিয়েছি।

আমি সম্পূর্ণরূপে নিশ্চিত যে বেশিরভাগ অনলাইন (এবং শুধুমাত্র নয়) ব্যবসাগুলি তাদের ব্যবহারকারীদের এবং তাদের ক্রিয়াকলাপ সম্পর্কে এক বা অন্য উপায়ে তথ্যের পাহাড় সংগ্রহ করে। ন্যূনতম, নির্দিষ্ট সিদ্ধান্ত নেওয়ার জন্য এটি প্রয়োজনীয় - উদাহরণস্বরূপ, আপনি যদি একটি অনলাইন গেম পরিচালনা করেন - আপনি পরিসংখ্যান দেখতে পারেন কোন স্তরের ব্যবহারকারীরা আটকে যাওয়ার এবং আপনার খেলনাটি সরিয়ে ফেলতে পারে৷ অথবা কেন ব্যবহারকারীরা কিছু না কিনে আপনার সাইট ছেড়ে চলে যান (হ্যালো, Yandex.Metrica)।

সুতরাং, আমাদের গল্প: কীভাবে আমরা গোলাঙ্গে একটি অ্যাপ্লিকেশন লিখেছি, কাফকা বনাম র্যাবিটএমকিউ বনাম yqs পরীক্ষা করেছি, ক্লিকহাউস ক্লাস্টারে ডেটা স্ট্রিমিং লিখেছি এবং ইয়ানডেক্স ডেটালেন ব্যবহার করে ভিজ্যুয়ালাইজড ডেটা। স্বাভাবিকভাবেই, এই সবই ডকার, টেরাফর্ম, গিটল্যাব সিআই এবং অবশ্যই, প্রমিথিউসের আকারে অবকাঠামোগত আনন্দের সাথে পাকা হয়েছিল। চলো যাই!

আমি এখনই একটি রিজার্ভেশন করতে চাই যে আমরা এক বৈঠকে সবকিছু সেট আপ করতে সক্ষম হব না - এর জন্য আমাদের একটি সিরিজে বেশ কয়েকটি নিবন্ধ প্রয়োজন। গঠন সম্পর্কে একটু:

পার্ট 1 (আপনি এটি পড়ছেন)। আমরা রেফারেন্সের শর্তাবলী এবং সমাধানের আর্কিটেকচার সংজ্ঞায়িত করব, সেইসাথে গোলাঙ্গে একটি অ্যাপ্লিকেশন লিখব।
2 অংশ। আমরা আমাদের অ্যাপ্লিকেশনটি উত্পাদনে আপলোড করি, এটিকে মাপযোগ্য করে তুলি এবং লোড পরীক্ষা করি।
3 অংশ। আসুন আমরা কেন ফাইলগুলিতে নয়, বাফারে বার্তাগুলি সংরক্ষণ করতে হবে তা বোঝার চেষ্টা করি এবং একে অপরের সাথে kafka, rabbitmq এবং yandex কিউ পরিষেবার তুলনা করি।
4 অংশ। আমরা একটি ক্লিকহাউস ক্লাস্টার স্থাপন করব, সেখানে বাফার থেকে ডেটা স্থানান্তর করতে স্ট্রিমিং লিখব এবং ডেটালেন্সে ভিজ্যুয়ালাইজেশন সেট আপ করব।
5 অংশ। আসুন পুরো অবকাঠামোটিকে সঠিক আকারে নিয়ে আসি - গিটল্যাব সিআই ব্যবহার করে ci/cd সেট আপ করুন, প্রমিথিউস এবং কনসাল ব্যবহার করে মনিটরিং এবং পরিষেবা আবিষ্কার করুন।

টাকা

প্রথমে, আসুন রেফারেন্সের শর্তাবলী তৈরি করি - আমরা আউটপুটে ঠিক কী পেতে চাই।

1. আমরা Events.kis.im (kis.im হল একটি পরীক্ষামূলক ডোমেন যা আমরা নিবন্ধ জুড়ে ব্যবহার করব) এর মতো একটি এন্ডপয়েন্ট রাখতে চাই যা HTTPS ব্যবহার করে ইভেন্টগুলিকে গ্রহণ করবে।
2. ইভেন্টগুলি ফর্মের একটি সাধারণ json: {"event": "view", "os": "linux", "browser": "chrome"}। চূড়ান্ত পর্যায়ে, আমরা আরও কিছু ক্ষেত্র যোগ করব, তবে এটি একটি বড় ভূমিকা পালন করবে না। আপনি যদি চান, আপনি protobuf স্যুইচ করতে পারেন.
3. পরিষেবাটি প্রতি সেকেন্ডে 10 ইভেন্ট প্রক্রিয়া করতে সক্ষম হতে হবে।
4. আমাদের সমাধানে নতুন দৃষ্টান্ত যোগ করে অনুভূমিকভাবে স্কেল করা সম্ভব হওয়া উচিত। এবং এটি চমৎকার হবে যদি আমরা ক্লায়েন্ট অনুরোধের জন্য লেটেন্সি কমাতে সামনের অংশটিকে বিভিন্ন ভূ-অবস্থানে স্থানান্তর করতে পারি।
5. দোষ সহনশীলতা। সমাধানটি অবশ্যই যথেষ্ট স্থিতিশীল হতে হবে এবং কোনো অংশ পড়ে গেলে (অবশ্যই একটি নির্দিষ্ট পরিমাণ পর্যন্ত) বেঁচে থাকতে সক্ষম হবে।

স্থাপত্য

সাধারণভাবে, এই ধরনের কাজের জন্য, শাস্ত্রীয় স্থাপত্যগুলি দীর্ঘকাল ধরে উদ্ভাবিত হয়েছে যা দক্ষ স্কেলিং করার অনুমতি দেয়। চিত্রটি আমাদের সমাধানের একটি উদাহরণ দেখায়।

তাহলে কি আমরা আছি:

1. বামদিকে, আমাদের ডিভাইসগুলি দেখানো হয়েছে, যা বিভিন্ন ইভেন্ট তৈরি করে, তা কিনা স্মার্টফোনে খেলনায় খেলোয়াড়দের স্তর অতিক্রম করা বা নিয়মিত ব্রাউজারের মাধ্যমে একটি অনলাইন স্টোরে অর্ডার তৈরি করা। ইভেন্ট, TOR-তে উল্লেখ করা হয়েছে, একটি সাধারণ json যা আমাদের এন্ডপয়েন্ট - events.kis.im-এ পাঠানো হয়।

2. প্রথম দুটি সার্ভার হল সাধারণ ব্যালেন্সার, তাদের প্রধান কাজগুলি হল:

• ক্রমাগত পাওয়া যায়. এটি করার জন্য, আপনি ব্যবহার করতে পারেন, উদাহরণস্বরূপ, Keepalived, যা সমস্যার ক্ষেত্রে নোডগুলির মধ্যে ভার্চুয়াল আইপি স্যুইচ করবে।
• TLS বন্ধ করুন। হ্যাঁ, আমরা তাদের উপর TLS বন্ধ করে দেব। প্রথমত, যাতে আমাদের সমাধানটি TOR-এর সাথে সঙ্গতিপূর্ণ হয় এবং দ্বিতীয়ত, আমাদের ব্যাকএন্ড সার্ভারগুলি থেকে একটি এনক্রিপ্টেড সংযোগ স্থাপনের বোঝা সরানোর জন্য।
• উপলব্ধ ব্যাকএন্ড সার্ভারে ইনকামিং অনুরোধের ভারসাম্য। এখানে মূল শব্দটি অ্যাক্সেসযোগ্য। এর উপর ভিত্তি করে, আমরা বুঝতে পেরেছি যে লোড ব্যালেন্সাররা আমাদের সার্ভারগুলিকে অ্যাপ্লিকেশনগুলির সাথে নিরীক্ষণ করতে সক্ষম হওয়া উচিত এবং ব্যর্থ নোডগুলিতে ট্র্যাফিকের ভারসাম্য বন্ধ করা উচিত।

3. ব্যালেন্সারের পিছনে আমাদের অ্যাপ্লিকেশন সার্ভার রয়েছে যা একটি মোটামুটি সহজ অ্যাপ্লিকেশন চালায়। এটি HTTP এর মাধ্যমে আগত অনুরোধগুলি গ্রহণ করতে, প্রেরিত json যাচাই করতে এবং ডেটা বাফার করতে সক্ষম হওয়া উচিত।

4. চিত্রটি কাফকাকে একটি বাফার হিসাবে দেখায়, যদিও, অবশ্যই, এই স্তরে অন্যান্য অনুরূপ পরিষেবাগুলি ব্যবহার করা যেতে পারে। আমরা তৃতীয় নিবন্ধে Kafka, rabbitmq এবং yqs তুলনা করব।

5. আমাদের আর্কিটেকচারের শেষ বিন্দু হল ক্লিকহাউস - একটি কলামার ডাটাবেস যা আপনাকে বিপুল পরিমাণ ডেটা সঞ্চয় এবং প্রক্রিয়া করতে দেয়। এই স্তরে, আমাদেরকে বাফার থেকে ডেটা স্থানান্তর করতে হবে, প্রকৃতপক্ষে, স্টোরেজ সিস্টেমে (এ বিষয়ে আরও নিবন্ধ 4 এ)।

এই স্কিমটি আমাদের প্রতিটি স্তরকে স্বাধীনভাবে অনুভূমিকভাবে স্কেল করতে দেয়। ব্যাকএন্ড সার্ভারগুলি মোকাবেলা করতে পারে না - আসুন আরও যোগ করি - কারণ তারা স্টেটলেস অ্যাপ্লিকেশন, এবং তাই, এটি অন্তত স্বয়ংক্রিয়ভাবে করা যেতে পারে। কাফকার আকারে বাফার টানে না - আসুন আরও সার্ভার যুক্ত করি এবং আমাদের বিষয়ের পার্টিশনের অংশ তাদের কাছে স্থানান্তর করি। ক্লিকহাউস মোকাবেলা করতে পারে না - এটা অসম্ভব 🙂 আসলে, আমরা সার্ভারগুলিকে ডক করব এবং ডেটা শার্ড করব৷

যাইহোক, আপনি যদি আমাদের প্রযুক্তিগত কাজের একটি ঐচ্ছিক অংশ বাস্তবায়ন করতে চান এবং বিভিন্ন ভূ-অবস্থানে স্কেল করতে চান, তাহলে সহজ কিছু নেই:

প্রতিটি ভূ-অবস্থানে, আমরা অ্যাপ্লিকেশন এবং কাফকা সহ একটি লোড ব্যালেন্সার স্থাপন করি। সাধারণভাবে, 2টি অ্যাপ্লিকেশন সার্ভার, 3টি কাফকা নোড এবং একটি ক্লাউড ব্যালেন্সার, যেমন ক্লাউডফ্লেয়ার, যথেষ্ট, যা ক্লায়েন্টের উত্স আইপি ঠিকানার উপর ভিত্তি করে জিওলোকেশনের মাধ্যমে অ্যাপ্লিকেশন নোডগুলির উপলব্ধতা এবং ব্যালেন্স অনুরোধগুলি পরীক্ষা করবে৷ এইভাবে মার্কিন ক্লায়েন্ট দ্বারা পাঠানো ডেটা মার্কিন সার্ভারে অবতরণ করবে। এবং আফ্রিকা থেকে তথ্য আফ্রিকান.

তারপরে সবকিছু বেশ সহজ - আমরা কাফকা সেট থেকে মিরর টুল ব্যবহার করি এবং রাশিয়ায় অবস্থিত আমাদের কেন্দ্রীয় ডেটা সেন্টারে সমস্ত অবস্থান থেকে সমস্ত ডেটা অনুলিপি করি। ভিতরে, আমরা ডেটা পার্স করি এবং পরবর্তী ভিজ্যুয়ালাইজেশনের জন্য ক্লিকহাউসে লিখি।

সুতরাং, আমরা আর্কিটেকচার খুঁজে বের করেছি - আমরা Yandex.Cloud কাঁপতে শুরু করি!

একটি আবেদন লেখা

ক্লাউডের আগে, আপনাকে এখনও একটু ধৈর্য ধরতে হবে এবং ইনকামিং ইভেন্টগুলি প্রক্রিয়া করার জন্য একটি মোটামুটি সহজ পরিষেবা লিখতে হবে। আমরা গোলং ব্যবহার করব, কারণ এটি নেটওয়ার্ক অ্যাপ্লিকেশন লেখার জন্য একটি ভাষা হিসাবে নিজেকে খুব ভালভাবে প্রমাণ করেছে।

এক ঘন্টা সময় কাটানোর পরে (সম্ভবত কয়েক ঘন্টা), আমরা এরকম কিছু পাই: https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/main.go.

এখানে উল্লেখ করা প্রধান পয়েন্ট কি কি:

1. অ্যাপ্লিকেশন শুরু করার সময়, আপনি দুটি পতাকা নির্দিষ্ট করতে পারেন। একজন পোর্টের জন্য দায়ী যেখানে আমরা ইনকামিং http অনুরোধগুলি শুনব (-addr)। দ্বিতীয়টি হল কাফকা সার্ভারের ঠিকানার জন্য যেখানে আমরা আমাদের ঘটনাগুলি লিখব (-কাফকা):

addr     = flag.String("addr", ":8080", "TCP address to listen to")
kafka    = flag.String("kafka", "127.0.0.1:9092", "Kafka endpoints”)

2. অ্যাপ্লিকেশনটি সরমা লাইব্রেরি ব্যবহার করে ([] github.com/Shopify/sarama) কাফকা ক্লাস্টারে বার্তা পাঠাতে। আমরা অবিলম্বে সর্বাধিক প্রক্রিয়াকরণ গতিতে ফোকাস করে সেটিংস সেট করি:

config := sarama.NewConfig()
config.Producer.RequiredAcks = sarama.WaitForLocal
config.Producer.Compression = sarama.CompressionSnappy
config.Producer.Return.Successes = true

3. এছাড়াও, প্রমিথিউস ক্লায়েন্ট আমাদের অ্যাপ্লিকেশনে তৈরি করা হয়েছে, যা বিভিন্ন মেট্রিক্স সংগ্রহ করে, যেমন:

• আমাদের আবেদনের অনুরোধের সংখ্যা;
• অনুরোধটি কার্যকর করার সময় ত্রুটির সংখ্যা (পোস্টের অনুরোধটি পড়া অসম্ভব, জেসন ভাঙা, কাফকাকে লেখা অসম্ভব);
• কাফকাকে বার্তা লেখার সময় সহ ক্লায়েন্টের একটি অনুরোধের প্রক্রিয়াকরণের সময়।

4. তিনটি শেষ পয়েন্ট যা আমাদের আবেদন প্রক্রিয়া করে:

• /স্থিতি - আমরা বেঁচে আছি তা দেখানোর জন্য ঠিক আছে। যদিও আপনি কিছু চেক যোগ করতে পারেন, যেমন একটি কাফকা ক্লাস্টারের উপলব্ধতা।
• /metrics — এই url ব্যবহার করে, prometheus ক্লায়েন্ট তার সংগ্রহ করা মেট্রিক্স ফেরত দেবে।
• /post - প্রধান শেষ পয়েন্ট যেখানে json এর ভিতরে POST অনুরোধ আসবে। আমাদের অ্যাপ্লিকেশনটি বৈধতার জন্য json চেক করে এবং সবকিছু ঠিক থাকলে, এটি কাফকা ক্লাস্টারে ডেটা লিখে।

আমি একটি রিজার্ভেশন করব যে কোডটি নিখুঁত নয় - এটি শেষ হতে পারে (এবং উচিত!) উদাহরণস্বরূপ, আপনি বিল্ট-ইন নেট/http ব্যবহার করা বন্ধ করতে পারেন এবং দ্রুত দ্রুত HTTP-তে স্যুইচ করতে পারেন। অথবা json ভ্যালিডিটি চেককে পরবর্তী পর্যায়ে নিয়ে গিয়ে প্রক্রিয়াকরণের সময় এবং সিপিইউ রিসোর্স জিতুন - যখন ডেটা বাফার থেকে ক্লিকহাউস ক্লাস্টারে স্থানান্তরিত হবে।

ইস্যুটির উন্নয়নের দিক ছাড়াও, আমরা অবিলম্বে আমাদের ভবিষ্যত অবকাঠামো সম্পর্কে চিন্তা করেছি এবং ডকারের মাধ্যমে আমাদের অ্যাপ্লিকেশন স্থাপন করার সিদ্ধান্ত নিয়েছি। অ্যাপ্লিকেশন তৈরির জন্য চূড়ান্ত ডকারফাইল হল - https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/Dockerfile. সাধারণভাবে, এটি বেশ সহজ, একমাত্র পয়েন্ট যা আমি মনোযোগ দিতে চাই তা হল মাল্টিস্টেজ সমাবেশ, যা আমাদের ধারকটির চূড়ান্ত চিত্রকে কমাতে দেয়।

মেঘের প্রথম ধাপ

প্রথমত, নিবন্ধন করুন cloud.yandex.ru. সমস্ত প্রয়োজনীয় ক্ষেত্রগুলি পূরণ করার পরে, আমাদের জন্য একটি অ্যাকাউন্ট তৈরি করা হবে এবং একটি নির্দিষ্ট পরিমাণ অর্থের জন্য একটি অনুদান জারি করা হবে যা ক্লাউড পরিষেবাগুলি পরীক্ষা করতে ব্যবহার করা যেতে পারে। আপনি যদি আমাদের নিবন্ধ থেকে সমস্ত পদক্ষেপ পুনরাবৃত্তি করতে চান, এই অনুদান আপনার জন্য যথেষ্ট হওয়া উচিত।

রেজিস্ট্রেশনের পরে, আপনার জন্য একটি পৃথক ক্লাউড এবং একটি ডিফল্ট ডিরেক্টরি তৈরি করা হবে, যেখানে আপনি ক্লাউড সংস্থান তৈরি করা শুরু করতে পারেন। সাধারণভাবে, Yandex.Cloud-এ, সম্পদের সম্পর্ক এইরকম দেখায়:

আপনি প্রতি অ্যাকাউন্টে একাধিক ক্লাউড তৈরি করতে পারেন। এবং ক্লাউডের ভিতরে, কোম্পানির বিভিন্ন প্রকল্পের জন্য বিভিন্ন ডিরেক্টরি তৈরি করুন। আপনি ডকুমেন্টেশনে এই সম্পর্কে আরও পড়তে পারেন - https://cloud.yandex.ru/docs/resource-manager/concepts/resources-hierarchy. যাইহোক, পাঠ্যের নীচে আমি প্রায়শই এটি উল্লেখ করব। যখন আমি স্ক্র্যাচ থেকে সম্পূর্ণ অবকাঠামো সেট আপ করি, ডকুমেন্টেশন আমাকে একাধিকবার সাহায্য করেছিল, তাই আমি আপনাকে এটি অধ্যয়ন করার পরামর্শ দিই।

ক্লাউড পরিচালনা করতে, আপনি ওয়েব ইন্টারফেস এবং কনসোল ইউটিলিটি - yc উভয়ই ব্যবহার করতে পারেন। ইনস্টলেশন একটি কমান্ড দিয়ে সঞ্চালিত হয় (লিনাক্স এবং ম্যাক ওএসের জন্য):

curl https://storage.yandexcloud.net/yandexcloud-yc/install.sh | bash

যদি আপনার অভ্যন্তরীণ নিরাপত্তা ইন্টারনেট থেকে স্ক্রিপ্ট চালানোর বিষয়ে রাগান্বিত হয়, তাহলে, প্রথমত, আপনি স্ক্রিপ্টটি খুলতে এবং এটি পড়তে পারেন, এবং দ্বিতীয়ত, আমরা এটি আমাদের ব্যবহারকারীর অধীনে চালাই - রুট অধিকার ছাড়াই।

আপনি যদি উইন্ডোজের জন্য একটি ক্লায়েন্ট ইনস্টল করতে চান তবে আপনি নির্দেশাবলী ব্যবহার করতে পারেন এখানে এবং তারপর চালানো yc initএটি সম্পূর্ণরূপে কাস্টমাইজ করতে:

vozerov@mba:~ $ yc init
Welcome! This command will take you through the configuration process.
Please go to https://oauth.yandex.ru/authorize?response_type=token&client_id= in order to obtain OAuth token.

Please enter OAuth token:
Please select cloud to use:
 [1] cloud-b1gv67ihgfu3bp (id = b1gv67ihgfu3bpt24o0q)
 [2] fevlake-cloud (id = b1g6bvup3toribomnh30)
Please enter your numeric choice: 2
Your current cloud has been set to 'fevlake-cloud' (id = b1g6bvup3toribomnh30).
Please choose folder to use:
 [1] default (id = b1g5r6h11knotfr8vjp7)
 [2] Create a new folder
Please enter your numeric choice: 1
Your current folder has been set to 'default' (id = b1g5r6h11knotfr8vjp7).
Do you want to configure a default Compute zone? [Y/n]
Which zone do you want to use as a profile default?
 [1] ru-central1-a
 [2] ru-central1-b
 [3] ru-central1-c
 [4] Don't set default zone
Please enter your numeric choice: 1
Your profile default Compute zone has been set to 'ru-central1-a'.
vozerov@mba:~ $

নীতিগতভাবে, প্রক্রিয়াটি সহজ - প্রথমে আপনাকে ক্লাউড পরিচালনা করার জন্য একটি ওউথ টোকেন পেতে হবে, ক্লাউড এবং আপনি যে ফোল্ডারটি ব্যবহার করবেন সেটি নির্বাচন করুন।

আপনার যদি একই ক্লাউডের মধ্যে একাধিক অ্যাকাউন্ট বা ফোল্ডার থাকে তবে আপনি yc কনফিগারেশন প্রোফাইল তৈরির মাধ্যমে আলাদা সেটিংস সহ অতিরিক্ত প্রোফাইল তৈরি করতে পারেন এবং তাদের মধ্যে স্যুইচ করতে পারেন।

উপরের পদ্ধতিগুলি ছাড়াও, Yandex.Cloud টিম একটি খুব ভাল লিখেছেন টেরাফর্মের জন্য প্লাগইন ক্লাউড সংস্থান পরিচালনা করতে। আমার অংশের জন্য, আমি একটি গিট সংগ্রহস্থল প্রস্তুত করেছি, যেখানে আমি নিবন্ধের অংশ হিসাবে তৈরি করা সমস্ত সংস্থান বর্ণনা করেছি - https://github.com/rebrainme/yandex-cloud-events/. আমরা মাস্টার শাখায় আগ্রহী, আসুন এটি স্থানীয়ভাবে ক্লোন করি:

vozerov@mba:~ $ git clone https://github.com/rebrainme/yandex-cloud-events/ events
Cloning into 'events'...
remote: Enumerating objects: 100, done.
remote: Counting objects: 100% (100/100), done.
remote: Compressing objects: 100% (68/68), done.
remote: Total 100 (delta 37), reused 89 (delta 26), pack-reused 0
Receiving objects: 100% (100/100), 25.65 KiB | 168.00 KiB/s, done.
Resolving deltas: 100% (37/37), done.
vozerov@mba:~ $ cd events/terraform/

টেরাফর্মে ব্যবহৃত সমস্ত প্রধান ভেরিয়েবল main.tf ফাইলে নিবন্ধিত। শুরু করার জন্য, নিম্নলিখিত বিষয়বস্তু সহ terraform ফোল্ডারে একটি private.auto.tfvars ফাইল তৈরি করুন:

# Yandex Cloud Oauth token
yc_token = ""
# Yandex Cloud ID
yc_cloud_id = ""
# Yandex Cloud folder ID
yc_folder_id = ""
# Default Yandex Cloud Region
yc_region = "ru-central1-a"
# Cloudflare email
cf_email = ""
# Cloudflare token
cf_token = ""
# Cloudflare zone id
cf_zone_id = ""

সমস্ত ভেরিয়েবল yc কনফিগার তালিকা থেকে নেওয়া যেতে পারে, যেহেতু আমরা ইতিমধ্যে কনসোল ইউটিলিটি কনফিগার করেছি। আমি আপনাকে অবিলম্বে .gitignore-এ private.auto.tfvars যোগ করার পরামর্শ দিচ্ছি যাতে অসাবধানতাবশত ব্যক্তিগত তথ্য প্রকাশ না হয়।

Private.auto.tfvars-এ, আমরা ক্লাউডফ্লেয়ার থেকে ডেটাও নির্দিষ্ট করেছি - ডিএনএস রেকর্ড তৈরি করতে এবং আমাদের সার্ভারে প্রধান events.kis.im ডোমেন প্রক্সি করতে। আপনি যদি ক্লাউডফ্লেয়ার ব্যবহার করতে না চান, তাহলে main.tf এবং dns.tf ফাইলে ক্লাউডফ্লেয়ার প্রদানকারীর প্রারম্ভিকতা সরিয়ে দিন, যা প্রয়োজনীয় dns রেকর্ড তৈরির জন্য দায়ী।

আমাদের কাজে, আমরা তিনটি পদ্ধতি একত্রিত করব - ওয়েব ইন্টারফেস, কনসোল ইউটিলিটি এবং টেরাফর্ম।

ভার্চুয়াল নেটওয়ার্ক

সত্যি কথা বলতে, এই পদক্ষেপটি এড়িয়ে যাওয়া যেতে পারে, কারণ আপনি যখন একটি নতুন ক্লাউড তৈরি করবেন, আপনি স্বয়ংক্রিয়ভাবে একটি পৃথক নেটওয়ার্ক এবং 3টি সাবনেট তৈরি করবেন - প্রতিটি প্রাপ্যতা অঞ্চলের জন্য একটি। কিন্তু তবুও আমি আমাদের প্রকল্পের জন্য নিজস্ব ঠিকানা সহ একটি পৃথক নেটওয়ার্ক তৈরি করতে চাই। Yandex.Cloud-এ নেটওয়ার্কের সাধারণ স্কিম নীচের চিত্রে দেখানো হয়েছে (সততার সাথে নেওয়া হয়েছে https://cloud.yandex.ru/docs/vpc/concepts/)

সুতরাং, আপনি একটি সাধারণ নেটওয়ার্ক তৈরি করেন যার মধ্যে সংস্থান একে অপরের সাথে যোগাযোগ করতে পারে। প্রতিটি প্রাপ্যতা অঞ্চলের জন্য, একটি সাবনেট তার নিজস্ব ঠিকানা দিয়ে তৈরি করা হয় এবং একটি সাধারণ নেটওয়ার্কের সাথে সংযুক্ত থাকে। ফলস্বরূপ, এটিতে থাকা সমস্ত ক্লাউড সংস্থান যোগাযোগ করতে পারে, এমনকি বিভিন্ন প্রাপ্যতা অঞ্চলেও। বিভিন্ন ক্লাউড নেটওয়ার্কের সাথে সংযুক্ত সম্পদ শুধুমাত্র বহিরাগত ঠিকানার মাধ্যমে একে অপরকে দেখতে পারে। যাইহোক, এই জাদু ভিতরে কিভাবে কাজ করে, এটি হ্যাব্রেতে ভালভাবে বর্ণনা করা হয়েছিল.

নেটওয়ার্ক তৈরির বর্ণনা আছে নেটওয়ার্ক.টিএফ ফাইল থেকে সংগ্রহস্থল থেকে। সেখানে আমরা একটি সাধারণ প্রাইভেট নেটওয়ার্ক অভ্যন্তরীণ তৈরি করি এবং বিভিন্ন প্রাপ্যতা অঞ্চলে তিনটি সাবনেট সংযুক্ত করি - অভ্যন্তরীণ-এ (172.16.1.0/24), অভ্যন্তরীণ-বি (172.16.2.0/24), অভ্যন্তরীণ-সি (172.16.3.0/24) )

টেরাফর্ম শুরু করুন এবং নেটওয়ার্ক তৈরি করুন:

vozerov@mba:~/events/terraform (master) $ terraform init
... skipped ..

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_vpc_subnet.internal-a -target yandex_vpc_subnet.internal-b -target yandex_vpc_subnet.internal-c

... skipped ...

Plan: 4 to add, 0 to change, 0 to destroy.

Do you want to perform these actions?
  Terraform will perform the actions described above.
  Only 'yes' will be accepted to approve.

  Enter a value: yes

yandex_vpc_network.internal: Creating...
yandex_vpc_network.internal: Creation complete after 3s [id=enp2g2rhile7gbqlbrkr]
yandex_vpc_subnet.internal-a: Creating...
yandex_vpc_subnet.internal-b: Creating...
yandex_vpc_subnet.internal-c: Creating...
yandex_vpc_subnet.internal-a: Creation complete after 6s [id=e9b1dad6mgoj2v4funog]
yandex_vpc_subnet.internal-b: Creation complete after 7s [id=e2liv5i4amu52p64ac9p]
yandex_vpc_subnet.internal-c: Still creating... [10s elapsed]
yandex_vpc_subnet.internal-c: Creation complete after 10s [id=b0c2qhsj2vranoc9vhcq]

Apply complete! Resources: 4 added, 0 changed, 0 destroyed.

দারুণ! আমরা আমাদের নেটওয়ার্ক তৈরি করেছি এবং এখন আমাদের অভ্যন্তরীণ পরিষেবা তৈরি করতে প্রস্তুত।

ভার্চুয়াল মেশিন তৈরি করুন

অ্যাপ্লিকেশনটি পরীক্ষা করার জন্য, দুটি ভার্চুয়াল মেশিন তৈরি করা আমাদের পক্ষে যথেষ্ট হবে - অ্যাপ্লিকেশনটি তৈরি এবং চালানোর জন্য আমাদের প্রথমটির প্রয়োজন, দ্বিতীয়টি - কাফকা চালানোর জন্য, যা আমরা আগত বার্তাগুলি সংরক্ষণ করতে ব্যবহার করব৷ এবং আমরা আরেকটি মেশিন তৈরি করব যেখানে আমরা অ্যাপ্লিকেশন নিরীক্ষণের জন্য প্রমিথিউস সেট আপ করব।

ভার্চুয়াল মেশিনগুলি এনসিবল ব্যবহার করে কনফিগার করা হবে, তাই টেরাফর্ম চালানোর আগে নিশ্চিত হয়ে নিন যে আপনার কাছে অ্যানসিবলের সর্বশেষ সংস্করণগুলির একটি আছে। এবং উত্তরযোগ্য গ্যালাক্সির সাথে প্রয়োজনীয় ভূমিকাগুলি ইনস্টল করুন:

vozerov@mba:~/events/terraform (master) $ cd ../ansible/
vozerov@mba:~/events/ansible (master) $ ansible-galaxy install -r requirements.yml
- cloudalchemy-prometheus (master) is already installed, skipping.
- cloudalchemy-grafana (master) is already installed, skipping.
- sansible.kafka (master) is already installed, skipping.
- sansible.zookeeper (master) is already installed, skipping.
- geerlingguy.docker (master) is already installed, skipping.
vozerov@mba:~/events/ansible (master) $

উত্তরযোগ্য ফোল্ডারের ভিতরে একটি উদাহরণ .ansible.cfg কনফিগারেশন ফাইল রয়েছে যা আমি ব্যবহার করি। সম্ভবত দরকারী.

ভার্চুয়াল মেশিন তৈরি করার আগে, নিশ্চিত করুন যে আপনার ssh-এজেন্ট চলছে এবং ssh কী যোগ করা আছে, অন্যথায় টেরাফর্ম তৈরি মেশিনের সাথে সংযোগ করতে সক্ষম হবে না। আমি, অবশ্যই, os x এ একটি বাগ পেয়েছি: https://github.com/ansible/ansible/issues/32499#issuecomment-341578864. এই ধরনের গল্পের পুনরাবৃত্তি রোধ করতে, Terraform শুরু করার আগে env-এ একটি ছোট ভেরিয়েবল যোগ করুন:

vozerov@mba:~/events/terraform (master) $ export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

টেরাফর্ম সহ ফোল্ডারে আমরা প্রয়োজনীয় সংস্থান তৈরি করি:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_compute_instance.build -target yandex_compute_instance.monitoring -target yandex_compute_instance.kafka
yandex_vpc_network.internal: Refreshing state... [id=enp2g2rhile7gbqlbrkr]
data.yandex_compute_image.ubuntu_image: Refreshing state...
yandex_vpc_subnet.internal-a: Refreshing state... [id=e9b1dad6mgoj2v4funog]

An execution plan has been generated and is shown below.
Resource actions are indicated with the following symbols:
  + create

... skipped ...

Plan: 3 to add, 0 to change, 0 to destroy.

... skipped ...

যদি সবকিছু সফলভাবে শেষ হয় (যেমনটি করা উচিত), তাহলে আমাদের তিনটি ভার্চুয়াল মেশিন থাকবে:

1. বিল্ড - একটি অ্যাপ্লিকেশন পরীক্ষা এবং নির্মাণের জন্য একটি মেশিন। ডকার স্বয়ংক্রিয়ভাবে উত্তরযোগ্য দ্বারা ইনস্টল করা হয়েছিল।
2. মনিটরিং - মনিটরিং মেশিন - প্রমিথিউস এবং গ্রাফানা ইনস্টল করা আছে। লগইন / পাসওয়ার্ড স্ট্যান্ডার্ড: অ্যাডমিন / অ্যাডমিন
3. কাফকা একটি ছোট মেশিন যেখানে কাফকা ইনস্টল করা আছে, পোর্ট 9092 এ উপলব্ধ।

আসুন নিশ্চিত করি যে তারা সব জায়গায় আছে:

vozerov@mba:~/events (master) $ yc compute instance list
+----------------------+------------+---------------+---------+---------------+-------------+
|          ID          |    NAME    |    ZONE ID    | STATUS  |  EXTERNAL IP  | INTERNAL IP |
+----------------------+------------+---------------+---------+---------------+-------------+
| fhm081u8bkbqf1pa5kgj | monitoring | ru-central1-a | RUNNING | 84.201.159.71 | 172.16.1.35 |
| fhmf37k03oobgu9jmd7p | kafka      | ru-central1-a | RUNNING | 84.201.173.41 | 172.16.1.31 |
| fhmt9pl1i8sf7ga6flgp | build      | ru-central1-a | RUNNING | 84.201.132.3  | 172.16.1.26 |
+----------------------+------------+---------------+---------+---------------+-------------+

সংস্থানগুলি জায়গায় রয়েছে এবং এখান থেকে আমরা তাদের আইপি-ঠিকানাগুলি বের করতে পারি। নীচের সব জায়গায়, আমি ssh এর মাধ্যমে সংযোগ করতে এবং অ্যাপ্লিকেশন পরীক্ষা করতে ip-ঠিকানা ব্যবহার করব। আপনার যদি টেরাফর্মের সাথে সংযুক্ত একটি ক্লাউডফ্লেয়ার অ্যাকাউন্ট থাকে, তাজা তৈরি করা DNS নামগুলি ব্যবহার করতে দ্বিধা বোধ করুন৷
যাইহোক, একটি ভার্চুয়াল মেশিন তৈরি করার সময়, একটি অভ্যন্তরীণ আইপি এবং একটি অভ্যন্তরীণ DNS নাম জারি করা হয়, যাতে আপনি নামের দ্বারা নেটওয়ার্কের মধ্যে সার্ভারগুলি অ্যাক্সেস করতে পারেন:

ubuntu@build:~$ ping kafka.ru-central1.internal
PING kafka.ru-central1.internal (172.16.1.31) 56(84) bytes of data.
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=1 ttl=63 time=1.23 ms
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=2 ttl=63 time=0.625 ms
^C
--- kafka.ru-central1.internal ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.625/0.931/1.238/0.308 ms

অ্যাপ্লিকেশনটির জন্য kafk-এর সাথে শেষ বিন্দু নির্দিষ্ট করতে এটি আমাদের জন্য উপযোগী।

আবেদন একসঙ্গে নির্বাণ

দুর্দান্ত, সার্ভার রয়েছে, একটি অ্যাপ্লিকেশন রয়েছে - এটি কেবল সংগ্রহ এবং প্রকাশ করার জন্যই রয়ে গেছে। সমাবেশের জন্য, আমরা সাধারণ ডকার বিল্ড ব্যবহার করব, তবে একটি চিত্র সংগ্রহস্থল হিসাবে, আমরা ইয়ানডেক্স - কন্টেইনার রেজিস্ট্রি থেকে একটি পরিষেবা নেব। কিন্তু প্রথম জিনিস প্রথম.

আমরা বিল্ড মেশিনে অ্যাপ্লিকেশনটি অনুলিপি করি, ssh এর মাধ্যমে যান এবং চিত্রটি তৈরি করি:

vozerov@mba:~/events/terraform (master) $ cd ..
vozerov@mba:~/events (master) $ rsync -av app/ [email protected]:app/

... skipped ...

sent 3849 bytes  received 70 bytes  7838.00 bytes/sec
total size is 3644  speedup is 0.93

vozerov@mba:~/events (master) $ ssh 84.201.132.3 -l ubuntu
ubuntu@build:~$ cd app
ubuntu@build:~/app$ sudo docker build -t app .
Sending build context to Docker daemon  6.144kB
Step 1/9 : FROM golang:latest AS build
... skipped ...

Successfully built 9760afd8ef65
Successfully tagged app:latest

অর্ধেক কাজ হয়ে গেছে - এখন আমরা আমাদের অ্যাপ্লিকেশনটির কার্যক্ষমতা পরীক্ষা করতে পারি এটি চালিয়ে এবং কাফকার দিকে নির্দেশ করে:

ubuntu@build:~/app$ sudo docker run --name app -d -p 8080:8080 app /app/app -kafka=kafka.ru-central1.internal:9092</code>

С локальной машинки можно отправить тестовый event и посмотреть на ответ:

<code>vozerov@mba:~/events (master) $ curl -D - -s -X POST -d '{"key1":"data1"}' http://84.201.132.3:8080/post
HTTP/1.1 200 OK
Content-Type: application/json
Date: Mon, 13 Apr 2020 13:53:54 GMT
Content-Length: 41

{"status":"ok","partition":0,"Offset":0}
vozerov@mba:~/events (master) $

অ্যাপ্লিকেশনটি একটি লিখিত সাফল্য এবং পার্টিশনের আইডি এবং বার্তাটি যে অফসেটে পড়েছে তার একটি ইঙ্গিত দিয়ে প্রতিক্রিয়া জানিয়েছে। Yandex.Cloud-এ একটি রেজিস্ট্রি তৈরি করা এবং সেখানে আমাদের ছবি আপলোড করা (কীভাবে তিনটি লাইন ব্যবহার করে এটি করা যায় তা registry.tf ফাইলে বর্ণনা করা হয়েছে) বাকি আছে। স্টোরেজ তৈরি করুন:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_container_registry.events

... skipped ...

Plan: 1 to add, 0 to change, 0 to destroy.

... skipped ...

Apply complete! Resources: 1 added, 0 changed, 0 destroyed.

কন্টেইনার রেজিস্ট্রিতে প্রমাণীকরণের বিভিন্ন উপায় রয়েছে - একটি ওউথ টোকেন, একটি iam টোকেন, বা একটি পরিষেবা অ্যাকাউন্ট কী ব্যবহার করে৷ এই পদ্ধতিগুলি সম্পর্কে আরও বিশদ ডকুমেন্টেশনে পাওয়া যাবে। https://cloud.yandex.ru/docs/container-registry/operations/authentication. আমরা পরিষেবা অ্যাকাউন্ট কী ব্যবহার করব, তাই আমরা একটি অ্যাকাউন্ট তৈরি করব:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_iam_service_account.docker -target yandex_resourcemanager_folder_iam_binding.puller -target yandex_resourcemanager_folder_iam_binding.pusher

... skipped ...

Apply complete! Resources: 3 added, 0 changed, 0 destroyed.

এখন এটির জন্য একটি কী তৈরি করা বাকি আছে:

vozerov@mba:~/events/terraform (master) $ yc iam key create --service-account-name docker -o key.json
id: ajej8a06kdfbehbrh91p
service_account_id: ajep6d38k895srp9osij
created_at: "2020-04-13T14:00:30Z"
key_algorithm: RSA_2048

আমরা আমাদের স্টোরেজ আইডি সম্পর্কে তথ্য পাই, কী স্থানান্তর করি এবং লগ ইন করি:

vozerov@mba:~/events/terraform (master) $ scp key.json [email protected]:
key.json                                                                                                                    100% 2392   215.1KB/s   00:00

vozerov@mba:~/events/terraform (master) $ ssh 84.201.132.3 -l ubuntu

ubuntu@build:~$ cat key.json | sudo docker login --username json_key --password-stdin cr.yandex
WARNING! Your password will be stored unencrypted in /home/ubuntu/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
ubuntu@build:~$

রেজিস্ট্রিতে ছবিটি আপলোড করতে, আমাদের কন্টেইনার রেজিস্ট্রি আইডি প্রয়োজন, আমরা এটি yc ইউটিলিটি থেকে নিই:

vozerov@mba:~ $ yc container registry get events
id: crpdgj6c9umdhgaqjfmm
folder_id:
name: events
status: ACTIVE
created_at: "2020-04-13T13:56:41.914Z"

এর পরে, আমরা আমাদের ছবিটিকে একটি নতুন নাম দিয়ে ট্যাগ করি এবং এটি লোড করি:

ubuntu@build:~$ sudo docker tag app cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
ubuntu@build:~$ sudo docker push cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
The push refers to repository [cr.yandex/crpdgj6c9umdhgaqjfmm/events]
8c286e154c6e: Pushed
477c318b05cb: Pushed
beee9f30bc1f: Pushed
v1: digest: sha256:1dd5aaa9dbdde2f60d833be0bed1c352724be3ea3158bcac3cdee41d47c5e380 size: 946

আমরা যাচাই করতে পারি যে ছবিটি সফলভাবে লোড হয়েছে:

vozerov@mba:~/events/terraform (master) $ yc container repository list
+----------------------+-----------------------------+
|          ID          |            NAME             |
+----------------------+-----------------------------+
| crpe8mqtrgmuq07accvn | crpdgj6c9umdhgaqjfmm/events |
+----------------------+-----------------------------+

যাইহোক, আপনি যদি লিনাক্স মেশিনে yc ইউটিলিটি ইনস্টল করেন, আপনি কমান্ডটি ব্যবহার করতে পারেন

yc container registry configure-docker

ডকার কনফিগার করতে।

উপসংহার

আমরা অনেক কঠোর পরিশ্রম করেছি এবং ফলস্বরূপ:

1. আমরা আমাদের ভবিষ্যতের পরিষেবার স্থাপত্য নিয়ে এসেছি।
2. আমরা গোলং এ একটি আবেদন লিখেছি যা আমাদের ব্যবসায়িক যুক্তি প্রয়োগ করে।
3. আমরা এটি সংগ্রহ করে একটি ব্যক্তিগত কন্টেইনার রেজিস্ট্রিতে ঢেলে দিয়েছি।

পরবর্তী অংশে, আসুন আকর্ষণীয় অংশে এগিয়ে যাই - আমরা আমাদের অ্যাপ্লিকেশনটি উত্পাদনে ঢেলে দেব এবং অবশেষে এটির উপর লোড চালু করব। সুইচ করবেন না!

এই উপাদানটি REBRAIN এবং Yandex.Cloud খোলা ওয়ার্কশপের ভিডিওতে রয়েছে: আমরা ইয়ানডেক্স ক্লাউডের প্রতি সেকেন্ডে 10টি অনুরোধ গ্রহণ করি - https://youtu.be/cZLezUm0ekE

আপনি যদি অনলাইনে এই ধরনের ইভেন্টে যোগ দিতে এবং রিয়েল টাইমে প্রশ্ন জিজ্ঞাসা করতে আগ্রহী হন, তাহলে সংযোগ করুন REBRAIN চ্যানেল দ্বারা DevOps.

আমরা Yandex.Cloud কে বিশেষ ধন্যবাদ জানাতে চাই এমন একটি ইভেন্ট করার সুযোগের জন্য। তাদের লিঙ্ক - https://cloud.yandex.ru/prices

আপনার যদি ক্লাউডে যেতে হয় বা আপনার অবকাঠামো সম্পর্কে প্রশ্ন থাকে, একটি অনুরোধ জমা বিনা দ্বিধায়.

PS আমাদের প্রতি মাসে 2টি বিনামূল্যের অডিট আছে, সম্ভবত আপনার প্রকল্পটি তাদের মধ্যে একটি হবে।

উত্স: www.habr.com