ডাটাবেস ক্লাস্টার পরিচালনার জন্য Kubernetes-এ অপারেটর। ভ্লাদিস্লাভ ক্লিমেনকো (অলটিনিটি, 2019)

প্রতিবেদনটি Kubernetes-এ একটি অপারেটর উন্নয়ন, এর স্থাপত্য ডিজাইন এবং অপারেশনের মৌলিক নীতিগুলির ব্যবহারিক সমস্যাগুলির জন্য উত্সর্গীকৃত।

প্রতিবেদনের প্রথম অংশে, আমরা বিবেচনা করব:

• Kubernetes একটি অপারেটর কি এবং কেন এটি প্রয়োজন;
• ঠিক কীভাবে অপারেটর জটিল সিস্টেমগুলির পরিচালনাকে সরল করে;
• অপারেটর কি পারে এবং অপারেটর কি পারে না।

এর পরে, অপারেটরের অভ্যন্তরীণ কাঠামো নিয়ে আলোচনা করা যাক। ধাপে ধাপে অপারেটরের আর্কিটেকচার এবং অপারেশন বিবেচনা করুন। আসুন বিস্তারিত বিশ্লেষণ করা যাক:

• অপারেটর এবং Kubernetes মধ্যে মিথস্ক্রিয়া;
• অপারেটর কি ফাংশন গ্রহণ করে এবং কুবারনেটেসকে কি প্রতিনিধিত্ব করে।

Kubernetes-এ শার্ড এবং ডাটাবেসের প্রতিলিপি পরিচালনা করার কথা বিবেচনা করুন।
পরবর্তী, আমরা ডেটা স্টোরেজ সংক্রান্ত সমস্যা নিয়ে আলোচনা করব:

• কিভাবে একটি অপারেটরের দৃষ্টিকোণ থেকে স্থায়ী স্টোরেজের সাথে কাজ করতে হয়;
• স্থানীয় সঞ্চয়স্থান ব্যবহারের ক্ষতি।

প্রতিবেদনের চূড়ান্ত অংশে, আমরা প্রয়োগের ব্যবহারিক উদাহরণ বিবেচনা করব ক্লিকহাউস অপারেটর অ্যামাজন বা গুগল ক্লাউড পরিষেবার সাথে। প্রতিবেদনটি ক্লিকহাউসের জন্য অপারেটরের বিকাশ এবং অপারেটিং অভিজ্ঞতার উদাহরণের উপর ভিত্তি করে তৈরি করা হয়েছে।

ভিডিও:

আমার নাম ভ্লাদিস্লাভ ক্লিমেনকো। আজ আমি একটি অপারেটর উন্নয়ন এবং পরিচালনার আমাদের অভিজ্ঞতা সম্পর্কে কথা বলতে চেয়েছিলাম, এবং এটি ডাটাবেস ক্লাস্টার পরিচালনার জন্য একটি বিশেষ অপারেটর। উদাহরণ স্বরূপ ক্লিক হাউস-অপারেটর ক্লিকহাউস ক্লাস্টার পরিচালনা করতে।

কেন আমরা অপারেটর এবং ClickHouse সম্পর্কে কথা বলার সুযোগ আছে?

• আমরা ক্লিক হাউস সমর্থন এবং বিকাশ.
• এই মুহূর্তে, আমরা ধীরে ধীরে ক্লিকহাউসের উন্নয়নে আমাদের অবদান রাখার চেষ্টা করছি। এবং ক্লিকহাউসে করা পরিবর্তনের পরিপ্রেক্ষিতে আমরা ইয়ানডেক্সের পরে দ্বিতীয়।
• আমরা ClickHouse ইকোসিস্টেমের জন্য অতিরিক্ত প্রকল্প তৈরি করার চেষ্টা করছি।

আমি এই প্রকল্পগুলির মধ্যে একটি সম্পর্কে কথা বলতে চাই। এটি কুবারনেটসের জন্য ক্লিকহাউস-অপারেটর সম্পর্কে।

আমার প্রতিবেদনে, আমি দুটি বিষয়ে স্পর্শ করতে চাই:

• প্রথম বিষয় হল কিভাবে আমাদের ClickHouse ডাটাবেস অপারেটর Kubernetes-এ কাজ করে।
• দ্বিতীয় বিষয় হল যে কোন অপারেটর কিভাবে কাজ করে, অর্থাৎ এটি কুবারনেটসের সাথে কিভাবে ইন্টারঅ্যাক্ট করে।

যাইহোক, এই দুটি প্রশ্ন আমার প্রতিবেদন জুড়ে ছেদ করবে।

আমি যা বলার চেষ্টা করছি তা শুনতে কে আগ্রহী হবে?

• সবচেয়ে আকর্ষণীয় হবে যারা অপারেটরদের শোষণ করে।
• অথবা যারা এটি ভিতরে কীভাবে কাজ করে, অপারেটর কুবারনেটসের সাথে কীভাবে ইন্টারঅ্যাক্ট করে এবং কী সমস্যা দেখা দিতে পারে তা বোঝার জন্য যারা নিজেদের তৈরি করতে চান তাদের জন্য।

আজকে আমরা কী আলোচনা করতে যাচ্ছি তা ভালোভাবে বোঝার জন্য, কুবারনেটস কীভাবে কাজ করে এবং ক্লাউড কম্পিউটিং-এ একটি মৌলিক পটভূমি আছে তা জেনে ভালো লাগবে।

ClickHouse কি? এটি বিশ্লেষণাত্মক প্রশ্নের অনলাইন প্রক্রিয়াকরণের সুনির্দিষ্ট বৈশিষ্ট্য সহ একটি কলাম ডাটাবেস। এবং এটি সম্পূর্ণরূপে ওপেন সোর্স।

এবং আমাদের শুধুমাত্র দুটি জিনিস জানতে হবে। আপনার জানা দরকার যে এটি একটি ডাটাবেস, তাই আমি আপনাকে যা বলব তা প্রায় যেকোনো ডাটাবেসের জন্য প্রযোজ্য হবে। এবং সত্য যে ClickHouse DBMS স্কেল খুব ভালভাবে স্কেলেবিলিটি প্রায় লিনিয়ার দেয়। এবং সেইজন্য, ক্লাস্টারের অবস্থা ক্লিকহাউসের জন্য একটি প্রাকৃতিক অবস্থা। এবং Kubernetes-এ ক্লিকহাউস ক্লাস্টার কীভাবে পরিবেশন করা যায় তা নিয়ে আলোচনা করতে আমরা সবচেয়ে বেশি আগ্রহী।

কেন তাকে সেখানে প্রয়োজন? কেন আমরা নিজেরাই এটি পরিচালনা করতে পারি না? এবং উত্তরগুলি আংশিকভাবে প্রযুক্তিগত এবং আংশিকভাবে সাংগঠনিক।

• অনুশীলনে, প্রায়শই আমরা এমন পরিস্থিতির মুখোমুখি হই যখন বড় সংস্থাগুলিতে প্রায় সমস্ত উপাদান ইতিমধ্যে কুবারনেটে থাকে। ডাটাবেস বাইরে থাকুন।
• এবং আরো এবং আরো প্রায়ই প্রশ্ন জিজ্ঞাসা করা হয়: "এটি ভিতরে স্থাপন করা যেতে পারে?"। অতএব, বড় কোম্পানিগুলি দ্রুত তাদের ডেটা গুদামগুলি পরিচালনা করতে সক্ষম হওয়ার জন্য ব্যবস্থাপনার সর্বাধিক একীকরণ তৈরি করার চেষ্টা করছে।
• এবং এটি বিশেষত সাহায্য করে যদি আপনার একটি নতুন জায়গায় একই জিনিস পুনরাবৃত্তি করার সর্বাধিক সুযোগের প্রয়োজন হয়, অর্থাৎ সর্বাধিক বহনযোগ্যতা।

এটা কত সহজ বা কঠিন? এই, অবশ্যই, হাত দ্বারা করা যেতে পারে। কিন্তু এটি এত সহজ নয়, কারণ আমরা নিজেই কুবারনেটস পরিচালনার জটিলতা যোগ করি, কিন্তু একই সময়ে ক্লিকহাউসের সুনির্দিষ্ট বৈশিষ্ট্যগুলি আরোপ করা হয়। এবং এটি যেমন একটি সমষ্টি সক্রিয় আউট.

এবং সব মিলিয়ে, এটি প্রযুক্তির একটি মোটামুটি বড় সেট দেয়, যা পরিচালনা করা ইতিমধ্যেই বেশ কঠিন হয়ে উঠছে, কারণ Kubernetes তার দৈনন্দিন বিষয়গুলিকে পরিচালনায় নিয়ে আসে এবং ClickHouse তার সমস্যাগুলি প্রতিদিনের অপারেশনে নিয়ে আসে। বিশেষ করে যদি আমাদের বেশ কয়েকটি ক্লিক হাউস থাকে এবং আমাদের তাদের সাথে ক্রমাগত কিছু করতে হবে।

একটি ডায়নামিক কনফিগারেশন সহ ক্লিক হাউসে মোটামুটি বড় সংখ্যক সমস্যা রয়েছে যা DevOps-এ একটি ধ্রুবক লোড তৈরি করে:

• যখন আমরা ক্লিক হাউসে কিছু পরিবর্তন করতে চাই, উদাহরণস্বরূপ, একটি প্রতিরূপ, একটি শার্ড যোগ করুন, তখন আমাদের কনফিগারেশন পরিচালনা করতে হবে।
• তারপরে ডেটা স্কিম পরিবর্তন করুন, কারণ ক্লিকহাউসের একটি নির্দিষ্ট শার্ডিং পদ্ধতি রয়েছে। সেখানে ডেটা স্কিম তৈরি করা, কনফিগারেশন তৈরি করা প্রয়োজন।
• আপনাকে মনিটরিং সেট আপ করতে হবে।
• নতুন শার্ডের জন্য লগ সংগ্রহ, নতুন প্রতিলিপির জন্য।
• পুনরুদ্ধারের যত্ন নিন।
• এবং পুনরায় চালু করুন।

এগুলি এমন রুটিন কাজ যা আমি অপারেশনে সহজতর করতে চাই।

Kubernetes নিজেই অপারেশন অনেক সাহায্য করে, কিন্তু মৌলিক সিস্টেম জিনিস.

কুবারনেটস জিনিসগুলি সহজতর এবং স্বয়ংক্রিয় করার ক্ষেত্রে দুর্দান্ত:

• পুনরুদ্ধার।
• আবার শুরু.
• স্টোরেজ ব্যবস্থাপনা।

এটা ভাল, এটা সঠিক দিক, কিন্তু কিভাবে একটি ডাটাবেস ক্লাস্টার পরিচালনা করতে হয় সে সম্পর্কে তিনি সম্পূর্ণরূপে যোগাযোগের বাইরে।

আমি আরও চাই, আমি চাই যে সম্পূর্ণ ডাটাবেসটি কুবারনেটসে আমাদের জন্য কাজ করুক।

আমি একটি বড় জাদু লাল বোতামের মতো কিছু পেতে চাই যা আপনি টিপবেন এবং আপনার সারা জীবন চক্র জুড়ে একটি ক্লাস্টার স্থাপন এবং রক্ষণাবেক্ষণ করা হয়েছে দৈনন্দিন কাজগুলির সাথে যা সমাধান করা দরকার। Kubernetes-এ ClickHouse ক্লাস্টার।

এবং আমরা একটি সমাধান করার চেষ্টা করেছি যা কাজকে সহজতর করতে সহায়তা করবে। এটি Altinity থেকে Kubernetes-এর জন্য ClickHouse-অপারেটর।

একটি অপারেটর হল একটি প্রোগ্রাম যার প্রধান কাজ হল অন্যান্য প্রোগ্রাম পরিচালনা করা, অর্থাৎ এটি একটি ম্যানেজার।

এবং এতে আচরণের নিদর্শন রয়েছে। আপনি বিষয় এলাকা সম্পর্কে কোডকৃত জ্ঞান বলতে পারেন.

এবং তার প্রধান কাজ হল DevOps-এর জীবনকে সহজ করা এবং মাইক্রোম্যানেজমেন্ট কমানো যাতে তিনি (DevOps) ইতিমধ্যেই উচ্চ-স্তরের শর্তে চিন্তা করেন, অর্থাৎ, যাতে তিনি (DevOps) মাইক্রোম্যানেজ না করেন, যাতে তিনি ম্যানুয়ালি সমস্ত কনফিগার করতে না পারেন। বিস্তারিত

এবং শুধু অপারেটর হল একজন রোবট সহকারী যিনি মাইক্রোটাস্কের সাথে লড়াই করে এবং DevOps কে সাহায্য করে।

কেন একটি অপারেটর প্রয়োজন? তিনি দুটি ক্ষেত্রে পারদর্শী:

• যখন একজন ক্লিকহাউস বিশেষজ্ঞের যথেষ্ট অভিজ্ঞতা না থাকে, কিন্তু ক্লিকহাউস পরিচালনা করার জন্য ইতিমধ্যেই প্রয়োজন হয়, তখন অপারেটর অপারেশন সহজতর করে এবং আপনাকে একটি জটিল কনফিগারেশন সহ একটি ক্লিকহাউস ক্লাস্টার পরিচালনা করার অনুমতি দেয়, যখন এটি ভিতরে কীভাবে কাজ করে সে সম্পর্কে খুব বেশি বিশদে না গিয়ে। . আপনি কেবল তাকে উচ্চ-স্তরের কাজগুলি দিন এবং এটি কাজ করে।
• এবং দ্বিতীয় কাজটি যেখানে এটি নিজেকে সবচেয়ে ভালভাবে দেখায় তা হল যখন প্রচুর সংখ্যক সাধারণ কাজগুলি স্বয়ংক্রিয়ভাবে করা প্রয়োজন। sysadmins থেকে microtasks সরান.

এটি তাদের সবচেয়ে বেশি প্রয়োজন যারা সবেমাত্র তাদের যাত্রা শুরু করছেন, অথবা যাদের প্রচুর অটোমেশন করতে হবে তাদের দ্বারা।

অপারেটর ভিত্তিক পদ্ধতি এবং অন্যান্য সিস্টেমের মধ্যে পার্থক্য কি? হেলমও আছে। এটি ClickHouse ইনস্টল করতেও সাহায্য করে, আপনি হেল্ম চার্ট আঁকতে পারেন, যা এমনকি একটি সম্পূর্ণ ClickHouse ক্লাস্টার ইনস্টল করবে। তাহলে অপারেটর এবং একই থেকে, উদাহরণস্বরূপ, হেলমের মধ্যে পার্থক্য কী?

প্রধান মৌলিক পার্থক্য হল হেলম হল প্যাকেজ পরিচালনার বিষয়ে, এবং অপারেটর আরও এক ধাপ এগিয়ে যায়। এটি সমগ্র জীবনচক্রের সমর্থন। এটি কেবল ইনস্টলেশনই নয়, এগুলি দৈনন্দিন কাজ যা স্কেলিং, শার্ডিং, অর্থাৎ জীবনচক্রের সময় যা যা করতে হবে (যদি প্রয়োজন হয়, অপসারণও) অন্তর্ভুক্ত - এই সবই অপারেটর দ্বারা নির্ধারিত হয়। এটি সম্পূর্ণ সফ্টওয়্যার জীবনচক্রকে স্বয়ংক্রিয় এবং পরিবেশন করার চেষ্টা করে। এটি উপস্থাপিত অন্যান্য সমাধান থেকে এর মৌলিক পার্থক্য।

এটি ছিল পরিচায়ক অংশ, চলুন এগিয়ে যাই।

আমরা কিভাবে আমাদের অপারেটর তৈরি করব? ক্লিকহাউস ক্লাস্টারকে একটি একক সংস্থান হিসাবে পরিচালনা করার জন্য আমরা সমস্যাটির সাথে যোগাযোগ করার চেষ্টা করছি।

এখানে ছবির বাম পাশে ইনপুট ডেটা আছে। এটি একটি ক্লাস্টার স্পেসিফিকেশন সহ YAML, যা ক্লাসিকভাবে kubectl এর মাধ্যমে Kubernetes-এ চলে যায়। সেখানে, আমাদের অপারেটর এটি তুলে নেয়, তার জাদু করে। এবং ফলস্বরূপ, আমরা যেমন একটি স্কিম পেতে. এটি Kubernetes-এ ClickHouse এর বাস্তবায়ন।

এবং তারপরে আমরা ধীরে ধীরে দেখব কীভাবে অপারেটর কাজ করে, কোন সাধারণ কাজগুলি সমাধান করা যেতে পারে। আমরা শুধুমাত্র সাধারণ কাজ বিবেচনা করব, কারণ আমাদের কাছে সীমিত সময় আছে। এবং অপারেটর সিদ্ধান্ত নিতে পারে এমন সবকিছু সম্পর্কে বলা হবে না।

চলুন অনুশীলন থেকে শুরু করা যাক। আমাদের প্রকল্পটি সম্পূর্ণরূপে ওপেন সোর্স, তাই আপনি দেখতে পাচ্ছেন কিভাবে এটি GitHub এ কাজ করে। এবং আপনি বিবেচনা থেকে এগিয়ে যেতে পারেন, যদি আপনি শুধুমাত্র শুরু করতে চান, তাহলে আপনি দ্রুত শুরু নির্দেশিকা দিয়ে শুরু করতে পারেন।

আপনি যদি বিস্তারিতভাবে বুঝতে চান, তাহলে আমরা ডকুমেন্টেশনটি কম-বেশি শালীন আকারে বজায় রাখার চেষ্টা করি।

একটি ব্যবহারিক সমস্যা দিয়ে শুরু করা যাক। আমরা সকলেই যে প্রথম কাজটি শুরু করতে চাই তা হল প্রথম উদাহরণটি একরকম চালানো। কিভাবে একটি অপারেটরের সাহায্যে ClickHouse চালু করবেন, এমনকি এটি কিভাবে কাজ করে না জেনেও? আমরা একটি ইশতেহার লিখছি, কারণ k8s-এর সাথে সমস্ত যোগাযোগ হল ম্যানিফেস্টের মাধ্যমে যোগাযোগ।

এখানে এমন একটি জটিল ইশতেহার রয়েছে। আমরা লাল রঙে যা হাইলাইট করেছি তা হল আমাদের ফোকাস করা দরকার। আমরা অপারেটরকে ডেমো নামে একটি ক্লাস্টার তৈরি করতে বলি।

আপাতত, এগুলো মৌলিক উদাহরণ। স্টোরেজ এখনও বর্ণনা করা হয়নি, তবে আমরা একটু পরে স্টোরেজে ফিরে যাব। আপাতত, আমরা গতিবিদ্যায় ক্লাস্টারের বিকাশ পর্যবেক্ষণ করব।

আমরা এই ইশতেহার তৈরি করেছি। আমরা এটি আমাদের অপারেটরকে খাওয়াই। তিনি কাজ করেছেন, তিনি যাদু করেছেন।

আমরা কনসোল তাকান. তিনটি উপাদান আগ্রহের - এগুলি হল পড, দুটি সার্ভিস-এ, স্টেটফুলসেট।

অপারেটর কাজ করেছে, এবং আমরা দেখতে পাচ্ছি তিনি ঠিক কি তৈরি করেছেন।

সে এরকম কিছু সৃষ্টি করে। আমাদের প্রতিটি প্রতিলিপির জন্য একটি স্টেটফুলসেট, পড, কনফিগম্যাপ, সমগ্র ক্লাস্টারের জন্য কনফিগম্যাপ রয়েছে। অগত্যা ক্লাস্টার এন্ট্রি পয়েন্ট হিসাবে সেবা.

পরিষেবাগুলি হল কেন্দ্রীয় লোড ব্যালেন্সার পরিষেবা এবং এটি প্রতিটি প্রতিরূপের জন্য, প্রতিটি শার্ডের জন্য সম্ভব।

এখানে আমাদের বেস ক্লাস্টার এই মত কিছু দেখায়. তিনি একটি একক নোড থেকে.

আরো এগিয়ে যাক, আমরা জটিল হবে. আপনি ক্লাস্টার shard প্রয়োজন.

আমাদের কাজগুলি বাড়ছে, গতিশীলতা শুরু হচ্ছে। আমরা একটি shard যোগ করতে চান. আমরা উন্নয়ন অনুসরণ করি। আমরা আমাদের স্পেসিফিকেশন পরিবর্তন. আমরা ইঙ্গিত যে আমরা দুটি shards চাই.

এটি একই ফাইল যা আমরা গতিশীলভাবে সিস্টেমের বৃদ্ধির সাথে বিকাশ করি। কোন স্টোরেজ নেই, স্টোরেজ নিয়ে আরও আলোচনা করা হবে, এটি একটি পৃথক বিষয়।

আমরা YAML অপারেটরকে খাওয়াই এবং দেখি কি হয়।

অপারেটর চিন্তা করে এবং নিম্নলিখিত সত্তা তৈরি. আমাদের ইতিমধ্যেই দুটি পড, তিনটি পরিষেবা এবং হঠাৎ করে, 2টি স্টেটফুল সেট রয়েছে৷ কেন 2 স্টেটফুলসেট?

এটি ডায়াগ্রামে এরকম ছিল - এটি আমাদের প্রাথমিক অবস্থা, যখন আমাদের একটি পড ছিল।

এরকম হয়ে গেল। এখন পর্যন্ত, সবকিছু সহজ, এটি নকল করা হয়েছে।

আর স্টেটফুলসেট দুইটা হয়ে গেল কেন? এখানে কুবারনেটসে পডগুলি কীভাবে পরিচালনা করা হয় সেই প্রশ্নটি নিয়ে আলোচনা করতে হবে।

স্টেটফুলসেট নামে এমন একটি বস্তু রয়েছে, যা আপনাকে একটি টেমপ্লেট থেকে পডের সেট তৈরি করতে দেয়। এখানে মূল ফ্যাক্টর হল Template. এবং আপনি একটি টেমপ্লেট অনুসারে একটি স্টেটফুলসেটে অনেকগুলি পড চালাতে পারেন। এবং এখানে মূল বাক্যাংশ হল "এক টেমপ্লেট অনেক পডস"।

এবং একটি স্টেটফুলসেটে প্যাক করে পুরো ক্লাস্টার তৈরি করার জন্য একটি দুর্দান্ত প্রলোভন ছিল। এতে কাজ হবে, এতে কোনো সমস্যা নেই। কিন্তু একটি সতর্কতা আছে. আমরা যদি একটি ভিন্নধর্মী ক্লাস্টার একত্র করতে চাই, যেমন ক্লিকহাউসের বিভিন্ন সংস্করণ থেকে, তাহলে আমাদের প্রশ্ন শুরু হয়। হ্যাঁ, স্টেটফুলসেট একটি রোলিং আপডেট করতে পারে, তবে সেখানে আপনি একটি নতুন সংস্করণ রোল আউট করতে পারেন, ব্যাখ্যা করুন যে আপনাকে একই সময়ে এতগুলি নোডের বেশি চেষ্টা করতে হবে না।

কিন্তু যদি আমরা কাজটি এক্সট্রাপোলেট করে বলি যে আমরা একটি সম্পূর্ণ ভিন্নধর্মী ক্লাস্টার তৈরি করতে চাই এবং একটি রোলিং আপডেট ব্যবহার করে পুরানো সংস্করণ থেকে নতুন সংস্করণে পরিবর্তন করতে চাই না, তবে ভিন্ন ভিন্ন সংস্করণের উভয় ক্ষেত্রেই একটি ভিন্নধর্মী ক্লাস্টার তৈরি করতে চাই। ClickHouse এর এবং বিভিন্ন স্টোরেজ পরিপ্রেক্ষিতে। আমরা চাই, উদাহরণস্বরূপ, আলাদা ডিস্কে কিছু প্রতিলিপি তৈরি করতে, ধীরগতিতে, সাধারণভাবে, সম্পূর্ণরূপে একটি ভিন্নধর্মী ক্লাস্টার তৈরি করতে। এবং এই কারণে যে StatefulSet একটি টেমপ্লেট থেকে একটি প্রমিত সমাধান তৈরি করে, তাই এটি করার কোন উপায় নেই।

কিছুক্ষণ চিন্তা করার পরে, সিদ্ধান্ত নেওয়া হয়েছিল যে আমরা এভাবেই করব। আমাদের নিজস্ব স্টেটফুলসেটে প্রতিটি প্রতিরূপ রয়েছে। এই সমাধানের কিছু ত্রুটি আছে, কিন্তু বাস্তবে এটি সম্পূর্ণরূপে অপারেটরকে এনক্যাপসুলেট করে। এবং অনেক সুবিধা আছে। আমরা যেমন চাই তেমন একটা ক্লাস্টার তৈরি করতে পারি, উদাহরণস্বরূপ, একেবারে ভিন্নধর্মী। অতএব, যে ক্লাস্টারে আমাদের কাছে একটি প্রতিলিপি সহ দুটি শার্ড রয়েছে, আমাদের কাছে 2টি স্টেটফুলসেট এবং 2টি পড থাকবে সুনির্দিষ্টভাবে কারণ আমরা একটি ভিন্নধর্মী ক্লাস্টার তৈরি করার ক্ষমতার জন্য উপরের কারণগুলির কারণে এই পদ্ধতিটি বেছে নিয়েছি।

এর ব্যবহারিক কাজ ফিরে আসা যাক. আমাদের ক্লাস্টারে, আমাদের ব্যবহারকারীদের কনফিগার করতে হবে, যেমন আপনাকে কুবারনেটসে ক্লিকহাউসের কিছু কনফিগারেশন করতে হবে। অপারেটর এটির জন্য সমস্ত সম্ভাবনা সরবরাহ করে।

আমরা যা চাই তা সরাসরি YAML-এ লিখতে পারি। সমস্ত কনফিগারেশন বিকল্পগুলি সরাসরি এই YAML থেকে ClickHouse কনফিগারেশনে ম্যাপ করা হয়, যা তারপর ক্লাস্টার জুড়ে স্থাপন করা হয়।

আপনিও এভাবে লিখতে পারেন। এটি একটি উদাহরণের জন্য। পাসওয়ার্ড এনক্রিপ্ট করা যাবে. একেবারে সমস্ত ক্লিকহাউস কনফিগারেশন বিকল্পগুলি সমর্থিত। এখানে শুধু একটি উদাহরণ.

ক্লাস্টার কনফিগারেশন ConfigMap হিসাবে বিতরণ করা হয়। অনুশীলনে, ConfigMap আপডেট তাৎক্ষণিকভাবে ঘটে না, তাই যদি একটি বড় ক্লাস্টার থাকে, তাহলে কনফিগারেশনটি পুশ করার প্রক্রিয়াটি কিছুটা সময় নেয়। কিন্তু এই সব ব্যবহার করা খুব সুবিধাজনক।

আমরা টাস্ক জটিল. ক্লাস্টার বিকাশ করছে। আমরা তথ্য প্রতিলিপি করতে চান. যে, আমরা ইতিমধ্যে দুটি shards আছে, একটি প্রতিলিপি প্রতিটি, ব্যবহারকারীদের কনফিগার করা হয়. আমরা বেড়ে উঠছি এবং প্রতিলিপি করতে চাই।

আমরা প্রতিলিপি জন্য কি প্রয়োজন?

আমরা ZooKeeper প্রয়োজন. ক্লিকহাউসে, ZooKeeper ব্যবহার করে প্রতিলিপি তৈরি করা হয়। ZooKeeper প্রয়োজন যাতে বিভিন্ন ClickHouse প্রতিলিপিতে কোন ক্লিকহাউসে কোন ডেটা ব্লক রয়েছে সে বিষয়ে ঐকমত্য থাকে।

ZooKeeper যে কেউ ব্যবহার করতে পারেন। যদি একটি এন্টারপ্রাইজের একটি বহিরাগত ZooKeeper থাকে, তাহলে এটি ব্যবহার করা যেতে পারে। যদি না হয়, তাহলে আপনি আমাদের সংগ্রহস্থল থেকে ইনস্টল করতে পারেন। একটি ইনস্টলার আছে যা এই পুরো জিনিসটিকে সহজ করে তোলে।

এবং পুরো সিস্টেমের মিথস্ক্রিয়া এর স্কিম এই মত সক্রিয় আউট. আমাদের একটি প্ল্যাটফর্ম হিসাবে Kubernetes আছে। এটি ক্লিকহাউস অপারেটরকে কার্যকর করে। ZooKeeper আমি এখানে ছবি. এবং অপারেটর ClickHouse এবং ZooKeeper উভয়ের সাথে যোগাযোগ করে। যে, একটি মিথস্ক্রিয়া প্রাপ্ত হয়.

এবং K8s-এ ডেটা সফলভাবে প্রতিলিপি করার জন্য ClickHouse-এর জন্য এই সমস্ত প্রয়োজনীয়।

আসুন এখন কাজটি নিজেই দেখি, প্রতিলিপির জন্য ম্যানিফেস্টটি কেমন হবে।

আমরা আমাদের ম্যানিফেস্টে দুটি বিভাগ যোগ করি। প্রথমটি হল কোথায় ZooKeeper পেতে হবে, যা হয় কুবারনেটসের ভিতরে বা বাহ্যিক হতে পারে। এটি একটি বর্ণনা মাত্র। এবং আমরা প্রতিলিপি অর্ডার. সেগুলো. আমরা দুটি প্রতিলিপি চাই। মোট, আমাদের আউটপুটে 4টি পড থাকা উচিত। আমরা স্টোরেজ সম্পর্কে মনে রাখবেন, এটি একটু এগিয়ে ফিরে আসবে। স্টোরেজ একটি আলাদা গান।

এটা এই মত ছিল.

এটা এরকম হয়ে যায়। প্রতিলিপি যোগ করা হয়. ৪র্থ ফিট হয়নি, আমরা বিশ্বাস করি তাদের মধ্যে অনেকগুলো থাকতে পারে। এবং পাশে ZooKeeper যোগ করা হয়. নিদর্শনগুলি আরও জটিল হয়ে উঠছে।

এবং এটি পরবর্তী কাজ যোগ করার সময়. আমরা ক্রমাগত স্টোরেজ যোগ করব।

ক্রমাগত স্টোরেজের জন্য, আমাদের কাছে বিভিন্ন বিকল্প রয়েছে।

যদি আমরা একটি ক্লাউড প্রদানকারীর মধ্যে চলমান, উদাহরণস্বরূপ, Amazon, Google ব্যবহার করে, তাহলে ক্লাউড স্টোরেজ ব্যবহার করার জন্য একটি দুর্দান্ত প্রলোভন রয়েছে। এটা খুব সুবিধাজনক, এটা ভাল.

এবং একটি দ্বিতীয় বিকল্প আছে। এটি স্থানীয় স্টোরেজের জন্য, যখন আমাদের প্রতিটি নোডে স্থানীয় ডিস্ক থাকে। এই বিকল্পটি বাস্তবায়ন করা অনেক বেশি কঠিন, তবে একই সময়ে এটি আরও উত্পাদনশীল।

ক্লাউড স্টোরেজ সম্পর্কে আমাদের কী আছে তা দেখা যাক।

যোগ্যতা আছে। এটা কনফিগার করা খুব সহজ. আমরা কেবল একটি ক্লাউড প্রদানকারীর কাছ থেকে অর্ডার করি যে অনুগ্রহ করে আমাদের অমুক এবং অমুক ক্ষমতা, অমুক এবং অমুক শ্রেণীর স্টোরেজ দিন। ক্লাস স্বাধীনভাবে প্রদানকারীদের দ্বারা আঁকা হয়.

এবং একটি অপূর্ণতা আছে. কারও কারও জন্য, এটি একটি সমালোচনামূলক ত্রুটি। অবশ্যই, কিছু পারফরম্যান্স ওভারলে থাকবে। এটি ব্যবহার করা খুবই সুবিধাজনক, নির্ভরযোগ্য, কিন্তু কর্মক্ষমতায় কিছু সম্ভাব্য ঘাটতি রয়েছে।

এবং যেহেতু ClickHouse কর্মক্ষমতা উপর দৃষ্টি নিবদ্ধ করে, আপনি এমনকি বলতে পারেন যে এটি সম্ভব সব কিছু চেপে ধরে, তাই অনেক ক্লায়েন্ট সর্বোচ্চ কর্মক্ষমতা আউট চেপে চেষ্টা.

এবং এটি থেকে সর্বাধিক পেতে, আমাদের স্থানীয় স্টোরেজ প্রয়োজন।

কুবারনেটেস কুবারনেটে স্থানীয় স্টোরেজ ব্যবহারের জন্য তিনটি বিমূর্ততা প্রদান করে। এই:

• খালি ডির
• হোস্টপাথ।
• স্থানীয়

বিবেচনা করুন কিভাবে তারা ভিন্ন, তারা কিভাবে অনুরূপ।

প্রথমত, তিনটি পদ্ধতিতেই আমাদের স্টোরেজ রয়েছে - এগুলি স্থানীয় ডিস্ক যা একই শারীরিক k8s নোডে অবস্থিত। কিন্তু তাদের কিছু পার্থক্য আছে।

চলুন শুরু করা যাক সবচেয়ে সহজ, যেমন emptyDir দিয়ে। বাস্তবে এটা কি? আমরাই আমাদের স্পেসিফিকেশন থেকে কন্টেইনারাইজেশন সিস্টেম (প্রায়শই ডকার) কে স্থানীয় ডিস্কের একটি ফোল্ডারে অ্যাক্সেস দেওয়ার জন্য জিজ্ঞাসা করি।

অনুশীলনে, ডকার তার নিজস্ব পথে কোথাও একটি অস্থায়ী ফোল্ডার তৈরি করে, এটিকে একটি দীর্ঘ হ্যাশ বলে। এবং এটি অ্যাক্সেস করার জন্য একটি ইন্টারফেস প্রদান করে।

পারফরম্যান্সের ক্ষেত্রে এটি কেমন হবে? এটি স্থানীয় ডিস্কের গতিতে চলবে, অর্থাৎ এটি আপনার স্ক্রু সম্পূর্ণ অ্যাক্সেস.

কিন্তু এই ক্ষেত্রে তার অসুবিধা আছে। এই ক্ষেত্রে অবিরাম বরং সন্দেহজনক. কনটেইনার সহ ডকারের প্রথম আন্দোলনে, অবিরাম হারিয়ে যায়। কুবারনেটস যদি কোনো কারণে এই পডটিকে অন্য ডিস্কে সরাতে চায়, তাহলে ডেটা হারিয়ে যাবে।

এই পদ্ধতিটি পরীক্ষার জন্য ভাল, কারণ এটি ইতিমধ্যে স্বাভাবিক গতি দেখায়, তবে এই বিকল্পটি গুরুতর কিছুর জন্য উপযুক্ত নয়।

অতএব, একটি দ্বিতীয় পদ্ধতি আছে। এটি হোস্টপাথ। আপনি যদি আগের স্লাইড এবং এই স্লাইডটি দেখেন তবে আপনি শুধুমাত্র একটি পার্থক্য দেখতে পাবেন। আমাদের ফোল্ডারটি ডকারটিকে সরাসরি কুবারনেটস নোডে রেখে গেছে। এখানে একটু দ্রুত। আমরা সরাসরি স্থানীয় ফাইল সিস্টেমে পাথ লিখি যেখানে আমরা আমাদের ডেটা সংরক্ষণ করতে চাই।

এই পদ্ধতির সুবিধা আছে। এটি ইতিমধ্যে একটি বাস্তব স্থায়ী, এবং একটি ক্লাসিক এক. আমাদের ডিস্কে, কিছু ঠিকানায় ডেটা লেখা হবে।

অসুবিধাও আছে। এটি ব্যবস্থাপনার জটিলতা। আমাদের কুবারনেটস পডটিকে অন্য একটি ফিজিক্যাল নোডে নিয়ে যেতে চাইতে পারে। এখানেই DevOps খেলায় আসে। এটিকে অবশ্যই পুরো সিস্টেমকে সঠিকভাবে ব্যাখ্যা করতে হবে যে আপনি শুধুমাত্র এই পডগুলিকে এমন নোডগুলিতে স্থানান্তর করতে পারবেন যার উপর আপনার এই পাথগুলি বরাবর কিছু মাউন্ট করা আছে এবং একবারে একটির বেশি নোড নয়। এটা যথেষ্ট কঠিন.

বিশেষ করে এই উদ্দেশ্যে, আমরা এই সমস্ত জটিলতা আড়াল করার জন্য আমাদের অপারেটরে টেমপ্লেট তৈরি করেছি। এবং আপনি শুধু বলতে পারেন: "আমি প্রতি ফিজিক্যাল নোডের প্রতি ক্লিকহাউসের একটি উদাহরণ এবং এই ধরনের পথ ধরে রাখতে চাই।"

তবে এই প্রয়োজনটি কেবল আমাদের জন্য নয়, তাই কুবারনেটসের ভদ্রলোকেরাও বোঝেন যে লোকেরা শারীরিক ডিস্কগুলিতে অ্যাক্সেস পেতে চায়, তাই তারা একটি তৃতীয় স্তর সরবরাহ করে।

এটা স্থানীয় বলা হয়. আগের স্লাইড থেকে কার্যত কোন পার্থক্য নেই। কেবলমাত্র আগে এটি হাতে নেওয়া দরকার ছিল যে আমরা এই পডগুলিকে নোড থেকে নোডে স্থানান্তর করতে পারি না, কারণ সেগুলিকে অবশ্যই স্থানীয় শারীরিক ডিস্কের সাথে এই জাতীয় পথের সাথে সংযুক্ত থাকতে হবে এবং এখন এই সমস্ত জ্ঞান কুবারনেটেসেই ধারণ করা হয়েছে। এবং এটি কনফিগার করা অনেক সহজ আউট সক্রিয়.

আসুন আমাদের ব্যবহারিক কাজে ফিরে আসি। আসুন YAML টেমপ্লেটে ফিরে যাই। এখানে আমাদের একটি বাস্তব স্টোরেজ আছে। আমরা এই ফিরে. আমরা k8s এর মত ক্লাসিক VolumeClaim টেমপ্লেট সেট করেছি। এবং আমরা কি ধরনের স্টোরেজ চাই তা বর্ণনা করি।

এর পরে, k8s স্টোরেজের জন্য অনুরোধ করবে। স্টেটফুলসেটে আমাদের জন্য এটি বরাদ্দ করুন। এবং শেষ পর্যন্ত, এটি ক্লিকহাউসের নিষ্পত্তিতে পরিণত হবে।

আমাদের এমন একটি পরিকল্পনা ছিল। আমাদের ক্রমাগত স্টোরেজ লাল ছিল, যা ইঙ্গিত দেয় যে এটি করা উচিত।

এবং এটি সবুজ হয়ে যায়। এখন k8s ক্লাস্টার স্কিমে ক্লিক হাউস সম্পূর্ণরূপে চূড়ান্ত করা হয়েছে। আমরা shards, প্রতিলিপি, ZooKeeper আছে, আমরা বাস্তব স্থায়ী, যা এক উপায় বা অন্যভাবে বাস্তবায়িত হয়. স্কিমটি ইতিমধ্যেই পুরোপুরি চালু হয়েছে।

আমরা বাস করতে অবিরত. আমাদের ক্লাস্টার বাড়ছে। এবং আলেক্সি চেষ্টা করছে এবং ক্লিকহাউসের একটি নতুন সংস্করণ প্রকাশ করছে।

একটি ব্যবহারিক কাজ দেখা দেয় - আমাদের ক্লাস্টারে ক্লিকহাউসের নতুন সংস্করণ পরীক্ষা করা। এবং, অবশ্যই, আমি এটিকে রোল আউট করতে চাই না, আমি একটি প্রতিলিপিতে দূরের কোণে কোথাও একটি নতুন সংস্করণ রাখতে চাই, বা সম্ভবত একটি নতুন সংস্করণ নয়, তবে একবারে দুটি, কারণ সেগুলি প্রায়শই বেরিয়ে আসে।

আমরা এই সম্পর্কে কি বলতে পারি?

এখানে আমরা ঠিক যেমন একটি সুযোগ আছে. এই পড টেমপ্লেট. আপনি পেইন্ট করতে পারেন, আমাদের অপারেটর সম্পূর্ণরূপে আপনাকে একটি ভিন্নধর্মী ক্লাস্টার তৈরি করতে দেয়। সেগুলো. কনফিগার করুন, একটি গুচ্ছের সমস্ত প্রতিলিপি থেকে শুরু করে, প্রতিটি ব্যক্তিগত প্রতিরূপ দিয়ে শেষ হয়, আমরা কোন সংস্করণটি ক্লিক হাউস চাই, কোন সংস্করণটি আমরা সঞ্চয় করতে চাই। আমাদের প্রয়োজন অনুযায়ী আমরা ক্লাস্টারটিকে সম্পূর্ণরূপে কনফিগার করতে পারি।

একটু গভীরে যাওয়া যাক। তার আগে, আমরা ক্লিকহাউস-অপারেটর ক্লিকহাউসের সুনির্দিষ্টতার সাথে কীভাবে কাজ করে সে সম্পর্কে কথা বলেছি।

এখন আমি কিছু শব্দ বলতে চাই যে কোন অপারেটর সাধারণভাবে কিভাবে কাজ করে, সেইসাথে এটি কিভাবে K8s এর সাথে যোগাযোগ করে।

শুরুতে K8 এর সাথে মিথস্ক্রিয়া বিবেচনা করুন। আমরা যখন kubectl আবেদন করি তখন কি হয়? API এর মাধ্যমে, আমাদের অবজেক্টগুলি etcd তে প্রদর্শিত হয়।

উদাহরণস্বরূপ, মৌলিক Kubernetes অবজেক্টগুলি: তালিকার মাধ্যমে পড, স্টেটফুলসেট, পরিষেবা এবং আরও অনেক কিছু।

যাইহোক, এখনও শারীরিক কিছুই ঘটছে না. এই বস্তুগুলি অবশ্যই একটি ক্লাস্টারে বাস্তবায়িত হতে হবে।

এখানেই কন্ট্রোলার আসে। কন্ট্রোলার হল একটি বিশেষ k8s উপাদান যা এই বর্ণনাগুলিকে বাস্তবায়িত করতে পারে। তিনি জানেন কিভাবে এবং কি শারীরিকভাবে করতে হবে. তিনি জানেন কিভাবে কনটেইনার চালাতে হয়, সার্ভারটি কাজ করার জন্য সেখানে কী কনফিগার করা দরকার।

এবং এটি K8s এ আমাদের বস্তুকে বাস্তবায়িত করে।

কিন্তু আমরা শুধুমাত্র পড, স্টেটফুলসেট দিয়েই অপারেট করতে চাই না, আমরা একটি ক্লিক হাউস ইন্সটলেশন তৈরি করতে চাই, অর্থাৎ ক্লিকহাউস টাইপের একটি বস্তু, যাতে এটি সামগ্রিকভাবে কাজ করতে পারে। এখন পর্যন্ত, এমন কোন সম্ভাবনা নেই।

কিন্তু K8 এর আরেকটি চমৎকার জিনিস আছে। আমরা চাই আমাদের এমন একটি জটিল সত্তা কোথাও থাকুক, যেখানে আমাদের ক্লাস্টার পড এবং স্টেটফুলসেট থেকে একত্রিত হবে।

এবং এই জন্য কি করা উচিত? প্রথমে, কাস্টম রিসোর্স সংজ্ঞা দৃশ্যে প্রবেশ করে। এটা কি? এটি K8-এর জন্য একটি বিবরণ যা আপনার কাছে আরেকটি ডেটা টাইপ থাকবে যা আমরা পডে যোগ করতে চাই, স্টেটফুলসেট, একটি কাস্টম সম্পদ যা ভিতরে জটিল হবে। এটি ডাটা স্ট্রাকচারের বর্ণনা।

আমরা সেখানে এটি পাঠাই kubectl আবেদনের মাধ্যমে। কুবারনেটস খুশি হয়ে তা নিল।

এবং এখন আমাদের স্টোরেজে, etcd-এর অবজেক্টটিতে ClickHouseInstallation নামে একটি কাস্টম রিসোর্স লেখার সুযোগ রয়েছে।

তবে আপাতত আর কিছু হবে না। অর্থাৎ, এখন যদি আমরা একটি YAML ফাইল তৈরি করি যা আমরা শার্ড, রেপ্লিকাসের বর্ণনা দিয়ে বিবেচনা করি এবং বলি "kubectl apply", তাহলে Kubernetes এটি গ্রহণ করবে, etcd এ রাখবে এবং বলবে: "দারুণ, কিন্তু আমি জানি না। এটা নিয়ে কি করতে চান. আমি জানি না কিভাবে ClickHouseInstallation বজায় রাখতে হয়।"

সেই অনুযায়ী, কুবারনেটসকে নতুন ডেটা টাইপ পরিবেশন করতে সাহায্য করার জন্য আমাদের কাউকে প্রয়োজন। বাম দিকে, আমাদের একটি স্টক কুবারনেটস কন্ট্রোলার রয়েছে যা স্টক ডেটা প্রকারের সাথে কাজ করে। এবং ডানদিকে, আমাদের একটি কাস্টম কন্ট্রোলার থাকা উচিত যা কাস্টম ডেটা প্রকারের সাথে কাজ করতে পারে।

আর অন্যভাবে একে অপারেটর বলা হয়। আমি বিশেষভাবে এটি কুবারনেটসের জন্য এখানে নিয়েছি, কারণ এটি K8 এর বাইরেও কার্যকর করা যেতে পারে। প্রায়শই, অবশ্যই, কুবারনেটে সমস্ত বিবৃতি কার্যকর করা হয়, তবে কিছুই এটিকে বাইরে দাঁড়াতে বাধা দেয় না, তাই এখানে এটি বিশেষভাবে আনা হয়েছে।

এবং ইতিমধ্যে, পরিবর্তে, কাস্টম কন্ট্রোলার, অপারেটর হিসাবেও পরিচিত, API এর মাধ্যমে কুবারনেটসের সাথে যোগাযোগ করে। তিনি ইতিমধ্যে জানেন কিভাবে API এর সাথে যোগাযোগ করতে হয়। এবং তিনি ইতিমধ্যেই জানেন কিভাবে একটি জটিল স্কিম বাস্তবায়িত করা যায় যা আমরা একটি কাস্টম রিসোর্স থেকে তৈরি করতে চাই। এই অপারেটর ঠিক কি.

অপারেটর কিভাবে কাজ করে? আসুন ডান দিকে তাকাই কিভাবে তিনি এটি করেন। আমরা খুঁজে বের করব কিভাবে অপারেটর এই সব বাস্তবায়িত করে এবং কিভাবে K8s এর সাথে আরও মিথস্ক্রিয়া সঞ্চালিত হয়।

অপারেটর হল প্রোগ্রাম। তিনি ঘটনা ভিত্তিক. অপারেটর Kubernetes API ব্যবহার করে ইভেন্টগুলিতে সদস্যতা নেয়। Kubernetes API-এর এন্ট্রি পয়েন্ট রয়েছে যেখানে আপনি ইভেন্টগুলিতে সদস্যতা নিতে পারেন। এবং যদি K8 এ কিছু পরিবর্তন হয়, তাহলে কুবারনেটস প্রত্যেকের কাছে ইভেন্ট পাঠায়, যেমন যারা এই API পয়েন্টে সদস্যতা নিয়েছেন তারা বিজ্ঞপ্তি পাবেন।

অপারেটর ইভেন্ট সাবস্ক্রাইব করে, এবং কিছু প্রতিক্রিয়া করতে হবে. এর কাজ হল উদীয়মান ঘটনার প্রতিক্রিয়া জানানো।

ইভেন্ট কিছু আপডেট দ্বারা উত্পন্ন হয়. আমাদের YAML ফাইলটি ClickHouseInstallation-এর বিবরণ সহ আসে। তিনি kubectl এর মাধ্যমে etcd এ গিয়ে আবেদন করেন। সেখানে একটি ইভেন্ট কাজ করেছিল, ফলস্বরূপ, এই ইভেন্টটি ক্লিকহাউস-অপারেটরে এসেছিল। অপারেটর এই বিবরণ পেয়েছে. এবং তাকে কিছু করতে হবে। যদি ClickHouseInstallation অবজেক্টে একটি আপডেট আসে, তাহলে আপনাকে ক্লাস্টার আপডেট করতে হবে। আর অপারেটরের কাজ হল ক্লাস্টার আপডেট করা।

সে কি করছে? প্রথমত, এই আপডেটের সাথে আমরা কী করব তার জন্য আমাদের একটি কর্ম পরিকল্পনা তৈরি করতে হবে। আপডেট খুব ছোট হতে পারে, যেমন. YAML এক্সিকিউশনে ছোট, কিন্তু ক্লাস্টারে খুব বড় পরিবর্তন হতে পারে। অতএব, অপারেটর একটি পরিকল্পনা তৈরি করে এবং তারপরে সে এটি মেনে চলে।

তিনি এই পরিকল্পনা অনুসারে, শুঁটি, পরিষেবাগুলিকে বাস্তবায়িত করার জন্য এই কাঠামোটিকে ভিতরে সিদ্ধ করতে শুরু করেন। তার প্রধান কাজ কি করতে. এটি কুবারনেটসে একটি ক্লিকহাউস ক্লাস্টার তৈরি করার মতো।

এখন এই ধরনের একটি আকর্ষণীয় জিনিস স্পর্শ করা যাক. এটি Kubernetes এবং অপারেটরের মধ্যে দায়িত্বের একটি বিভাগ, যেমন Kubernetes কি করে, অপারেটর কি করে এবং কিভাবে তারা একে অপরের সাথে যোগাযোগ করে।

কুবারনেটস সিস্টেম জিনিসগুলির জন্য দায়ী, যেমন বস্তুর একটি মৌলিক সেটের জন্য যা একটি সিস্টেম-স্কোপ হিসাবে ব্যাখ্যা করা যেতে পারে। কুবারনেটস জানে কীভাবে পড শুরু করতে হয়, কীভাবে কনটেইনার পুনরায় চালু করতে হয়, কীভাবে মাউন্ট ভলিউম করতে হয়, কনফিগম্যাপের সাথে কীভাবে কাজ করতে হয়, যেমন যে কোনো কিছুকে সিস্টেম বলা যেতে পারে।

অপারেটর বিষয় এলাকায় কাজ. প্রতিটি অপারেটর তার বিষয় এলাকা জন্য তৈরি করা হয়. আমরা ClickHouse জন্য তৈরি.

এবং অপারেটর বিষয় এলাকার পরিপ্রেক্ষিতে অবিকল ইন্টারঅ্যাক্ট করে, যেমন একটি প্রতিরূপ যোগ করা, একটি স্কিম তৈরি করা, মনিটরিং সেট আপ করা। এমন বিচ্ছেদ আছে।

উদ্বেগের এই বিচ্ছেদ কিভাবে ঘটে তার একটি ব্যবহারিক উদাহরণ দেখা যাক যখন আমরা একটি অ্যাড রেপ্লিকা অ্যাকশন করি।

টাস্কটি অপারেটরের কাছে আসে - একটি প্রতিরূপ যুক্ত করতে। অপারেটর কি করছে? অপারেটর গণনা করবে যে একটি নতুন স্টেটফুলসেট তৈরি করা প্রয়োজন, যেখানে এই জাতীয় টেমপ্লেট, ভলিউম দাবি বর্ণনা করা প্রয়োজন।

তিনি এটি সমস্ত প্রস্তুত করেন এবং এটি কে 8 এ প্রেরণ করেন। তিনি বলেছেন যে তার প্রয়োজন কনফিগম্যাপ, স্টেটফুলসেট, ভলিউম। কুবারনেটস কাজ করছে। তিনি মৌলিক ইউনিটগুলিকে বাস্তবায়িত করেন যার সাথে তিনি কাজ করেন।

এবং তারপর ক্লিকহাউস-অপারেটর আবার খেলায় আসে। তার ইতিমধ্যে একটি শারীরিক পড রয়েছে যার উপর আপনি ইতিমধ্যে কিছু করতে পারেন। এবং ClickHouse-operator আবার বিষয় এলাকা পরিপ্রেক্ষিতে কাজ করে. সেগুলো. বিশেষভাবে, ক্লিকহাউস, একটি ক্লাস্টারে একটি প্রতিরূপ অন্তর্ভুক্ত করার জন্য, আপনাকে প্রথমে, এই ক্লাস্টারে বিদ্যমান ডেটা স্কিমটি কনফিগার করতে হবে। এবং, দ্বিতীয়ত, এই মন্তব্যটিকে অবশ্যই পর্যবেক্ষণে অন্তর্ভুক্ত করতে হবে যাতে এটি স্পষ্টভাবে সনাক্ত করা যায়। অপারেটর ইতিমধ্যে এটি সেট আপ.

এবং শুধুমাত্র তারপর ক্লিকহাউস নিজেই খেলায় আসে, যেমন আরেকটি উচ্চ স্তরের সত্তা। এটি ইতিমধ্যেই একটি ডাটাবেস। এটির নিজস্ব উদাহরণ রয়েছে, পরবর্তী কনফিগার করা প্রতিরূপ, যা ক্লাস্টারে যোগদানের জন্য প্রস্তুত।

এটি কার্যকর করার শৃঙ্খল এবং দায়িত্ব পৃথকীকরণ যখন একটি প্রতিরূপ যোগ যথেষ্ট দীর্ঘ.

আমরা আমাদের ব্যবহারিক কাজগুলো চালিয়ে যাচ্ছি। যদি ক্লাস্টারটি ইতিমধ্যেই বিদ্যমান থাকে, তাহলে আপনি কনফিগারেশনটি স্থানান্তর করতে পারেন।

আমরা এটি তৈরি করেছি যাতে বিদ্যমান xml-এর মধ্য দিয়ে যাওয়া সম্ভব হয়, যা ClickHouse বুঝতে পারে।

আপনি ClickHouse ফাইন-টিউন করতে পারেন। হোস্টপাথ, স্থানীয় স্টোরেজ ব্যাখ্যা করার সময় আমি যা বলেছিলাম তা হল শুধু জোনড স্থাপনা। এইভাবে জোনড স্থাপনা সঠিকভাবে করা যায়।

পরবর্তী বাস্তব কাজ হল পর্যবেক্ষণ।

যদি আমাদের ক্লাস্টার পরিবর্তন হয়, তাহলে আমাদের পর্যায়ক্রমে পর্যবেক্ষণ কনফিগার করতে হবে।

চলুন ডায়াগ্রামটি দেখে নেওয়া যাক। আমরা ইতিমধ্যে এখানে সবুজ তীর বিবেচনা করেছি। এখন লাল তীর দেখা যাক। এইভাবে আমরা আমাদের ক্লাস্টার নিরীক্ষণ করতে চাই। কিভাবে ClickHouse ক্লাস্টার থেকে মেট্রিক্স প্রমিথিউসে এবং তারপর Grafana-এ যায়।

মনিটরিং এর সমস্যা কি? কেন এটি এক ধরণের অর্জন হিসাবে উপস্থাপন করা হয়? অসুবিধাটি গতিশীলতার মধ্যে রয়েছে। যখন আমাদের একটি ক্লাস্টার থাকে এবং এটি স্ট্যাটিক থাকে, তখন আপনি একবার মনিটরিং সেট আপ করতে পারেন এবং আর বিরক্ত করবেন না।

কিন্তু যদি আমাদের অনেকগুলি ক্লাস্টার থাকে, বা কিছু ক্রমাগত পরিবর্তন হয়, তবে প্রক্রিয়াটি গতিশীল। এবং ক্রমাগত পর্যবেক্ষণ পুনরায় কনফিগার করা সম্পদ এবং সময়ের অপচয়; এমনকি শুধু অলস। এই স্বয়ংক্রিয় করা প্রয়োজন. অসুবিধা হল প্রক্রিয়ার গতিশীলতায়। এবং অপারেটর এটি খুব ভাল স্বয়ংক্রিয়.

কিভাবে আমাদের ক্লাস্টার বিকশিত হয়েছে? শুরুতে সে এমনই ছিল।

তখন তিনি এই রকম ছিলেন।

শেষ পর্যন্ত সে এমন হয়ে গেল।

এবং মনিটরিং স্বয়ংক্রিয়ভাবে অপারেটর দ্বারা সম্পন্ন করা হয়. প্রবেশের একক পয়েন্ট।

এবং আমরা শুধু গ্রাফানা ড্যাশবোর্ডে প্রস্থানের দিকে তাকাই, কীভাবে আমাদের ক্লাস্টারের জীবন ভিতরে ফুটে ওঠে।

যাইহোক, Grafana ড্যাশবোর্ডও আমাদের অপারেটরের সাথে সোর্স কোডে বিতরণ করা হয়। আপনি সংযোগ এবং ব্যবহার করতে পারেন. এই স্ক্রিনশটটি আমাকে আমাদের DevOps দ্বারা দেওয়া হয়েছে।

আমরা পরবর্তী কোথায় যেতে চাই? এই:

• পরীক্ষা অটোমেশন বিকাশ. প্রধান কাজ হল নতুন সংস্করণের স্বয়ংক্রিয় পরীক্ষা।
• আমরা সত্যিই ZooKeeper এর সাথে ইন্টিগ্রেশন স্বয়ংক্রিয় করতে চাই। এবং ZooKeeper-অপারেটরের সাথে একীভূত করার পরিকল্পনা করছে। সেগুলো. ZooKeeper-এর জন্য একটি অপারেটর লেখা হয়েছে, এবং এটি যৌক্তিক যে দুটি অপারেটর আরও সুবিধাজনক সমাধান তৈরি করতে একত্রিত হতে শুরু করে।
• আমরা আরও জটিল জীবন পরীক্ষা করতে চাই।
• আমি সবুজ রঙে হাইলাইট করেছি যে পথে আমাদের টেমপ্লেটের উত্তরাধিকার রয়েছে - হয়ে গেছে, অর্থাৎ অপারেটরের পরবর্তী প্রকাশের সাথে, আমাদের ইতিমধ্যেই টেমপ্লেট উত্তরাধিকার থাকবে। এটি একটি শক্তিশালী টুল যা আপনাকে টুকরো থেকে জটিল কনফিগারেশন তৈরি করতে দেয়।
• এবং আমরা জটিল কাজগুলি স্বয়ংক্রিয় করতে চাই। প্রধানটি হল রি-শার্ডিং।

এর কিছু মধ্যবর্তী ফলাফল করা যাক.

এর ফলে আমরা কী পাই? এবং এটা মূল্য বা না? এমনকি আমার কি ডাটাবেসটিকে কুবারনেটে টেনে আনার চেষ্টা করতে হবে এবং সাধারণভাবে অপারেটর এবং বিশেষভাবে অ্যালিটিনিটি অপারেটরকে প্রয়োগ করতে হবে।

আউটপুটে আমরা পাই:

• নাটকীয়ভাবে সহজীকরণ এবং স্বয়ংক্রিয় কনফিগারেশন, স্থাপনা, এবং রক্ষণাবেক্ষণ.
• অবিলম্বে অন্তর্নির্মিত পর্যবেক্ষণ.
• এবং জটিল পরিস্থিতিতে ব্যবহারের জন্য প্রস্তুত কোডকৃত টেমপ্লেট। ইতিমধ্যে একটি প্রতিলিপি যোগ করার জন্য টাইপের ক্রিয়াটি হাত দ্বারা সম্পন্ন করার প্রয়োজন নেই। এটি অপারেটর দ্বারা করা হয়।

শুধু শেষ প্রশ্ন বাকি। আমরা ইতিমধ্যে Kubernetes, ভার্চুয়ালাইজেশন একটি ডাটাবেস আছে. এই জাতীয় সমাধানের কার্যকারিতা সম্পর্কে কী, বিশেষত যেহেতু ক্লিকহাউস কর্মক্ষমতার জন্য অপ্টিমাইজ করা হয়েছে?

উত্তর হল সবকিছু ঠিক আছে! আমি বিস্তারিত বর্ণনা করব না, এটি একটি পৃথক প্রতিবেদনের বিষয়।

কিন্তু TSBS এর মতো একটি প্রকল্প আছে। এর প্রধান কাজ কি? এটি একটি ডাটাবেস কর্মক্ষমতা পরীক্ষা. এটি উষ্ণের সাথে উষ্ণ, নরমের সাথে নরমের তুলনা করার প্রয়াস।

সে কিভাবে কাজ করে? এক সেট ডেটা তৈরি হয়। তারপর একই টেস্ট সেটের এই ডাটা সেট বিভিন্ন ডাটাবেসে চালানো হয়। এবং প্রতিটি ডাটাবেস একটি সমস্যার সমাধান করে যেভাবে এটি করতে পারে। এবং তারপর আপনি ফলাফল তুলনা করতে পারেন.

এটি ইতিমধ্যে ডাটাবেসের একটি বড় গুচ্ছ সমর্থন করে। আমি তিনটি প্রধান চিহ্নিত করেছি। এই:

• timescaledb.
• ইনফ্লাক্সডিবি।
• ক্লিক হাউস

আরেকটি অনুরূপ সমাধানের সাথে একটি তুলনাও করা হয়েছিল। রেডশিফটের সাথে তুলনা। তুলনাটি অ্যামাজনে করা হয়েছিল। ক্লিকহাউসও এ ব্যাপারে সবার থেকে বেশ এগিয়ে।

আমি যা বলেছি তা থেকে কি উপসংহার টানা যায়?

• কুবারনেটে ডিবি সম্ভব। সম্ভবত, আপনি কিছু করতে পারেন, কিন্তু সাধারণভাবে মনে হচ্ছে আপনি করতে পারেন। Kubernetes-এ ClickHouse আমাদের অপারেটরের সাহায্যে অবশ্যই সম্ভব।
• অপারেটর প্রক্রিয়াগুলি স্বয়ংক্রিয় করতে সাহায্য করে এবং সত্যিই জীবনকে সরল করে।
• কর্মক্ষমতা স্বাভাবিক।
• এবং, এটা আমাদের মনে হয় যে এটি ব্যবহার করা যেতে পারে এবং করা উচিত।

ওপেন সোর্স - আমাদের সাথে যোগ দিন!

আমি যেমন বলেছি, অপারেটরটি একটি সম্পূর্ণ ওপেন সোর্স পণ্য, তাই এটি সর্বাধিক সংখ্যক লোক ব্যবহার করলে খুব ভাল হবে। এখনি যোগদিন! আমরা আপনার জন্য অপেক্ষা করছি!

সবাইকে ধন্যবাদ!

প্রশ্ন

প্রতিবেদনের জন্য ধন্যবাদ! আমার নাম অ্যান্টন। আমি SEMrush থেকে এসেছি। আমি লগিং সঙ্গে আপ কি ভাবছি. আমরা পর্যবেক্ষণ সম্পর্কে শুনি, কিন্তু লগিং সম্পর্কে কিছুই না, যদি আমরা পুরো ক্লাস্টার সম্পর্কে কথা বলি। উদাহরণস্বরূপ, আমাদের হার্ডওয়্যারের উপর একটি ক্লাস্টার রয়েছে। এবং আমরা কেন্দ্রীভূত লগিং ব্যবহার করি, আমরা সাধারণ উপায়ে এটি সংগ্রহ করি। এবং তারপর সেখান থেকে আমরা এমন ডেটা পাই যা আমাদের কাছে আকর্ষণীয়।

ভাল প্রশ্ন, যেমন করণীয় তালিকায় লগ ইন করা। আমাদের অপারেটর এখনও এটি স্বয়ংক্রিয় করে না। এটি এখনও উন্নয়নশীল, প্রকল্পটি এখনও বেশ তরুণ। আমরা লগিংয়ের প্রয়োজনীয়তা বুঝতে পারি। এটিও একটি অত্যন্ত গুরুত্বপূর্ণ বিষয়। এবং এটি সম্ভবত পর্যবেক্ষণের চেয়ে কম গুরুত্বপূর্ণ নয়। তবে বাস্তবায়নের তালিকায় প্রথমে ছিল মনিটরিং। লগিং হবে। স্বাভাবিকভাবেই, আমরা ক্লাস্টারের জীবনের সমস্ত দিক স্বয়ংক্রিয় করার চেষ্টা করছি। অতএব, উত্তর হল যে এই মুহুর্তে অপারেটর, দুর্ভাগ্যবশত, এটি কীভাবে করতে হয় তা জানেন না, তবে এটি পরিকল্পনার মধ্যে রয়েছে, আমরা এটি করব। আপনি যদি যোগদান করতে চান, তাহলে অনুরোধ টানুন, দয়া করে.

হ্যালো! প্রতিবেদনের জন্য ধন্যবাদ! আমার কাছে স্থায়ী ভলিউম সম্পর্কিত একটি আদর্শ প্রশ্ন আছে। যখন আমরা এই অপারেটরের সাথে একটি কনফিগারেশন তৈরি করি, তখন অপারেটর কীভাবে নির্ধারণ করবে কোন নোডে আমাদের কিছু ডিস্ক বা ফোল্ডার আছে? আমাদের প্রথমে তাকে বোঝাতে হবে যে, অনুগ্রহ করে আমাদের ক্লিক হাউসগুলোকে ঠিক এই নোডগুলোর ওপর বসান যেগুলোর একটি ডিস্ক আছে?

যতদূর আমি বুঝতে পারি, এই প্রশ্নটি স্থানীয় স্টোরেজের একটি ধারাবাহিকতা, বিশেষ করে এর হোস্টপাথ অংশ। এটি পুরো সিস্টেমকে বোঝানোর মতো যে পডের জন্য ঠিক অমুক এবং অমুক নোডে চালু করা প্রয়োজন, যার উপর আমাদের একটি শারীরিক সংযুক্ত ডিস্ক রয়েছে, যা অমুক এবং অমুক পথে মাউন্ট করা আছে। এটি একটি সম্পূর্ণ বিভাগ যা আমি খুব উপরিভাগে স্পর্শ করেছি, কারণ সেখানে উত্তরটি বেশ বড়।

সংক্ষেপে, এটি এই মত দেখায়. অবশ্যই, আমাদের এই ভলিউমগুলির বিধান করা দরকার। এই মুহুর্তে, স্থানীয় সঞ্চয়স্থানে কোন গতিশীল বিধান নেই, তাই DevOps কে অবশ্যই ডিস্কগুলি নিজেরাই কাটতে হবে, এখানে এই ভলিউমগুলি রয়েছে৷ এবং তাদের অবশ্যই Kubernetes প্রভিশনিং ব্যাখ্যা করতে হবে, যে আপনার কাছে অমুক এবং অমুক শ্রেণীর স্থায়ী ভলিউম থাকবে, যা অমুক এবং অমুক নোডে অবস্থিত। তারপরে কুবারনেটসকে বোঝানোর প্রয়োজন হবে যে পডগুলির জন্য এই জাতীয় স্থানীয় স্টোরেজ ক্লাসের প্রয়োজন শুধুমাত্র অমুক এবং অমুক নোডগুলির লেবেল অনুসারে নির্ধারিত করা দরকার৷ এই উদ্দেশ্যে, অপারেটরের কিছু ধরণের লেবেল এবং প্রতি হোস্ট উদাহরণে একটি বরাদ্দ করার ক্ষমতা রয়েছে। এবং দেখা যাচ্ছে যে পডগুলিকে কুবারনেটস দ্বারা রাউট করা হবে শুধুমাত্র নোডগুলিতে চালানোর জন্য যা প্রয়োজনীয়তা, লেবেলগুলি, সহজ শর্তে পূরণ করে৷ প্রশাসকরা লেবেল বরাদ্দ করেন, হাতে ডিস্কের বিধান করেন। এবং তারপর এটি দাঁড়িপাল্লা.

এবং শুধুমাত্র তৃতীয় বিকল্প স্থানীয় এটি একটু সহজ করতে সাহায্য করে। আমি ইতিমধ্যে জোর দিয়েছি, এটি টিউনিংয়ের একটি শ্রমসাধ্য কাজ, যা শেষ পর্যন্ত সর্বাধিক কর্মক্ষমতা পেতে সহায়তা করে।

আমার এই সম্পর্কিত একটি দ্বিতীয় প্রশ্ন আছে। কুবারনেটসকে এমনভাবে কল্পনা করা হয়েছিল যে আমরা একটি নোড হারাবো কি না তাতে আমাদের কিছু যায় আসে না। এই ক্ষেত্রে আমাদের কি করা উচিত যদি আমরা নোডটি হারিয়ে ফেলেছি যেখানে আমাদের একটি শার্ড আছে?

হ্যাঁ, Kubernetes মূলত অবস্থান করা হয়েছিল যে আমাদের শুঁটির সাথে আমাদের সম্পর্ক গবাদি পশুর মতো, কিন্তু এখানে প্রতিটি ডিস্ক একটি পোষা প্রাণীর মতো কিছু হয়ে যায়। এমন একটি সমস্যা আছে যে আমরা তাদের ফেলে দিতে পারি না। এবং কুবারনেটসের বিকাশ সেই দিকে যাচ্ছে যে এটিকে সম্পূর্ণরূপে বাতিল করা সম্পদ হিসাবে দার্শনিকভাবে বিবেচনা করা অসম্ভব।

এখন একটি ব্যবহারিক প্রশ্ন। আপনি যে নোডটি ডিস্কে ছিল তা হারিয়ে গেলে কী করবেন? এখানে সমস্যা একটি উচ্চ স্তরে সমাধান করা হয়. ক্লিকহাউসের ক্ষেত্রে, আমাদের কাছে এমন প্রতিলিপি রয়েছে যা উচ্চ স্তরে কাজ করে, যেমন ক্লিকহাউস স্তরে।

স্বভাব কি? ডেটা যাতে হারিয়ে না যায় তা নিশ্চিত করার জন্য DevOps দায়ী৷ এটি অবশ্যই সঠিকভাবে প্রতিলিপি সেট আপ করতে হবে এবং নিশ্চিত করতে হবে যে প্রতিলিপি চলছে। ClickHouse স্তরে প্রতিলিপিতে, ডেটা অবশ্যই সদৃশ হতে হবে। এটি এমন কাজ নয় যা অপারেটর সমাধান করে। এবং সেই কাজটি নয় যা কুবারনেটস নিজেই সমাধান করে। এটি ক্লিকহাউস স্তরে।

আপনার আয়রন নোড বন্ধ পড়ে গেলে কি করবেন? এবং দেখা যাচ্ছে যে দ্বিতীয়টি স্থাপন করা, ডিস্কটি সঠিকভাবে সরানো, লেবেল প্রয়োগ করা প্রয়োজন। এবং এর পরে, এটি প্রয়োজনীয়তাগুলি পূরণ করবে যা এটিতে কুবারনেটস একটি পড উদাহরণ চালাতে পারে। কুবারনেটস এটি চালু করবে। আপনার পড সংখ্যা নির্দিষ্ট একটি যথেষ্ট নয়. আমি যে চক্র দেখিয়েছি তার মধ্য দিয়ে যাবে। এবং সর্বোচ্চ স্তরে, ClickHouse বুঝতে পারবে যে আমাদের একটি প্রতিলিপি প্রবেশ করানো হয়েছে, এটি এখনও খালি এবং আমাদের এটিতে ডেটা স্থানান্তর করা শুরু করতে হবে। সেগুলো. এই প্রক্রিয়া এখনও খারাপভাবে স্বয়ংক্রিয়।

প্রতিবেদনের জন্য ধন্যবাদ! যখন সমস্ত ধরণের বাজে জিনিস ঘটে, অপারেটর ক্র্যাশ করে এবং পুনরায় চালু হয় এবং সেই মুহুর্তে ইভেন্টগুলি আসে, আপনি কি কোনওভাবে এটি প্রক্রিয়া করেন?

অপারেটর ক্র্যাশ এবং পুনরায় চালু হলে কি হবে, হ্যাঁ?

হ্যাঁ. এবং সেই মুহূর্তে ঘটনা ঘটে।

এই ক্ষেত্রে কী করতে হবে তার কাজটি অপারেটর এবং কুবারনেটসের মধ্যে আংশিকভাবে বিভক্ত। Kubernetes যে ঘটনা ঘটেছে তা পুনরায় চালানোর ক্ষমতা আছে। সে রিপ্লে করে। এবং অপারেটরের কাজটি নিশ্চিত করা যে ইভেন্ট লগটি যখন এটিতে পুনরায় প্লে করা হয়েছিল, তখন এই ঘটনাগুলি অদম্য। এবং যাতে একই ঘটনার পুনরায় সংঘটন আমাদের জন্য আমাদের সিস্টেম ভেঙ্গে না. এবং আমাদের অপারেটর এই টাস্ক সঙ্গে copes.

হ্যালো! প্রতিবেদনের জন্য ধন্যবাদ! দিমিত্রি জাভিয়ালভ, কোম্পানি Smedov. অপারেটরে হ্যাপ্রক্সি সহ কাস্টমাইজেশন বিকল্পগুলি যুক্ত করার পরিকল্পনা করা হয়েছে? স্ট্যান্ডার্ডের পাশাপাশি আরও কিছু ব্যালেন্সার আকর্ষণীয়, যাতে এটি স্মার্ট এবং বুঝতে পারে যে ClickHouse সেখানে বাস্তব।

আপনি কি ইনগ্রেসের কথা বলছেন?

হ্যাঁ, হ্যাপ্রক্সি দিয়ে Ingress প্রতিস্থাপন করুন। হ্যাপ্রক্সিতে, আপনি ক্লাস্টার টপোলজি নির্দিষ্ট করতে পারেন যেখানে এটির প্রতিলিপি রয়েছে।

এখন পর্যন্ত, আমরা এটি সম্পর্কে চিন্তা করিনি। আপনার যদি এটির প্রয়োজন হয় এবং কেন এটি প্রয়োজন তা ব্যাখ্যা করতে পারেন, তাহলে এটি বাস্তবায়ন করা সম্ভব হবে, বিশেষ করে আপনি যদি অংশগ্রহণ করতে চান। আমরা বিকল্পটি বিবেচনা করে খুশি হব। সংক্ষিপ্ত উত্তর হল না, বর্তমানে আমাদের এই ধরনের কার্যকারিতা নেই। টিপটির জন্য ধন্যবাদ, আমরা এটি দেখে নেব। এবং আপনি যদি ব্যবহারের ক্ষেত্রেও ব্যাখ্যা করেন এবং অনুশীলনে কেন এটি প্রয়োজনীয়, উদাহরণস্বরূপ, গিটহাবে সমস্যা তৈরি করুন, তবে এটি দুর্দান্ত হবে।

ইতিমধ্যে আছে.

ফাইন। আমরা যেকোনো পরামর্শের জন্য উন্মুক্ত। এবং হ্যাপ্রক্সিকে টোডো তালিকায় রাখা হয়। করণীয় তালিকা বাড়ছে, এখনও সঙ্কুচিত হচ্ছে না। তবে এটি ভাল, এর অর্থ পণ্যটির চাহিদা রয়েছে।

উত্স: www.habr.com