সিটিমোবিলে আমরা একটি মাইএসকিউএল ডাটাবেসকে আমাদের প্রধান স্থায়ী ডেটা স্টোরেজ হিসাবে ব্যবহার করি। বিভিন্ন পরিষেবা এবং উদ্দেশ্যে আমাদের বেশ কয়েকটি ডাটাবেস ক্লাস্টার রয়েছে।

মাস্টারের ধ্রুবক প্রাপ্যতা সমগ্র সিস্টেম এবং এর পৃথক অংশগুলির কর্মক্ষমতার একটি গুরুত্বপূর্ণ সূচক। একটি মাস্টার ব্যর্থতার ক্ষেত্রে স্বয়ংক্রিয় ক্লাস্টার পুনরুদ্ধার ঘটনা প্রতিক্রিয়া সময় এবং সিস্টেম ডাউনটাইমকে ব্যাপকভাবে হ্রাস করে। এই নিবন্ধে, আমি এর উপর ভিত্তি করে একটি MySQL ক্লাস্টারের জন্য একটি উচ্চ প্রাপ্যতা (HA) ডিজাইন দেখব মাইএসকিউএল অর্কেস্ট্রেটর এবং ভার্চুয়াল আইপি ঠিকানা (ভিআইপি)।

ভিআইপি ভিত্তিক এইচএ সমাধান

প্রথমে, আমি আপনাকে সংক্ষেপে বলব আমাদের ডেটা স্টোরেজ সিস্টেম কী।

আমরা একটি লিখতে-অভিগম্য মাস্টার এবং একাধিক পঠনযোগ্য প্রতিলিপি সহ একটি ক্লাসিক প্রতিলিপি স্কিম ব্যবহার করি। একটি ক্লাস্টারে একটি মধ্যবর্তী মাস্টার থাকতে পারে - একটি নোড যা অন্যদের জন্য একটি প্রতিরূপ এবং একটি মাস্টার উভয়ই। ক্লায়েন্ট HAProxy এর মাধ্যমে প্রতিলিপিগুলি অ্যাক্সেস করে, যা এমনকি লোড বিতরণ এবং সহজ স্কেলিং করার অনুমতি দেয়। HAProxy-এর ব্যবহার ঐতিহাসিক কারণে, এবং আমরা বর্তমানে ProxySQL-এ স্থানান্তরিত করার প্রক্রিয়ার মধ্যে আছি।

প্রতিলিপির উপর ভিত্তি করে আধা-সিঙ্ক্রোনাস মোডে সঞ্চালিত হয় GTID. এর মানে হল যে অন্তত একটি প্রতিলিপি সফল বলে বিবেচিত হওয়ার আগে একটি লেনদেন লগ করতে হবে। এই প্রতিলিপি মোড একটি মাস্টার নোড ব্যর্থতার ক্ষেত্রে কর্মক্ষমতা এবং ডেটা নিরাপত্তার মধ্যে একটি সর্বোত্তম ভারসাম্য প্রদান করে। মূলত সব পরিবর্তন মাস্টার থেকে প্রতিলিপি ব্যবহার করে স্থানান্তর করা হয় Row Based Replication (RBR), কিন্তু কিছু নোড থাকতে পারে mixed binlog format.

অর্কেস্ট্রেটর পর্যায়ক্রমে ক্লাস্টার টপোলজির অবস্থা আপডেট করে, প্রাপ্ত তথ্য বিশ্লেষণ করে এবং সমস্যা দেখা দিলে, এটি একটি স্বয়ংক্রিয় পুনরুদ্ধার পদ্ধতি চালু করতে পারে। বিকাশকারী নিজেই পদ্ধতিটির জন্য দায়ী, যেহেতু এটি বিভিন্ন উপায়ে প্রয়োগ করা যেতে পারে: ভিআইপি, ডিএনএস-এর উপর ভিত্তি করে, পরিষেবা আবিষ্কার পরিষেবাগুলি বা স্ব-লিখিত প্রক্রিয়া ব্যবহার করে।

যদি এটি ব্যর্থ হয় তবে একটি মাস্টার পুনরুদ্ধার করার একটি সহজ উপায় হল ভাসমান ভিআইপি ঠিকানাগুলি ব্যবহার করা৷

এগিয়ে যাওয়ার আগে এই সমাধান সম্পর্কে আপনার যা জানা দরকার:

• একটি VIP হল একটি IP ঠিকানা যা একটি নির্দিষ্ট শারীরিক নেটওয়ার্ক ইন্টারফেসের সাথে যুক্ত নয়। যদি একটি নোড ব্যর্থ হয় বা নির্ধারিত রক্ষণাবেক্ষণের সময়, আমরা ন্যূনতম ডাউনটাইম সহ ভিআইপিকে অন্য সংস্থানে স্যুইচ করতে পারি।
• ভার্চুয়াল আইপি ঠিকানা মুক্ত করা এবং জারি করা একটি সস্তা এবং দ্রুত অপারেশন।
• VIP এর সাথে কাজ করার জন্য, আপনাকে SSH এর মাধ্যমে সার্ভারে অ্যাক্সেস করতে হবে, বা বিশেষ ইউটিলিটি ব্যবহার করতে হবে, উদাহরণস্বরূপ, keepalived.

আসুন আমাদের উইজার্ডের সাথে সম্ভাব্য সমস্যাগুলি দেখুন এবং কল্পনা করুন কিভাবে স্বয়ংক্রিয় পুনরুদ্ধারের প্রক্রিয়াটি কাজ করা উচিত।

মাস্টারের সাথে নেটওয়ার্ক সংযোগ অদৃশ্য হয়ে গেছে, বা হার্ডওয়্যার স্তরে একটি সমস্যা দেখা দিয়েছে এবং সার্ভারটি অনুপলব্ধ

1. অর্কেস্ট্রেটর ক্লাস্টার টপোলজি আপডেট করে, প্রতিটি রেপ্লিকা রিপোর্ট করে যে মাস্টারটি অনুপলব্ধ। অর্কেস্ট্রেটর নতুন মাস্টারের ভূমিকার জন্য উপযুক্ত একটি প্রতিরূপ নির্বাচন করার প্রক্রিয়া শুরু করে এবং পুনরুদ্ধার শুরু করে।
2. আমরা পুরানো মাস্টার থেকে ভিআইপি সরানোর চেষ্টা করছি - সফল না।
3. প্রতিরূপটি মাস্টারের ভূমিকায় চলে যায়। টপোলজি পুনর্নির্মাণ করা হচ্ছে।
4. VIP এর সাথে একটি নতুন নেটওয়ার্ক ইন্টারফেস যোগ করা হচ্ছে। যেহেতু ভিআইপি অপসারণ করা সম্ভব ছিল না, তাই আমরা পর্যায়ক্রমে পটভূমিতে একটি অনুরোধ পাঠাতে শুরু করি বিনামূল্যে ARP. এই ধরনের অনুরোধ/প্রতিক্রিয়া আপনাকে সংযুক্ত সুইচগুলিতে IP এবং MAC ঠিকানা ম্যাপিং টেবিল আপডেট করতে দেয়, যার ফলে আপনাকে জানানো হয় যে আমাদের VIP চলে গেছে। এটি সম্ভাবনা কমিয়ে দেয় split brain পুরানো মাস্টার ফিরে যখন.
5. সমস্ত নতুন সংযোগ অবিলম্বে নতুন মাস্টারের কাছে পুনঃনির্দেশিত হয়। পুরানো সংযোগ ব্যর্থ হয় এবং ডাটাবেসে বারবার কল করা হয় অ্যাপ্লিকেশন স্তরে।

সার্ভারটি স্বাভাবিক মোডে কাজ করছে, ডিবিএমএস স্তরে একটি ব্যর্থতা ঘটেছে৷

অ্যালগরিদমটি আগের ক্ষেত্রের মতোই: টপোলজি আপডেট করা এবং পুনরুদ্ধার প্রক্রিয়া শুরু করা। যেহেতু সার্ভারটি উপলব্ধ, আমরা সফলভাবে পুরানো মাস্টারে ভিআইপি ছেড়ে দিই, এটিকে নতুনটিতে স্থানান্তর করি এবং বেশ কয়েকটি ARP অনুরোধ পাঠাই। পুরানো মাস্টারের সম্ভাব্য প্রত্যাবর্তন পুনর্নির্মিত ক্লাস্টার এবং অ্যাপ্লিকেশনটির অপারেশনকে প্রভাবিত করবে না।

অন্যান্য সমস্যা

প্রতিলিপি বা মধ্যবর্তী মাস্টারদের ব্যর্থতা নেতৃত্ব দেয় না স্বয়ংক্রিয় ক্রিয়া করতে এবং ম্যানুয়াল হস্তক্ষেপ প্রয়োজন।

একটি ভার্চুয়াল নেটওয়ার্ক ইন্টারফেস সর্বদা অস্থায়ীভাবে যোগ করা হয়, অর্থাৎ, সার্ভার রিবুট করার পরে, ভিআইপি স্বয়ংক্রিয়ভাবে বরাদ্দ করা হয় না। প্রতিটি ডাটাবেস ইন্সট্যান্স ডিফল্টরূপে শুধুমাত্র-পঠন মোডে শুরু হয়, অর্কেস্ট্রেটর স্বয়ংক্রিয়ভাবে নতুন মাস্টারকে লিখতে স্যুইচ করে এবং ইনস্টল করার চেষ্টা করে read only পুরানো মাস্টারের উপর। এই ক্রিয়াগুলি সম্ভাবনা হ্রাস করার লক্ষ্যে split brain.

পুনরুদ্ধার প্রক্রিয়া চলাকালীন সমস্যা দেখা দিতে পারে, যা স্ট্যান্ডার্ড মনিটরিং টুল ছাড়াও অর্কেস্ট্রেটর UI এর মাধ্যমেও অবহিত করা উচিত। আমরা এই বৈশিষ্ট্যটি যুক্ত করে REST API প্রসারিত করেছি (PR বর্তমানে পর্যালোচনাধীন)।

HA সমাধানের সাধারণ চিত্রটি নীচে উপস্থাপন করা হয়েছে।

একটি নতুন মাস্টার নির্বাচন

অর্কেস্ট্রেটর যথেষ্ট স্মার্ট এবং বেছে নেওয়ার চেষ্টা করে সবচেয়ে উপযুক্ত প্রতিরূপ নিম্নলিখিত মানদণ্ড অনুযায়ী একটি নতুন মাস্টার হিসাবে:

• প্রতিরূপটি মাস্টারের পিছনে থাকে;
• মাস্টার এবং প্রতিরূপের MySQL সংস্করণ;
• প্রতিলিপি প্রকার (RBR, SBR বা মিশ্র);
• একই বা ভিন্ন তথ্য কেন্দ্রে অবস্থান;
• উপস্থিতি errant GTID — লেনদেন যা প্রতিলিপিতে সম্পাদিত হয়েছিল এবং মাস্টারের উপর নয়;
• কাস্টম নির্বাচনের নিয়মগুলিও বিবেচনায় নেওয়া হয়।

প্রতিটি কিউ একজন মাস্টারের জন্য আদর্শ প্রার্থী নয়। উদাহরণস্বরূপ, একটি প্রতিরূপ ডেটা ব্যাকআপ করতে ব্যবহার করা যেতে পারে, বা সার্ভারের একটি দুর্বল হার্ডওয়্যার কনফিগারেশন রয়েছে। অর্কেস্ট্রেটর সমর্থন করে ম্যানুয়াল নিয়ম যার সাহায্যে আপনি আপনার প্রার্থী নির্বাচনের পছন্দগুলিকে সর্বাধিক পছন্দের থেকে উপেক্ষা করা থেকে কাস্টমাইজ করতে পারেন৷

প্রতিক্রিয়া এবং পুনরুদ্ধারের সময়

একটি ঘটনা ঘটলে, সিস্টেম ডাউনটাইম কম করা গুরুত্বপূর্ণ, তাই আসুন MySQL প্যারামিটারগুলি বিবেচনা করি যা অর্কেস্ট্রেটর দ্বারা ক্লাস্টার টপোলজি তৈরি এবং আপডেট করার উপর প্রভাব ফেলে:

• slave_net_timeout — সংযোগটি হারিয়ে যাওয়া এবং পুনরায় সংযোগ করা হিসাবে স্বীকৃত হওয়ার আগে প্রতিরূপটি নতুন ডেটা বা একটি হার্টবিট সিগন্যালের জন্য মাস্টারের কাছ থেকে আসার জন্য অপেক্ষা করে সেকেন্ডের সংখ্যা। মান যত কম হবে, প্রতিরূপটি তত দ্রুত নির্ধারণ করতে পারে যে মাস্টারের সাথে যোগাযোগ ভেঙে গেছে। আমরা এই মানটি 5 সেকেন্ডে সেট করেছি।
• MASTER_CONNECT_RETRY — পুনঃসংযোগ প্রচেষ্টার মধ্যে সেকেন্ডের সংখ্যা। নেটওয়ার্ক সমস্যার ক্ষেত্রে, এই প্যারামিটারের জন্য একটি কম মান দ্রুত পুনঃসংযোগের অনুমতি দেবে এবং ক্লাস্টার পুনরুদ্ধার প্রক্রিয়া শুরু হতে বাধা দেবে। প্রস্তাবিত মান হল 1 সেকেন্ড।
• MASTER_RETRY_COUNT — সর্বোচ্চ সংখ্যক পুনঃসংযোগ প্রচেষ্টা।
• MASTER_HEARTBEAT_PERIOD - সেকেন্ডের মধ্যে ব্যবধান যার পরে মাস্টার একটি হার্টবিট সংকেত পাঠায়। অর্ধেক মান ডিফল্ট slave_net_timeout.

অর্কেস্ট্রেটর পরামিতি:

• DelayMasterPromotionIfSQLThreadNotUpToDate - সমান হলে true, তাহলে প্রার্থীর প্রতিলিপিতে মাস্টার রোল প্রয়োগ করা হবে না যতক্ষণ না প্রতিলিপির SQL থ্রেড রিলে লগ থেকে সমস্ত অপ্রয়োগিত লেনদেন সম্পূর্ণ না করে। সমস্ত প্রার্থীর প্রতিলিপি পিছিয়ে গেলে লেনদেন হারানো এড়াতে আমরা এই বিকল্পটি ব্যবহার করি।
• InstancePollSeconds - টপোলজি তৈরি এবং আপডেট করার ফ্রিকোয়েন্সি।
• RecoveryPollSeconds - টপোলজি বিশ্লেষণের ফ্রিকোয়েন্সি। যদি একটি সমস্যা সনাক্ত করা হয়, টপোলজি পুনরুদ্ধার শুরু করা হয়। এই ধ্রুব, 1 সেকেন্ডের সমান।

প্রতিটি ক্লাস্টার নোড প্রতি একবার অর্কেস্ট্রেটর দ্বারা পোল করা হয় InstancePollSeconds সেকেন্ড যখন একটি সমস্যা সনাক্ত করা হয়, ক্লাস্টার অবস্থা বাধ্য করা হয় আপডেট করা হয়েছে, এবং তারপর পুনরুদ্ধার করার জন্য চূড়ান্ত সিদ্ধান্ত নেওয়া হয়। বিভিন্ন ডাটাবেস এবং অর্কেস্ট্রেটর প্যারামিটারের সাথে পরীক্ষা করে, আমরা প্রতিক্রিয়া এবং পুনরুদ্ধারের সময় 30 সেকেন্ডে কমাতে সক্ষম হয়েছি।

পরীক্ষা স্ট্যান্ড

আমরা স্থানীয় একটি উন্নয়নের সাথে HA প্রকল্পের পরীক্ষা শুরু করেছি পরীক্ষা বেঞ্চ এবং পরীক্ষা এবং উত্পাদন পরিবেশে আরও বাস্তবায়ন। স্থানীয় স্ট্যান্ডটি ডকারের উপর ভিত্তি করে সম্পূর্ণরূপে স্বয়ংক্রিয় এবং আপনাকে অর্কেস্ট্রেটর এবং নেটওয়ার্কের কনফিগারেশনের সাথে পরীক্ষা করার অনুমতি দেয়, ক্লাস্টারটিকে 2-3 সার্ভার থেকে কয়েক ডজন পর্যন্ত স্কেল করতে এবং নিরাপদ পরিবেশে অনুশীলন পরিচালনা করতে দেয়।

অনুশীলনের সময়, আমরা সমস্যা অনুকরণ পদ্ধতিগুলির একটি বেছে নিই: অবিলম্বে মাস্টার ব্যবহার করে অঙ্কুর kill -9, নরমভাবে প্রক্রিয়াটি বন্ধ করুন এবং সার্ভার বন্ধ করুন (docker-compose stop), ব্যবহার করে নেটওয়ার্ক সমস্যা অনুকরণ iptables -j REJECT বা iptables -j DROP. আমরা নিম্নলিখিত ফলাফল আশা করি:

• অর্কেস্ট্রেটর মাস্টারের সাথে সমস্যা সনাক্ত করবে এবং 10 সেকেন্ডের বেশি সময়ের মধ্যে টপোলজি আপডেট করবে;
• পুনরুদ্ধারের পদ্ধতি স্বয়ংক্রিয়ভাবে শুরু হবে: নেটওয়ার্ক কনফিগারেশন পরিবর্তন হবে, মাস্টারের ভূমিকা প্রতিলিপিতে চলে যাবে, টপোলজি পুনর্নির্মাণ করা হবে;
• নতুন মাস্টার লিখনযোগ্য হয়ে উঠবে, লাইভ প্রতিলিপিগুলি পুনর্নির্মাণ প্রক্রিয়ার সময় হারিয়ে যাবে না;
• ডেটা নতুন মাস্টারের কাছে লেখা শুরু হবে এবং প্রতিলিপি করা হবে;
• মোট পুনরুদ্ধারের সময় 30 সেকেন্ডের বেশি হবে না।

আপনি জানেন যে, সিস্টেমটি বিভিন্ন হার্ডওয়্যার এবং নেটওয়ার্ক কনফিগারেশন, সিন্থেটিক এবং রিয়েল লোডের পার্থক্য ইত্যাদির কারণে পরীক্ষা এবং উত্পাদন পরিবেশে ভিন্নভাবে আচরণ করতে পারে। অতএব, আমরা পর্যায়ক্রমে বাস্তব পরিস্থিতিতে অনুশীলন করি, নেটওয়ার্ক সংযোগ হারিয়ে গেলে বা এর পৃথক অংশগুলি অবনমিত হলে সিস্টেমটি কীভাবে আচরণ করে তা পরীক্ষা করে দেখি। ভবিষ্যতে, আমরা উভয় পরিবেশের জন্য একটি সম্পূর্ণ অভিন্ন অবকাঠামো তৈরি করতে চাই এবং এর পরীক্ষা স্বয়ংক্রিয়ভাবে করতে চাই।

তথ্যও

প্রধান স্টোরেজ সিস্টেম নোডের স্বাস্থ্য SRE এবং অপারেশন টিমের অন্যতম প্রধান কাজ। ভিআইপি ভিত্তিক অর্কেস্ট্রেটর এবং HA সমাধানের বাস্তবায়ন আমাদের নিম্নলিখিত ফলাফলগুলি অর্জন করতে দেয়:

• ডাটাবেস ক্লাস্টারের টপোলজির সাথে সমস্যার নির্ভরযোগ্য সনাক্তকরণ;
• মাস্টার-সম্পর্কিত ঘটনার স্বয়ংক্রিয় এবং দ্রুত প্রতিক্রিয়া, সিস্টেম ডাউনটাইম হ্রাস করে।

যাইহোক, সমাধানটির সীমাবদ্ধতা এবং অসুবিধা রয়েছে:

• বিভিন্ন ডেটা সেন্টারে HA স্কিম স্কেল করার জন্য তাদের মধ্যে একটি একক L2 নেটওয়ার্ক প্রয়োজন হবে;
• নতুন মাস্টারের উপর ভিআইপি নিয়োগ করার আগে, আমাদের এটিকে পুরানোটির উপর ছেড়ে দিতে হবে। প্রক্রিয়াটি ক্রমিক, যা পুনরুদ্ধারের সময় বাড়ায়;
• ভিআইপি রিলিজ করার জন্য সার্ভারে SSH অ্যাক্সেস প্রয়োজন, বা দূরবর্তী পদ্ধতিতে কল করার অন্য কোনো পদ্ধতি। যেহেতু সার্ভার বা ডাটাবেস সমস্যাগুলির সম্মুখীন হচ্ছে যা পুনরুদ্ধার প্রক্রিয়ার কারণ হয়েছে, আমরা নিশ্চিত হতে পারি না যে VIP অপসারণ সফলভাবে সম্পন্ন হবে৷ এবং এটি একই ভার্চুয়াল আইপি ঠিকানা এবং একটি সমস্যা সহ দুটি সার্ভারের চেহারা হতে পারে split brain.

এড়ানোর জন্য split brain, আপনি পদ্ধতি ব্যবহার করতে পারেন স্টোনিথ ("মাথায় অন্য নোড গুলি করুন"), যা সমস্যা নোডটিকে সম্পূর্ণরূপে বিচ্ছিন্ন বা নিষ্ক্রিয় করে। ক্লাস্টার উচ্চ প্রাপ্যতা বাস্তবায়নের অন্যান্য উপায় রয়েছে: ভিআইপি এবং ডিএনএসের সংমিশ্রণ, পরিষেবা আবিষ্কার এবং প্রক্সি পরিষেবা, সিঙ্ক্রোনাস প্রতিলিপি এবং অন্যান্য পদ্ধতি যার নিজস্ব অসুবিধা এবং সুবিধা রয়েছে।

আমি একটি MySQL ফেইলওভার ক্লাস্টার তৈরি করার জন্য আমাদের পদ্ধতি সম্পর্কে কথা বলেছি। এটি বাস্তবায়ন করা সহজ এবং বর্তমান পরিস্থিতিতে একটি গ্রহণযোগ্য স্তরের নির্ভরযোগ্যতা প্রদান করে। সাধারণভাবে সমগ্র ব্যবস্থা এবং বিশেষভাবে অবকাঠামো বিকাশের সাথে সাথে, এই পদ্ধতিটি নিঃসন্দেহে বিকশিত হবে।

উত্স: www.habr.com