MySQL এর জন্য অর্কেস্ট্রেটর: কেন আপনি এটি ছাড়া একটি ত্রুটি-সহনশীল প্রকল্প তৈরি করতে পারবেন না

যেকোন বড় প্রকল্প কয়েকটা সার্ভার দিয়ে শুরু হয়। প্রথমে একটি ডিবি সার্ভার ছিল, তারপরে পড়ার স্কেল করার জন্য দাসদের যোগ করা হয়েছিল। এবং তারপর - থামুন! একজন প্রভু আছে, কিন্তু অনেক দাস আছে; যদি একজন ক্রীতদাস চলে যায়, তবে সবকিছু ঠিক হয়ে যাবে, কিন্তু মাস্টার যদি চলে যায় তবে খারাপ হবে: ডাউনটাইম, অ্যাডমিনরা সার্ভার বাড়াতে চেষ্টা করছে। কি করো? একটি মাস্টার রিজার্ভ. আমার সহকর্মী পাভেল ইতিমধ্যে এই সম্পর্কে লিখেছেন প্রবন্ধ, আমি এটা পুনরাবৃত্তি করব না. পরিবর্তে, আমি আপনাকে বলব কেন আপনার অবশ্যই MySQL এর জন্য অর্কেস্ট্রেটর প্রয়োজন!

আসুন মূল প্রশ্নটি দিয়ে শুরু করা যাক: "মাস্টার চলে গেলে আমরা কীভাবে কোডটি একটি নতুন মেশিনে স্যুইচ করব?"

• আমি ভিআইপি (ভার্চুয়াল আইপি) সহ স্কিমটি সবচেয়ে বেশি পছন্দ করি, আমরা নীচে এটি সম্পর্কে কথা বলব। এটি সবচেয়ে সহজ এবং সবচেয়ে সুস্পষ্ট, যদিও এটির একটি সুস্পষ্ট সীমাবদ্ধতা রয়েছে: আমরা যে মাস্টারটি রিজার্ভ করব তা অবশ্যই নতুন মেশিনের সাথে L2 সেগমেন্টে থাকতে হবে, অর্থাৎ, আমরা দ্বিতীয় ডিসি সম্পর্কে ভুলে যেতে পারি। এবং, একটি বন্ধুত্বপূর্ণ উপায়ে, আপনি যদি এই নিয়মটি অনুসরণ করেন যে একটি বড় L2 মন্দ, কারণ L2 শুধুমাত্র প্রতি র্যাক, এবং L3 র্যাকের মধ্যে, এবং এই জাতীয় স্কিমের আরও বেশি সীমাবদ্ধতা রয়েছে।
• আপনি কোডে একটি DNS নাম লিখতে পারেন এবং /etc/hosts এর মাধ্যমে এটি সমাধান করতে পারেন। আসলে, কোন সমাধান হবে না. স্কিমের সুবিধা: প্রথম পদ্ধতির কোন সীমাবদ্ধতা বৈশিষ্ট্য নেই, অর্থাৎ, একটি ক্রস-ডিসি সংগঠিত করা সম্ভব। কিন্তু তারপরে সুস্পষ্ট প্রশ্ন উঠেছে: আমরা কত দ্রুত পাপেট-অ্যান্সিবলের মাধ্যমে পরিবর্তনটি /etc/hosts-এ পৌঁছে দিতে পারি?
• আপনি দ্বিতীয় পদ্ধতিটি একটু পরিবর্তন করতে পারেন: সমস্ত ওয়েব সার্ভারে ক্যাশিং ডিএনএস ইনস্টল করুন, যার মাধ্যমে কোডটি মাস্টার ডাটাবেসে যাবে। আপনি DNS এ এই এন্ট্রির জন্য TTL 60 সেট করতে পারেন। মনে হচ্ছে সঠিকভাবে প্রয়োগ করলে পদ্ধতিটি ভালো।
• কনসাল এবং ইত্যাদির ব্যবহার বোঝায় পরিষেবা আবিষ্কার সহ একটি স্কিম।
• সঙ্গে একটি আকর্ষণীয় বিকল্প প্রক্সিএসকিউএল. আপনাকে ProxySQL এর মাধ্যমে সমস্ত ট্র্যাফিক MySQL-এ রুট করতে হবে; ProxySQL নিজেই নির্ধারণ করতে পারে কে মাস্টার। যাইহোক, আপনি আমার এই পণ্যটি ব্যবহার করার বিকল্পগুলির একটি সম্পর্কে পড়তে পারেন প্রবন্ধ.

অর্কেস্ট্রেটরের লেখক, গিথুবে কাজ করে, প্রথমে ভিআইপির সাথে প্রথম স্কিমটি বাস্তবায়ন করেছিলেন এবং তারপরে কনসালের সাথে একটি স্কিমে রূপান্তর করেছিলেন।

সাধারণ অবকাঠামো বিন্যাস:

আমি অবিলম্বে সুস্পষ্ট পরিস্থিতিগুলি বর্ণনা করব যা বিবেচনায় নেওয়া দরকার:

• ভিআইপি ঠিকানা কোনো সার্ভারের কনফিগারে নিবন্ধিত করা উচিত নয়। আসুন একটি পরিস্থিতি কল্পনা করা যাক: মাস্টার রিবুট করেছে, এবং এটি লোড হওয়ার সময়, অর্কেস্ট্রেটর ব্যর্থতা মোডে চলে গেছে এবং একজন ক্রীতদাসকে মাস্টার বানিয়েছে; তারপরে পুরানো মাস্টার উঠলেন, এবং এখন ভিআইপি দুটি গাড়িতে। এইটা খারাপ.
• অর্কেস্ট্রেটরের জন্য, আপনাকে পুরানো মাস্টার এবং নতুন মাস্টারকে কল করার জন্য একটি স্ক্রিপ্ট লিখতে হবে। পুরানো মাস্টারে আপনাকে ifdown চালাতে হবে, এবং নতুন মাস্টারে – ifup vip। এই স্ক্রিপ্টে এটিও অন্তর্ভুক্ত করা ভাল হবে যে কোনও ব্যর্থতার ক্ষেত্রে, কোনও বিভাজন এড়াতে পুরানো মাস্টারের সুইচের পোর্টটি কেবল বন্ধ করা হয়।
• অর্কেস্ট্রেটর আপনার স্ক্রিপ্টটিকে প্রথমে ভিআইপি সরাতে এবং/অথবা সুইচের পোর্টটি নিভিয়ে দেওয়ার জন্য কল করার পরে, এবং তারপরে নতুন মাস্টারে ভিআইপি রেইজিং স্ক্রিপ্ট বলে, সবাইকে জানাতে আরপিং কমান্ডটি ব্যবহার করতে ভুলবেন না যে নতুন ভিআইপি এখন এখানে.
• সমস্ত স্লেভেরই রিড_অনলি=1 থাকা উচিত, এবং যত তাড়াতাড়ি আপনি স্লেভকে মাস্টারের কাছে উন্নীত করবেন, এটি শুধুমাত্র read_only=0 থাকা উচিত।
• ভুলে যাবেন না যে আমরা এর জন্য যে কোনো দাসকে বেছে নিয়েছি সে একজন প্রভু হয়ে উঠতে পারে (অর্কেস্ট্রেটরের একটি সম্পূর্ণ পছন্দের ব্যবস্থা রয়েছে যার জন্য কোন ক্রীতদাসকে প্রথম স্থানে একজন নতুন প্রভুর প্রার্থী হিসাবে বিবেচনা করা উচিত, কোনটি দ্বিতীয় স্থানে এবং কোন দাসকে বিবেচনা করা উচিত। কোন অবস্থাতেই নির্বাচিত হবেন না মাস্টার)। ক্রীতদাস যদি প্রভু হয়ে যায়, তাহলে ক্রীতদাসের বোঝা তার উপর থাকবে এবং মনিবের বোঝা যোগ হবে, এই বিবেচনায় নিতে হবে।

আপনার কাছে না থাকলে কেন অর্কেস্ট্রেটর দরকার?

• অর্কেস্ট্রেটরের একটি খুব ব্যবহারকারী-বান্ধব গ্রাফিকাল ইন্টারফেস রয়েছে যা সম্পূর্ণ টপোলজি প্রদর্শন করে (নীচের স্ক্রিনশট দেখুন)।
• অর্কেস্ট্রেটর ট্র্যাক করতে পারে কোন ক্রীতদাসরা পিছিয়ে আছে এবং কোথায় প্রতিলিপিটি সাধারণত ভেঙে গেছে (এসএমএস পাঠানোর জন্য অর্কেস্ট্রেটরের সাথে আমাদের স্ক্রিপ্ট সংযুক্ত আছে)।
• অর্কেস্ট্রেটর আপনাকে বলে যে কোন দাসদের একটি GTID ত্রুটি আছে৷

অর্কেস্ট্রেটর ইন্টারফেস:

GTID ভুল কি?

অর্কেস্ট্রেটরের কাজ করার জন্য দুটি প্রধান প্রয়োজনীয়তা রয়েছে:

• মাইএসকিউএল ক্লাস্টারের সমস্ত মেশিনে ছদ্ম GTID সক্ষম করা আবশ্যক; আমরা GTID সক্ষম করেছি।
• এটা প্রয়োজনীয় যে সব জায়গায় এক ধরনের বিনলগ থাকতে হবে, আপনি স্টেটমেন্ট ব্যবহার করতে পারেন। আমাদের একটি কনফিগারেশন ছিল যেখানে মাস্টার এবং বেশিরভাগ স্লেভের সারি ছিল এবং দুটি ঐতিহাসিকভাবে মিশ্র মোডে রয়ে গেছে। ফলস্বরূপ, অর্কেস্ট্রেটর কেবল এই ক্রীতদাসদের নতুন মাস্টারের সাথে সংযুক্ত করতে চাননি।

মনে রাখবেন যে প্রোডাকশন স্লেভের সবচেয়ে গুরুত্বপূর্ণ জিনিসটি হল মাস্টারের সাথে তার সামঞ্জস্য! আপনি যদি আপনার মালিক এবং স্লেভ উভয়েই গ্লোবাল ট্রানজেকশন আইডি (GTID) সক্ষম করে থাকেন, তাহলে আপনি এই মেশিনগুলিতে ডেটা পরিবর্তনের জন্য একই অনুরোধগুলি কার্যকর করা হয়েছে কিনা তা জানতে আপনি gtid_subset ফাংশন ব্যবহার করতে পারেন। আপনি এই সম্পর্কে আরো পড়তে পারেন এখানে.

এইভাবে, অর্কেস্ট্রেটর আপনাকে GTID ত্রুটির মাধ্যমে দেখায় যে স্লেভের উপর এমন লেনদেন রয়েছে যা মাস্টারের উপর নেই। ইহা কি জন্য ঘটিতেছে?

• Read_only=1 স্লেভে সক্ষম নয়, কেউ সংযুক্ত এবং ডেটা পরিবর্তন করার জন্য একটি অনুরোধ সম্পূর্ণ করেছে৷
• Super_read_only=1 স্লেভে সক্ষম নয়, তারপর অ্যাডমিন, সার্ভারকে বিভ্রান্ত করে, সেখানে গিয়ে অনুরোধটি কার্যকর করে।
• আপনি যদি পূর্ববর্তী উভয় পয়েন্ট বিবেচনা করেন, তাহলে আরও একটি কৌশল রয়েছে: MySQL-এ, বিনলগগুলিকে ফ্লাশ করার একটি অনুরোধ বিনলগের কাছেও যায়, তাই প্রথম ফ্লাশে, মাস্টার এবং সমস্ত দাসদের উপর একটি GTID ত্রুটি উপস্থিত হবে৷ কিভাবে এই এড়াতে? Perona-5.7.25-28 binlog_skip_flush_commands=1 সেটিং চালু করেছে, যা বিনলগে ফ্লাশ লেখা নিষিদ্ধ করে। mysql.com ওয়েবসাইটে একটি প্রতিষ্ঠিত আছে বাগ.

আমাকে উপরের সব সংক্ষিপ্ত করা যাক. আপনি যদি এখনও ফেইলওভার মোডে অর্কেস্ট্রেটর ব্যবহার করতে না চান, তাহলে এটিকে পর্যবেক্ষণ মোডে রাখুন। তাহলে আপনার চোখের সামনে সর্বদা MySQL মেশিনের মিথস্ক্রিয়ার একটি মানচিত্র এবং প্রতিটি মেশিনে কী ধরণের প্রতিলিপি রয়েছে, দাসরা পিছিয়ে আছে কিনা এবং সবচেয়ে গুরুত্বপূর্ণ, তারা মাস্টারের সাথে কতটা সামঞ্জস্যপূর্ণ তা সম্পর্কে ভিজ্যুয়াল তথ্য থাকবে!

সুস্পষ্ট প্রশ্ন হল: "কিভাবে অর্কেস্ট্রেটরের কাজ করা উচিত?" তাকে অবশ্যই বর্তমান ক্রীতদাসদের থেকে একটি নতুন প্রভু নির্বাচন করতে হবে এবং তারপরে সমস্ত ক্রীতদাসকে এর সাথে পুনরায় সংযোগ করতে হবে (এটির জন্যই GTID প্রয়োজন; আপনি যদি binlog_name এবং binlog_pos এর সাথে পুরানো মেকানিজম ব্যবহার করেন, তাহলে একজন ক্রীতদাসকে বর্তমান মাস্টার থেকে একটি নতুনটিতে পরিবর্তন করতে হবে। কেবল অসম্ভব!) আমাদের অর্কেস্ট্রেটর আগে, আমাকে একবার ম্যানুয়ালি এই সব করতে হয়েছিল। একটি বগি অ্যাডাপ্টেক কন্ট্রোলারের কারণে পুরানো মাস্টার ঝুলে ছিল; এতে প্রায় 10 জন ক্রীতদাস ছিল। আমার প্রভুর কাছ থেকে একজন ক্রীতদাসের কাছে ভিআইপি স্থানান্তর করা এবং অন্য সমস্ত ক্রীতদাসদের এটিতে পুনরায় সংযোগ করা দরকার। আমাকে কতগুলি কনসোল খুলতে হয়েছিল, কতগুলি একযোগে কমান্ড প্রবেশ করতে হয়েছিল... আমাকে 3 টা পর্যন্ত অপেক্ষা করতে হয়েছিল, দুটি বাদে সমস্ত স্লেভ থেকে লোড সরিয়ে ফেলতে হয়েছিল, দুটি মাস্টারের প্রথম মেশিন তৈরি করতে হয়েছিল, অবিলম্বে দ্বিতীয় মেশিনটি সংযুক্ত করতে হয়েছিল এটিতে, তাই অন্যান্য সমস্ত ক্রীতদাসকে নতুন মাস্টারের সাথে সংযুক্ত করুন এবং লোড ফিরিয়ে দিন। সামগ্রিকভাবে, ভয়ানক ...

অর্কেস্ট্রেটর যখন ফেইলওভার মোডে যায় তখন কীভাবে কাজ করে? এটি এমন একটি পরিস্থিতির উদাহরণ দ্বারা সবচেয়ে সহজে চিত্রিত হয়েছে যেখানে আমরা একজন মাস্টারকে আমাদের এখনকার চেয়ে আরও শক্তিশালী, আরও আধুনিক মেশিনে পরিণত করতে চাই।

চিত্রটি প্রক্রিয়াটির মাঝখানে দেখায়। ইতিমধ্যে এই বিন্দু পর্যন্ত কি করা হয়েছে? আমরা বলেছিলাম যে আমরা কিছু ক্রীতদাসকে নতুন প্রভু বানাতে চেয়েছিলাম, অর্কেস্ট্রেটর সহজভাবে অন্য সমস্ত দাসদের সাথে পুনরায় সংযোগ করতে শুরু করে, নতুন মাস্টার একটি ট্রানজিট মেশিন হিসাবে কাজ করে। এই স্কিমের সাথে, কোন ত্রুটি ঘটে না, সমস্ত দাস কাজ করে, অর্কেস্ট্রেটর পুরানো মাস্টারের কাছ থেকে ভিআইপি সরিয়ে দেয়, নতুনটিতে স্থানান্তর করে, শুধুমাত্র read_only=0 করে এবং পুরানো মাস্টারের কথা ভুলে যায়। সমস্ত ! আমাদের পরিষেবার ডাউনটাইম হল ভিআইপি স্থানান্তরের সময়, যা 2-3 সেকেন্ড।

আজকের জন্য এতটুকুই, সবাইকে ধন্যবাদ। অর্কেস্ট্রেটর সম্পর্কে শীঘ্রই একটি দ্বিতীয় নিবন্ধ থাকবে। বিখ্যাত সোভিয়েত ফিল্ম "গ্যারেজ"-এ একটি চরিত্র বলেছিল, "আমি তার সাথে পুনর্বিবেচনা করতে যাব না!" সুতরাং, অর্কেস্ট্রেটর, আমি আপনার সাথে রিকনেসান্সে যেতে চাই!

উত্স: www.habr.com