এক দশকেরও বেশি সময় ধরে উন্নয়নশীল একটি পণ্যে আসা, এটিতে পুরানো প্রযুক্তি খুঁজে পাওয়া মোটেও আশ্চর্যজনক নয়। কিন্তু যদি ছয় মাসের মধ্যে আপনাকে 10 গুণ বেশি লোড রাখতে হয় এবং পতনের খরচ শতগুণ বেড়ে যায়? এই ক্ষেত্রে, আপনার একটি দুর্দান্ত হাইলোড ইঞ্জিনিয়ার প্রয়োজন। কিন্তু কাজের মেয়ের অনুপস্থিতিতে তারা আমাকে সমস্যা সমাধানের দায়িত্ব দেন। নিবন্ধের প্রথম অংশে আমি আপনাকে বলব কিভাবে আমরা রেডিস থেকে রেডিস-ক্লাস্টারে চলে এসেছি এবং দ্বিতীয় অংশে আমি কীভাবে ক্লাস্টার ব্যবহার শুরু করতে হবে এবং এটি ব্যবহার করার সময় কী মনোযোগ দিতে হবে সে সম্পর্কে পরামর্শ দেব।

প্রযুক্তি পছন্দ

এটা কি খারাপ? পৃথক Redis 1 মাস্টার এবং এন স্লেভের কনফিগারেশনে (স্বতন্ত্র রেডিস)? কেন এটাকে অপ্রচলিত প্রযুক্তি বলব?

না, রেডিস তেমন খারাপ নয়... যাইহোক, কিছু ত্রুটি আছে যা উপেক্ষা করা যায় না।

• প্রথমত, রেডিস একটি মাস্টার ব্যর্থতার পরে দুর্যোগ পুনরুদ্ধার প্রক্রিয়া সমর্থন করে না। এই সমস্যাটি সমাধান করার জন্য, আমরা একটি নতুন মাস্টারের কাছে ভিআইপিদের স্বয়ংক্রিয় স্থানান্তর সহ একটি কনফিগারেশন ব্যবহার করেছি, একজন ক্রীতদাসের ভূমিকা পরিবর্তন করেছি এবং বাকিদের স্যুইচ করেছি। এই প্রক্রিয়াটি কাজ করেছিল, তবে এটিকে একটি নির্ভরযোগ্য সমাধান বলা যায় না। প্রথমত, মিথ্যা অ্যালার্ম ঘটেছে, এবং দ্বিতীয়ত, এটি নিষ্পত্তিযোগ্য ছিল এবং অপারেশনের পরে স্প্রিং চার্জ করার জন্য ম্যানুয়াল ক্রিয়াকলাপ প্রয়োজন ছিল।

• দ্বিতীয়ত, শুধুমাত্র একজন মাস্টার থাকার কারণে শর্ডিংয়ের সমস্যা দেখা দেয়। আমাদের বেশ কয়েকটি স্বাধীন ক্লাস্টার তৈরি করতে হয়েছিল “1 মাস্টার এবং এন স্লেভস”, তারপর ম্যানুয়ালি এই মেশিনগুলির মধ্যে ডাটাবেসগুলি বিতরণ করুন এবং আশা করি যে আগামীকাল ডেটাবেসগুলির মধ্যে একটি এতটা ফুলে উঠবে না যে এটিকে একটি পৃথক উদাহরণে স্থানান্তরিত করতে হবে।

বিকল্প কি?

• সবচেয়ে ব্যয়বহুল এবং ধনী সমাধান হল রেডিস-এন্টারপ্রাইজ। এটি সম্পূর্ণ প্রযুক্তিগত সহায়তা সহ একটি বাক্সযুক্ত সমাধান। প্রযুক্তিগত দৃষ্টিকোণ থেকে এটি আদর্শ মনে হওয়া সত্ত্বেও, আদর্শগত কারণে এটি আমাদের জন্য উপযুক্ত নয়।
• রেডিস-ক্লাস্টার। বাক্সের বাইরে মাস্টার ফেইলওভার এবং শার্ডিংয়ের জন্য সমর্থন রয়েছে। ইন্টারফেসটি নিয়মিত সংস্করণ থেকে প্রায় আলাদা নয়। এটি আশাব্যঞ্জক দেখাচ্ছে, আমরা পরে ক্ষতি সম্পর্কে কথা বলব।
• Tarantool, Memcache, Aerospike এবং অন্যান্য। এই সমস্ত সরঞ্জামগুলি প্রায় একই জিনিস করে। কিন্তু প্রত্যেকের নিজস্ব ত্রুটি রয়েছে। আমরা আমাদের সব ডিম এক ঝুড়িতে না রাখার সিদ্ধান্ত নিয়েছি। আমরা অন্যান্য কাজের জন্য Memcache এবং Tarantool ব্যবহার করি, এবং সামনের দিকে তাকিয়ে, আমি বলব যে আমাদের অনুশীলনে তাদের সাথে আরও সমস্যা ছিল।

ব্যবহারের নির্দিষ্টতা

আসুন আমরা Redis এর সাথে ঐতিহাসিকভাবে কোন সমস্যাগুলি সমাধান করেছি এবং আমরা কোন কার্যকারিতা ব্যবহার করেছি তা একবার দেখে নেওয়া যাক:

• 2GIS এর মতো দূরবর্তী পরিষেবাগুলির অনুরোধের আগে ক্যাশে | গোলং
  

  GET SET MGET MSET "সিলেক্ট ডিবি" পান

• MYSQL এর আগে ক্যাশে | পিএইচপি
  

  সেট MGET MSET স্ক্যান "কী বাই প্যাটার্ন" "ডিবি নির্বাচন করুন" পান

• সেশন এবং ড্রাইভার স্থানাঙ্কের সাথে কাজ করার পরিষেবার জন্য প্রধান স্টোরেজ | গোলং
  

  MGET MSET "ডিবি নির্বাচন করুন" "জিও কী যোগ করুন" "জিও কী পান" স্ক্যান করুন

আপনি দেখতে পাচ্ছেন, উচ্চতর গণিত নেই। তাহলে অসুবিধা কি? আসুন প্রতিটি পদ্ধতি আলাদাভাবে দেখুন।

পদ্ধতি
বিবরণ
রেডিস-ক্লাস্টারের বৈশিষ্ট্য
রায়

সেট করুন
কী লিখুন/পড়ুন

MGET MSET
একাধিক কী লিখুন/পড়ুন
কীগুলি বিভিন্ন নোডে থাকবে। রেডিমেড লাইব্রেরি শুধুমাত্র একটি নোডের মধ্যে মাল্টি-অপারেশন করতে পারে
N GET অপারেশনের একটি পাইপলাইন দিয়ে MGET প্রতিস্থাপন করুন

ডিবি নির্বাচন করুন
আমরা যে বেসটির সাথে কাজ করব তা নির্বাচন করুন
একাধিক ডাটাবেস সমর্থন করে না
সবকিছু এক ডাটাবেসে রাখুন। কীগুলিতে উপসর্গ যোগ করুন

স্ক্যান
ডাটাবেসের সমস্ত কী দিয়ে যান
যেহেতু আমাদের একটি ডাটাবেস আছে, তাই ক্লাস্টারের সমস্ত কীগুলির মধ্য দিয়ে যাওয়া খুব ব্যয়বহুল
একটি কী-এর মধ্যে একটি পরিবর্তন বজায় রাখুন এবং এই কীটিতে একটি HSCAN করুন৷ অথবা সম্পূর্ণ প্রত্যাখ্যান করুন

GEO এর
একটি জিওকি দিয়ে অপারেশন
geokey shaded হয় না

প্যাটার্ন দ্বারা চাবি
প্যাটার্ন দ্বারা একটি কী অনুসন্ধান করা হচ্ছে
যেহেতু আমাদের একটি ডাটাবেস আছে, তাই আমরা ক্লাস্টারের সমস্ত কী জুড়ে অনুসন্ধান করব। অনেক দামি
স্ক্যানের ক্ষেত্রে যেমন ইনভেরিয়ান্ট প্রত্যাখ্যান বা বজায় রাখুন

রেডিস বনাম রেডিস-ক্লাস্টার

একটি ক্লাস্টারে স্যুইচ করার সময় আমরা কী হারাব এবং কী লাভ করব?

• অসুবিধা: আমরা বেশ কয়েকটি ডাটাবেসের কার্যকারিতা হারাই।
  • আমরা যদি একটি ক্লাস্টারে যৌক্তিকভাবে সম্পর্কহীন ডেটা সংরক্ষণ করতে চাই তবে আমাদের উপসর্গের আকারে ক্রাচ তৈরি করতে হবে।
  • আমরা সমস্ত "বেস" ক্রিয়াকলাপ হারিয়ে ফেলি, যেমন SCAN, DBSIZE, CLEAR DB, ইত্যাদি।
  • মাল্টি-অপারেশনগুলি বাস্তবায়ন করা অনেক বেশি কঠিন হয়ে উঠেছে কারণ এটির জন্য বিভিন্ন নোডগুলিতে অ্যাক্সেসের প্রয়োজন হতে পারে।
• উপকারিতা:
  • মাস্টার ফেইলওভার আকারে দোষ সহনশীলতা।
  • Redis পাশে Sharding.
  • পারমাণবিকভাবে এবং ডাউনটাইম ছাড়াই নোডের মধ্যে ডেটা স্থানান্তর করুন।
  • ডাউনটাইম ছাড়াই ক্ষমতা এবং লোড যোগ করুন এবং পুনরায় বিতরণ করুন।

আমি উপসংহারে বলব যে যদি আপনাকে উচ্চ স্তরের দোষ সহনশীলতা প্রদানের প্রয়োজন না হয়, তবে একটি ক্লাস্টারে যাওয়া মূল্যবান নয়, কারণ এটি একটি অ-তুচ্ছ কাজ হতে পারে। তবে আপনি যদি প্রাথমিকভাবে একটি পৃথক সংস্করণ এবং একটি ক্লাস্টার সংস্করণের মধ্যে চয়ন করেন তবে আপনার একটি ক্লাস্টার বেছে নেওয়া উচিত, কারণ এটি কোনও খারাপ নয় এবং উপরন্তু, আপনাকে কিছু মাথাব্যথা থেকে মুক্তি দেবে।

পদক্ষেপের জন্য প্রস্তুত

চলনের জন্য প্রয়োজনীয়তা দিয়ে শুরু করা যাক:

• এটা বিজোড় হতে হবে. 5 মিনিটের জন্য সম্পূর্ণ পরিষেবা বন্ধ করা আমাদের জন্য উপযুক্ত নয়।
• এটি যতটা সম্ভব নিরাপদ এবং ধীরে ধীরে হওয়া উচিত। আমি পরিস্থিতি নিয়ন্ত্রণ করতে চাই। আমরা একবারে সবকিছু ফেলে দিতে চাই না এবং রোলব্যাক বোতামে প্রার্থনা করতে চাই না।
• সরানোর সময় সর্বনিম্ন ডেটা ক্ষতি। আমরা বুঝতে পারি যে এটি পারমাণবিকভাবে সরানো খুব কঠিন হবে, তাই আমরা নিয়মিত এবং ক্লাস্টারযুক্ত রেডিসের মধ্যে ডেটার মধ্যে কিছু ডিসিঙ্ক্রোনাইজেশনের অনুমতি দিই।

ক্লাস্টার রক্ষণাবেক্ষণ

সরানোর ঠিক আগে, আমাদের চিন্তা করা উচিত যে আমরা ক্লাস্টারটিকে সমর্থন করতে পারি কিনা:

• চার্ট। আমরা CPU লোড, মেমরির ব্যবহার, ক্লায়েন্টের সংখ্যা, GET, SET, AUTH অপারেশন ইত্যাদি গ্রাফ করতে প্রমিথিউস এবং গ্রাফানা ব্যবহার করি।
• দক্ষতা। কল্পনা করুন যে আগামীকাল আপনার দায়িত্বে একটি বিশাল ক্লাস্টার থাকবে। যদি এটি ভেঙ্গে যায় তবে আপনি ছাড়া কেউ এটি ঠিক করতে পারবেন না। সে ধীরগতিতে চলতে শুরু করলে সবাই আপনার দিকে ছুটবে। আপনি যদি সম্পদ যোগ করতে বা লোড পুনরায় বিতরণ করতে চান, আপনার কাছে ফিরে আসুন। 25 বছর বয়সে ধূসর না হওয়ার জন্য, এই ক্ষেত্রেগুলি সরবরাহ করার পরামর্শ দেওয়া হয় এবং নির্দিষ্ট ক্রিয়াকলাপের অধীনে প্রযুক্তিটি কীভাবে আচরণ করবে তা আগেই পরীক্ষা করে দেখুন। আসুন "দক্ষতা" বিভাগে আরও বিশদে এই সম্পর্কে কথা বলি।
• পর্যবেক্ষণ এবং সতর্কতা. যখন একটি ক্লাস্টার ভেঙে যায়, আপনি এটি সম্পর্কে প্রথম জানতে চান। এখানে আমরা নিজেদেরকে একটি বিজ্ঞপ্তিতে সীমাবদ্ধ করেছি যে সমস্ত নোড ক্লাস্টারের অবস্থা সম্পর্কে একই তথ্য ফেরত দেয় (হ্যাঁ, এটি ভিন্নভাবে ঘটে)। এবং অন্যান্য সমস্যাগুলি Redis ক্লায়েন্ট পরিষেবাগুলি থেকে সতর্কতার মাধ্যমে আরও দ্রুত লক্ষ্য করা যেতে পারে।

উত্তরণ

আমরা কিভাবে সরানো হবে:

• প্রথমত, ক্লাস্টারের সাথে কাজ করার জন্য আপনাকে একটি লাইব্রেরি প্রস্তুত করতে হবে। আমরা গো-রেডিসকে গো সংস্করণের ভিত্তি হিসাবে নিয়েছি এবং এটিকে নিজেদের মতো করে কিছুটা পরিবর্তন করেছি। আমরা পাইপলাইনের মাধ্যমে বহু-পদ্ধতি প্রয়োগ করেছি, এবং অনুরোধগুলি পুনরাবৃত্তি করার নিয়মগুলিও কিছুটা সংশোধন করেছি৷ পিএইচপি সংস্করণে আরও সমস্যা ছিল, কিন্তু আমরা অবশেষে php-redis-এ স্থির হয়েছি। তারা সম্প্রতি ক্লাস্টার সমর্থন চালু করেছে এবং এটি আমাদের মতে ভাল দেখাচ্ছে।
• পরবর্তীতে আপনাকে ক্লাস্টারটি নিজেই স্থাপন করতে হবে। এটি কনফিগারেশন ফাইলের উপর ভিত্তি করে দুটি কমান্ডে আক্ষরিকভাবে করা হয়। আমরা নীচে আরও বিস্তারিতভাবে সেটিং নিয়ে আলোচনা করব।
• ধীরে ধীরে চলার জন্য আমরা ড্রাই-মোড ব্যবহার করি। যেহেতু আমাদের কাছে একই ইন্টারফেসের সাথে লাইব্রেরির দুটি সংস্করণ রয়েছে (একটি নিয়মিত সংস্করণের জন্য, অন্যটি ক্লাস্টারের জন্য), এটি একটি র‍্যাপার তৈরি করতে কিছুই লাগে না যা একটি পৃথক সংস্করণের সাথে কাজ করবে এবং সমান্তরালভাবে ক্লাস্টারে সমস্ত অনুরোধের অনুলিপি করে, প্রতিক্রিয়াগুলির তুলনা করুন এবং লগগুলিতে অসঙ্গতি লিখুন (আমাদের ক্ষেত্রে নিউরেলিকে)। এইভাবে, রোলআউটের সময় ক্লাস্টার সংস্করণ ভেঙে গেলেও, আমাদের উত্পাদন প্রভাবিত হবে না।
• শুষ্ক মোডে ক্লাস্টারটি রোল করার পরে, আমরা শান্তভাবে প্রতিক্রিয়া অসঙ্গতির গ্রাফটি দেখতে পারি। যদি ত্রুটির ভাগ ধীরে ধীরে কিন্তু নিশ্চিতভাবে কিছু ছোট ধ্রুবকের দিকে চলে যায়, তাহলে সবকিছু ঠিক আছে। কেন এখনও অমিল আছে? কারণ একটি পৃথক সংস্করণে রেকর্ডিং ক্লাস্টারের তুলনায় একটু আগে ঘটে এবং মাইক্রোল্যাগের কারণে ডেটা ভিন্ন হতে পারে। যা অবশিষ্ট থাকে তা হল অসঙ্গতি লগগুলি দেখতে, এবং যদি সেগুলি সমস্ত রেকর্ডের অ-পরমাণু দ্বারা ব্যাখ্যা করা হয়, তবে আমরা এগিয়ে যেতে পারি।
• এখন আপনি শুষ্ক-মোড বিপরীত দিকে স্যুইচ করতে পারেন। আমরা ক্লাস্টার থেকে লিখব এবং পড়ব এবং এটি একটি পৃথক সংস্করণে নকল করব। কি জন্য? পরের সপ্তাহে আমি ক্লাস্টারের কাজ পর্যবেক্ষণ করতে চাই। যদি হঠাৎ দেখা যায় যে পিক লোডে সমস্যা আছে, বা আমরা কিছু আমলে নিই না, তাহলে ড্রাই-মোডের জন্য আমাদের কাছে সবসময় পুরানো কোড এবং বর্তমান ডেটাতে একটি জরুরি রোলব্যাক থাকে।
• যা অবশিষ্ট থাকে তা হল ড্রাই-মোড অক্ষম করা এবং পৃথক সংস্করণটি ভেঙে ফেলা।

পরীক্ষা

প্রথমত, ক্লাস্টার ডিজাইন সম্পর্কে সংক্ষেপে।

প্রথমত, রেডিস একটি মূল-মূল্যের দোকান। নির্বিচারে স্ট্রিংগুলি কী হিসাবে ব্যবহৃত হয়। সংখ্যা, স্ট্রিং এবং সম্পূর্ণ কাঠামো মান হিসাবে ব্যবহার করা যেতে পারে। পরেরটির মধ্যে অনেকগুলি রয়েছে, তবে সাধারণ কাঠামো বোঝার জন্য এটি আমাদের জন্য গুরুত্বপূর্ণ নয়।
কীগুলির পরে বিমূর্ততার পরবর্তী স্তরটি হল স্লট (SLOTS)। প্রতিটি কী 16টি স্লটের একটির অন্তর্গত। প্রতিটি স্লটের ভিতরে যেকোনো সংখ্যক কী থাকতে পারে। এইভাবে, সমস্ত কী 383 ডিসজয়েন্ট সেটে বিভক্ত।

এর পরে, ক্লাস্টারে অবশ্যই N মাস্টার নোড থাকতে হবে। প্রতিটি নোডকে একটি পৃথক রেডিস উদাহরণ হিসাবে ভাবা যেতে পারে যা ক্লাস্টারের মধ্যে অন্যান্য নোড সম্পর্কে সবকিছু জানে। প্রতিটি মাস্টার নোডে অনেকগুলি স্লট থাকে। প্রতিটি স্লট শুধুমাত্র একটি মাস্টার নোডের অন্তর্গত। সমস্ত স্লট নোডের মধ্যে বিতরণ করা প্রয়োজন। যদি কিছু স্লট বরাদ্দ না করা হয়, তাহলে তাদের মধ্যে সংরক্ষিত কীগুলি অ্যাক্সেসযোগ্য হবে না। প্রতিটি মাস্টার নোড একটি পৃথক লজিক্যাল বা ফিজিক্যাল মেশিনে চালানোর জন্য এটি বোধগম্য হয়। এটি মনে রাখাও মূল্যবান যে প্রতিটি নোড শুধুমাত্র একটি কোরে চলে এবং আপনি যদি একই লজিক্যাল মেশিনে একাধিক রেডিস ইনস্ট্যান্স চালাতে চান তবে নিশ্চিত করুন যে তারা বিভিন্ন কোরে চলে (আমরা এটি চেষ্টা করিনি, তবে তাত্ত্বিকভাবে এটি কাজ করা উচিত) . মূলত, মাস্টার নোডগুলি নিয়মিত শার্ডিং প্রদান করে এবং আরও বেশি মাস্টার নোড স্কেল করার জন্য লেখা এবং পড়ার অনুরোধগুলিকে অনুমতি দেয়।

সমস্ত কী স্লটগুলির মধ্যে বিতরণ করার পরে, এবং স্লটগুলি মাস্টার নোডগুলির মধ্যে ছড়িয়ে ছিটিয়ে থাকার পরে, প্রতিটি মাস্টার নোডে একটি নির্বিচারে সংখ্যক স্লেভ নোড যোগ করা যেতে পারে। এই ধরনের প্রতিটি মাস্টার-স্লেভ লিঙ্কের মধ্যে, স্বাভাবিক প্রতিলিপি কাজ করবে। পড়ার অনুরোধ স্কেল করার জন্য এবং মাস্টার ব্যর্থতার ক্ষেত্রে ব্যর্থতার জন্য স্লেভের প্রয়োজন।

এখন অপারেশন সম্পর্কে কথা বলা যাক যে এটি করতে সক্ষম হওয়া ভাল হবে।

আমরা Redis-CLI এর মাধ্যমে সিস্টেম অ্যাক্সেস করব। যেহেতু রেডিসের একটি একক এন্ট্রি পয়েন্ট নেই, তাই আপনি যেকোনো নোডের উপর নিম্নলিখিত ক্রিয়াকলাপগুলি সম্পাদন করতে পারেন। প্রতিটি পয়েন্টে আমি আলাদাভাবে লোডের অধীনে অপারেশন সম্পাদন করার সম্ভাবনার দিকে দৃষ্টি আকর্ষণ করি।

• আমাদের প্রয়োজন প্রথম এবং সবচেয়ে গুরুত্বপূর্ণ জিনিস ক্লাস্টার নোড অপারেশন. এটি ক্লাস্টারের অবস্থা প্রদান করে, নোডের একটি তালিকা, তাদের ভূমিকা, স্লট বিতরণ ইত্যাদি দেখায়। ক্লাস্টার তথ্য এবং ক্লাস্টার স্লট ব্যবহার করে আরও তথ্য পাওয়া যেতে পারে।
• এটা নোড যোগ এবং অপসারণ করতে সক্ষম হতে ভাল হবে. এই উদ্দেশ্যে ক্লাস্টার মিট এবং ক্লাস্টার ভুলে যাওয়ার অপারেশন রয়েছে। অনুগ্রহ করে মনে রাখবেন যে ক্লাস্টার ভুলে প্রতিটি নোডে প্রয়োগ করতে হবে, উভয় মাস্টার এবং প্রতিলিপি। এবং ক্লাস্টার মিট শুধুমাত্র একটি নোডে কল করা প্রয়োজন। এই পার্থক্যটি বিরক্তিকর হতে পারে, তাই আপনার ক্লাস্টারের সাথে লাইভ করার আগে এটি সম্পর্কে জেনে নেওয়া ভাল। একটি নোড যোগ করা যুদ্ধে নিরাপদে করা হয় এবং ক্লাস্টারের অপারেশনকে কোনোভাবেই প্রভাবিত করে না (যা যৌক্তিক)। আপনি যদি ক্লাস্টার থেকে একটি নোড অপসারণ করতে যাচ্ছেন, তাহলে আপনাকে নিশ্চিত করতে হবে যে এটিতে কোন স্লট অবশিষ্ট নেই (অন্যথায় আপনি এই নোডের সমস্ত কীগুলিতে অ্যাক্সেস হারানোর ঝুঁকিতে থাকবেন)। এছাড়াও, ক্রীতদাস আছে এমন একটি মাস্টার মুছে ফেলবেন না, অন্যথায় একটি নতুন মাস্টারের জন্য একটি অপ্রয়োজনীয় ভোট সঞ্চালিত হবে। যদি নোডগুলিতে আর স্লট না থাকে, তবে এটি একটি ছোট সমস্যা, তবে কেন আমাদের অতিরিক্ত পছন্দের প্রয়োজন যদি আমরা প্রথমে স্লেভগুলি মুছতে পারি।
• যদি আপনাকে জোর করে মাস্টার এবং স্লেভ পজিশন অদলবদল করতে হয়, তাহলে ক্লাস্টার ফেইলওভার কমান্ডটি করবে। এটিকে যুদ্ধে কল করার সময়, আপনাকে বুঝতে হবে যে অপারেশন চলাকালীন মাস্টারটি পাওয়া যাবে না। সাধারণত স্যুইচটি এক সেকেন্ডেরও কম সময়ে ঘটে, কিন্তু পারমাণবিক নয়। আপনি আশা করতে পারেন যে এই সময়ের মধ্যে মাস্টারের কাছে কিছু অনুরোধ ব্যর্থ হবে।
• ক্লাস্টার থেকে একটি নোড সরানোর আগে, এটিতে কোনও স্লট বাকি থাকা উচিত নয়। ক্লাস্টার রিশার্ড কমান্ড ব্যবহার করে তাদের পুনরায় বিতরণ করা ভাল। স্লট এক মাস্টার থেকে অন্য মাস্টার স্থানান্তর করা হবে. সম্পূর্ণ ক্রিয়াকলাপে কয়েক মিনিট সময় লাগতে পারে, এটি স্থানান্তরিত ডেটার পরিমাণের উপর নির্ভর করে, তবে স্থানান্তর প্রক্রিয়াটি নিরাপদ এবং ক্লাস্টারের ক্রিয়াকলাপকে কোনওভাবেই প্রভাবিত করে না। এইভাবে, সমস্ত ডেটা সরাসরি লোডের অধীনে একটি নোড থেকে অন্যটিতে স্থানান্তর করা যেতে পারে এবং এর প্রাপ্যতা সম্পর্কে উদ্বেগ ছাড়াই। যাইহোক, এছাড়াও subtleties আছে। প্রথমত, ডেটা স্থানান্তর প্রাপক এবং প্রেরক নোডের উপর একটি নির্দিষ্ট লোডের সাথে যুক্ত। যদি প্রাপক নোডটি ইতিমধ্যে প্রসেসরে ভারীভাবে লোড হয়ে থাকে, তাহলে নতুন ডেটা পাওয়ার সাথে আপনার এটি লোড করা উচিত নয়। দ্বিতীয়ত, যত তাড়াতাড়ি পাঠানোর মাস্টারের উপর একটিও স্লট অবশিষ্ট থাকবে না, তার সমস্ত দাস অবিলম্বে সেই মাস্টারের কাছে যাবে যার কাছে এই স্লটগুলি স্থানান্তরিত হয়েছিল। এবং সমস্যা হল যে এই সমস্ত দাস একবারে ডেটা সিঙ্ক্রোনাইজ করতে চাইবে। এবং আপনি ভাগ্যবান হবেন যদি এটি সম্পূর্ণ সিঙ্ক্রোনাইজেশনের পরিবর্তে আংশিক হয়। এটি বিবেচনা করুন এবং স্লট স্থানান্তর এবং ক্রীতদাসদের অক্ষম/স্থানান্তর করার ক্রিয়াকলাপগুলিকে একত্রিত করুন। অথবা আশা করি আপনার যথেষ্ট নিরাপত্তা আছে।
• আপনার কি করা উচিত যদি, স্থানান্তরের সময়, আপনি দেখতে পান যে আপনি কোথাও আপনার স্লট হারিয়েছেন? আমি আশা করি এই সমস্যাটি আপনাকে প্রভাবিত করবে না, কিন্তু যদি এটি করে তবে একটি ক্লাস্টার ফিক্স অপারেশন আছে। খুব অন্তত, তিনি একটি এলোমেলো ক্রমে নোড জুড়ে স্লটগুলি ছড়িয়ে দেবেন। আমি প্রথমে ক্লাস্টার থেকে বিতরণ করা স্লট সহ নোডটি সরিয়ে এটির ক্রিয়াকলাপ পরীক্ষা করার পরামর্শ দিই। যেহেতু বরাদ্দ না করা স্লটে ডেটা ইতিমধ্যেই অনুপলব্ধ, তাই এই স্লটগুলির প্রাপ্যতা নিয়ে সমস্যাগুলি নিয়ে চিন্তা করতে দেরি হয়ে গেছে৷ পরিবর্তে, অপারেশন বিতরণ স্লট প্রভাবিত করবে না.
• আরেকটি দরকারী অপারেশন হল মনিটর। এটি আপনাকে রিয়েল টাইমে নোডে যাওয়া অনুরোধের সম্পূর্ণ তালিকা দেখতে দেয়। তাছাড়া, আপনি এটি গ্রেপ করতে পারেন এবং প্রয়োজনীয় ট্রাফিক আছে কিনা তা খুঁজে বের করতে পারেন।

এটি মাস্টার ফেইলওভার পদ্ধতি উল্লেখ করার মতো। সংক্ষেপে, এটি বিদ্যমান, এবং, আমার মতে, এটি দুর্দান্ত কাজ করে। যাইহোক, মনে করবেন না যে আপনি যদি একটি মাস্টার নোড সহ একটি মেশিনে পাওয়ার কর্ডটি আনপ্লাগ করেন তবে রেডিস অবিলম্বে সুইচ ওভার হয়ে যাবে এবং ক্লায়েন্টরা ক্ষতিটি লক্ষ্য করবেন না। আমার অনুশীলনে, স্যুইচিং কয়েক সেকেন্ডের মধ্যে ঘটে। এই সময়ের মধ্যে, কিছু ডেটা অনুপলব্ধ থাকবে: মাস্টারের অনুপলব্ধতা সনাক্ত করা হয়েছে, নোডগুলি একটি নতুনের জন্য ভোট দেয়, স্লেভগুলি সুইচ করা হয়, ডেটা সিঙ্ক্রোনাইজ করা হয়। স্কিমটি কাজ করছে কিনা তা নিশ্চিত করার সর্বোত্তম উপায় হল স্থানীয় অনুশীলন করা। আপনার ল্যাপটপে ক্লাস্টার বাড়ান, এটিকে ন্যূনতম লোড দিন, একটি ক্র্যাশ অনুকরণ করুন (উদাহরণস্বরূপ, পোর্টগুলি ব্লক করে), এবং স্যুইচিং গতি মূল্যায়ন করুন। আমার মতে, এক বা দুই দিন এভাবে খেলেই আপনি প্রযুক্তির অপারেশনে আত্মবিশ্বাসী হতে পারবেন। ভাল, বা আশা করি যে সফ্টওয়্যার যে অর্ধেক ইন্টারনেট ব্যবহার করে সম্ভবত কাজ করে।

কনফিগারেশন

প্রায়শই, টুলটির সাথে কাজ শুরু করার জন্য কনফিগারেশনটিই প্রথম জিনিস। এবং যখন সবকিছু কাজ করে, তখন আপনি কনফিগারেশনটি স্পর্শ করতেও চান না। সেটিংসে ফিরে যেতে এবং সাবধানে সেগুলির মধ্য দিয়ে যেতে নিজেকে জোর করার জন্য কিছু প্রচেষ্টা লাগে। আমার স্মৃতিতে, কনফিগারেশনে অসাবধানতার কারণে আমাদের কমপক্ষে দুটি গুরুতর ব্যর্থতা ছিল। নিম্নলিখিত পয়েন্টগুলিতে বিশেষ মনোযোগ দিন:

• সময়সীমা 0
  সময় যার পরে নিষ্ক্রিয় সংযোগগুলি বন্ধ হয়ে যায় (সেকেন্ডে)। 0 - বন্ধ করবেন না
  আমাদের প্রতিটি লাইব্রেরি সঠিকভাবে সংযোগ বন্ধ করতে সক্ষম ছিল না। এই সেটিংটি নিষ্ক্রিয় করে, আমরা ক্লায়েন্টের সংখ্যার সীমা অতিক্রম করার ঝুঁকি নিয়ে থাকি। অন্যদিকে, যদি এই ধরনের সমস্যা হয়, তাহলে হারিয়ে যাওয়া সংযোগের স্বয়ংক্রিয় সমাপ্তি এটিকে মুখোশ করে দেবে, এবং আমরা লক্ষ্য করতে পারি না। উপরন্তু, স্থায়ী সংযোগগুলি ব্যবহার করার সময় আপনার এই সেটিংটি সক্ষম করা উচিত নয়৷
• xy সংরক্ষণ করুন এবং শুধুমাত্র হ্যাঁ যোগ করুন
  একটি RDB স্ন্যাপশট সংরক্ষণ করা হচ্ছে।
  আমরা নীচে বিস্তারিতভাবে RDB/AOF সমস্যা নিয়ে আলোচনা করব।
• stop-writes-on-bgsave-error no এবং slave-serve-stale-data হ্যাঁ
  যদি সক্রিয় থাকে, যদি RDB স্ন্যাপশট বিরতি দেয়, মাস্টার পরিবর্তনের অনুরোধগুলি গ্রহণ করা বন্ধ করবে৷ মাস্টারের সাথে সংযোগ হারিয়ে গেলে, দাস অনুরোধে সাড়া দেওয়া চালিয়ে যেতে পারে (হ্যাঁ)। অথবা সাড়া দেওয়া বন্ধ করবে (না)
  যে পরিস্থিতিতে রেডিস কুমড়ায় পরিণত হয় তাতে আমরা খুশি নই।
• repl-ping-slav-period 5
  এই সময়ের পরে, আমরা উদ্বিগ্ন হতে শুরু করব যে মাস্টারটি ভেঙে গেছে এবং এটি ব্যর্থতার প্রক্রিয়াটি চালানোর সময়।
  আপনি ম্যানুয়ালি মিথ্যা ইতিবাচক এবং একটি ব্যর্থতা ট্রিগার মধ্যে একটি ভারসাম্য খুঁজে পেতে হবে. আমাদের অনুশীলনে এটি 5 সেকেন্ড।
• repl-backlog-size 1024mb এবং epl-backlog-ttl 0
  আমরা একটি ব্যর্থ প্রতিরূপের জন্য একটি বাফারে ঠিক এত বেশি ডেটা সংরক্ষণ করতে পারি। বাফার ফুরিয়ে গেলে, আপনাকে সম্পূর্ণরূপে সিঙ্ক্রোনাইজ করতে হবে।
  অনুশীলন পরামর্শ দেয় যে একটি উচ্চ মান সেট করা ভাল। একটি প্রতিরূপ পিছিয়ে শুরু হতে পারে এমন অনেক কারণ রয়েছে। যদি এটি পিছিয়ে যায়, তবে সম্ভবত আপনার মাস্টার ইতিমধ্যেই সামলাতে লড়াই করছেন এবং সম্পূর্ণ সিঙ্ক্রোনাইজেশন শেষ খড় হবে।
• সর্বোচ্চ 10000
  এককালীন ক্লায়েন্টের সর্বাধিক সংখ্যা।
  আমাদের অভিজ্ঞতায়, একটি উচ্চ মান সেট করা ভাল। রেডিস 10k সংযোগগুলি ঠিকঠাকভাবে পরিচালনা করে। শুধু নিশ্চিত করুন যে সিস্টেমে পর্যাপ্ত সকেট আছে।
• maxmemory-নীতি উদ্বায়ী-ttl
  উপলব্ধ মেমরি সীমা পৌঁছে গেলে যে নিয়ম দ্বারা কীগুলি মুছে ফেলা হয়।
  এখানে যা গুরুত্বপূর্ণ তা হল নিয়ম নয়, তবে এটি কীভাবে ঘটবে তা বোঝা। মেমরি সীমা পৌঁছে গেলে স্বাভাবিকভাবে কাজ করার ক্ষমতার জন্য Redis এর প্রশংসা করা যেতে পারে।

RDB এবং AOF সমস্যা

যদিও রেডিস নিজেই সমস্ত তথ্য র‌্যামে সঞ্চয় করে, ডিস্কে ডেটা সংরক্ষণ করার জন্য একটি ব্যবস্থাও রয়েছে। আরও স্পষ্টভাবে, তিনটি প্রক্রিয়া:

• RDB-স্ন্যাপশট - সমস্ত ডেটার একটি সম্পূর্ণ স্ন্যাপশট। সেভ XY কনফিগারেশন ব্যবহার করে সেট করুন এবং "অন্তত Y কী পরিবর্তিত হলে প্রতি X সেকেন্ডে সমস্ত ডেটার একটি সম্পূর্ণ স্ন্যাপশট সংরক্ষণ করুন।"
• শুধুমাত্র-সংযুক্ত ফাইল - ক্রিয়াকলাপগুলির একটি তালিকা যে ক্রমে তারা সঞ্চালিত হয়। প্রতি X সেকেন্ডে বা প্রতিটি Y অপারেশনে ফাইলে নতুন ইনকামিং অপারেশন যোগ করে।
• RDB এবং AOF আগের দুটির সংমিশ্রণ।

সমস্ত পদ্ধতির তাদের সুবিধা এবং অসুবিধা রয়েছে, আমি সেগুলিকে তালিকাভুক্ত করব না, আমি কেবল পয়েন্টগুলিতে মনোযোগ আকর্ষণ করব যা আমার মতে, সুস্পষ্ট নয়।

প্রথমত, একটি RDB স্ন্যাপশট সংরক্ষণ করার জন্য FORK কল করা প্রয়োজন৷ যদি প্রচুর ডেটা থাকে তবে এটি কয়েক মিলিসেকেন্ড থেকে এক সেকেন্ডের জন্য সমস্ত রেডিসকে ঝুলিয়ে রাখতে পারে। উপরন্তু, সিস্টেমটিকে এই জাতীয় স্ন্যাপশটের জন্য মেমরি বরাদ্দ করতে হবে, যা লজিক্যাল মেশিনে র‌্যামের দ্বিগুণ সরবরাহ রাখার প্রয়োজনের দিকে পরিচালিত করে: যদি রেডিসের জন্য 8 জিবি বরাদ্দ করা হয়, তবে ভার্চুয়াল মেশিনে 16 জিবি পাওয়া উচিত। এটা

দ্বিতীয়ত, আংশিক সিঙ্ক্রোনাইজেশনের সাথে সমস্যা রয়েছে। AOF মোডে, যখন স্লেভ পুনরায় সংযোগ করা হয়, আংশিক সিঙ্ক্রোনাইজেশনের পরিবর্তে, সম্পূর্ণ সিঙ্ক্রোনাইজেশন সঞ্চালিত হতে পারে। কেন এমন হয়, বুঝতে পারলাম না। কিন্তু এটা মনে রাখা মূল্যবান।

এই দুটি পয়েন্ট ইতিমধ্যেই আমাদের চিন্তা করতে বাধ্য করে যে আমাদের সত্যিই ডিস্কে এই ডেটার প্রয়োজন কিনা যদি সবকিছু ইতিমধ্যেই ক্রীতদাসদের দ্বারা সদৃশ করা হয়। সমস্ত স্লেভ ব্যর্থ হলেই ডেটা হারিয়ে যেতে পারে এবং এটি একটি "ডিসিতে আগুন" স্তরের সমস্যা। একটি আপস হিসাবে, আপনি শুধুমাত্র ক্রীতদাসদের উপর ডেটা সংরক্ষণ করার প্রস্তাব করতে পারেন, তবে এই ক্ষেত্রে আপনাকে নিশ্চিত করতে হবে যে এই দাসরা দুর্যোগ পুনরুদ্ধারের সময় কখনই মাস্টার হয়ে উঠবে না (এর জন্য তাদের কনফিগারে একটি স্লেভ অগ্রাধিকার সেটিং রয়েছে)। নিজেদের জন্য, প্রতিটি নির্দিষ্ট ক্ষেত্রে আমরা ডিস্কে ডেটা সংরক্ষণ করা প্রয়োজন কিনা তা নিয়ে চিন্তা করি এবং প্রায়শই উত্তরটি "না" হয়।

উপসংহার

উপসংহারে, আমি আশা করি যে আমি একটি সাধারণ ধারণা দিতে সক্ষম হয়েছি যে কীভাবে রিডিস-ক্লাস্টার তাদের জন্য কাজ করে যারা এটি একেবারেই শোনেননি এবং যারা এটি ব্যবহার করছেন তাদের জন্য কিছু অ-স্পষ্ট বিষয়ের দিকেও মনোযোগ আকর্ষণ করেছি। অনেকক্ষণ ধরে.
আপনার সময় জন্য ধন্যবাদ এবং, সবসময় হিসাবে, বিষয় মন্তব্য স্বাগত জানাই.

উত্স: www.habr.com