WAL-G: নতুন বৈশিষ্ট্য এবং সম্প্রদায়ের সম্প্রসারণ। জর্জি রাইলভ

আমি আপনাকে জর্জি রাইলভ "WAL-G: সম্প্রদায়ের নতুন সুযোগ এবং সম্প্রসারণ" এর 2020 সালের প্রথম দিকের প্রতিবেদনের প্রতিলিপি পড়ার পরামর্শ দিচ্ছি

ওপেন সোর্স রক্ষণাবেক্ষণকারীরা বড় হওয়ার সাথে সাথে অনেক চ্যালেঞ্জের সম্মুখীন হয়। কীভাবে আরও এবং আরও প্রয়োজনীয় বৈশিষ্ট্যগুলি লিখবেন, আরও বেশি সমস্যা সমাধান করবেন এবং আরও বেশি টান অনুরোধগুলি দেখতে পরিচালনা করবেন? উদাহরণ হিসাবে WAL-G (PostgreSQL-এর জন্য ব্যাকআপ-টুল) ব্যবহার করে, আমি আপনাকে বলব যে আমরা কীভাবে বিশ্ববিদ্যালয়ে ওপেন-সোর্স ডেভেলপমেন্টের উপর একটি কোর্স চালু করে এই সমস্যাগুলি সমাধান করেছি, আমরা কী অর্জন করেছি এবং আমরা কোথায় এগিয়ে যাব।

সবাইকে আবার হ্যালো! আমি ইয়েকাটেরিনবার্গের একজন ইয়ানডেক্স বিকাশকারী। এবং আজ আমি WAL-G সম্পর্কে কথা বলব।

প্রতিবেদনের শিরোনামে বলা হয়নি যে এটি ব্যাকআপ সম্পর্কে কিছু ছিল। কেউ কি জানেন WAL-G কি? নাকি সবাই জানে? না জানলে হাত তুলুন। হোলি শিট, আপনি রিপোর্টে এসেছেন এবং জানেন না এটি কী।

আজ কি ঘটবে তা বলি। এটা তাই ঘটছে যে আমাদের দল বেশ কিছুদিন ধরে ব্যাকআপ করছে। এবং এটি একটি সিরিজের আরেকটি প্রতিবেদন যেখানে আমরা কীভাবে নিরাপদে, নিরাপদে, সুবিধাজনকভাবে এবং দক্ষতার সাথে ডেটা সংরক্ষণ করি সে সম্পর্কে কথা বলি।

আগের সিরিজে আন্দ্রেই বোরোডিন এবং ভ্লাদিমির লেসকভের অনেক প্রতিবেদন ছিল। আমরা অনেকেই ছিলাম। এবং আমরা বহু বছর ধরে WAL-G সম্পর্কে কথা বলছি।

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

এই প্রতিবেদনটি অন্যদের থেকে একটু ভিন্ন হবে যে এটি প্রযুক্তিগত অংশ সম্পর্কে আরও ছিল, কিন্তু এখানে আমি সম্প্রদায়ের বৃদ্ধির সাথে সম্পর্কিত সমস্যার সম্মুখীন হয়েছি তা নিয়ে কথা বলব। এবং কীভাবে আমরা একটি ছোট ধারণা নিয়ে এসেছি যা আমাদের এটি মোকাবেলা করতে সহায়তা করে।

কয়েক বছর আগে, WAL-G একটি মোটামুটি ছোট প্রকল্প যা আমরা Citus ডেটা থেকে পেয়েছি। এবং আমরা শুধু এটা গ্রহণ. এবং এটি একজন ব্যক্তি দ্বারা বিকশিত হয়েছিল।

এবং শুধুমাত্র WAL-G এর কাছে ছিল না:

• একটি প্রতিরূপ থেকে ব্যাকআপ.
• কোন বর্ধিত ব্যাকআপ ছিল.
• কোন ওয়াল-ডেল্টা ব্যাকআপ ছিল না।
• এবং এখনও একটি সম্পূর্ণ অনেক অনুপস্থিত ছিল.

এই কয়েক বছরে, WAL-G অনেক বেড়েছে।

এবং 2020 সালের মধ্যে, উপরের সমস্ত ইতিমধ্যে উপস্থিত হয়েছে। এবং এর সাথে আমাদের এখন যা আছে তা যুক্ত করা হয়েছিল:

• GitHub-এ 1 টিরও বেশি তারা।
• 150 কাঁটা।
• প্রায় 15 জন খোলা পিআর.
• এবং আরো অনেক অবদানকারী.
• এবং সব সময় খোলা সমস্যা. এবং এই সত্ত্বেও যে আমরা আক্ষরিকভাবে প্রতিদিন সেখানে যাই এবং এটি সম্পর্কে কিছু করি।

এবং আমরা এই সিদ্ধান্তে পৌঁছেছি যে এই প্রকল্পের জন্য আমাদের আরও মনোযোগের প্রয়োজন, এমনকি যখন আমাদের নিজেদেরকে Yandex-এ আমাদের পরিচালিত ডেটাবেস পরিষেবার জন্য কিছু বাস্তবায়ন করার প্রয়োজন নেই।

এবং 2018 সালের শরত্কালে কোথাও একটি ধারণা আমাদের মাথায় এসেছিল। সাধারণত টিমের কাছে কিছু বৈশিষ্ট্য বিকাশ করার বা আপনার যথেষ্ট হাত না থাকলে বাগগুলি ঠিক করার বিভিন্ন উপায় রয়েছে। উদাহরণস্বরূপ, আপনি অন্য ডেভেলপার নিয়োগ করতে পারেন এবং তাকে অর্থ প্রদান করতে পারেন। অথবা আপনি কিছু সময়ের জন্য একজন ইন্টার্ন নিতে পারেন এবং তাকে কিছু বেতনও দিতে পারেন। কিন্তু এখনও লোকেদের একটি বড় গোষ্ঠী রয়েছে, যাদের মধ্যে কেউ কেউ ইতিমধ্যেই কোড লিখতে জানেন। কোডটি কী গুণমান তা আপনি সবসময় জানেন না।

আমরা এটি সম্পর্কে চিন্তা করেছি এবং শিক্ষার্থীদের আকৃষ্ট করার চেষ্টা করার সিদ্ধান্ত নিয়েছি। তবে শিক্ষার্থীরা আমাদের সাথে সবকিছুতে অংশগ্রহণ করবে না। তারা শুধুমাত্র কাজের কিছু অংশ করবে। এবং তারা, উদাহরণস্বরূপ, পরীক্ষা লিখবে, বাগগুলি ঠিক করবে, বৈশিষ্ট্যগুলি প্রয়োগ করবে যা মূল কার্যকারিতাকে প্রভাবিত করে না। প্রধান কার্যকারিতা হল ব্যাকআপ তৈরি করা এবং ব্যাকআপ পুনরুদ্ধার করা। যদি আমরা একটি ব্যাকআপ তৈরি করতে ভুল করি, আমরা ডেটা ক্ষতির সম্মুখীন হব। এবং কেউ অবশ্যই এটি চায় না। সবাই চায় সবকিছু খুব নিরাপদ হোক। অতএব, অবশ্যই, আমরা আমাদের নিজের থেকে কম বিশ্বাস করি এমন কোডকে আমরা অনুমতি দিতে চাই না। অর্থাৎ, যেকোন নন-ক্রিটিকাল কোড হল যা আমরা আমাদের অতিরিক্ত কর্মীদের কাছ থেকে পেতে চাই।

কোন শর্তে ছাত্র PR গৃহীত হয়?

• তাদের পরীক্ষার সাথে তাদের কোড কভার করতে হবে। সবকিছু সিআই-তে হওয়া উচিত।
• এবং আমরা 2টি পর্যালোচনার মাধ্যমেও যেতে পারি। একটি আন্দ্রে বোরোডিনের এবং একটি আমার দ্বারা।
• এবং অতিরিক্তভাবে, এটি আমাদের পরিষেবাতে কিছু ভাঙবে না তা পরীক্ষা করার জন্য, আমি আলাদাভাবে এই প্রতিশ্রুতি দিয়ে সমাবেশ আপলোড করি। এবং আমরা শেষ থেকে শেষ পরীক্ষায় পরীক্ষা করি যে কিছুই ব্যর্থ হয় না।

ওপেন সোর্সের উপর বিশেষ কোর্স

কেন এটি প্রয়োজন এবং কেন এটি আমার কাছে মনে হয় সে সম্পর্কে কিছুটা একটি দুর্দান্ত ধারণা।

আমাদের জন্য, লাভ সুস্পষ্ট:

• আমরা অতিরিক্ত হাত পেতে.
• এবং আমরা বুদ্ধিমান ছাত্রদের মধ্যে দলের জন্য প্রার্থী খুঁজছি যারা স্মার্ট কোড লেখেন।

ছাত্রদের জন্য সুবিধা কি?

সেগুলি কম স্পষ্ট হতে পারে, কারণ ছাত্ররা ন্যূনতমভাবে, তারা যে কোডটি লেখে তার জন্য টাকা পায় না, কিন্তু শুধুমাত্র তাদের ছাত্র রেকর্ডের জন্য গ্রেড পায়।

আমি তাদের এ বিষয়ে জিজ্ঞাসা করেছি। এবং তাদের কথায়:

• ওপেন সোর্সে অবদানকারীর অভিজ্ঞতা।
• আপনার সিভিতে একটি লাইন পান।
• নিজেকে প্রমাণ করুন এবং ইয়ানডেক্সে একটি সাক্ষাত্কার পাস করুন।
• একজন GSoC সদস্য হন।
• যারা কোড লিখতে চান তাদের জন্য +1 বিশেষ কোর্স।

আমি কোর্সটি কীভাবে গঠন করা হয়েছিল তা নিয়ে কথা বলব না। আমি শুধু বলব যে WAL-G প্রধান প্রকল্প ছিল। আমরা এই কোর্সে Odyssey, PostgreSQL এবং ClickHouse-এর মতো প্রকল্পগুলিও অন্তর্ভুক্ত করেছি।

এবং তারা শুধুমাত্র এই কোর্সে সমস্যা দেয়নি, ডিপ্লোমা এবং কোর্সওয়ার্কও দিয়েছে।

ব্যবহারকারীদের জন্য সুবিধা সম্পর্কে কি?

এখন আপনার সবচেয়ে বেশি আগ্রহের অংশে যাওয়া যাক। এটা আপনার কি লাভ? বিন্দু হল যে ছাত্ররা অনেক বাগ সংশোধন করেছে। এবং আমরা অনুরোধের বৈশিষ্ট্যগুলি তৈরি করেছি যা আপনি আমাদের করতে বলেছেন৷

এবং আমি আপনাকে সেই জিনিসগুলি সম্পর্কে বলি যা আপনি দীর্ঘদিন ধরে চেয়েছিলেন এবং যা বাস্তবায়িত হয়েছে।

টেবিলস্পেস সমর্থন. WAL-G-তে টেবিলস্পেসগুলি সম্ভবত WAL-G প্রকাশের পর থেকে প্রত্যাশিত ছিল, কারণ WAL-G হল আরেকটি ব্যাকআপ টুল WAL-E-এর উত্তরসূরি, যেখানে টেবিলস্পেস সহ ডাটাবেস ব্যাকআপগুলি সমর্থিত ছিল।

আমি আপনাকে সংক্ষেপে মনে করিয়ে দিই যে এটি কী এবং কেন এটি সব প্রয়োজন। সাধারণত, আপনার সমস্ত পোস্টগ্রেস ডেটা ফাইল সিস্টেমে একটি ডিরেক্টরি দখল করে, যাকে বেস বলা হয়। এবং এই ডিরেক্টরিতে ইতিমধ্যেই Postgres-এর প্রয়োজনীয় সমস্ত ফাইল এবং সাবডিরেক্টরি রয়েছে।

টেবিলস্পেসগুলি এমন ডিরেক্টরি যা পোস্টগ্রেস ডেটা ধারণ করে, তবে সেগুলি বেস ডিরেক্টরির বাইরে অবস্থিত নয়। স্লাইডটি দেখায় যে টেবিলস্প্যাকগুলি বেস ডিরেক্টরির বাইরে অবস্থিত।

Postgres নিজেই জন্য এই মত চেহারা কি? বেস ডিরেক্টরিতে একটি পৃথক সাবডিরেক্টরি pg_tblspc আছে। এবং এটি ডাইরেক্টরির সিমলিঙ্ক ধারণ করে যা আসলে বেস ডিরেক্টরির বাইরে পোস্টগ্রেস ডেটা ধারণ করে।

আপনি যখন এই সমস্ত ব্যবহার করেন, তখন আপনার জন্য এই কমান্ডগুলি এইরকম দেখতে পারে। অর্থাৎ, আপনি কিছু নির্দিষ্ট টেবিলস্পেসে একটি টেবিল তৈরি করুন এবং দেখুন এটি এখন কোথায়। এই শেষ দুটি লাইন, শেষ দুটি কমান্ড বলা হয়. এবং সেখানে এটা স্পষ্ট যে কিছু উপায় আছে. কিন্তু বাস্তবে, এটি আসল উপায় নয়। এটি বেস ডিরেক্টরি থেকে টেবিলস্পেসে প্রিফিক্সড পাথ। এবং সেখান থেকে এটি একটি সিমলিংকের সাথে মিলে যায় যা আপনার আসল ডেটা নিয়ে যায়।

আমরা আমাদের দলে এগুলি ব্যবহার করি না, তবে এটি অন্যান্য অনেক WAL-E ব্যবহারকারীদের দ্বারা ব্যবহার করা হয়েছিল যারা আমাদের লিখেছিলেন যে তারা WAL-G-এ যেতে চান, কিন্তু এটি তাদের থামিয়ে দিচ্ছে। এটি এখন সমর্থিত।

আরেকটি বৈশিষ্ট্য যা আমাদের বিশেষ কোর্স আমাদের নিয়ে এসেছে তা হল ক্যাচআপ। যে লোকেরা সম্ভবত পোস্টগ্রেসের চেয়ে ওরাকলের সাথে বেশি কাজ করেছেন তারা ক্যাচআপ সম্পর্কে জানেন।

এটা কি সম্পর্কে সংক্ষেপে. আমাদের পরিষেবাতে ক্লাস্টার টপোলজি সাধারণত এইরকম দেখতে পারে। আমাদের একজন মাস্টার আছে। একটি প্রতিরূপ রয়েছে যা এটি থেকে লিখতে-আগে লগ স্ট্রিম করে। এবং প্রতিরূপটি মাস্টারকে বলে যে এটি বর্তমানে কোন LSN চালু রয়েছে৷ এবং এর সাথে সমান্তরালে কোথাও, লগটি সংরক্ষণাগারভুক্ত করা যেতে পারে। এবং লগ আর্কাইভ করার পাশাপাশি, ব্যাকআপগুলিও ক্লাউডে পাঠানো হয়। এবং ডেল্টা ব্যাকআপ পাঠানো হয়।

কি সমস্যা হতে পারে? যখন আপনার কাছে একটি মোটামুটি বড় ডাটাবেস থাকে, তখন এটি চালু হতে পারে যে আপনার প্রতিরূপটি মাস্টারের থেকে অনেক পিছিয়ে যেতে শুরু করে। এবং সে এতটাই পিছিয়ে যে সে কখনই তাকে ধরতে পারবে না। এই সমস্যা সাধারণত কোনো না কোনোভাবে সমাধান করা প্রয়োজন।

এবং সবচেয়ে সহজ উপায় হল প্রতিরূপটি মুছে ফেলা এবং এটি পুনরায় আপলোড করা, কারণ এটি কখনই ধরা পড়বে না এবং সমস্যাটি মোকাবেলা করা দরকার। তবে এটি বেশ দীর্ঘ সময়, কারণ পুরো 10 টিবি ডাটাবেস ব্যাকআপ পুনরুদ্ধার করা একটি খুব, খুব দীর্ঘ সময়। এবং এই ধরনের সমস্যা দেখা দিলে আমরা যত দ্রুত সম্ভব এই সব করতে চাই। এবং যে ঠিক কি জন্য catchup হয়.

ক্যাচআপ আপনাকে ডেল্টা ব্যাকআপ ব্যবহার করতে দেয়, যা এইভাবে ক্লাউডে সংরক্ষণ করা হয়। আপনি বলুন কোন LSNটি ল্যাগিং রেপ্লিকা বর্তমানে চালু আছে এবং সেই LSN এবং LSN এর মধ্যে একটি ডেল্টা ব্যাকআপ তৈরি করার জন্য ক্যাচআপ কমান্ডে এটি উল্লেখ করুন যেটিতে আপনার ক্লাস্টার বর্তমানে অবস্থিত। এবং এর পরে আপনি পিছিয়ে থাকা প্রতিরূপটিতে এই ব্যাকআপটি পুনরুদ্ধার করুন।

অন্যান্য ঘাঁটি

ছাত্ররাও আমাদের একসাথে অনেক ফিচার এনেছে। যেহেতু ইয়ানডেক্সে আমরা শুধুমাত্র পোস্টগ্রেসই রান্না করি না, আমাদের কাছে মাইএসকিউএল, মঙ্গোডিবি, রেডিস, ক্লিকহাউসও রয়েছে, কিছু সময়ে আমাদের মাইএসকিউএল-এর জন্য পয়েন্ট-ইন-টাইম পুনরুদ্ধারের সাথে ব্যাকআপ তৈরি করতে সক্ষম হওয়া দরকার ছিল এবং যাতে আপলোড করার সুযোগ ছিল তাদের মেঘের কাছে।

এবং আমরা WAL-G যা করে তার অনুরূপভাবে এটি করতে চেয়েছিলাম। এবং আমরা পরীক্ষা করার সিদ্ধান্ত নিয়েছি এবং দেখতে চাই যে এটি কীভাবে দেখাবে।

এবং প্রথমে, কোন ভাবেই এই যুক্তি ভাগ না করে, তারা কাঁটাচামচ কোড লিখেছিল। তারা দেখেছিল যে আমাদের কিছু ধরণের কাজের মডেল রয়েছে এবং এটি উড়তে পারে। তারপর আমরা ভেবেছিলাম যে আমাদের প্রধান সম্প্রদায় পোস্টগ্রেসিস্ট, তারা WAL-G ব্যবহার করে। এবং সেইজন্য আমাদের এই অংশগুলিকে একরকম আলাদা করতে হবে। অর্থাৎ, যখন আমরা Postgres-এর জন্য কোড সম্পাদনা করি, তখন আমরা MySQL ভাঙি না; যখন আমরা MySQL সম্পাদনা করি, তখন আমরা Postgres ভাঙি না।

এটিকে কীভাবে আলাদা করা যায় সে সম্পর্কে প্রথম ধারণাটি ছিল একই পদ্ধতি ব্যবহার করার ধারণা যা PostgreSQL এক্সটেনশনগুলিতে ব্যবহৃত হয়। এবং, আসলে, একটি MySQL ব্যাকআপ তৈরি করতে আপনাকে কিছু ধরণের গতিশীল লাইব্রেরি ইনস্টল করতে হয়েছিল।

কিন্তু এখানে এই পদ্ধতির অসাম্য অবিলম্বে দৃশ্যমান হয়। আপনি যখন পোস্টগ্রেস ব্যাকআপ করেন, তখন আপনি এটিতে পোস্টগ্রেসের জন্য একটি সাধারণ ব্যাকআপ রাখেন এবং সবকিছু ঠিক থাকে। এবং মাইএসকিউএল-এর জন্য দেখা যাচ্ছে যে আপনি পোস্টগ্রেসের জন্য একটি ব্যাকআপ ইনস্টল করেন এবং এটির জন্য মাইএসকিউএল-এর জন্য একটি গতিশীল লাইব্রেরি ইনস্টল করেন। এটা অদ্ভুত ধরনের শোনাচ্ছে. আমরাও তাই ভেবেছিলাম এবং সিদ্ধান্ত নিয়েছিলাম যে এটি আমাদের প্রয়োজনীয় সমাধান নয়।

Postgres, MySQL, MongoDB, Redis এর জন্য বিভিন্ন বিল্ড

কিন্তু এটি আমাদের অনুমতি দিয়েছে, এটা আমাদের মনে হয়, সঠিক সিদ্ধান্তে আসতে - বিভিন্ন ঘাঁটির জন্য বিভিন্ন সমাবেশ বরাদ্দ করতে। এটি বিভিন্ন ডাটাবেসের ব্যাকআপের সাথে যুক্ত যুক্তিকে বিচ্ছিন্ন করা সম্ভব করেছে যা WAL-G প্রয়োগ করে এমন সাধারণ API অ্যাক্সেস করবে।

এই অংশটি আমরা নিজেরাই লিখেছিলাম - শিক্ষার্থীদের সমস্যা দেওয়ার আগে। অর্থাৎ, এটি ঠিক সেই অংশ যেখানে তারা কিছু ভুল করতে পারে, তাই আমরা সিদ্ধান্ত নিয়েছি যে আমরা এরকম কিছু করতে চাই এবং সবকিছু ঠিক হয়ে যাবে।

এর পর আমরা সমস্যাগুলো তুলে ধরলাম। তাৎক্ষণিকভাবে সেগুলো ভেঙে ফেলা হয়। ছাত্রদের তিনটি ভিত্তি সমর্থন করতে হবে।

এটি হল MySQL, যা আমরা এক বছরেরও বেশি সময় ধরে WAL-G ব্যবহার করে ব্যাক আপ করছি।

এবং এখন MongoDB উৎপাদনের দিকে এগিয়ে যাচ্ছে, যেখানে তারা এটি একটি ফাইল দিয়ে শেষ করছে। আসলে, আমরা এই সব জন্য কাঠামো লিখেছি. তারপর ছাত্ররা কিছু কাজের জিনিস লিখল। এবং তারপরে আমরা তাদের এমন একটি অবস্থায় নিয়ে এসেছি যা আমরা উত্পাদনে গ্রহণ করতে পারি।

এই সমস্ত ডাটাবেসের জন্য সম্পূর্ণ ব্যাকআপ টুল লেখার জন্য ছাত্রদের প্রয়োজন মত এই সমস্যাগুলি দেখায়নি৷ আমাদের এমন কোনো সমস্যা হয়নি। আমাদের সমস্যা ছিল যে আমরা পয়েন্ট-ইন-টাইম পুনরুদ্ধার চেয়েছিলাম এবং আমরা ক্লাউডে ব্যাকআপ করতে চেয়েছিলাম। এবং তারা ছাত্রদের কিছু কোড লিখতে বলে যা এর সমাধান করবে। শিক্ষার্থীরা ইতিমধ্যে বিদ্যমান ব্যাকআপ সরঞ্জামগুলি ব্যবহার করেছিল, যা কোনওভাবে ব্যাকআপ নেয় এবং তারপরে এটিকে WAL-G এর সাথে আঠালো করে দেয়, যা এটিকে ক্লাউডে ফরওয়ার্ড করে। এবং তারা এটিতে পয়েন্ট-ইন-টাইম পুনরুদ্ধারও যোগ করেছে।

ছাত্ররা আর কী নিয়ে এসেছে? তারা WAL-G-তে Libsodium এনক্রিপশন সমর্থন নিয়ে এসেছে।

আমাদের ব্যাকআপ স্টোরেজ নীতিও আছে। এখন ব্যাকআপগুলি স্থায়ী হিসাবে চিহ্নিত করা যেতে পারে৷ এবং সেগুলি সংরক্ষণ করার প্রক্রিয়াটিকে স্বয়ংক্রিয় করা আপনার পরিষেবার জন্য একরকম আরও সুবিধাজনক৷

এই পরীক্ষার ফলাফল কি ছিল?

কোর্সের জন্য প্রাথমিকভাবে 100 জনের বেশি লোক নিবন্ধন করেছে। প্রথমে আমি বলিনি যে ইয়েকাটেরিনবার্গের বিশ্ববিদ্যালয়টি ইউরাল ফেডারেল বিশ্ববিদ্যালয়। আমরা সেখানে সবকিছু ঘোষণা করেছি। 100 জন নিবন্ধিত। বাস্তবে, অনেক কম লোক কিছু করতে শুরু করেছে, প্রায় 30 জন।

এমনকি কম লোক কোর্সটি সম্পন্ন করেছে, কারণ ইতিমধ্যে বিদ্যমান কোডগুলির জন্য পরীক্ষা লেখার প্রয়োজন ছিল। এবং কিছু বাগ ঠিক করুন বা কিছু বৈশিষ্ট্য তৈরি করুন। এবং কিছু ছাত্র এখনও কোর্স বন্ধ.

বর্তমানে, এই কোর্স চলাকালীন, শিক্ষার্থীরা প্রায় 14টি সমস্যা সমাধান করেছে এবং বিভিন্ন আকারের 10টি বৈশিষ্ট্য তৈরি করেছে। এবং, এটা আমার মনে হয়, এটি এক বা দুই বিকাশকারীর একটি সম্পূর্ণ প্রতিস্থাপন।

অন্যান্য জিনিসের মধ্যে, আমরা ডিপ্লোমা এবং কোর্সওয়ার্ক জারি করেছি। আর ১২ জন ডিপ্লোমা পেয়েছেন। তাদের মধ্যে 12 জন ইতিমধ্যে "6" এ আত্মরক্ষা করেছেন। যারা রয়ে গেছে তাদের এখনও সুরক্ষা নেই, তবে আমি মনে করি তাদের জন্যও সবকিছু ঠিক হয়ে যাবে।

ভবিষ্যতের জন্য পরিকল্পনা

ভবিষ্যতের জন্য আমাদের কী পরিকল্পনা আছে?

অন্তত সেই বৈশিষ্ট্যগুলির অনুরোধ যা আমরা ইতিমধ্যে ব্যবহারকারীদের কাছ থেকে শুনেছি এবং করতে চাই৷ এই:

• HA ক্লাস্টার ব্যাকআপ সংরক্ষণাগারে টাইমলাইন ট্র্যাকিংয়ের সঠিকতা নিরীক্ষণ করা। আপনি WAL-G দিয়ে এটি করতে পারেন। এবং আমি মনে করি আমাদের ছাত্র থাকবে যারা এই বিষয়টি গ্রহণ করবে।
• ক্লাউডের মধ্যে ব্যাকআপ এবং WAL স্থানান্তর করার জন্য ইতিমধ্যেই আমাদের কাছে একজন ব্যক্তি দায়ী।
• এবং আমরা সম্প্রতি একটি ধারণা প্রকাশ করেছি যে পৃষ্ঠাগুলি পুনর্লিখন না করে এবং সেখানে পাঠানো আর্কাইভগুলিকে অপ্টিমাইজ করে ক্রমবর্ধমান ব্যাকআপগুলি আনপ্যাক করার মাধ্যমে আমরা WAL-G এর গতি বাড়াতে পারি৷

আপনি এখানে তাদের ভাগ করতে পারেন

এই রিপোর্ট কি জন্য ছিল? তদুপরি, এখন, এই প্রকল্পটি সমর্থনকারী 4 জনের পাশাপাশি আমাদের অতিরিক্ত হাত রয়েছে, যার মধ্যে অনেকগুলি রয়েছে। বিশেষ করে যদি আপনি একটি ব্যক্তিগত বার্তা তাদের লিখতে. এবং আপনি যদি আপনার ডেটা ব্যাক আপ করেন এবং এটি WAL-G ব্যবহার করে করেন বা WAL-G-এ যেতে চান, তাহলে আমরা আপনার ইচ্ছাগুলি খুব সহজেই পূরণ করতে পারি।

এটি একটি QR কোড এবং একটি লিঙ্ক৷ আপনি তাদের মাধ্যমে যেতে এবং আপনার সব ইচ্ছা লিখতে পারেন. উদাহরণস্বরূপ, আমরা কিছু বাগ ঠিক করছি না। অথবা আপনি সত্যিই কিছু বৈশিষ্ট্য চান, কিন্তু কিছু কারণে এটি এখনও আমাদের সহ কোনো ব্যাকআপে নেই। এই বিষয়ে লিখতে ভুলবেন না.

প্রশ্ন

হ্যালো! প্রতিবেদনের জন্য ধন্যবাদ! WAL-G সম্পর্কে প্রশ্ন, কিন্তু Postgres সম্পর্কে নয়। WAL-G MySQL ব্যাক আপ করে এবং একটি অতিরিক্ত ব্যাকআপ কল করে। আমরা যদি CentOS-এ আধুনিক ইনস্টলেশন নিই এবং আপনি যদি yum ইন্সটল করেন MySQL, MariDB ইন্সটল হবে। সংস্করণ 10.3 থেকে অতিরিক্ত ব্যাকআপ সমর্থিত নয়, MariDB ব্যাকআপ সমর্থিত। আপনি এটা কিভাবে করছেন?

এই মুহূর্তে আমরা MariDB ব্যাকআপ করার চেষ্টা করিনি। আমরা ফাউন্ডেশনডিবি সমর্থনের জন্য অনুরোধ করেছি, কিন্তু সাধারণভাবে, যদি এমন একটি অনুরোধ থাকে, তাহলে আমরা এমন লোক খুঁজে পেতে পারি যারা এটি করবে। এটা যতটা দীর্ঘ বা আমার মনে হয় ততটা কঠিন নয়।

শুভ অপরাহ্ন প্রতিবেদনের জন্য ধন্যবাদ! সম্ভাব্য নতুন বৈশিষ্ট্য সম্পর্কে প্রশ্ন. আপনি কি টেপের সাথে WAL-G কাজ করতে প্রস্তুত যাতে আপনি টেপগুলিতে ব্যাকআপ নিতে পারেন?

টেপ স্টোরেজ ব্যাকআপ দৃশ্যত মানে?

হ্যাঁ।

আন্দ্রেই বোরোডিন আছেন, যিনি আমার চেয়ে এই প্রশ্নের উত্তর দিতে পারেন।

(অ্যান্ড্রে) হ্যাঁ, প্রশ্নের জন্য ধন্যবাদ! ক্লাউড স্টোরেজ থেকে টেপে ব্যাকআপ স্থানান্তর করার জন্য আমাদের একটি অনুরোধ ছিল। এবং এই জন্য করাত মেঘের মধ্যে স্থানান্তর। কারণ ক্লাউড-টু-ক্লাউড ট্রান্সফার হল টেপ ট্রান্সফারের একটি সাধারণ সংস্করণ। এছাড়াও, স্টোরেজের ক্ষেত্রে আমাদের একটি এক্সটেনসিবল আর্কিটেকচার রয়েছে। যাইহোক, অনেক স্টোরোজ ছাত্রদের দ্বারা লেখা হয়েছিল। এবং যদি আপনি টেপের জন্য স্টোরেজ লেখেন, তবে এটি অবশ্যই সমর্থিত হবে। আমরা টান অনুরোধ বিবেচনা করতে প্রস্তুত. সেখানে আপনাকে একটি ফাইল লিখতে হবে, একটি ফাইল পড়তে হবে। আপনি যদি গো-তে এই জিনিসগুলি করেন, আপনি সাধারণত 50 লাইনের কোড দিয়ে শেষ করবেন। এবং তারপর টেপ WAL-G সমর্থিত হবে.

প্রতিবেদনের জন্য ধন্যবাদ! আকর্ষণীয় উন্নয়ন প্রক্রিয়া। ব্যাকআপ কার্যকারিতার একটি গুরুতর অংশ যা পরীক্ষা দ্বারা ভালভাবে কভার করা উচিত। আপনি যখন নতুন ডাটাবেসের জন্য কার্যকারিতা প্রয়োগ করেছিলেন, তখন কি শিক্ষার্থীরাও পরীক্ষা লিখেছিলেন, নাকি আপনি নিজেই পরীক্ষা লিখেছিলেন এবং তারপরে শিক্ষার্থীদের বাস্তবায়ন দিয়েছিলেন?

শিক্ষার্থীরা পরীক্ষাও লিখেছিল। কিন্তু শিক্ষার্থীরা নতুন ডাটাবেসের মতো বৈশিষ্ট্যের জন্য আরও বেশি লিখেছে। তারা ইন্টিগ্রেশন পরীক্ষা লিখেছিল। এবং তারা ইউনিট পরীক্ষা লিখেছিল। যদি ইন্টিগ্রেশন পাস হয়, অর্থাৎ এই মুহুর্তে, এটি একটি স্ক্রিপ্ট যা আপনি ম্যানুয়ালি চালান বা আপনি ক্রোন করছেন, উদাহরণস্বরূপ। অর্থাৎ সেখানকার চিত্রনাট্য খুবই স্পষ্ট।

শিক্ষার্থীদের তেমন অভিজ্ঞতা নেই। পর্যালোচনা কি অনেক সময় নেয়?

হ্যাঁ, পর্যালোচনাগুলি অনেক সময় নেয়। অর্থাৎ, সাধারণত, যখন একাধিক প্রতিশ্রুতি একবারে আসে এবং বলে যে আমি এটি করেছি, আমি এটি করেছি, তখন তারা সেখানে কী লিখেছেন তা বের করার জন্য আপনাকে চিন্তা করতে হবে এবং প্রায় অর্ধেক দিন আলাদা করতে হবে। কারণ কোডটি অবশ্যই মনোযোগ দিয়ে পড়তে হবে। তাদের সাক্ষাৎকার ছিল না। আমরা তাদের খুব ভাল জানি না, তাই এটি একটি উল্লেখযোগ্য পরিমাণ সময় লাগে.

প্রতিবেদনের জন্য ধন্যবাদ! পূর্বে, আন্দ্রে বোরোডিন বলেছিলেন যে WAL-G-এ archive_command সরাসরি কল করা উচিত। কিন্তু কিছু ধরণের ক্লাস্টার কার্টিজের ক্ষেত্রে, যে নোড থেকে শ্যাফ্টগুলি পাঠানো হবে তা নির্ধারণ করতে আমাদের অতিরিক্ত যুক্তির প্রয়োজন। কিভাবে আপনি নিজেই এই সমস্যা সমাধান করবেন?

এখানে আপনার সমস্যা কি? ধরা যাক আপনার একটি সিঙ্ক্রোনাস রেপ্লিকা আছে যা দিয়ে আপনি একটি ব্যাকআপ তৈরি করছেন? অথবা কি?

(Andrey) আসলেই WAL-G শেল স্ক্রিপ্ট ছাড়াই ব্যবহার করার উদ্দেশ্যে করা হয়েছে। যদি কিছু অনুপস্থিত থাকে, তাহলে এর যুক্তি যোগ করা যাক যা WAL-G-এর ভিতরে থাকা উচিত। আর্কাইভিং কোথা থেকে আসা উচিত, আমরা বিশ্বাস করি যে আর্কাইভিং ক্লাস্টারের বর্তমান মাস্টার থেকে হওয়া উচিত। একটি প্রতিরূপ থেকে সংরক্ষণাগার একটি খারাপ ধারণা. সমস্যা সহ বিভিন্ন সম্ভাব্য পরিস্থিতি রয়েছে। বিশেষ করে, টাইমলাইন এবং কোনো অতিরিক্ত তথ্য সংরক্ষণে সমস্যা। প্রশ্নের জন্য ধন্যবাদ!

(স্পষ্টকরণ: আমরা শেল স্ক্রিপ্ট থেকে মুক্তি পেয়েছি এই কারনে)

শুভ সন্ধ্যা! প্রতিবেদনের জন্য ধন্যবাদ! আপনি যে ক্যাচআপ বৈশিষ্ট্য সম্পর্কে কথা বলেছেন তাতে আমি আগ্রহী। আমরা এমন একটি পরিস্থিতির মুখোমুখি হয়েছিলাম যেখানে একটি প্রতিরূপ পিছনে ছিল এবং ধরতে পারিনি। এবং আমি WAL-G নথিতে এই বৈশিষ্ট্যটির একটি বিবরণ খুঁজে পাইনি।

ক্যাচআপ আক্ষরিক অর্থে 20 জানুয়ারী 2020-এ উপস্থিত হয়েছিল। ডকুমেন্টেশন আরো কিছু কাজ প্রয়োজন হতে পারে. আমরা এটি নিজেরাই লিখি এবং আমরা এটি খুব ভাল লিখি না। এবং সম্ভবত আমাদের শিক্ষার্থীদের এটি লিখতে বলা শুরু করা উচিত।

এটা ইতিমধ্যে মুক্তি?

পুল অনুরোধটি ইতিমধ্যেই মৃত, অর্থাৎ আমি এটি পরীক্ষা করেছি। আমি একটি পরীক্ষা ক্লাস্টারে এটি চেষ্টা করেছি। এখন পর্যন্ত আমাদের এমন পরিস্থিতি ছিল না যেখানে আমরা এটিকে একটি যুদ্ধের উদাহরণে পরীক্ষা করতে পারি।

কখন আশা করবেন?

আমি জানি না এক মাস অপেক্ষা করুন, আমরা নিশ্চিতভাবে পরীক্ষা করব।

উত্স: www.habr.com