কিভাবে গিটল্যাব আপনাকে বড় নেক্সটক্লাউড স্টোরেজ ব্যাকআপ করতে সাহায্য করে

হে হাবর!

আজ আমি বিভিন্ন কনফিগারেশনে নেক্সটক্লাউড স্টোরেজ থেকে বড় ডেটার ব্যাকআপ স্বয়ংক্রিয় করার আমাদের অভিজ্ঞতা সম্পর্কে কথা বলতে চাই। আমি মোলনিয়া AK-তে একটি পরিষেবা স্টেশন হিসাবে কাজ করি, যেখানে আমরা আইটি সিস্টেমের কনফিগারেশন পরিচালনা করি; নেক্সটক্লাউড ডেটা স্টোরেজের জন্য ব্যবহৃত হয়। অপ্রয়োজনীয়তা সহ, একটি বিতরণ করা কাঠামো সহ।

ইনস্টলেশনের বৈশিষ্ট্যগুলি থেকে উদ্ভূত সমস্যাগুলি হ'ল প্রচুর ডেটা রয়েছে। নেক্সটক্লাউড, অপ্রয়োজনীয়তা, বিষয়গত কারণ এবং আরও অনেক কিছুর দ্বারা সরবরাহ করা সংস্করণ অনেকগুলি সদৃশ তৈরি করে৷

প্রাগঐতিহাসিক

নেক্সটক্লাউড পরিচালনা করার সময়, একটি কার্যকর ব্যাকআপ সংগঠিত করার সমস্যা দেখা দেয়, যা এনক্রিপ্ট করা আবশ্যক, যেহেতু ডেটা মূল্যবান।

আমরা আমাদের জায়গায় বা গ্রাহকদের নেক্সটক্লাউড থেকে পৃথক মেশিনে ব্যাকআপ সংরক্ষণের বিকল্পগুলি অফার করি, যার জন্য প্রশাসনের জন্য একটি নমনীয় স্বয়ংক্রিয় পদ্ধতির প্রয়োজন।

অনেক ক্লায়েন্ট আছে, তাদের সকলেরই বিভিন্ন কনফিগারেশন রয়েছে এবং সকলেই তাদের নিজস্ব সাইটে এবং তাদের নিজস্ব বৈশিষ্ট্যের সাথে। এটি একটি প্রমিত কৌশল যখন পুরো সাইটটি আপনার হয়, এবং ব্যাকআপগুলি মুকুট থেকে তৈরি করা হয়; এটি ভালভাবে মানায় না।

প্রথমে ইনপুট ডেটা দেখি। আমাদের দরকার:

• একটি নোড বা একাধিক পরিপ্রেক্ষিতে মাপযোগ্যতা। বড় ইনস্টলেশনের জন্য আমরা স্টোরেজ হিসাবে মিনিও ব্যবহার করি।
• ব্যাকআপ সঞ্চালনের সমস্যা সম্পর্কে জানুন।
• আপনাকে আপনার ক্লায়েন্ট এবং/অথবা আমাদের সাথে একটি ব্যাকআপ রাখতে হবে।
• দ্রুত এবং সহজে সমস্যা মোকাবেলা করুন.
• ক্লায়েন্ট এবং ইনস্টলেশন একে অপরের থেকে খুব আলাদা - অভিন্নতা অর্জন করা যাবে না।
• পুনরুদ্ধারের গতি দুটি পরিস্থিতিতে ন্যূনতম হওয়া উচিত: সম্পূর্ণ পুনরুদ্ধার (বিপর্যয়), একটি ফোল্ডার ভুল করে মুছে ফেলা হয়েছে।
• অনুলিপি ফাংশন প্রয়োজন.

ব্যাকআপ পরিচালনার সমস্যা সমাধানের জন্য, আমরা গিটল্যাব ইনস্টল করেছি। মোকাবেলা দ্বারা আরো বিস্তারিত.

অবশ্যই, আমরা এই ধরনের সমস্যা সমাধানের জন্য প্রথম নই, তবে এটা আমাদের কাছে মনে হচ্ছে যে আমাদের ব্যবহারিক, কঠোর-অর্জিত অভিজ্ঞতা আকর্ষণীয় হতে পারে এবং আমরা এটি ভাগ করতে প্রস্তুত।

যেহেতু আমাদের কোম্পানির একটি ওপেন সোর্স নীতি রয়েছে, তাই আমরা একটি ওপেন সোর্স সমাধান খুঁজছিলাম। পরিবর্তে, আমরা আমাদের উন্নয়ন শেয়ার করি এবং সেগুলি পোস্ট করি। উদাহরণস্বরূপ, গিটহাবে আছে নেক্সটক্লাউডের জন্য আমাদের প্লাগইন, যা আমরা ক্লায়েন্টদের প্রদান করি, দুর্ঘটনাজনিত বা ইচ্ছাকৃতভাবে মুছে ফেলার ক্ষেত্রে ডেটা নিরাপত্তা বৃদ্ধি করে।

ব্যাকআপ টুল

আমরা একটি ব্যাকআপ তৈরির টুল বেছে নিয়ে সমাধান পদ্ধতির জন্য আমাদের অনুসন্ধান শুরু করেছি।

নিয়মিত tar + gzip ভাল কাজ করে না - ডেটা সদৃশ হয়। একটি ইনক্রিমেন্টে প্রায়শই খুব কম প্রকৃত পরিবর্তন থাকে এবং একটি ফাইলের মধ্যে বেশিরভাগ ডেটা পুনরাবৃত্তি হয়।
আরেকটি সমস্যা আছে - বিতরণ করা ডেটা স্টোরেজের অপ্রয়োজনীয়তা। আমরা মিনিও ব্যবহার করি এবং এর ডেটা মূলত অপ্রয়োজনীয়। অথবা আপনাকে মিনিওর মাধ্যমে একটি ব্যাকআপ তৈরি করতে হয়েছিল - এটি লোড করুন এবং ফাইল সিস্টেমের মধ্যে সমস্ত স্পেসার ব্যবহার করুন এবং কম গুরুত্বপূর্ণ নয়, কিছু বালতি এবং মেটা-তথ্য ভুলে যাওয়ার ঝুঁকি রয়েছে। অথবা অনুলিপি ব্যবহার করুন.

ডুপ্লিকেশন সহ ব্যাকআপ সরঞ্জামগুলি ওপেন সোর্সে পাওয়া যায় (হাব্রেতে ছিল প্রবন্ধ এই বিষয়ে) এবং আমাদের ফাইনালিস্ট ছিল Borg и রেস্টিক. দুটি অ্যাপ্লিকেশনের আমাদের তুলনা নীচে, কিন্তু আপাতত আমরা আপনাকে বলব কিভাবে আমরা পুরো স্কিমটি সংগঠিত করেছি।

ব্যাকআপ পরিচালনা

বোর্গ এবং রেস্টিক ভাল, কিন্তু কোনো পণ্যেরই কেন্দ্রীয় নিয়ন্ত্রণ ব্যবস্থা নেই। ব্যবস্থাপনা এবং নিয়ন্ত্রণের উদ্দেশ্যে, আমরা এমন একটি টুল বেছে নিয়েছি যা আমরা ইতিমধ্যেই প্রয়োগ করেছি, যেটি ছাড়া আমরা অটোমেশন সহ আমাদের কাজ কল্পনা করতে পারি না - এটি হল সুপরিচিত CI/CD - GitLab।

ধারণাটি নিম্নরূপ: গিটল্যাব-রানার প্রতিটি নোডে নেক্সটক্লাউড ডেটা সংরক্ষণ করে ইনস্টল করা আছে। রানার একটি সময়সূচীতে একটি স্ক্রিপ্ট চালায় যা ব্যাকআপ প্রক্রিয়া নিরীক্ষণ করে এবং এটি বোর্গ বা রেস্টিক চালু করে।

আমরা কি পেলাম? সম্পাদন থেকে প্রতিক্রিয়া, পরিবর্তনের উপর সুবিধাজনক নিয়ন্ত্রণ, ত্রুটির ক্ষেত্রে বিশদ বিবরণ।

এখানে এখানে GitHub-এ আমরা বিভিন্ন কাজের জন্য স্ক্রিপ্টের উদাহরণ পোস্ট করেছি, এবং আমরা এটিকে শুধুমাত্র নেক্সটক্লাউড নয়, অন্যান্য অনেক পরিষেবার ব্যাকআপে সংযুক্ত করেছি। আপনি যদি এটি ম্যানুয়ালি কনফিগার করতে না চান (এবং আমরা চাই না) এবং .gitlab-ci.yml সেখানে একটি শিডিউলারও রয়েছে

গিটল্যাব API এ CI/CD টাইমআউট পরিবর্তন করার কোন উপায় নেই, তবে এটি ছোট। এটা বাড়াতে হবে, বলুন 1d.

গিটল্যাব, সৌভাগ্যবশত, শুধুমাত্র একটি প্রতিশ্রুতি অনুযায়ী নয়, শুধুমাত্র একটি সময়সূচী অনুযায়ী চালু করতে পারে, এটি আমাদের প্রয়োজন।

এখন মোড়ক স্ক্রিপ্ট সম্পর্কে.

আমরা এই স্ক্রিপ্টের জন্য নিম্নলিখিত শর্তগুলি সেট করেছি:

• এটি রানার দ্বারা এবং একই কার্যকারিতা সহ কনসোল থেকে হাতে উভয়ই চালু করা উচিত।
• ত্রুটি হ্যান্ডলার থাকতে হবে:
• রিটার্ন কোড।
• লগে একটি স্ট্রিং অনুসন্ধান করুন। উদাহরণস্বরূপ, আমাদের জন্য একটি ত্রুটি এমন একটি বার্তা হতে পারে যা প্রোগ্রামটি মারাত্মক বলে মনে করে না।
• প্রক্রিয়াকরণের সময়সীমা। সীসা সময় যুক্তিসঙ্গত হতে হবে.
• আমরা একটি খুব বিস্তারিত লগ প্রয়োজন. কিন্তু শুধুমাত্র একটি ত্রুটির ক্ষেত্রে।
• শুরু করার আগে বেশ কিছু পরীক্ষাও করা হয়।
• সুবিধার জন্য ছোট বোনাস যা আমরা সমর্থন প্রক্রিয়া চলাকালীন দরকারী বলে মনে করেছি:
• শুরু এবং শেষ স্থানীয় মেশিনের syslog মধ্যে রেকর্ড করা হয়. এটি সিস্টেমের ত্রুটি এবং ব্যাকআপ অপারেশন সংযোগ করতে সাহায্য করে।
• ত্রুটি লগের অংশ, যদি থাকে, stdout এ আউটপুট হয়, সম্পূর্ণ লগটি একটি পৃথক ফাইলে লেখা হয়। এটি অবিলম্বে CI এর দিকে তাকান এবং ত্রুটিটি তুচ্ছ হলে মূল্যায়ন করা সুবিধাজনক।
• ডিবাগিং মোড।

সম্পূর্ণ লগটি গিটল্যাবে একটি আর্টিফ্যাক্ট হিসাবে সংরক্ষণ করা হয়েছে; যদি কোনও ত্রুটি না থাকে তবে লগটি মুছে ফেলা হয়। আমরা বাশে স্ক্রিপ্ট লিখি।

ওপেন সোর্স সম্পর্কিত যেকোন পরামর্শ এবং মন্তব্য বিবেচনা করে আমরা খুশি হব - স্বাগতম।

এগুলো কিভাবে কাজ করে

ব্যাশ এক্সিকিউটর সহ একটি রানার ব্যাকআপ নোডে চালু করা হয়েছে। সময়সূচী অনুসারে, কাজ CI/CD একটি বিশেষ শালগমে চালু করা হয়। রানার এই ধরনের কাজের জন্য একটি সার্বজনীন র‍্যাপার স্ক্রিপ্ট চালু করে, এটি ব্যাকআপ রিপোজিটরি, মাউন্ট পয়েন্ট এবং আমরা যা চাই সবকিছুর বৈধতা পরীক্ষা করে, তারপর ব্যাক আপ করে এবং পুরানোটিকে পরিষ্কার করে। সমাপ্ত ব্যাকআপ নিজেই S3 এ পাঠানো হয়।

আমরা এই স্কিম অনুযায়ী কাজ করি - এটি একটি বাহ্যিক AWS প্রদানকারী বা একটি রাশিয়ান সমতুল্য (এটি দ্রুত এবং ডেটা রাশিয়ান ফেডারেশন ছেড়ে যায় না)। অথবা আমরা এই উদ্দেশ্যে তার সাইটে ক্লায়েন্টের জন্য একটি পৃথক মিনিও ক্লাস্টার ইনস্টল করি। আমরা সাধারণত নিরাপত্তার কারণে এটি করি, যখন ক্লায়েন্ট তাদের সার্কিটটি একেবারেই ছেড়ে দিতে চায় না।

আমরা ssh এর মাধ্যমে ব্যাকআপ পাঠানোর বৈশিষ্ট্যটি ব্যবহার করিনি। এটি নিরাপত্তা যোগ করে না, এবং S3 প্রদানকারীর নেটওয়ার্ক ক্ষমতা আমাদের এক ssh মেশিনের চেয়ে অনেক বেশি।

একটি হ্যাকার থেকে আপনার স্থানীয় মেশিনকে রক্ষা করার জন্য, যেহেতু সে S3 এ ডেটা মুছে ফেলতে পারে, আপনাকে অবশ্যই সংস্করণ সক্ষম করতে হবে।
ব্যাকআপ সবসময় ব্যাকআপ এনক্রিপ্ট করে।

Borg একটি এনক্রিপ্টেড মোড আছে none, কিন্তু আমরা দৃঢ়ভাবে এটি চালু করার সুপারিশ করি না। এই মোডে, শুধুমাত্র কোনও এনক্রিপশন থাকবে না, তবে যা লেখা হচ্ছে তার চেকসাম গণনা করা হয় না, যার অর্থ সূচী ব্যবহার করে অখণ্ডতা শুধুমাত্র পরোক্ষভাবে পরীক্ষা করা যেতে পারে।

একটি পৃথক সময়সূচী সূচক এবং বিষয়বস্তুর অখণ্ডতার জন্য ব্যাকআপ পরীক্ষা করে। চেকটি ধীর এবং দীর্ঘ, তাই আমরা মাসে একবার এটি আলাদাভাবে চালাই। এতে বেশ কয়েক দিন সময় লাগতে পারে।

রুশ ভাষায় Readme

প্রধান ফাংশন

• prepare প্রশিক্ষণ
• testcheck প্রস্তুতি পরীক্ষা
• maincommand মূল দল
• forcepostscript একটি ফাংশন যা শেষ পর্যন্ত বা ত্রুটি দ্বারা কার্যকর করা হয়। আমরা পার্টিশন আনমাউন্ট করতে এটি ব্যবহার করি।

সেবা ফাংশন

• cleanup আমরা ত্রুটি রেকর্ড করি বা লগ ফাইল মুছে ফেলি।
• checklog একটি ত্রুটি সহ একটি লাইনের ঘটনার জন্য লগ পার্স করুন।
• ret প্রস্থান হ্যান্ডলার
• checktimeout সময়সীমার জন্য পরীক্ষা করুন।

পরিবেশ

• VERBOSE=1 আমরা অবিলম্বে পর্দায় ত্রুটি প্রদর্শন (stdout)।
• SAVELOGSONSUCCES=1 সাফল্যের উপর লগ সংরক্ষণ করুন।
• INIT_REPO_IF_NOT_EXIST=1 এটি বিদ্যমান না থাকলে একটি সংগ্রহস্থল তৈরি করুন। ডিফল্টরূপে নিষ্ক্রিয়.
• TIMEOUT প্রধান অপারেশন জন্য সর্বোচ্চ সময়। আপনি এটিকে শেষে 'm', 'h' বা 'd' হিসেবে সেট করতে পারেন।

পুরানো কপির জন্য স্টোরেজ মোড। ডিফল্ট:

• KEEP_DAILY=7
• KEEP_WEEKLY=4
• KEEP_MONTHLY=6

স্ক্রিপ্টের ভিতরে ভেরিয়েবল

• ERROR_STRING — ত্রুটির জন্য চেক ইন লগের জন্য স্ট্রিং।
• EXTRACT_ERROR_STRING — ত্রুটি থাকলে স্ট্রিং প্রদর্শনের জন্য অভিব্যক্তি।
• KILL_TIMEOUT_SIGNAL - সময় শেষ হলে হত্যার সংকেত।
• TAIL — পর্দায় ত্রুটি সহ কতগুলি স্ট্রিং।
• COLORMSG — বার্তার রঙ (ডিফল্ট হলুদ)।

সেই স্ক্রিপ্ট, যাকে ওয়ার্ডপ্রেস বলা হয়, এর একটি শর্তসাপেক্ষ নাম রয়েছে, এর কৌশলটি হল এটি mysql ডাটাবেসকেও ব্যাক আপ করে। এর মানে হল এটি একক-নোড নেক্সক্লাউড ইনস্টলেশনের জন্য ব্যবহার করা যেতে পারে, যেখানে আপনি ডাটাবেস ব্যাক আপ করতে পারেন। সুবিধার বিষয় হল যে সবকিছুই এক জায়গায় আছে তা নয়, ডাটাবেসের বিষয়বস্তুও ফাইলের বিষয়বস্তুর কাছাকাছি, যেহেতু সময়ের পার্থক্য ন্যূনতম।

রেস্টিক বনাম বোর্গ

এছাড়াও Borg এবং Restic মধ্যে তুলনা আছে এখানে Habré এ, এবং আমাদের কেবল অন্য একটি তৈরি করার কাজ ছিল না, কিন্তু আমাদের নিজস্ব। আমাদের স্পেসিফিকেশন সহ এটি আমাদের ডেটাতে কীভাবে দেখাবে তা আমাদের কাছে গুরুত্বপূর্ণ ছিল। আমরা তাদের নিয়ে আসি।

আমাদের নির্বাচনের মানদণ্ড, ইতিমধ্যে উল্লিখিত (ডিডপ্লিকেশন, দ্রুত পুনরুদ্ধার, ইত্যাদি) ছাড়াও:

• অসমাপ্ত কাজের প্রতিরোধ। হত্যা -9 জন্য পরীক্ষা করুন.
• ডিস্কের স্থানের পরিমান.
• সম্পদের জন্য প্রয়োজনীয়তা (CPU, মেমরি)।
• সংরক্ষিত blobs আকার.
• S3 এর সাথে কাজ করা।
• সততা পরীক্ষা।

পরীক্ষার জন্য, আমরা প্রকৃত ডেটা সহ একটি ক্লায়েন্ট নিয়েছি এবং মোট আকার 1,6 টিবি।
শর্ত ও নিয়মাবলী।

বোর্গ জানেন না কিভাবে S3 এর সাথে সরাসরি কাজ করতে হয় এবং আমরা ডিস্কটিকে ফিউজ হিসাবে মাউন্ট করেছি, এর মাধ্যমে বোকা. রেস্টিক নিজেই S3 এ পাঠিয়েছে।

Goofys খুব দ্রুত এবং ভাল কাজ করে, এবং আছে ডিস্ক ক্যাশে মডিউল, যা কাজের গতি বাড়িয়ে দেয়। এটি বিটা পর্যায়ে রয়েছে এবং, সত্যি বলতে, আমরা পরীক্ষার সময় (অন্যদের) ডেটা হারানোর সাথে ক্র্যাশ হয়েছি। কিন্তু সুবিধা হল যে ব্যাকআপ পদ্ধতির জন্য খুব বেশি পড়ার প্রয়োজন হয় না, তবে বেশিরভাগ লেখার প্রয়োজন হয়, তাই আমরা শুধুমাত্র অখণ্ডতা যাচাইয়ের সময় ক্যাশে ব্যবহার করি।

নেটওয়ার্কের প্রভাব কমাতে, আমরা একটি স্থানীয় প্রদানকারী ব্যবহার করেছি - ইয়ানডেক্স ক্লাউড।

তুলনা পরীক্ষার ফলাফল।

• কিল-৯ আরও রিস্টার্ট দিয়ে উভয়ই সফল।
• ডিস্কের স্থানের পরিমান. Borg কম্প্রেস করতে পারেন, তাই ফলাফল প্রত্যাশিত হয়.

ব্যাকআপ
আয়তন

Borg
562Gb

রেস্টিক
628Gb

• CPU দ্বারা
  ডিফল্ট কম্প্রেশন সহ বোর্গ নিজেই অল্প খরচ করে, তবে এটি অবশ্যই গুফিস প্রক্রিয়ার সাথে মূল্যায়ন করা উচিত। মোট, তারা তুলনীয় এবং একই পরীক্ষার ভার্চুয়াল মেশিনে প্রায় 1,2 কোর ব্যবহার করে।
• স্মৃতি. রেস্টিক আনুমানিক 0,5GB, বোর্গ প্রায় 200MB। কিন্তু সিস্টেম ফাইল ক্যাশের তুলনায় এটি সবই নগণ্য। তাই বেশি মেমরি বরাদ্দ করা বাঞ্ছনীয়।
• ব্লব আকারের পার্থক্য আকর্ষণীয় ছিল।

ব্যাকআপ
আয়তন

Borg
প্রায় 500MB

রেস্টিক
প্রায় 5MB

• রেস্টিকের S3 অভিজ্ঞতা চমৎকার। গুফির মাধ্যমে বোর্গের সাথে কাজ করা কোন প্রশ্ন উত্থাপন করে না, তবে এটি উল্লেখ করা হয়েছে যে ক্যাশে সম্পূর্ণরূপে পুনরায় সেট করার জন্য ব্যাকআপ সম্পূর্ণ হওয়ার পরে উমাউন্ট করার পরামর্শ দেওয়া হয়। S3 এর বিশেষত্ব হল যে আন্ডার-পাম্প করা অংশগুলিকে কখনই বালতিতে পাঠানো হবে না, যার অর্থ হল অসম্পূর্ণভাবে ভরা ডেটা বড় ক্ষতির দিকে নিয়ে যায়।
• অখণ্ডতা পরীক্ষা উভয় ক্ষেত্রেই ভাল কাজ করে, তবে গতি উল্লেখযোগ্যভাবে আলাদা।
  রেস্টিক 3,5 ঘন্টা.
  Borg, একটি 100GB SSD ফাইল ক্যাশে সহ - 5 ঘন্টাস্থানীয় ডিস্কে ডেটা থাকলে প্রায় একই গতির ফলাফল।
  বোর্গ ক্যাশে ছাড়াই সরাসরি S3 থেকে পড়ে 33 ঘন্টা. দানবীয় লম্বা।

নীচের লাইন হল যে Borg কম্প্রেস করতে পারে এবং বড় ব্লব আছে - যা S3 তে স্টোরেজ এবং GET/PUT অপারেশনগুলিকে সস্তা করে তোলে। কিন্তু এটি আরও জটিল এবং ধীরগতির যাচাইকরণের খরচে আসে। পুনরুদ্ধারের গতির জন্য, আমরা কোন পার্থক্য লক্ষ্য করিনি। রেস্টিক পরবর্তী ব্যাকআপগুলি (প্রথম পরে) একটু বেশি সময় নেয়, তবে উল্লেখযোগ্যভাবে নয়।

শেষ কিন্তু অন্তত না পছন্দ ছিল সম্প্রদায়ের আকার.

এবং আমরা বোর্গ বেছে নিয়েছি।

কম্প্রেশন সম্পর্কে কয়েকটি শব্দ

Borg এর অস্ত্রাগারে একটি চমৎকার নতুন কম্প্রেশন অ্যালগরিদম রয়েছে - zstd. কম্প্রেশন গুণমান জিজিপের চেয়ে খারাপ নয়, তবে অনেক দ্রুত। এবং ডিফল্ট lz4 গতির সাথে তুলনীয়।

উদাহরণস্বরূপ, একটি MySQL ডাটাবেস ডাম্প একই গতিতে lz4 এর চেয়ে দুই গুণ ভাল সংকুচিত হয়। যাইহোক, বাস্তব তথ্যের অভিজ্ঞতা দেখায় যে নেক্সটক্লাউড নোডের কম্প্রেশন অনুপাতের মধ্যে খুব সামান্য পার্থক্য রয়েছে।

বোর্গের একটি বরং বোনাস কম্প্রেশন মোড রয়েছে - যদি ফাইলটিতে উচ্চ এনট্রপি থাকে তবে কম্প্রেশন মোটেই প্রয়োগ করা হয় না, যা গতি বাড়ায়। তৈরি করার সময় বিকল্প দ্বারা সক্রিয়
-C auto,zstd
zstd অ্যালগরিদমের জন্য
তাই এই বিকল্পের সাথে, ডিফল্ট কম্প্রেশনের সাথে তুলনা করে, আমরা পেয়েছি
যথাক্রমে 560Gb এবং 562Gb। উপরের উদাহরণ থেকে তথ্য, আমি আপনাকে মনে করিয়ে দিই, কম্প্রেশন ছাড়াই ফলাফল হল 628Gb। একটি 2GB পার্থক্যের ফলাফল কিছুটা আমাদের বিস্মিত করেছে, কিন্তু আমরা ভেবেছিলাম যে আমরা এটি বেছে নেব। auto,zstd.

ব্যাকআপ যাচাইকরণ পদ্ধতি

সময়সূচী অনুসারে, ভার্চুয়াল মেশিনটি সরাসরি সরবরাহকারী বা ক্লায়েন্টের কাছ থেকে চালু করা হয়, যা নেটওয়ার্ক লোডকে ব্যাপকভাবে হ্রাস করে। অন্তত এটি নিজে বাড়াতে এবং ট্রাফিক চালানোর চেয়ে সস্তা।

goofys --cache "--free:5%:/mnt/cache" -o allow_other --endpoint https://storage.yandexcloud.net --file-mode=0666 --dir-mode=0777 xxxxxxx.com /mnt/goofys
export BORG_PASSCOMMAND="cat /home/borg/.borg-passphrase"
borg list /mnt/goofys/borg1/
borg check --debug -p --verify-data /mnt/goofys/borg1/

একই স্কিম ব্যবহার করে, আমরা একটি অ্যান্টিভাইরাস দিয়ে ফাইলগুলি পরীক্ষা করি (আসলে)। সর্বোপরি, ব্যবহারকারীরা নেক্সটক্লাউডে বিভিন্ন জিনিস আপলোড করেন এবং প্রত্যেকের কাছে অ্যান্টিভাইরাস থাকে না। ঢালার সময় পরিদর্শন পরিচালনা করা খুব বেশি সময় নেয় এবং ব্যবসায় হস্তক্ষেপ করে।

বিভিন্ন ট্যাগ সহ বিভিন্ন নোডে রানার চালানোর মাধ্যমে মাপযোগ্যতা অর্জন করা হয়।
আমাদের মনিটরিং একটি উইন্ডোতে GitLab API এর মাধ্যমে ব্যাকআপ স্ট্যাটাস সংগ্রহ করে; যদি প্রয়োজন হয়, সমস্যাগুলি সহজেই লক্ষ্য করা যায় এবং ঠিক তত সহজে স্থানীয়করণ করা হয়।

উপসংহার

ফলস্বরূপ, আমরা নিশ্চিতভাবে জানি যে আমরা ব্যাকআপগুলি তৈরি করি, আমাদের ব্যাকআপগুলি বৈধ, তাদের সাথে উদ্ভূত সমস্যাগুলি খুব কম সময় নেয় এবং দায়িত্ব প্রশাসকের স্তরে সমাধান করা হয়। tar.gz বা Bacula-এর তুলনায় ব্যাকআপ সত্যিই খুব কম জায়গা নেয়।

উত্স: www.habr.com