নতুন অবজেক্ট স্টোরেজ মেট্রিক্স

নেলে-ডিয়েল দ্বারা উড়ন্ত দুর্গ

S3 অবজেক্ট স্টোরেজ কমান্ড Mail.ru ক্লাউড স্টোরেজ একটি বস্তু সঞ্চয়স্থান নির্বাচন করার সময় কোন মানদণ্ড গুরুত্বপূর্ণ সে সম্পর্কে একটি নিবন্ধ অনুবাদ করেছে৷ লেখকের দৃষ্টিকোণ থেকে নিম্নলিখিত পাঠ্য।

অবজেক্ট স্টোরেজের ক্ষেত্রে, লোকেরা সাধারণত শুধুমাত্র একটি জিনিস সম্পর্কে চিন্তা করে: প্রতি টিবি/জিবি মূল্য। অবশ্যই, এই মেট্রিকটি গুরুত্বপূর্ণ, তবে এটি পদ্ধতিটিকে একতরফা করে তোলে এবং একটি আর্কাইভ স্টোরেজ টুলের সাথে অবজেক্ট স্টোরেজকে সমান করে। এছাড়াও, এই পদ্ধতিটি এন্টারপ্রাইজ প্রযুক্তি স্ট্যাকের জন্য অবজেক্ট স্টোরেজের গুরুত্ব হ্রাস করে।

অবজেক্ট স্টোরেজ নির্বাচন করার সময়, আপনার পাঁচটি বৈশিষ্ট্যের দিকে মনোযোগ দেওয়া উচিত:

• কর্মক্ষমতা;
• মাপযোগ্যতা
• S3 সামঞ্জস্যপূর্ণ;
• ব্যর্থতার প্রতিক্রিয়া;
• অখণ্ডতা.

এই পাঁচটি বৈশিষ্ট্য হল খরচ সহ বস্তুর সঞ্চয়ের জন্য নতুন মেট্রিক্স। চলুন তাদের সব তাকান.

উৎপাদনশীলতা

ঐতিহ্যগত বস্তুর দোকান কর্মক্ষমতা অভাব. পরিষেবা প্রদানকারীরা ক্রমাগত কম দামের সাধনায় এটিকে উৎসর্গ করে। যাইহোক, আধুনিক বস্তুর স্টোরেজ জিনিসগুলি ভিন্ন।

বিভিন্ন স্টোরেজ সিস্টেম হ্যাডুপের গতিকে অতিক্রম করে বা অতিক্রম করে। পড়ার এবং লেখার গতির জন্য আধুনিক প্রয়োজনীয়তা: হার্ড ড্রাইভের জন্য 10 GB/s থেকে, NVMe-এর জন্য 35 GB/s পর্যন্ত। 

এই থ্রুপুটটি স্পার্ক, প্রেস্টো, টেনসরফ্লো, টেরাডাটা, ভার্টিকা, স্প্লঙ্ক এবং বিশ্লেষণ স্ট্যাকের অন্যান্য আধুনিক কম্পিউটিং ফ্রেমওয়ার্কের জন্য যথেষ্ট। বস্তুর স্টোরেজের জন্য MPP ডাটাবেসগুলি কনফিগার করা হচ্ছে তা থেকে বোঝা যায় যে এটি ক্রমবর্ধমান প্রাথমিক স্টোরেজ হিসাবে ব্যবহৃত হচ্ছে।

যদি আপনার স্টোরেজ সিস্টেম আপনার প্রয়োজনীয় গতি প্রদান না করে, আপনি ডেটা ব্যবহার করতে পারবেন না এবং এটি থেকে মান বের করতে পারবেন না। এমনকি যদি আপনি অবজেক্ট স্টোরেজ থেকে একটি ইন-মেমরি প্রক্রিয়াকরণ কাঠামোতে ডেটা পুনরুদ্ধার করেন, তবুও মেমরিতে এবং থেকে ডেটা স্থানান্তর করতে আপনার ব্যান্ডউইথের প্রয়োজন হবে। উত্তরাধিকার বস্তুর দোকানে এটি যথেষ্ট নেই।

এটি হল মূল বিষয়: নতুন পারফরম্যান্স মেট্রিক হল থ্রুপুট, লেটেন্সি নয়। এটি স্কেলে ডেটার জন্য প্রয়োজন এবং আধুনিক ডেটা অবকাঠামোতে এটি আদর্শ।

যদিও বেঞ্চমার্কগুলি কার্যক্ষমতা নির্ধারণের একটি ভাল উপায়, পরিবেশে অ্যাপ্লিকেশন চালানোর আগে এটি সঠিকভাবে পরিমাপ করা যায় না। এটির পরেই আপনি বলতে পারবেন ঠিক কোথায় বাধা রয়েছে: সফ্টওয়্যার, ডিস্ক, নেটওয়ার্ক বা কম্পিউটিং স্তরে।

মাপযোগ্যতা

স্কেলেবিলিটি পেটাবাইটের সংখ্যা বোঝায় যা একটি নামস্থানে ফিট করে। বিক্রেতারা যা দাবি করে তা হল সহজ মাপযোগ্যতা, তারা যা বলে না তা হল যে তারা স্কেল করার সাথে সাথে বিশাল একশিলা সিস্টেমগুলি ভঙ্গুর, জটিল, অস্থির এবং ব্যয়বহুল হয়ে ওঠে।

স্কেলেবিলিটির জন্য নতুন মেট্রিক হল নামস্থান বা ক্লায়েন্টের সংখ্যা যা আপনি পরিবেশন করতে পারেন। মেট্রিকটি সরাসরি হাইপারস্কেলার থেকে নেওয়া হয়েছে, যেখানে স্টোরেজ বিল্ডিং ব্লকগুলি ছোট কিন্তু বিলিয়ন ইউনিটের আকারে। সাধারণভাবে, এটি একটি ক্লাউড মেট্রিক।

যখন বিল্ডিং ব্লকগুলি ছোট হয়, তখন নিরাপত্তা, অ্যাক্সেস কন্ট্রোল, পলিসি ম্যানেজমেন্ট, লাইফসাইকেল ম্যানেজমেন্ট এবং অ-ব্যহত আপডেটের জন্য সেগুলিকে অপ্টিমাইজ করা সহজ হয়। এবং শেষ পর্যন্ত উত্পাদনশীলতা নিশ্চিত করুন। বিল্ডিং ব্লকের আকার হল ব্যর্থতা অঞ্চলের নিয়ন্ত্রণযোগ্যতার একটি ফাংশন, যেটি কীভাবে অত্যন্ত স্থিতিস্থাপক সিস্টেমগুলি তৈরি করা হয়।

মাল্টি-টেনেন্সির অনেক বৈশিষ্ট্য রয়েছে। যদিও মাত্রাটি সংস্থাগুলি কীভাবে ডেটা এবং অ্যাপ্লিকেশনগুলিতে অ্যাক্সেস সরবরাহ করে তার সাথে কথা বলে, এটি অ্যাপ্লিকেশনগুলিকে এবং তাদের একে অপরের থেকে বিচ্ছিন্ন করার পিছনে যুক্তিকেও বোঝায়।

মাল্টি-ক্লায়েন্টের জন্য একটি আধুনিক পদ্ধতির বৈশিষ্ট্য:

• অল্প সময়ের মধ্যে, ক্লায়েন্টের সংখ্যা কয়েকশ থেকে কয়েক মিলিয়নে বাড়তে পারে।
• গ্রাহকরা একে অপরের থেকে সম্পূর্ণ বিচ্ছিন্ন। এটি তাদের একই সফ্টওয়্যারের বিভিন্ন সংস্করণ চালাতে এবং বিভিন্ন কনফিগারেশন, অনুমতি, বৈশিষ্ট্য, নিরাপত্তা এবং রক্ষণাবেক্ষণের স্তর সহ বস্তু সংরক্ষণ করতে দেয়। নতুন সার্ভার, আপডেট, এবং ভৌগলিক স্কেলিং করার সময় এটি প্রয়োজনীয়।
• স্টোরেজটি স্থিতিস্থাপকভাবে মাপযোগ্য, চাহিদা অনুযায়ী সংস্থান সরবরাহ করা হয়।
• প্রতিটি অপারেশন একটি API দ্বারা নিয়ন্ত্রিত হয় এবং মানুষের হস্তক্ষেপ ছাড়াই স্বয়ংক্রিয় হয়।
• সফ্টওয়্যারটি পাত্রে হোস্ট করা যেতে পারে এবং কুবারনেটসের মতো স্ট্যান্ডার্ড অর্কেস্ট্রেশন সিস্টেম ব্যবহার করতে পারে।

S3 সামঞ্জস্যপূর্ণ

Amazon S3 API হল বস্তুর সঞ্চয়স্থানের জন্য ডি ফ্যাক্টো স্ট্যান্ডার্ড। প্রতিটি অবজেক্ট স্টোরেজ সফ্টওয়্যার বিক্রেতা এটির সাথে সামঞ্জস্যের দাবি করে। S3 এর সাথে সামঞ্জস্য বাইনারি: হয় এটি সম্পূর্ণরূপে প্রয়োগ করা হয়েছে বা এটি নয়।

অনুশীলনে, এমন শত শত বা হাজার হাজার প্রান্তের পরিস্থিতি রয়েছে যেখানে বস্তুর স্টোরেজ ব্যবহার করার সময় কিছু ভুল হয়ে যায়। বিশেষ করে মালিকানাধীন সফ্টওয়্যার এবং পরিষেবা প্রদানকারীদের থেকে। এর প্রধান ব্যবহারের ক্ষেত্রে সরাসরি সংরক্ষণাগার বা ব্যাকআপ, তাই API কল করার কয়েকটি কারণ রয়েছে, ব্যবহারের ক্ষেত্রে একজাতীয়।

ওপেন সোর্স সফটওয়্যারের উল্লেখযোগ্য সুবিধা রয়েছে। এটি অ্যাপ্লিকেশন, অপারেটিং সিস্টেম এবং হার্ডওয়্যার আর্কিটেকচারের আকার এবং বৈচিত্র্যের ভিত্তিতে বেশিরভাগ প্রান্তের পরিস্থিতি কভার করে।

এই সমস্ত অ্যাপ্লিকেশন বিকাশকারীদের জন্য গুরুত্বপূর্ণ, তাই স্টোরেজ প্রদানকারীদের সাথে অ্যাপ্লিকেশনটি পরীক্ষা করা মূল্যবান। ওপেন সোর্স প্রক্রিয়াটিকে সহজ করে তোলে—আপনার অ্যাপ্লিকেশনের জন্য কোন প্ল্যাটফর্ম সঠিক তা বোঝা সহজ। সরবরাহকারীকে সঞ্চয়স্থানে প্রবেশের একক পয়েন্ট হিসাবে ব্যবহার করা যেতে পারে, যার অর্থ এটি আপনার প্রয়োজনগুলি পূরণ করবে। 

ওপেন সোর্স মানে: অ্যাপ্লিকেশনগুলি কোনও বিক্রেতার সাথে আবদ্ধ নয় এবং আরও স্বচ্ছ৷ এটি একটি দীর্ঘ অ্যাপ্লিকেশন জীবনচক্র নিশ্চিত করে।

এবং ওপেন সোর্স এবং S3 সম্পর্কে আরও কয়েকটি নোট। 

আপনি যদি একটি বড় ডেটা অ্যাপ্লিকেশন চালাচ্ছেন, S3 SELECT একটি ক্রম অনুসারে কর্মক্ষমতা এবং দক্ষতা উন্নত করে৷ এটি শুধুমাত্র স্টোরেজ থেকে আপনার প্রয়োজনীয় বস্তুগুলি পুনরুদ্ধার করতে SQL ব্যবহার করে এটি করে।

মূল বিষয় হল বালতি বিজ্ঞপ্তিগুলির জন্য সমর্থন। বালতি বিজ্ঞপ্তিগুলি সার্ভারহীন কম্পিউটিংকে সহজতর করে, যেকোন মাইক্রোসার্ভিস আর্কিটেকচারের একটি গুরুত্বপূর্ণ উপাদান যা একটি পরিষেবা হিসাবে সরবরাহ করা হয়। অবজেক্ট স্টোরেজ কার্যকরভাবে ক্লাউড স্টোরেজ, এই ক্ষমতাটি গুরুত্বপূর্ণ হয়ে ওঠে যখন ক্লাউড-ভিত্তিক অ্যাপ্লিকেশন দ্বারা অবজেক্ট স্টোরেজ ব্যবহার করা হয়।

অবশেষে, S3 বাস্তবায়নকে অবশ্যই Amazon S3 সার্ভার-সাইড এনক্রিপশন API সমর্থন করতে হবে: SSE-C, SSE-S3, SSE-KMS৷ আরও ভাল, S3 টেম্পার সুরক্ষা সমর্থন করে যা সত্যই সুরক্ষিত৷ 

ব্যর্থতার প্রতিক্রিয়া

একটি মেট্রিক যা সম্ভবত প্রায়শই উপেক্ষা করা হয় তা হল কীভাবে সিস্টেম ব্যর্থতাগুলি পরিচালনা করে। বিভিন্ন কারণে ব্যর্থতা ঘটতে পারে এবং অবজেক্ট স্টোরেজকে অবশ্যই সেগুলি পরিচালনা করতে হবে।

উদাহরণস্বরূপ, ব্যর্থতার একটি একক বিন্দু আছে, এর মেট্রিক শূন্য।

দুর্ভাগ্যবশত, অনেক অবজেক্ট স্টোরেজ সিস্টেম বিশেষ নোড ব্যবহার করে যা ক্লাস্টারের সঠিকভাবে কাজ করার জন্য সক্রিয় করা আবশ্যক। এর মধ্যে রয়েছে নাম নোড বা মেটাডেটা সার্ভার - এটি ব্যর্থতার একক পয়েন্ট তৈরি করে।

এমনকি যেখানে ব্যর্থতার একাধিক পয়েন্ট রয়েছে, সেখানে সর্বনাশা ব্যর্থতা সহ্য করার ক্ষমতা সর্বাগ্রে। ডিস্ক ব্যর্থ, সার্ভার ব্যর্থ. একটি সাধারণ অবস্থা হিসাবে ব্যর্থতা পরিচালনা করার জন্য ডিজাইন করা সফ্টওয়্যার তৈরি করা মূল বিষয়। একটি ডিস্ক বা নোড ব্যর্থ হলে, এই ধরনের সফ্টওয়্যার পরিবর্তন ছাড়াই কাজ করতে থাকবে।

ডেটা মুছে ফেলা এবং ডেটা অবক্ষয়ের বিরুদ্ধে অন্তর্নির্মিত সুরক্ষা নিশ্চিত করে যে আপনি যতগুলি ডিস্ক বা নোড হারাতে পারেন ততগুলি প্যারিটি ব্লক-সাধারণত অর্ধেক ডিস্ক। তবেই সফ্টওয়্যারটি ডেটা ফেরত দিতে অক্ষম হবে।

ব্যর্থতা খুব কমই লোডের অধীনে পরীক্ষা করা হয়, তবে এই ধরনের পরীক্ষা বাধ্যতামূলক। একটি লোড ব্যর্থতার অনুকরণ ব্যর্থতার পরে মোট খরচ দেখাবে।

ধারাবাহিকতা

100% এর ধারাবাহিকতা স্কোরকে কঠোর ধারাবাহিকতাও বলা হয়। সামঞ্জস্য যে কোনো স্টোরেজ সিস্টেমের একটি মূল উপাদান, কিন্তু শক্তিশালী ধারাবাহিকতা বিরল। উদাহরণস্বরূপ, Amazon S3 ListObject কঠোরভাবে সামঞ্জস্যপূর্ণ নয়, এটি শুধুমাত্র শেষ পর্যন্ত সামঞ্জস্যপূর্ণ।

কঠোর ধারাবাহিকতা বলতে কী বোঝায়? একটি নিশ্চিত PUT অপারেশন অনুসরণ করে সমস্ত অপারেশনের জন্য, নিম্নলিখিতগুলি অবশ্যই ঘটতে হবে:

• যেকোনো নোড থেকে পড়ার সময় আপডেট করা মান দৃশ্যমান হয়।
• আপডেটটি নোড ব্যর্থতার রিডানডেন্সির বিরুদ্ধে সুরক্ষিত।

এর মানে হল যে আপনি যদি একটি রেকর্ডিংয়ের মাঝখানে প্লাগটি টেনে নেন তবে কিছুই হারিয়ে যাবে না। সিস্টেম কখনই নষ্ট বা পুরানো ডেটা ফেরত দেয় না। এটি একটি উচ্চ বার যা লেনদেনমূলক অ্যাপ্লিকেশন থেকে ব্যাকআপ এবং পুনরুদ্ধার পর্যন্ত অনেক পরিস্থিতিতে গুরুত্বপূর্ণ।

উপসংহার

এগুলি হল নতুন অবজেক্ট স্টোরেজ মেট্রিক্স যা আজকের সংস্থাগুলিতে ব্যবহারের ধরণগুলিকে প্রতিফলিত করে, যেখানে কর্মক্ষমতা, ধারাবাহিকতা, স্কেলেবিলিটি, ফল্ট ডোমেন এবং S3 সামঞ্জস্য হল ক্লাউড অ্যাপ্লিকেশন এবং বড় ডেটা বিশ্লেষণের জন্য বিল্ডিং ব্লক৷ আমি আধুনিক ডেটা স্ট্যাক তৈরি করার সময় মূল্য ছাড়াও এই তালিকাটি ব্যবহার করার পরামর্শ দিই। 

Mail.ru ক্লাউড সলিউশন অবজেক্ট স্টোরেজ সম্পর্কে: S3 আর্কিটেকচার। Mail.ru ক্লাউড স্টোরেজের বিবর্তনের 3 বছর.

আর কি পড়তে হবে:

1. S3 অবজেক্ট স্টোরেজ Mail.ru ক্লাউড সলিউশনে ওয়েবহুকের উপর ভিত্তি করে একটি ইভেন্ট-চালিত অ্যাপ্লিকেশনের উদাহরণ.
2. Ceph এর চেয়ে বেশি: MCS ক্লাউড ব্লক স্টোরেজ 
3. একটি ফাইল সিস্টেম হিসাবে Mail.ru ক্লাউড সলিউশন S3 অবজেক্ট স্টোরেজের সাথে কাজ করা.
4. S3 স্টোরেজ এবং অন্যান্য পণ্যের আপডেটের খবর সহ আমাদের টেলিগ্রাম চ্যানেল. 

উত্স: www.habr.com