ভর স্টোরেজ শিল্প প্রবণতা

আজ আমরা এমন একটি বিশ্বে ডেটা সঞ্চয় করার সর্বোত্তম উপায় সম্পর্কে কথা বলব যেখানে পঞ্চম প্রজন্মের নেটওয়ার্ক, জিনোম স্ক্যানার এবং স্ব-চালিত গাড়ি একদিনে শিল্প বিপ্লবের আগে সমস্ত মানবতার চেয়ে বেশি ডেটা উত্পাদন করে।

আমাদের বিশ্ব আরও এবং আরও তথ্য তৈরি করে। এর কিছু কিছু ক্ষণস্থায়ী এবং এটি সংগ্রহ করার সাথে সাথে হারিয়ে যায়। অন্যটি আরও বেশি সময় ধরে সংরক্ষণ করা উচিত এবং অন্যটি সম্পূর্ণরূপে "শতবর্ষ ধরে" ডিজাইন করা হয়েছে - অন্তত আমরা বর্তমান থেকে এটি দেখতে পাই। তথ্যের প্রবাহ এমন গতিতে ডেটা সেন্টারে স্থির হয় যে কোনও নতুন পদ্ধতি, এই অবিরাম "চাহিদা" মেটাতে ডিজাইন করা কোনও প্রযুক্তি দ্রুত অপ্রচলিত হয়ে পড়ছে।

বিতরণ স্টোরেজ উন্নয়নের 40 বছর

আমাদের কাছে পরিচিত ফর্মে প্রথম নেটওয়ার্ক স্টোরেজগুলি 1980-এর দশকে উপস্থিত হয়েছিল। আপনাদের মধ্যে অনেকেই এনএফএস (নেটওয়ার্ক ফাইল সিস্টেম), এএফএস (অ্যান্ড্রু ফাইল সিস্টেম) বা কোডা জুড়ে এসেছেন। এক দশক পরে, ফ্যাশন এবং প্রযুক্তি পরিবর্তিত হয়েছে, এবং বিতরণ করা ফাইল সিস্টেমগুলি জিপিএফএস (জেনারেল প্যারালাল ফাইল সিস্টেম), সিএফএস (ক্লাস্টারড ফাইল সিস্টেম) এবং স্টর নেক্সট এর উপর ভিত্তি করে ক্লাস্টার স্টোরেজ সিস্টেমের পথ দিয়েছে। ভিত্তি হিসাবে, ক্লাসিক্যাল আর্কিটেকচারের ব্লক স্টোরেজ ব্যবহার করা হয়েছিল, যার উপরে সফ্টওয়্যার স্তর ব্যবহার করে একটি একক ফাইল সিস্টেম তৈরি করা হয়েছিল। এই এবং অনুরূপ সমাধানগুলি এখনও ব্যবহৃত হয়, তাদের কুলুঙ্গি দখল করে এবং বেশ চাহিদা রয়েছে।

সহস্রাব্দের শুরুতে, বিতরণ করা স্টোরেজ প্যারাডাইম কিছুটা পরিবর্তিত হয় এবং SN (শেয়ারড-নথিং) আর্কিটেকচারের সাথে সিস্টেমগুলি নেতৃত্ব দেয়। পৃথক নোডগুলিতে ক্লাস্টার স্টোরেজ থেকে স্টোরেজের একটি রূপান্তর ছিল, যা একটি নিয়ম হিসাবে, সফ্টওয়্যার সহ ক্লাসিক সার্ভার ছিল যা নির্ভরযোগ্য স্টোরেজ সরবরাহ করে; এইচডিএফএস (হাদুপ ডিস্ট্রিবিউটেড ফাইল সিস্টেম) এবং জিএফএস (গ্লোবাল ফাইল সিস্টেম) এই জাতীয় নীতিগুলি তৈরি করা হয়েছে।

2010 এর কাছাকাছি, ডিস্ট্রিবিউটেড স্টোরেজ সিস্টেমের অন্তর্নিহিত ধারণাগুলি ক্রমবর্ধমানভাবে সম্পূর্ণ বাণিজ্যিক পণ্যগুলিতে প্রতিফলিত হতে শুরু করে, যেমন VMware vSAN, Dell EMC Isilon এবং আমাদের হুয়াওয়ে ওশানস্টর. উল্লিখিত প্ল্যাটফর্মগুলির পিছনে আর উত্সাহীদের সম্প্রদায় নয়, তবে নির্দিষ্ট বিক্রেতারা যারা পণ্যটির কার্যকারিতা, সমর্থন, পরিষেবা রক্ষণাবেক্ষণের জন্য দায়ী এবং এর আরও বিকাশের গ্যারান্টি। এই ধরনের সমাধান বিভিন্ন এলাকায় সবচেয়ে চাহিদা হয়.

টেলিকম অপারেটর

সম্ভবত বিতরণ করা স্টোরেজ সিস্টেমের প্রাচীনতম ভোক্তাদের মধ্যে একজন হল টেলিকম অপারেটর। চিত্রটি দেখায় যে অ্যাপ্লিকেশনগুলির কোন দলগুলি বেশিরভাগ ডেটা তৈরি করে। ওএসএস (অপারেশন সাপোর্ট সিস্টেম), এমএসএস (ম্যানেজমেন্ট সাপোর্ট সার্ভিসেস) এবং বিএসএস (বিজনেস সাপোর্ট সিস্টেম) হল তিনটি পরিপূরক সফ্টওয়্যার স্তর যা গ্রাহকদের কাছে পরিষেবা সরবরাহ, প্রদানকারীকে আর্থিক প্রতিবেদন এবং অপারেটরের প্রকৌশলীদের অপারেশনাল সহায়তার জন্য প্রয়োজনীয়।

প্রায়শই, এই স্তরগুলির ডেটা একে অপরের সাথে দৃঢ়ভাবে মিশ্রিত হয় এবং অপ্রয়োজনীয় অনুলিপিগুলি জমা হওয়া এড়াতে, বিতরণ করা স্টোরেজগুলি ব্যবহার করা হয় যা একটি কার্যকরী নেটওয়ার্ক থেকে আসা সমস্ত তথ্য জমা করে। স্টোরেজগুলিকে একটি সাধারণ পুলে একত্রিত করা হয়, যেখানে সমস্ত পরিষেবা অ্যাক্সেস করে৷

আমাদের গণনাগুলি দেখায় যে ক্লাসিক থেকে ব্লক স্টোরেজ সিস্টেমে রূপান্তর আপনাকে শুধুমাত্র ডেডিকেটেড হাই-এন্ড স্টোরেজ সিস্টেম ত্যাগ করে এবং প্রচলিত ক্লাসিক্যাল আর্কিটেকচার সার্ভার (সাধারণত x70) ব্যবহার করে, বিশেষ সফ্টওয়্যারের সাথে কাজ করে বাজেটের 86% পর্যন্ত সঞ্চয় করতে দেয়৷ সেলুলার অপারেটরগুলি বেশ দীর্ঘ সময় ধরে উল্লেখযোগ্য পরিমাণে এই জাতীয় সমাধানগুলি অর্জন করছে। বিশেষ করে, রাশিয়ান অপারেটররা ছয় বছরেরও বেশি সময় ধরে হুয়াওয়ের এই ধরনের পণ্য ব্যবহার করছে।

হ্যাঁ, ডিস্ট্রিবিউটেড সিস্টেম ব্যবহার করে বেশ কিছু কাজ করা যায় না। উদাহরণস্বরূপ, বর্ধিত কর্মক্ষমতা প্রয়োজনীয়তা বা পুরানো প্রোটোকলের সাথে সামঞ্জস্যপূর্ণ। কিন্তু অপারেটর প্রসেস করে এমন ডেটার অন্তত 70% একটি বিতরণ করা পুলে রাখা যেতে পারে।

ব্যাংকিং খাত

যেকোনো ব্যাঙ্কে, প্রক্রিয়াকরণ থেকে শুরু করে স্বয়ংক্রিয় ব্যাঙ্কিং সিস্টেম পর্যন্ত অনেক বৈচিত্র্যময় আইটি সিস্টেম রয়েছে। এই অবকাঠামোটি প্রচুর পরিমাণে তথ্যের সাথেও কাজ করে, যখন বেশিরভাগ কাজের জন্য স্টোরেজ সিস্টেমের কার্যকারিতা এবং নির্ভরযোগ্যতা বৃদ্ধির প্রয়োজন হয় না, যেমন ডেভেলপমেন্ট, টেস্টিং, অফিস প্রক্রিয়াগুলির অটোমেশন ইত্যাদি। এখানে, ক্লাসিক স্টোরেজ সিস্টেমের ব্যবহার সম্ভব। , কিন্তু প্রতি বছর এটি কম এবং কম লাভজনক হয়. তদতিরিক্ত, এই ক্ষেত্রে, স্টোরেজ সংস্থান ব্যয় করার ক্ষেত্রে কোনও নমনীয়তা নেই, যার কার্যকারিতা সর্বোচ্চ লোড থেকে গণনা করা হয়।

বিতরণ করা স্টোরেজ সিস্টেমগুলি ব্যবহার করার সময়, তাদের নোডগুলি, যা আসলে সাধারণ সার্ভার, যে কোনও সময় রূপান্তরিত হতে পারে, উদাহরণস্বরূপ, একটি সার্ভার ফার্মে এবং একটি কম্পিউটিং প্ল্যাটফর্ম হিসাবে ব্যবহার করা যেতে পারে।

ডাটা লেক

উপরের চিত্রটি সাধারণ পরিষেবা গ্রাহকদের একটি তালিকা দেখায়৷ তথ্য হ্রদ. এগুলি হতে পারে ই-গভর্নমেন্ট পরিষেবা (উদাহরণস্বরূপ, "গোসুলুগি"), এন্টারপ্রাইজগুলি যেগুলি ডিজিটালাইজেশন, আর্থিক কাঠামো ইত্যাদির মধ্য দিয়ে গেছে৷ তাদের সকলেরই প্রচুর পরিমাণে ভিন্ন ভিন্ন তথ্য নিয়ে কাজ করতে হবে৷

এই ধরনের সমস্যা সমাধানের জন্য ক্লাসিক্যাল স্টোরেজ সিস্টেমের অপারেশন অকার্যকর, কারণ ব্লক ডাটাবেসগুলিতে উচ্চ-পারফরম্যান্স অ্যাক্সেস এবং অবজেক্ট হিসাবে সংরক্ষিত স্ক্যান করা নথিগুলির লাইব্রেরিতে নিয়মিত অ্যাক্সেস উভয়ই প্রয়োজন। এখানে, উদাহরণস্বরূপ, একটি ওয়েব পোর্টালের মাধ্যমে আদেশের একটি সিস্টেম বাঁধা যেতে পারে। একটি ক্লাসিক স্টোরেজ প্ল্যাটফর্মে এই সমস্ত বাস্তবায়ন করতে, আপনাকে বিভিন্ন কাজের জন্য সরঞ্জামগুলির একটি বড় সেটের প্রয়োজন হবে। একটি অনুভূমিক সর্বজনীন স্টোরেজ সিস্টেম সহজেই পূর্বে তালিকাভুক্ত সমস্ত কাজগুলিকে কভার করতে পারে: আপনাকে কেবল এটিতে বিভিন্ন স্টোরেজ বৈশিষ্ট্য সহ বেশ কয়েকটি পুল তৈরি করতে হবে।

নতুন তথ্যের জেনারেটর

বিশ্বে সংরক্ষিত তথ্যের পরিমাণ প্রতি বছর প্রায় 30% বৃদ্ধি পাচ্ছে। এটি স্টোরেজ বিক্রেতাদের জন্য ভাল খবর, কিন্তু এই ডেটার মূল উৎস কী এবং হবে?

দশ বছর আগে, সামাজিক নেটওয়ার্কগুলি এমন জেনারেটর হয়ে ওঠে, যার জন্য প্রচুর সংখ্যক নতুন অ্যালগরিদম, হার্ডওয়্যার সমাধান ইত্যাদি তৈরি করা প্রয়োজন। এখন স্টোরেজ বৃদ্ধির তিনটি প্রধান চালক রয়েছে। প্রথমটি হল ক্লাউড কম্পিউটিং। বর্তমানে, প্রায় 70% কোম্পানি কোনো না কোনোভাবে ক্লাউড পরিষেবা ব্যবহার করে। এগুলি ইমেল সিস্টেম, ব্যাকআপ এবং অন্যান্য ভার্চুয়ালাইজড সত্তা হতে পারে।
পঞ্চম প্রজন্মের নেটওয়ার্ক দ্বিতীয় চালক হয়ে উঠছে। এগুলি হল নতুন গতি এবং ডেটা স্থানান্তরের নতুন ভলিউম। আমাদের পূর্বাভাস অনুযায়ী, 5G এর ব্যাপক গ্রহণের ফলে ফ্ল্যাশ মেমরি কার্ডের চাহিদা কমে যাবে। ফোনে যতই মেমরি থাকুক না কেন, এটি এখনও শেষ হয় এবং গ্যাজেটে যদি 100-মেগাবিট চ্যানেল থাকে তবে স্থানীয়ভাবে ফটোগুলি সংরক্ষণ করার দরকার নেই।

স্টোরেজ সিস্টেমের চাহিদা বৃদ্ধির কারণগুলির তৃতীয় গ্রুপের মধ্যে রয়েছে কৃত্রিম বুদ্ধিমত্তার দ্রুত বিকাশ, বড় ডেটা বিশ্লেষণে রূপান্তর এবং সম্ভাব্য সবকিছুর সর্বজনীন অটোমেশনের দিকে প্রবণতা।

"নতুন ট্রাফিক" এর একটি বৈশিষ্ট্য হল এটি অসংগঠিত. আমাদের এই ডেটার বিন্যাসকে কোনোভাবেই সংজ্ঞায়িত না করে সংরক্ষণ করতে হবে। এটি শুধুমাত্র পরবর্তী পড়ার জন্য প্রয়োজনীয়। উদাহরণস্বরূপ, উপলব্ধ ঋণের আকার নির্ধারণের জন্য একটি ব্যাঙ্ক স্কোরিং সিস্টেম সোশ্যাল নেটওয়ার্কে আপনার পোস্ট করা ফটোগুলি দেখবে, আপনি কত ঘন ঘন সমুদ্র এবং রেস্তোরাঁয় যাবেন তা নির্ধারণ করবে, এবং একই সময়ে এটিতে উপলব্ধ আপনার চিকিৎসা নথি থেকে অধ্যয়নের নির্যাস। এই তথ্যগুলো একদিকে ব্যাপক, অন্যদিকে তাদের একজাতীয়তার অভাব রয়েছে।

অসংগঠিত তথ্যের একটি সমুদ্র

"নতুন ডেটা" এর উত্থানের ফলে সমস্যাগুলি কী কী? তাদের মধ্যে প্রথমটি অবশ্যই তথ্যের পরিমাণ এবং এর স্টোরেজের আনুমানিক সময়কাল। একটি আধুনিক স্বায়ত্তশাসিত চালকবিহীন গাড়ি তার সমস্ত সেন্সর এবং প্রক্রিয়া থেকে প্রতিদিন 60TB পর্যন্ত ডেটা তৈরি করে। নতুন গতি অ্যালগরিদম বিকাশ করতে, এই তথ্যটি একই দিনের মধ্যে প্রক্রিয়া করা উচিত, অন্যথায় এটি জমা হতে শুরু করবে। একই সময়ে, এটি একটি খুব দীর্ঘ সময়ের জন্য সংরক্ষণ করা উচিত - কয়েক দশক। তবেই ভবিষ্যতে বৃহৎ বিশ্লেষণাত্মক নমুনার ভিত্তিতে সিদ্ধান্তে আসা সম্ভব হবে।

জেনেটিক সিকোয়েন্স বোঝার জন্য একটি ডিভাইস প্রতিদিন প্রায় 6 টেরাবাইট উত্পাদন করে। এবং এর সাহায্যে সংগৃহীত তথ্যগুলি মোটেই মুছে ফেলার ইঙ্গিত দেয় না, অর্থাৎ, অনুমানগতভাবে, সেগুলি চিরতরে সংরক্ষণ করা উচিত।

অবশেষে, পঞ্চম প্রজন্মের সমস্ত একই নেটওয়ার্ক। নিজে প্রেরিত তথ্য ছাড়াও, এই জাতীয় নেটওয়ার্ক নিজেই একটি বিশাল ডেটা জেনারেটর: কার্যকলাপ লগ, কল রেকর্ড, মেশিন-টু-মেশিন ইন্টারঅ্যাকশনের মধ্যবর্তী ফলাফল ইত্যাদি।

এই সমস্ত তথ্য সংরক্ষণ এবং প্রক্রিয়াকরণের জন্য নতুন পদ্ধতি এবং অ্যালগরিদমগুলির বিকাশ প্রয়োজন। এবং এই ধরনের পন্থা উঠছে।

নতুন যুগের প্রযুক্তি

তথ্য স্টোরেজ সিস্টেমের জন্য নতুন প্রয়োজনীয়তা মোকাবেলা করার জন্য ডিজাইন করা সমাধানের তিনটি গ্রুপকে আলাদা করা যেতে পারে: কৃত্রিম বুদ্ধিমত্তার প্রবর্তন, স্টোরেজ মিডিয়ার প্রযুক্তিগত বিবর্তন এবং সিস্টেম আর্কিটেকচারের ক্ষেত্রে উদ্ভাবন। AI দিয়ে শুরু করা যাক।

নতুন Huawei সমাধানগুলিতে, কৃত্রিম বুদ্ধিমত্তা ইতিমধ্যেই স্টোরেজের স্তরে ব্যবহার করা হয়েছে, যা একটি AI প্রসেসর দিয়ে সজ্জিত যা সিস্টেমটিকে স্বাধীনভাবে তার অবস্থা বিশ্লেষণ করতে এবং ব্যর্থতার পূর্বাভাস দিতে দেয়। যদি স্টোরেজ সিস্টেমটি এমন একটি পরিষেবা ক্লাউডের সাথে সংযুক্ত থাকে যার উল্লেখযোগ্য কম্পিউটিং ক্ষমতা রয়েছে, কৃত্রিম বুদ্ধিমত্তা আরও তথ্য প্রক্রিয়া করতে পারে এবং এর অনুমানের সঠিকতা উন্নত করতে পারে।

ব্যর্থতা ছাড়াও, এই ধরনের AI ভবিষ্যতের সর্বোচ্চ লোড এবং ক্ষমতা শেষ না হওয়া পর্যন্ত অবশিষ্ট সময় ভবিষ্যদ্বাণী করতে সক্ষম। এটি আপনাকে কর্মক্ষমতা অপ্টিমাইজ করতে এবং কোনও অবাঞ্ছিত ঘটনা ঘটার আগে সিস্টেম স্কেল করতে দেয়।

এখন ডেটা ক্যারিয়ারের বিবর্তন সম্পর্কে। প্রথম ফ্ল্যাশ ড্রাইভগুলি এসএলসি (সিঙ্গেল-লেভেল সেল) প্রযুক্তি ব্যবহার করে তৈরি করা হয়েছিল। এটির উপর ভিত্তি করে ডিভাইসগুলি দ্রুত, নির্ভরযোগ্য, স্থিতিশীল, তবে একটি ছোট ক্ষমতা ছিল এবং খুব ব্যয়বহুল ছিল। ভলিউম বৃদ্ধি এবং দাম হ্রাস কিছু প্রযুক্তিগত ছাড়ের মাধ্যমে অর্জন করা হয়েছিল, যার কারণে ড্রাইভের গতি, নির্ভরযোগ্যতা এবং জীবন হ্রাস করা হয়েছিল। তবুও, প্রবণতাটি স্টোরেজ সিস্টেমগুলিকে প্রভাবিত করেনি, যা বিভিন্ন স্থাপত্যের কৌশলগুলির কারণে, সাধারণভাবে, আরও উত্পাদনশীল এবং আরও নির্ভরযোগ্য হয়ে উঠেছে।

কিন্তু কেন আপনার অল-ফ্ল্যাশ ক্লাস স্টোরেজ সিস্টেমের প্রয়োজন ছিল? একই ফর্ম ফ্যাক্টরের নতুন এসএসডি দিয়ে ইতিমধ্যে চলমান সিস্টেমে পুরানো HDDগুলিকে প্রতিস্থাপন করা কি যথেষ্ট ছিল না? নতুন এসএসডি-র সমস্ত সংস্থান দক্ষতার সাথে ব্যবহার করার জন্য এটি প্রয়োজনীয় ছিল, যা পুরানো সিস্টেমে কেবল অসম্ভব ছিল।

হুয়াওয়ে, উদাহরণস্বরূপ, এই সমস্যা সমাধানের জন্য বেশ কয়েকটি প্রযুক্তি তৈরি করেছে, যার মধ্যে একটি ফ্ল্যাশলিঙ্ক, যা যতটা সম্ভব ডিস্ক-কন্ট্রোলার ইন্টারঅ্যাকশনগুলিকে অপ্টিমাইজ করা সম্ভব করেছে।

বুদ্ধিমান শনাক্তকরণের ফলে ডেটাকে বিভিন্ন স্ট্রীমে পচানো সম্ভব হয়েছে এবং অনেকগুলি অবাঞ্ছিত ঘটনার সাথে মোকাবিলা করা সম্ভব হয়েছে, যেমন WA (এম্পলিফিকেশন লিখুন)। একই সময়ে, নতুন পুনরুদ্ধার অ্যালগরিদম, বিশেষ করে RAID 2.0+, পুনর্নির্মাণের গতি বাড়িয়েছে, এটির সময়কে সম্পূর্ণরূপে নগণ্য মানগুলিতে হ্রাস করেছে।

ব্যর্থতা, অত্যধিক ভিড়, আবর্জনা সংগ্রহ - এই কারণগুলিও নিয়ন্ত্রকদের বিশেষ পরিমার্জনের জন্য স্টোরেজ সিস্টেমের কার্যকারিতাকে আর প্রভাবিত করে না।

আর ব্লক ডাটা স্টোর মিটানোর প্রস্তুতি নিচ্ছে NVMe. মনে রাখবেন যে ডেটা অ্যাক্সেস সংগঠিত করার জন্য ক্লাসিক স্কিমটি এইভাবে কাজ করেছিল: প্রসেসর PCI এক্সপ্রেস বাসের মাধ্যমে RAID কন্ট্রোলার অ্যাক্সেস করেছিল। এটি, ঘুরে, SCSI বা SAS এর মাধ্যমে যান্ত্রিক ডিস্কের সাথে যোগাযোগ করে। ব্যাকএন্ডে NVMe-এর ব্যবহার পুরো প্রক্রিয়াটিকে উল্লেখযোগ্যভাবে ত্বরান্বিত করেছিল, কিন্তু একটি ত্রুটি বহন করেছিল: ড্রাইভগুলিকে সরাসরি মেমরি অ্যাক্সেস দেওয়ার জন্য প্রসেসরের সাথে সরাসরি সংযুক্ত থাকতে হয়েছিল।

প্রযুক্তির উন্নয়নের পরবর্তী ধাপ যা আমরা এখন দেখছি তা হল NVMe-oF (NVMe over Fabrics) ব্যবহার। Huawei ব্লক প্রযুক্তির জন্য, তারা ইতিমধ্যেই FC-NVMe (NVMe over Fiber Channel) সমর্থন করে এবং NVMe over RoCE (RDMA ওভার কনভার্জড ইথারনেট) পথে রয়েছে। পরীক্ষার মডেলগুলি বেশ কার্যকরী, তাদের অফিসিয়াল উপস্থাপনার আগে কয়েক মাস বাকি আছে। মনে রাখবেন যে এই সমস্ত বিতরণ করা সিস্টেমগুলিতেও উপস্থিত হবে, যেখানে "ক্ষতি ছাড়া ইথারনেট" এর প্রচুর চাহিদা থাকবে।

বিতরণ করা স্টোরেজের কাজ অপ্টিমাইজ করার একটি অতিরিক্ত উপায় ছিল ডেটা মিররিং সম্পূর্ণ প্রত্যাখ্যান। হুয়াওয়ে সলিউশন আর এন কপি ব্যবহার করে না, স্বাভাবিক RAID 1 এর মতো, এবং সম্পূর্ণভাবে মেকানিজমের দিকে চলে যায় EC (ইরেজার কোডিং)। একটি বিশেষ গাণিতিক প্যাকেজ একটি নির্দিষ্ট ফ্রিকোয়েন্সি সহ নিয়ন্ত্রণ ব্লক গণনা করে, যা আপনাকে ক্ষতির ক্ষেত্রে মধ্যবর্তী ডেটা পুনরুদ্ধার করতে দেয়।

অনুলিপি এবং কম্প্রেশন প্রক্রিয়া বাধ্যতামূলক হয়ে ওঠে। যদি ক্লাসিক স্টোরেজ সিস্টেমে আমরা কন্ট্রোলারে ইনস্টল করা প্রসেসরের সংখ্যা দ্বারা সীমাবদ্ধ থাকি, তবে অনুভূমিকভাবে স্কেলযোগ্য স্টোরেজ সিস্টেমে বিতরণ করা হয়, প্রতিটি নোডে আপনার প্রয়োজনীয় সমস্ত কিছু থাকে: ডিস্ক, মেমরি, প্রসেসর এবং ইন্টারকানেক্ট। পারফরম্যান্সের উপর ন্যূনতম প্রভাব ফেলতে এই সংস্থানগুলি অনুলিপি এবং কম্প্রেশনের জন্য যথেষ্ট।

এবং হার্ডওয়্যার অপ্টিমাইজেশান পদ্ধতি সম্পর্কে। এখানে, অতিরিক্ত ডেডিকেটেড মাইক্রোসার্কিট (বা প্রসেসরেই ডেডিকেটেড ব্লক) এর সাহায্যে কেন্দ্রীয় প্রসেসরের উপর লোড কমানো সম্ভব ছিল, যা ভূমিকা পালন করে। TOE (TCP/IP অফলোড ইঞ্জিন) বা EC, ডিডপ্লিকেশন, এবং কম্প্রেশনের গণিত কাজগুলি গ্রহণ করা।

ডেটা স্টোরেজের নতুন পন্থাগুলি একটি বিচ্ছিন্ন (বন্টনকৃত) আর্কিটেকচারে মূর্ত হয়েছে। কেন্দ্রীভূত স্টোরেজ সিস্টেমে, ফাইবার চ্যানেলের মাধ্যমে সংযুক্ত একটি সার্ভার কারখানা রয়েছে সান অনেক অ্যারে সহ। এই পদ্ধতির অসুবিধাগুলি হল স্কেলিং এবং পরিষেবার একটি গ্যারান্টিযুক্ত স্তর প্রদানে অসুবিধা (কর্মক্ষমতা বা বিলম্বিততার ক্ষেত্রে)। হাইপারকনভারজড সিস্টেমগুলি তথ্য সংরক্ষণ এবং প্রক্রিয়াকরণ উভয়ের জন্য একই হোস্ট ব্যবহার করে। এটি স্কেলিং করার জন্য প্রায় সীমাহীন সুযোগ দেয়, তবে ডেটা অখণ্ডতা বজায় রাখার জন্য উচ্চ ব্যয় বহন করে।

উপরের উভয়ের বিপরীতে, একটি বিচ্ছিন্ন স্থাপত্য বোঝায় সিস্টেমটিকে একটি কম্পিউট কারখানা এবং একটি অনুভূমিক স্টোরেজ সিস্টেমে বিভাজন করা. এটি উভয় আর্কিটেকচারের সুবিধা প্রদান করে এবং শুধুমাত্র সেই উপাদানের প্রায় সীমাহীন স্কেলিং করার অনুমতি দেয় যার কার্যকারিতা যথেষ্ট নয়।

ইন্টিগ্রেশন থেকে কনভারজেন্স পর্যন্ত

একটি ক্লাসিক টাস্ক, যার প্রাসঙ্গিকতা শুধুমাত্র গত 15 বছরে বেড়েছে, তা হল একই সাথে ব্লক স্টোরেজ, ফাইল অ্যাক্সেস, বস্তুগুলিতে অ্যাক্সেস, বড় ডেটার জন্য একটি খামার পরিচালনা ইত্যাদি। কেকের উপর আইসিং করতে পারে এছাড়াও, উদাহরণস্বরূপ, চৌম্বকীয় টেপের একটি ব্যাকআপ সিস্টেম।

প্রথম পর্যায়ে, শুধুমাত্র এই পরিষেবাগুলির ব্যবস্থাপনাকে একীভূত করা যেতে পারে। ভিন্নধর্মী ডেটা স্টোরেজ সিস্টেমগুলি কিছু বিশেষ সফ্টওয়্যারের জন্য বন্ধ ছিল, যার মাধ্যমে অ্যাডমিনিস্ট্রেটর উপলব্ধ পুলগুলি থেকে সংস্থানগুলি বিতরণ করেছিলেন। কিন্তু যেহেতু এই পুলগুলি হার্ডওয়্যারে ভিন্ন ছিল, তাই তাদের মধ্যে লোড স্থানান্তর করা অসম্ভব ছিল। একীকরণের উচ্চ স্তরে, একীকরণটি গেটওয়ে স্তরে হয়েছিল। যদি একটি ভাগ করা ফাইল অ্যাক্সেস থাকে তবে এটি বিভিন্ন প্রোটোকলের মাধ্যমে দেওয়া যেতে পারে।

আমাদের কাছে উপলব্ধ সবচেয়ে উন্নত কনভারজেন্স পদ্ধতিতে এখন একটি সর্বজনীন হাইব্রিড সিস্টেম তৈরি করা জড়িত। ঠিক যেভাবে আমাদের হওয়া উচিত OceanStor 100D. ইউনিভার্সাল অ্যাক্সেস একই হার্ডওয়্যার সংস্থান ব্যবহার করে, যৌক্তিকভাবে বিভিন্ন পুলে বিভক্ত, কিন্তু লোড মাইগ্রেশনের অনুমতি দেয়। এই সব একটি একক ব্যবস্থাপনা কনসোল মাধ্যমে করা যেতে পারে. এইভাবে, আমরা "এক ডেটা সেন্টার - একটি স্টোরেজ সিস্টেম" ধারণাটি বাস্তবায়ন করতে পেরেছি।

তথ্য সংরক্ষণের খরচ এখন অনেক স্থাপত্য সিদ্ধান্ত নির্ধারণ করে। এবং যদিও এটি নিরাপদে সর্বাগ্রে রাখা যেতে পারে, আমরা আজ সক্রিয় অ্যাক্সেস সহ "লাইভ" স্টোরেজ নিয়ে আলোচনা করছি, তাই কর্মক্ষমতাও অবশ্যই বিবেচনায় নেওয়া উচিত। পরবর্তী প্রজন্মের বিতরণ ব্যবস্থার আরেকটি গুরুত্বপূর্ণ বৈশিষ্ট্য হল একীকরণ। সর্বোপরি, কেউ চায় না যে বিভিন্ন কনসোল থেকে পরিচালিত বেশ কয়েকটি ভিন্ন সিস্টেম থাকুক। এই সমস্ত গুণাবলী হুয়াওয়ে পণ্যের নতুন সিরিজে মূর্ত হয়েছে। OceanStor প্যাসিফিক.

পরবর্তী প্রজন্মের ভর স্টোরেজ

OceanStor প্যাসিফিক ছয় নাইন (99,9999%) নির্ভরযোগ্যতার প্রয়োজনীয়তা পূরণ করে এবং একটি হাইপারমেট্রো ক্লাস ডেটা সেন্টার তৈরি করতে ব্যবহার করা যেতে পারে। 100 কিলোমিটার পর্যন্ত দুটি ডেটা সেন্টারের মধ্যে দূরত্বের সাথে, সিস্টেমগুলি 2 ms এর অতিরিক্ত বিলম্ব প্রদর্শন করে, যা কোরাম সার্ভার সহ তাদের উপর ভিত্তি করে যেকোনো দুর্যোগ-প্রমাণ সমাধান তৈরি করা সম্ভব করে।

নতুন সিরিজের পণ্যগুলি প্রোটোকলের ক্ষেত্রে বহুমুখীতা প্রদর্শন করে। ইতিমধ্যে, OceanStor 100D ব্লক অ্যাক্সেস, অবজেক্ট অ্যাক্সেস, এবং Hadoop অ্যাক্সেস সমর্থন করে। ফাইল অ্যাক্সেস অদূর ভবিষ্যতে বাস্তবায়িত হবে. ডেটার একাধিক কপি রাখার দরকার নেই যদি সেগুলি বিভিন্ন প্রোটোকলের মাধ্যমে জারি করা যায়।

দেখে মনে হবে, স্টোরেজের সাথে "লসলেস নেটওয়ার্ক" ধারণাটির কী সম্পর্ক আছে? আসল বিষয়টি হ'ল বিতরণ করা স্টোরেজ সিস্টেমগুলি একটি দ্রুত নেটওয়ার্কের ভিত্তিতে তৈরি করা হয়েছে যা উপযুক্ত অ্যালগরিদম এবং RoCE প্রক্রিয়াকে সমর্থন করে। আমাদের সুইচ দ্বারা সমর্থিত কৃত্রিম বুদ্ধিমত্তা সিস্টেম নেটওয়ার্কের গতি আরও বাড়াতে এবং লেটেন্সি কমাতে সাহায্য করে। এআই ফ্যাব্রিক. AI ফ্যাব্রিক সক্রিয় করা হলে স্টোরেজ সিস্টেমের কর্মক্ষমতা 20% এ পৌঁছাতে পারে।

নতুন OceanStor প্যাসিফিক বিতরণ স্টোরেজ নোড কি? 5U ফর্ম ফ্যাক্টর সমাধানটিতে 120টি ড্রাইভ রয়েছে এবং তিনটি ক্লাসিক নোড প্রতিস্থাপন করতে পারে, র্যাকের স্থান দ্বিগুণ করার চেয়েও বেশি। কপি সংরক্ষণ করতে অস্বীকার করার কারণে, ড্রাইভের দক্ষতা উল্লেখযোগ্যভাবে বৃদ্ধি পায় (+ 92% পর্যন্ত)।

আমরা এই সত্যে অভ্যস্ত যে সফ্টওয়্যার-সংজ্ঞায়িত স্টোরেজ একটি ক্লাসিক সার্ভারে ইনস্টল করা একটি বিশেষ সফ্টওয়্যার। কিন্তু এখন, সর্বোত্তম পরামিতি অর্জন করার জন্য, এই স্থাপত্য সমাধানের জন্যও বিশেষ নোড প্রয়োজন। এটি এআরএম প্রসেসরের উপর ভিত্তি করে দুটি সার্ভার নিয়ে গঠিত যা তিন ইঞ্চি ড্রাইভের একটি অ্যারে পরিচালনা করে।

এই সার্ভারগুলি হাইপারকনভার্জড সমাধানের জন্য উপযুক্ত নয়। প্রথমত, এআরএম-এর জন্য কয়েকটি অ্যাপ্লিকেশন রয়েছে এবং দ্বিতীয়ত, লোডের ভারসাম্য বজায় রাখা কঠিন। আমরা আলাদা সঞ্চয়স্থানে স্যুইচ করার পরামর্শ দিই: একটি কম্পিউটিং ক্লাস্টার, ক্লাসিক বা র্যাক সার্ভার দ্বারা প্রতিনিধিত্ব করা হয়, আলাদাভাবে কাজ করে, কিন্তু OceanStor প্যাসিফিক স্টোরেজ নোডের সাথে সংযুক্ত থাকে, যা তাদের সরাসরি কাজগুলিও সম্পাদন করে। এবং এটি নিজেকে ন্যায়সঙ্গত করে।

উদাহরণস্বরূপ, আসুন একটি ক্লাসিক হাইপারকনভার্জড বিগ ডেটা স্টোরেজ সলিউশন নেওয়া যাক যা 15টি সার্ভার র্যাক দখল করে। আপনি যদি পৃথক ওশেনস্টর প্যাসিফিক কম্পিউট সার্ভার এবং স্টোরেজ নোডগুলির মধ্যে লোড বিতরণ করেন, তাদের একে অপরের থেকে আলাদা করেন, প্রয়োজনীয় র্যাকের সংখ্যা অর্ধেক হয়ে যাবে! এটি ডেটা সেন্টার পরিচালনার খরচ কমায় এবং মালিকানার মোট খরচ কমিয়ে দেয়। এমন একটি বিশ্বে যেখানে সঞ্চিত তথ্যের পরিমাণ প্রতি বছর 30% হারে বাড়ছে, এই ধরনের সুবিধাগুলি বিক্ষিপ্ত নয়৷

***

Huawei সমাধান এবং তাদের অ্যাপ্লিকেশন পরিস্থিতি সম্পর্কে আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের পরিদর্শন করুন ওয়েবসাইট অথবা সরাসরি কোম্পানির প্রতিনিধিদের সাথে যোগাযোগ করে।

উত্স: www.habr.com