Huawei OceanStor Dorado 18000 V6: এর হাই-এন্ড প্রকৃতি কি

OceanStor Dorado 18000 V6 কে আসন্ন বছরগুলির জন্য একটি শালীন রিজার্ভ সহ একটি সত্যিকারের উচ্চ-সম্পদ স্টোরেজ সিস্টেম করে তোলে আমরা বিশদভাবে তর্ক করি। একই সময়ে, আমরা অল-ফ্ল্যাশ স্টোরেজ সম্পর্কে সাধারণ ভয় দূর করি এবং দেখাই যে কীভাবে Huawei সেগুলির মধ্যে সবচেয়ে বেশি চাপ দেয়: এন্ড-টু-এন্ড NVMe, SCM-এ অতিরিক্ত ক্যাশিং এবং অন্যান্য সমাধানগুলির একটি সম্পূর্ণ গুচ্ছ।

নতুন ডেটা ল্যান্ডস্কেপ - নতুন ডেটা স্টোরেজ

সমস্ত শিল্প জুড়ে ডেটা তীব্রতা বৃদ্ধি পাচ্ছে। আর ব্যাংকিং খাতই এর স্পষ্ট দৃষ্টান্ত। গত কয়েক বছরে ব্যাংকিং লেনদেনের সংখ্যা দশ গুণেরও বেশি বেড়েছে। দেখায় হিসাবে বিসিজি অধ্যয়ন, শুধুমাত্র রাশিয়ায় 2010 থেকে 2018 সালের মধ্যে প্লাস্টিক কার্ড ব্যবহার করে নগদ লেনদেনের সংখ্যা ত্রিশ গুণেরও বেশি বৃদ্ধি পেয়েছে - প্রতি বছর 5,8 থেকে 172 জন প্রতি। প্রথমত, মাইক্রোপেমেন্টের জয়: আমাদের বেশিরভাগই অনলাইন ব্যাঙ্কিংয়ের সাথে সম্পর্কিত হয়ে উঠেছে, এবং ব্যাঙ্ক এখন আমাদের নখদর্পণে - ফোনে।

একটি ক্রেডিট প্রতিষ্ঠানের আইটি অবকাঠামো অবশ্যই এই ধরনের চ্যালেঞ্জের জন্য প্রস্তুত থাকতে হবে। এবং এটি সত্যিই একটি চ্যালেঞ্জ। অন্যান্য জিনিসের মধ্যে, যদি আগে ব্যাঙ্কের শুধুমাত্র তার ব্যবসায়িক সময়ে ডেটার প্রাপ্যতা নিশ্চিত করার প্রয়োজন হত, এখন এটি 24/7। সম্প্রতি পর্যন্ত, 5 ms একটি গ্রহণযোগ্য লেটেন্সি রেট হিসাবে বিবেচিত হয়েছিল, তাই কি? এখন এমনকি 1 ms ওভারকিল। একটি আধুনিক স্টোরেজ সিস্টেমের জন্য, লক্ষ্য হল 0,5 ms।

নির্ভরযোগ্যতার সাথে একই: 2010 এর দশকে, একটি অভিজ্ঞতামূলক বোঝাপড়া তৈরি হয়েছিল যে এটির স্তরকে "পাঁচ দশ" - 99,999% এ নিয়ে আসা যথেষ্ট। সত্য, এই বোঝাপড়া অপ্রচলিত হয়ে গেছে। 2020 সালে, একটি ব্যবসার জন্য স্টোরেজের জন্য 99,9999% এবং সামগ্রিক স্থাপত্যের জন্য 99,99999% প্রয়োজন হওয়া একেবারেই স্বাভাবিক। এবং এটি মোটেই বাতিক নয়, তবে একটি জরুরী প্রয়োজন: হয় অবকাঠামো রক্ষণাবেক্ষণের জন্য কোনও সময় উইন্ডো নেই, বা এটি ছোট।

স্পষ্টতার জন্য, এই সূচকগুলিকে অর্থের সমতলে প্রজেক্ট করা সুবিধাজনক। সবচেয়ে সহজ উপায় হল আর্থিক প্রতিষ্ঠানের উদাহরণ। উপরের চার্টটি দেখায় যে বিশ্বের শীর্ষ 10টি ব্যাঙ্কের প্রত্যেকটি ঘন্টায় কত আয় করে। শুধুমাত্র চীনের ইন্ডাস্ট্রিয়াল অ্যান্ড কমার্শিয়াল ব্যাংকের জন্য, এটি $5 মিলিয়নের কম নয়। চীনের বৃহত্তম ক্রেডিট সংস্থার আইটি অবকাঠামোর এক ঘন্টা ডাউনটাইম ঠিক কত খরচ হবে (এবং শুধুমাত্র হারানো মুনাফা বিবেচনায় নেওয়া হয় হিসাব!). এই দৃষ্টিকোণ থেকে, এটা স্পষ্ট যে ডাউনটাইম হ্রাস এবং নির্ভরযোগ্যতা বৃদ্ধি, শুধুমাত্র কয়েক শতাংশ দ্বারা নয়, এমনকি একটি শতাংশের ভগ্নাংশের দ্বারাও, সম্পূর্ণ যুক্তিযুক্তভাবে ন্যায্য। শুধুমাত্র প্রতিযোগীতা বৃদ্ধির কারণে নয়, কেবলমাত্র বাজারের অবস্থান বজায় রাখার জন্য।

অন্যান্য শিল্পে তুলনামূলক পরিবর্তন ঘটছে। উদাহরণস্বরূপ, বিমান পরিবহনে: মহামারীর আগে, বিমান ভ্রমণ কেবল বছরের পর বছর গতি অর্জন করেছিল এবং অনেকে এটি প্রায় ট্যাক্সির মতো ব্যবহার করতে শুরু করেছিল। ভোক্তাদের ধরণগুলির জন্য, পরিষেবাগুলির সম্পূর্ণ প্রাপ্যতার অভ্যাসটি সমাজে শিকড় গেড়েছে: বিমানবন্দরে পৌঁছানোর পরে, আমাদের ওয়াই-ফাই সংযোগ করতে হবে, অর্থপ্রদান পরিষেবাগুলিতে অ্যাক্সেস, এলাকার একটি মানচিত্রের অ্যাক্সেস ইত্যাদি। ফলস্বরূপ, পাবলিক স্পেসে অবকাঠামো এবং পরিষেবার লোড বহুগুণ বেড়েছে। এবং এর অবকাঠামো, নির্মাণের সেই পদ্ধতিগুলি, যা আমরা এক বছর আগেও গ্রহণযোগ্য বলে মনে করতাম, দ্রুত অপ্রচলিত হয়ে উঠছে।

অল-ফ্ল্যাশে স্যুইচ করা কি খুব তাড়াতাড়ি?

উপরে উল্লিখিত সমস্যাগুলি সমাধানের জন্য, কর্মক্ষমতার দিক থেকে, AFA - অল-ফ্ল্যাশ অ্যারে, অর্থাৎ, সম্পূর্ণরূপে ফ্ল্যাশের উপর নির্মিত অ্যারেগুলি - সবচেয়ে উপযুক্ত। যদি না, সম্প্রতি অবধি, এইচডিডি এবং হাইব্রিডগুলির ভিত্তিতে একত্রিত হওয়াগুলির সাথে তারা নির্ভরযোগ্যতার সাথে তুলনীয় কিনা তা নিয়ে সন্দেহ ছিল। সর্বোপরি, সলিড-স্টেট ফ্ল্যাশ মেমরির একটি মেট্রিক রয়েছে যাকে ব্যর্থতার মধ্যে গড় সময় বলা হয় বা MTBF (ব্যর্থতার মধ্যে গড় সময়)। I/O অপারেশনের কারণে কোষের অবক্ষয়, হায়, একটি প্রদত্ত।

সুতরাং অল-ফ্ল্যাশের সম্ভাবনাগুলি কীভাবে এসএসডি দীর্ঘকাল বেঁচে থাকার আদেশ দেয় সে ক্ষেত্রে ডেটা ক্ষতি রোধ করা যায় এই প্রশ্নের দ্বারা ছাপানো হয়েছিল। ব্যাকআপ একটি পরিচিত বিকল্প, শুধুমাত্র পুনরুদ্ধারের সময় আধুনিক প্রয়োজনীয়তার উপর ভিত্তি করে অগ্রহণযোগ্যভাবে বড় হবে। আরেকটি উপায় হল স্পিন্ডল ড্রাইভগুলিতে দ্বিতীয় স্তরের স্টোরেজ সেট আপ করা, তবে, এই জাতীয় স্কিমের সাথে, "কঠোরভাবে ফ্ল্যাশ" সিস্টেমের কিছু সুবিধা হারিয়ে যায়।

যাইহোক, সংখ্যাগুলি অন্যথায় বলে: সাম্প্রতিক বছরগুলিতে গুগল সহ ডিজিটাল অর্থনীতির জায়ান্টদের পরিসংখ্যান দেখায় যে ফ্ল্যাশ হার্ড ড্রাইভের চেয়ে কয়েকগুণ বেশি নির্ভরযোগ্য। তদুপরি, অল্প সময়ের মধ্যে এবং দীর্ঘ সময়ে উভয়ই: ফ্ল্যাশ ড্রাইভগুলি ব্যর্থ হওয়ার আগে গড়ে চার থেকে ছয় বছর কেটে যায়। ডেটা স্টোরেজ নির্ভরযোগ্যতার পরিপ্রেক্ষিতে, তারা স্পিন্ডেল ম্যাগনেটিক ডিস্কের ড্রাইভের চেয়ে নিকৃষ্ট নয়, এমনকি তাদের ছাড়িয়ে যায়।

স্পিন্ডল ড্রাইভের পক্ষে আরেকটি ঐতিহ্যগত যুক্তি হল তাদের ক্রয়ক্ষমতা। কোন সন্দেহ নেই, একটি হার্ড ড্রাইভে একটি টেরাবাইট সংরক্ষণের খরচ এখনও তুলনামূলকভাবে কম। এবং আপনি যদি কেবলমাত্র সরঞ্জামের ব্যয় বিবেচনায় নেন, তবে এসএসডি-র চেয়ে স্পিন্ডল ড্রাইভে টেরাবাইট রাখা সস্তা। যাইহোক, আর্থিক পরিকল্পনার প্রেক্ষাপটে, এটি কেবলমাত্র একটি নির্দিষ্ট ডিভাইস কতটা কেনা হয়েছিল তা নয়, তবে এটি দীর্ঘ সময়ের জন্য মালিকানার মোট খরচ কত - তিন থেকে সাত বছর পর্যন্ত।

এই কোণ থেকে, এটা সম্পূর্ণ ভিন্ন. এমনকি যদি আমরা ডিডপ্লিকেশন এবং কম্প্রেশনকে উপেক্ষা করি, যা একটি নিয়ম হিসাবে, ফ্ল্যাশ অ্যারেগুলিতে ব্যবহৃত হয় এবং তাদের ক্রিয়াকলাপকে আরও অর্থনৈতিকভাবে লাভজনক করে তোলে, মিডিয়া, তাপ অপচয় এবং শক্তি খরচের মতো র্যাকের জায়গার মতো বৈশিষ্ট্যগুলি রয়ে যায়। এবং তাদের মতে, ফ্লাশ তার পূর্বসূরিদের ছাড়িয়ে গেছে। ফলস্বরূপ, ফ্ল্যাশ স্টোরেজ সিস্টেমের TCO, সমস্ত পরামিতি বিবেচনা করে, প্রায়শই স্পিন্ডল ড্রাইভ বা হাইব্রিডের অ্যারের ক্ষেত্রে প্রায় অর্ধেক হয়।

ESG রিপোর্ট অনুসারে, Dorado V6 অল-ফ্ল্যাশ স্টোরেজ সিস্টেমগুলি পাঁচ বছরের ব্যবধানে 78% পর্যন্ত মালিকানা হ্রাসের খরচ অর্জন করতে পারে, যার মধ্যে দক্ষ ডিডপ্লিকেশন এবং কম্প্রেশন সহ, এবং কম শক্তি খরচ এবং তাপ অপচয়ের কারণে। জার্মান বিশ্লেষণাত্মক সংস্থা DCIG তাদের আজকের উপলব্ধ TCO পরিপ্রেক্ষিতে সেরা হিসাবে ব্যবহারের জন্য সুপারিশ করে৷

সলিড স্টেট ড্রাইভগুলির ব্যবহার ব্যবহারযোগ্য স্থান সংরক্ষণ করা, ব্যর্থতার সংখ্যা হ্রাস করা, সমাধান রক্ষণাবেক্ষণের জন্য সময় কমানো, বিদ্যুতের ব্যবহার এবং স্টোরেজ সিস্টেমের তাপ অপচয় হ্রাস করা সম্ভব করে তোলে। এবং এটা দেখা যাচ্ছে যে AFA অন্তত অর্থনৈতিকভাবে স্পিন্ডল ড্রাইভের ঐতিহ্যগত অ্যারেগুলির সাথে তুলনীয়, এবং প্রায়শই তাদের ছাড়িয়ে যায়।

হুয়াওয়ে রয়্যাল ফ্লাশ

আমাদের অল-ফ্ল্যাশ স্টোরেজগুলির মধ্যে, শীর্ষ স্থানটি হাই-এন্ড সিস্টেম ওশানস্টর ডোরাডো 18000 V6 এর অন্তর্গত। এবং শুধুমাত্র আমাদের মধ্যে নয়: সাধারণভাবে, শিল্পে, এটি গতির রেকর্ড ধারণ করে - সর্বাধিক কনফিগারেশনে 20 মিলিয়ন আইপিওএস পর্যন্ত। উপরন্তু, এটি অত্যন্ত নির্ভরযোগ্য: এমনকি যদি দুটি কন্ট্রোলার একবারে উড়ে যায়, বা একের পর এক সাতটি কন্ট্রোলার পর্যন্ত, বা একবারে একটি সম্পূর্ণ ইঞ্জিন, ডেটা বেঁচে থাকবে। অভ্যন্তরীণ প্রক্রিয়া পরিচালনার নমনীয়তা সহ "আঠারো হাজারতম" এর উল্লেখযোগ্য সুবিধাগুলি এতে সংযুক্ত AI দ্বারা দেওয়া হয়েছে। দেখা যাক কিভাবে এই অর্জন করা হয়.

বৃহৎ অংশে, হুয়াওয়ের একটি প্রধান সূচনা রয়েছে কারণ এটি বাজারে একমাত্র প্রস্তুতকারক যেটি স্টোরেজ সিস্টেমগুলি নিজেই তৈরি করে - সম্পূর্ণ এবং সম্পূর্ণ। আমাদের নিজস্ব সার্কিটরি, আমাদের নিজস্ব মাইক্রোকোড, আমাদের নিজস্ব পরিষেবা রয়েছে।

OceanStor Dorado সিস্টেমের কন্ট্রোলারটি Huawei এর নিজস্ব ডিজাইন এবং প্রোডাকশনের একটি প্রসেসরের উপর তৈরি করা হয়েছে - Kunpeng 920। এটি আমাদেরও ইন্টেলিজেন্ট বেসবোর্ড ম্যানেজমেন্ট কন্ট্রোলার (iBMC) কন্ট্রোল মডিউল ব্যবহার করে। AI চিপস, যথা Ascend 310, যা ব্যর্থতার পূর্বাভাস অপ্টিমাইজ করে এবং সেটিংসের জন্য সুপারিশ করে, এছাড়াও Huawei, সেইসাথে I/O বোর্ড - স্মার্ট I/O মডিউল। অবশেষে, SSD-এর কন্ট্রোলারগুলি আমাদের দ্বারা ডিজাইন এবং তৈরি করা হয়। এই সব একটি অবিচ্ছেদ্য ভারসাম্যপূর্ণ এবং উচ্চ-কর্মক্ষমতা সমাধান তৈরির জন্য ভিত্তি প্রদান করে।

গত এক বছরে, আমরা রাশিয়ার বৃহত্তম ব্যাঙ্কগুলির মধ্যে একটিতে, আমাদের সবচেয়ে টপ-এন্ড স্টোরেজ সিস্টেমটি চালু করার জন্য একটি প্রকল্প বাস্তবায়ন করেছি। ফলস্বরূপ, মেট্রো ক্লাস্টারে 40 টিরও বেশি OceanStor Dorado 18000 V6 ইউনিট স্থিতিশীল কর্মক্ষমতা দেখায়: প্রতিটি সিস্টেম থেকে এক মিলিয়নেরও বেশি IOPS সরানো যেতে পারে এবং এটি দূরত্বের কারণে বিলম্বকে বিবেচনা করে।

এন্ড-টু-এন্ড NVMe

Huawei এর সর্বশেষ স্টোরেজ সিস্টেম এন্ড-টু-এন্ড NVMe সমর্থন করে, যা আমরা একটি কারণে জোর দিয়েছি। ড্রাইভগুলি অ্যাক্সেস করার জন্য ঐতিহ্যগতভাবে ব্যবহৃত প্রোটোকলগুলি হরি আইটি প্রাচীনত্বে বিকশিত হয়েছিল: এগুলি SCSI কমান্ডের উপর ভিত্তি করে (হ্যালো, 1980!), যা পশ্চাদমুখী সামঞ্জস্য নিশ্চিত করতে অনেকগুলি ফাংশন টান করে। আপনি অ্যাক্সেসের যে পদ্ধতিই গ্রহণ করুন না কেন, এই ক্ষেত্রে প্রোটোকল ওভারহেড বিশাল। ফলস্বরূপ, স্টোরেজের জন্য যেগুলি SCSI-এর সাথে আবদ্ধ প্রোটোকল ব্যবহার করে, I/O বিলম্ব 0,4–0,5 ms এর কম হতে পারে না। পরিবর্তে, ফ্ল্যাশ মেমরির সাথে কাজ করার জন্য ডিজাইন করা একটি প্রোটোকল এবং কুখ্যাত পশ্চাদগামী সামঞ্জস্যের জন্য ক্রাচ থেকে মুক্ত হওয়া, NVMe - নন-ভোলাটাইল মেমরি এক্সপ্রেস - লেটেন্সি কমিয়ে 0,1 ms, উপরন্তু, স্টোরেজ সিস্টেমে নয়, কিন্তু হোস্ট থেকে ড্রাইভ পর্যন্ত সমগ্র স্ট্যাক। আশ্চর্যের বিষয় নয়, NVMe অদূর ভবিষ্যতের জন্য ডেটা স্টোরেজ বিকাশের প্রবণতার সাথে সঙ্গতিপূর্ণ। আমরা NVMe-এর উপরও নির্ভর করেছি - এবং ধীরে ধীরে SCSI থেকে দূরে সরে যাচ্ছি। ডোরাডো লাইন সহ আজ উত্পাদিত সমস্ত হুয়াওয়ে স্টোরেজ সিস্টেম NVMe সমর্থন করে (তবে, শেষ থেকে শেষ হিসাবে এটি শুধুমাত্র ডোরাডো V6 সিরিজের উন্নত মডেলগুলিতে প্রয়োগ করা হয়)।

ফ্ল্যাশলিংক: একটি মুষ্টিবদ্ধ প্রযুক্তি

সমগ্র OceanStor Dorado লাইনের ভিত্তিপ্রস্তর প্রযুক্তি হল FlashLink। আরও স্পষ্টভাবে, এটি এমন একটি শব্দ যা প্রযুক্তির একটি অবিচ্ছেদ্য সেটকে একত্রিত করে যা উচ্চ কার্যকারিতা এবং নির্ভরযোগ্যতা নিশ্চিত করতে পরিবেশন করে। এর মধ্যে রয়েছে ডিডুপ্লিকেশন এবং কম্প্রেশন প্রযুক্তি, RAID 2.0+ ডেটা ডিস্ট্রিবিউশন সিস্টেমের কার্যকারিতা, "ঠান্ডা" এবং "হট" ডেটা বিচ্ছেদ, পূর্ণ-স্ট্রাইপ অনুক্রমিক ডেটা রেকর্ডিং (এলোমেলো লেখাগুলি, নতুন এবং পরিবর্তিত ডেটা সহ, একত্রিত করা হয় বড় স্ট্যাক এবং ক্রমানুসারে লেখা, যা পড়ার-লেখার গতি বাড়ায়)।

অন্যান্য জিনিসের মধ্যে, FlashLink-এ দুটি গুরুত্বপূর্ণ উপাদান রয়েছে - Wear Leveling এবং Global Garbage Collection। তাদের আলাদাভাবে মোকাবেলা করা উচিত।

প্রকৃতপক্ষে, যেকোনো সলিড স্টেট ড্রাইভ হল ক্ষুদ্রাকৃতির একটি স্টোরেজ সিস্টেম, যেখানে প্রচুর সংখ্যক ব্লক এবং একটি কন্ট্রোলার থাকে যা ডেটার প্রাপ্যতা নিশ্চিত করে। এবং এটি প্রদান করা হয়, অন্যান্য জিনিসগুলির মধ্যে, এই কারণে যে "নিহত" কোষ থেকে ডেটা "হত্যা হয়নি" এ স্থানান্তরিত হয়। এটি নিশ্চিত করে যে তারা পড়তে পারে। এই ধরনের একটি স্থানান্তর জন্য বিভিন্ন অ্যালগরিদম আছে. সাধারণ ক্ষেত্রে, নিয়ামক সমস্ত স্টোরেজ কোষের পরিধানে ভারসাম্য বজায় রাখার চেষ্টা করে। এই পদ্ধতির একটি খারাপ দিক আছে। যখন ডেটা SSD-এর ভিতরে স্থানান্তরিত হয়, তখন I/O ক্রিয়াকলাপগুলির সংখ্যা নাটকীয়ভাবে হ্রাস পায়। আপাতত, এটা একটা প্রয়োজনীয় মন্দ।

এইভাবে, যদি সিস্টেমে অনেকগুলি SSD থাকে, তাহলে পারফরম্যান্স গ্রাফে তীক্ষ্ণ উত্থান-পতন সহ একটি "সা" প্রদর্শিত হয়। সমস্যা হল যে পুল থেকে একটি ড্রাইভ যে কোনও সময় ডেটা স্থানান্তর শুরু করতে পারে এবং অ্যারের সমস্ত SSD থেকে সামগ্রিক কর্মক্ষমতা একই সময়ে সরানো হয়। কিন্তু হুয়াওয়ের প্রকৌশলীরা কীভাবে "করা" এড়াতে হবে তা বের করেছেন।

সৌভাগ্যবশত, ড্রাইভের কন্ট্রোলার এবং স্টোরেজ কন্ট্রোলার এবং Huawei-এর ফার্মওয়্যার উভয়ই "নেটিভ", OceanStor Dorado 18000 V6-এর এই প্রক্রিয়াগুলি অ্যারের সমস্ত ড্রাইভে সিঙ্ক্রোনাসভাবে কেন্দ্রীয়ভাবে চালু করা হয়েছে। তাছাড়া, স্টোরেজ কন্ট্রোলারের নির্দেশে, এবং সঠিকভাবে যখন কোন ভারী I/O লোড নেই।

কৃত্রিম বুদ্ধিমত্তার চিপটি ডেটা স্থানান্তর করার সঠিক মুহূর্ত বেছে নেওয়ার ক্ষেত্রেও জড়িত: বিগত কয়েক মাসের হিটের পরিসংখ্যানের উপর ভিত্তি করে, এটি অদূর ভবিষ্যতে সক্রিয় I/O আশা করা হবে কিনা তা সর্বোচ্চ সম্ভাব্যতার সাথে ভবিষ্যদ্বাণী করতে সক্ষম, এবং যদি উত্তরটি নেতিবাচক হয়, এবং বর্তমান মুহুর্তে সিস্টেমে লোড কম হয়, তাহলে কন্ট্রোলার সমস্ত ড্রাইভকে নির্দেশ করে: যাদের পরিধান লেভেলিং প্রয়োজন তাদের একবারে এবং সিঙ্ক্রোনাসভাবে করা উচিত।

এছাড়াও, সিস্টেম কন্ট্রোলার প্রতিযোগী নির্মাতাদের স্টোরেজ সিস্টেমের বিপরীতে ড্রাইভের প্রতিটি কক্ষে কী ঘটছে তা দেখে: তারা তৃতীয় পক্ষের বিক্রেতাদের কাছ থেকে সলিড-স্টেট মিডিয়া কিনতে বাধ্য হয়, যার কারণে সেল-লেভেলের বিশদ বিবরণ পাওয়া যায় না। এই ধরনের স্টোরেজের কন্ট্রোলার।

ফলস্বরূপ, OceanStor Dorado 18000 V6-এর পরিধান লেভেলিং অপারেশনে কার্যক্ষমতার অবনতির একটি খুব অল্প সময়ের জন্য রয়েছে এবং এটি প্রধানত তখন সঞ্চালিত হয় যখন এটি অন্য কোনো প্রক্রিয়ায় হস্তক্ষেপ করে না। এটি একটি চলমান ভিত্তিতে উচ্চ স্থিতিশীল কর্মক্ষমতা দেয়।

কি OceanStor Dorado 18000 V6 নির্ভরযোগ্য করে তোলে

আধুনিক ডেটা স্টোরেজ সিস্টেমে নির্ভরযোগ্যতার চারটি স্তর রয়েছে:

• হার্ডওয়্যার, ড্রাইভ স্তরে;
• স্থাপত্য, সরঞ্জাম স্তরে;
• সফ্টওয়্যার অংশ সঙ্গে একসঙ্গে স্থাপত্য;
• ক্রমবর্ধমান, সামগ্রিকভাবে সমাধানের সাথে সম্পর্কিত।

যেহেতু, আমরা স্মরণ করি, আমাদের কোম্পানি স্টোরেজ সিস্টেমের সমস্ত উপাদান নিজেই ডিজাইন করে এবং তৈরি করে, আমরা চারটি স্তরের প্রতিটিতে নির্ভরযোগ্যতা প্রদান করি, এই মুহূর্তে তাদের মধ্যে কোনটিতে কী ঘটছে তা পুঙ্খানুপুঙ্খভাবে নিরীক্ষণ করার ক্ষমতা সহ।

ড্রাইভের নির্ভরযোগ্যতা প্রাথমিকভাবে পূর্বে বর্ণিত Wear Leveling এবং Global Garbage collection দ্বারা নিশ্চিত করা হয়। যখন একটি SSD সিস্টেমে একটি ব্ল্যাক বক্সের মতো দেখায়, তখন এটিতে কোষগুলি ঠিক কীভাবে শেষ হয়ে যায় তার কোনও ধারণা থাকে না। OceanStor Dorado 18000 V6-এর জন্য, ড্রাইভগুলি স্বচ্ছ, যা অ্যারের সমস্ত ড্রাইভ জুড়ে সমানভাবে ভারসাম্য বজায় রাখা সম্ভব করে। এইভাবে, এটি উল্লেখযোগ্যভাবে SSD এর জীবনকে প্রসারিত করে এবং তাদের অপারেশনের উচ্চ স্তরের নির্ভরযোগ্যতা সুরক্ষিত করে।

এছাড়াও, ড্রাইভের নির্ভরযোগ্যতা এতে অতিরিক্ত অপ্রয়োজনীয় কোষ দ্বারা প্রভাবিত হয়। এবং একটি সাধারণ রিজার্ভের পাশাপাশি, স্টোরেজ সিস্টেমটি তথাকথিত ডিআইএফ কোষ ব্যবহার করে, যাতে চেকসাম রয়েছে, সেইসাথে RAID অ্যারে স্তরে সুরক্ষা ছাড়াও প্রতিটি ব্লককে একটি একক ত্রুটি থেকে রক্ষা করার জন্য অতিরিক্ত কোড রয়েছে।

স্থাপত্য নির্ভরযোগ্যতার চাবিকাঠি হল SmartMatrix সমাধান। সংক্ষেপে, এই চারটি কন্ট্রোলার যা একটি ইঞ্জিন (ইঞ্জিন) এর অংশ হিসাবে একটি প্যাসিভ ব্যাকপ্লেনে বসে। এই ইঞ্জিনগুলির মধ্যে দুটি - যথাক্রমে, আটটি কন্ট্রোলার সহ - ড্রাইভ সহ সাধারণ তাকগুলির সাথে সংযুক্ত। স্মার্টম্যাট্রিক্সকে ধন্যবাদ, এমনকি যদি আটটি কন্ট্রোলারের মধ্যে সাতটি কাজ করা বন্ধ করে দেয়, তবে পড়া এবং লেখা উভয়ের জন্যই সমস্ত ডেটাতে অ্যাক্সেস থাকবে। এবং আটটি কন্ট্রোলারের মধ্যে ছয়টি হারানোর সাথে, ক্যাশিং অপারেশন চালিয়ে যাওয়াও সম্ভব হবে।

একই প্যাসিভ ব্যাকপ্লেনের I/O বোর্ডগুলি ফ্রন্টএন্ড এবং ব্যাকএন্ড উভয় ক্ষেত্রেই সমস্ত কন্ট্রোলারের জন্য উপলব্ধ। এই ধরনের একটি পূর্ণ-জাল সংযোগ প্রকল্পের সাথে, যাই হোক না কেন, ড্রাইভে অ্যাক্সেস সর্বদা সংরক্ষিত থাকে।

স্টোরেজ সিস্টেমটি যে ব্যর্থতার মোডগুলি থেকে রক্ষা করতে সক্ষম তার প্রেক্ষাপটে একটি আর্কিটেকচারের নির্ভরযোগ্যতা সম্পর্কে কথা বলা সবচেয়ে উপযুক্ত।

একই সময়ে সহ দুটি কন্ট্রোলার "বন্ধ হয়ে গেলে" স্টোরেজটি ক্ষতি ছাড়াই পরিস্থিতি থেকে বাঁচবে। এই ধরনের স্থিতিশীলতা অর্জন করা হয় যে কোনও ক্যাশে ব্লকের অবশ্যই বিভিন্ন কন্ট্রোলারে আরও দুটি অনুলিপি রয়েছে, অর্থাৎ, মোট এটি তিনটি কপিতে বিদ্যমান। এবং অন্তত একজন ভিন্ন ইঞ্জিনে আছে। এইভাবে, এমনকি যদি পুরো ইঞ্জিনটি কাজ করা বন্ধ করে দেয় - এর চারটি কন্ট্রোলারের সাথে - এটি গ্যারান্টিযুক্ত যে ক্যাশে মেমরিতে থাকা সমস্ত তথ্য সংরক্ষণ করা হবে, কারণ ক্যাশেটি অবশিষ্ট ইঞ্জিন থেকে কমপক্ষে একটি কন্ট্রোলারে ডুপ্লিকেট করা হবে। অবশেষে, একটি সিরিয়াল সংযোগের সাথে, আপনি সাতটি কন্ট্রোলার হারাতে পারেন, এবং এমনকি যদি সেগুলি দুটি ব্লকে বাদ দেওয়া হয়, - এবং আবার, সমস্ত I/O এবং ক্যাশে থেকে সমস্ত ডেটা সংরক্ষণ করা হবে।

অন্যান্য নির্মাতাদের হাই-এন্ড স্টোরেজের সাথে তুলনা করা হলে, এটি দেখা যায় যে শুধুমাত্র হুয়াওয়েই দুটি কন্ট্রোলার বা সম্পূর্ণ ইঞ্জিনের মৃত্যুর পরেও সম্পূর্ণ ডেটা সুরক্ষা এবং সম্পূর্ণ উপলব্ধতা প্রদান করে। বেশিরভাগ বিক্রেতা তথাকথিত কন্ট্রোলার জোড়ার সাথে একটি স্কিম ব্যবহার করে যার সাথে ড্রাইভগুলি সংযুক্ত থাকে। দুর্ভাগ্যবশত, এই কনফিগারেশনে, দুটি কন্ট্রোলার ব্যর্থ হলে, ড্রাইভে I/O অ্যাক্সেস হারানোর ঝুঁকি থাকে।

হায়রে, একটি একক উপাদানের ব্যর্থতা বস্তুনিষ্ঠভাবে বাদ দেওয়া হয় না। এই ক্ষেত্রে, কর্মক্ষমতা কিছু সময়ের জন্য হ্রাস পাবে: এটি প্রয়োজনীয় যে পথগুলি পুনর্নির্মাণ করা হবে এবং I/O ক্রিয়াকলাপগুলিতে অ্যাক্সেস পুনরায় শুরু করা হবে সেই ব্লকগুলির ক্ষেত্রে যেগুলি হয় লিখতে এসেছিল, কিন্তু এখনও লেখা হয়নি, বা অনুরোধ করা হয়েছিল পড়তে হবে. OceanStor Dorado 18000 V6 এর গড় পুনর্নির্মাণের সময় প্রায় এক সেকেন্ড, শিল্পের নিকটতম অ্যানালগ (4 সেকেন্ড) থেকে উল্লেখযোগ্যভাবে কম। এটি একই প্যাসিভ ব্যাকপ্লেনের জন্য ধন্যবাদ অর্জন করা হয়েছে: যখন কন্ট্রোলার ব্যর্থ হয়, বাকিরা অবিলম্বে এর ইনপুট/আউটপুট দেখতে পায় এবং বিশেষ করে কোন ডেটা ব্লকে লেখা হয়নি; ফলস্বরূপ, নিকটতম নিয়ামক প্রক্রিয়াটি গ্রহণ করে। তাই মাত্র এক সেকেন্ডের মধ্যে কর্মক্ষমতা পুনরুদ্ধার করার ক্ষমতা। আমাকে অবশ্যই যোগ করতে হবে, ব্যবধানটি স্থিতিশীল: এক নিয়ামকের জন্য একটি সেকেন্ড, অন্যটির জন্য একটি সেকেন্ড ইত্যাদি।

OceanStor Dorado 18000 V6 প্যাসিভ ব্যাকপ্লেনে, সমস্ত বোর্ড সমস্ত কন্ট্রোলারের কাছে কোনো অতিরিক্ত ঠিকানা ছাড়াই উপলব্ধ। এর মানে হল যে কোন কন্ট্রোলার যেকোন পোর্টে I/O নিতে সক্ষম। ফ্রন্টএন্ড পোর্ট I/O যাই আসুক না কেন, কন্ট্রোলার এটি প্রক্রিয়া করার জন্য প্রস্তুত থাকবে। তাই - অভ্যন্তরীণ স্থানান্তরের ন্যূনতম সংখ্যা এবং ভারসাম্যের একটি লক্ষণীয় সরলীকরণ।

ফ্রন্টএন্ড ব্যালেন্সিং মাল্টিপাথিং ড্রাইভার ব্যবহার করে সঞ্চালিত হয়, এবং সিস্টেমের মধ্যেই অতিরিক্ত ব্যালেন্সিং করা হয়, যেহেতু সমস্ত কন্ট্রোলার সমস্ত I/O পোর্ট দেখতে পায়।

ঐতিহ্যগতভাবে, সমস্ত Huawei অ্যারে এমনভাবে ডিজাইন করা হয়েছে যাতে তাদের ব্যর্থতার এক বিন্দুও থাকে না। হট সোয়াপিং, সিস্টেম রিবুট না করেই, এর সমস্ত উপাদানে নিজেকে ধার দেয়: কন্ট্রোলার, পাওয়ার মডিউল, কুলিং মডিউল, I/O বোর্ড ইত্যাদি।

সামগ্রিকভাবে সিস্টেমের নির্ভরযোগ্যতা বাড়ায় এবং প্রযুক্তি যেমন RAID-TP. এটি একটি RAID গ্রুপের নাম, যা আপনাকে তিনটি ড্রাইভের একযোগে ব্যর্থতার বিরুদ্ধে বীমা করতে দেয়। এবং একটি 1 টিবি পুনঃনির্মাণ ধারাবাহিকভাবে 30 মিনিটেরও কম সময় নেয়। স্পিন্ডল ড্রাইভে একই পরিমাণ ডেটার তুলনায় সেরা রেকর্ড করা ফলাফলটি আট গুণ দ্রুত। সুতরাং, অত্যন্ত ধারণক্ষমতা সম্পন্ন ড্রাইভ ব্যবহার করা সম্ভব, বলুন 7,68 বা এমনকি 15 টিবি, এবং সিস্টেমের নির্ভরযোগ্যতা সম্পর্কে চিন্তা করবেন না।

এটি গুরুত্বপূর্ণ যে পুনর্নির্মাণটি অতিরিক্ত ড্রাইভে নয়, তবে একটি অতিরিক্ত জায়গায় - একটি রিজার্ভ ক্ষমতা। প্রতিটি ড্রাইভে একটি ব্যর্থতার পরে ডেটা পুনরুদ্ধারের জন্য ব্যবহৃত উত্সর্গীকৃত স্থান রয়েছে। সুতরাং, পুনরুদ্ধারটি "অনেক থেকে এক" স্কিম অনুসারে নয়, "অনেক থেকে বহু" স্কিম অনুসারে পরিচালিত হয়, যার কারণে প্রক্রিয়াটিকে উল্লেখযোগ্যভাবে গতি দেওয়া সম্ভব। এবং যতক্ষণ বিনামূল্যে ক্ষমতা আছে, পুনরুদ্ধার চলতে পারে।

আমাদের বেশ কয়েকটি স্টোরেজ থেকে একটি সমাধানের নির্ভরযোগ্যতা উল্লেখ করা উচিত - একটি মেট্রো ক্লাস্টারে, বা, হুয়াওয়ের পরিভাষায়, হাইপারমেট্রো। এই ধরনের স্কিমগুলি আমাদের ডেটা স্টোরেজ সিস্টেমের সম্পূর্ণ মডেল পরিসরে সমর্থিত এবং ফাইল এবং ব্লক উভয় অ্যাক্সেসের অনুমতি দেয়। অধিকন্তু, একটি ব্লকে, এটি ফাইবার চ্যানেল এবং ইথারনেট (iSCSI এর মাধ্যমে সহ) উভয়ের মাধ্যমেই কাজ করে।

সংক্ষেপে, আমরা একটি স্টোরেজ সিস্টেম থেকে অন্যটিতে দ্বিমুখী প্রতিলিপি সম্পর্কে কথা বলছি, যেখানে প্রতিলিপিকৃত LUN কে প্রধান হিসাবে একই LUN-ID দেওয়া হয়। প্রযুক্তিটি প্রাথমিকভাবে দুটি ভিন্ন সিস্টেমের ক্যাশেগুলির সামঞ্জস্যের কারণে কাজ করে। সুতরাং, হোস্টের জন্য এটি কোন দিকে রয়েছে তা বিবেচ্য নয়: এখানে এবং সেখানে উভয়ই একই লজিক্যাল ড্রাইভ দেখে। ফলস্বরূপ, দুটি সাইট বিস্তৃত একটি ফেইলওভার ক্লাস্টার স্থাপনে কিছুই আপনাকে বাধা দেয় না।

কোরামের জন্য, একটি শারীরিক বা ভার্চুয়াল লিনাক্স মেশিন ব্যবহার করা হয়। এটি তৃতীয় সাইটে অবস্থিত হতে পারে এবং এর সংস্থানগুলির প্রয়োজনীয়তাগুলি ছোট। একটি সাধারণ দৃশ্য হল একটি কোরাম VM হোস্ট করার জন্য একচেটিয়াভাবে একটি ভার্চুয়াল সাইট ভাড়া করা।

প্রযুক্তিটি সম্প্রসারণেরও অনুমতি দেয়: দুটি স্টোরেজ - একটি মেট্রো ক্লাস্টারে, একটি অতিরিক্ত সাইট - অ্যাসিঙ্ক্রোনাস প্রতিলিপি সহ।

ঐতিহাসিকভাবে, অনেক গ্রাহকরা একটি "স্টোরেজ চিড়িয়াখানা" গঠন করেছেন: বিভিন্ন নির্মাতার কাছ থেকে একগুচ্ছ স্টোরেজ সিস্টেম, বিভিন্ন মডেল, বিভিন্ন প্রজন্ম, বিভিন্ন কার্যকারিতা সহ। যাইহোক, হোস্টের সংখ্যা চিত্তাকর্ষক হতে পারে এবং প্রায়শই সেগুলি ভার্চুয়ালাইজ করা হয়। এই ধরনের পরিস্থিতিতে, প্রশাসনের অগ্রাধিকারগুলির মধ্যে একটি হল দ্রুত, অভিন্নভাবে, এবং সুবিধাজনকভাবে হোস্টদের যৌক্তিক ডিস্ক সরবরাহ করা, বিশেষত এমনভাবে যাতে এই ডিস্কগুলি শারীরিকভাবে কোথায় অবস্থিত তা খুঁজে না পায়। আমাদের OceanStor DJ সফ্টওয়্যার সলিউশন এর জন্যই ডিজাইন করা হয়েছে, যা সর্বসম্মতিক্রমে বিভিন্ন স্টোরেজ সিস্টেম পরিচালনা করতে পারে এবং নির্দিষ্ট স্টোরেজ মডেলের সাথে আবদ্ধ না হয়ে তাদের থেকে পরিষেবা প্রদান করতে পারে।

একই এআই

ইতিমধ্যে উল্লিখিত হিসাবে, OceanStor Dorado 18000 V6-এ কৃত্রিম বুদ্ধিমত্তা অ্যালগরিদম সহ অন্তর্নির্মিত প্রসেসর রয়েছে - অ্যাসেন্ড। এগুলি ব্যবহার করা হয়, প্রথমত, ব্যর্থতার পূর্বাভাস দিতে, এবং দ্বিতীয়ত, টিউনিংয়ের জন্য সুপারিশ তৈরি করতে, যা স্টোরেজের কার্যকারিতা এবং নির্ভরযোগ্যতা বাড়ায়।

ভবিষ্যদ্বাণীর দিগন্ত দুই মাস: এআই মেশিনারি অনুমান করে যে এই সময়ে উচ্চ সম্ভাবনার সাথে কী ঘটবে, এটি প্রসারিত করার সময়, অ্যাক্সেসের নীতিগুলি পরিবর্তন করা ইত্যাদি। সুপারিশগুলি আগে থেকেই জারি করা হয়, যা আপনাকে সামনে সিস্টেম রক্ষণাবেক্ষণের জন্য উইন্ডোজ পরিকল্পনা করতে দেয়। সময়ের

Huawei থেকে AI ডেভেলপমেন্টের পরবর্তী ধাপ হল এটিকে বিশ্ব পর্যায়ে নিয়ে আসা। পরিষেবা রক্ষণাবেক্ষণের সময় - ব্যর্থতা বা সুপারিশ - Huawei আমাদের সমস্ত গ্রাহকদের স্টোরেজ থেকে লগিং সিস্টেম থেকে তথ্য একত্রিত করে। সংগৃহীত তথ্যের উপর ভিত্তি করে, ঘটেছে বা সম্ভাব্য ব্যর্থতার একটি বিশ্লেষণ করা হয় এবং বিশ্বব্যাপী সুপারিশ করা হয় - একটি নির্দিষ্ট স্টোরেজ সিস্টেম বা এমনকি এক ডজনের কার্যকারিতার উপর ভিত্তি করে নয়, তবে কী ঘটছে এবং এরকম হাজার হাজারের সাথে ঘটেছে। ডিভাইস নমুনাটি বিশাল, এবং এর উপর ভিত্তি করে, এআই অ্যালগরিদমগুলি খুব দ্রুত শিখতে শুরু করে, যার কারণে ভবিষ্যদ্বাণীর যথার্থতা উল্লেখযোগ্যভাবে বৃদ্ধি পায়।

সঙ্গতি

2019-2020 সালে, ভিএমওয়্যার পণ্যগুলির সাথে আমাদের সরঞ্জামগুলির মিথস্ক্রিয়া সম্পর্কে অনেক ইঙ্গিত ছিল। অবশেষে তাদের থামাতে, আমরা দায়িত্বের সাথে ঘোষণা করছি: VMware হল Huawei-এর অংশীদার। আমাদের হার্ডওয়্যারের সফ্টওয়্যারের সাথে সামঞ্জস্যের জন্য সমস্ত অনুমানযোগ্য পরীক্ষা করা হয়েছিল, এবং ফলস্বরূপ, ভিএমওয়্যার ওয়েবসাইটে, হার্ডওয়্যার সামঞ্জস্য শীট কোনও সংরক্ষণ ছাড়াই আমাদের উত্পাদনের বর্তমানে উপলব্ধ স্টোরেজ সিস্টেমগুলিকে তালিকাভুক্ত করে। অন্য কথায়, ভিএমওয়্যার সফ্টওয়্যার পরিবেশের সাথে, আপনি সম্পূর্ণ সমর্থন সহ ডোরাডো ভি6 সহ হুয়াওয়ে স্টোরেজ ব্যবহার করতে পারেন।

একই ব্রোকেডের সাথে আমাদের সহযোগিতার জন্য যায়। আমরা সামঞ্জস্যের জন্য আমাদের পণ্যগুলির সাথে যোগাযোগ এবং পরীক্ষা চালিয়ে যাচ্ছি এবং আত্মবিশ্বাসের সাথে বলতে পারি যে আমাদের স্টোরেজ সিস্টেমগুলি সর্বশেষ ব্রোকেড এফসি সুইচগুলির সাথে সম্পূর্ণ সামঞ্জস্যপূর্ণ।

এরপরে কী?

আমরা আমাদের প্রসেসরগুলির বিকাশ এবং উন্নতি চালিয়ে যাচ্ছি: তারা দ্রুত, আরও নির্ভরযোগ্য হয়ে ওঠে, তাদের কর্মক্ষমতা বৃদ্ধি পায়। আমরা AI চিপগুলিকেও উন্নত করছি - তাদের উপর ভিত্তি করে, মডিউলগুলিও তৈরি করা হয় যা ডিডপ্লিকেশন এবং কম্প্রেশনের গতি বাড়ায়। যারা আমাদের কনফিগারেটে অ্যাক্সেস করেছেন তারা হয়তো লক্ষ্য করেছেন যে এই কার্ডগুলি ইতিমধ্যেই Dorado V6 মডেলগুলিতে অর্ডারের জন্য উপলব্ধ।

আমরা স্টোরেজ ক্লাস মেমরিতে অতিরিক্ত ক্যাশিংয়ের দিকেও এগিয়ে যাচ্ছি - বিশেষত কম লেটেন্সি সহ অ-উদ্বায়ী মেমরি, প্রতি পাঠে প্রায় দশ মাইক্রোসেকেন্ড। অন্যান্য জিনিসগুলির মধ্যে, SCM একটি কর্মক্ষমতা বৃদ্ধি করে, প্রাথমিকভাবে যখন বড় ডেটা নিয়ে কাজ করে এবং যখন OLTP কাজগুলি সমাধান করে। পরবর্তী আপডেটের পরে, SCM কার্ডগুলি অর্ডারের জন্য উপলব্ধ হওয়া উচিত।

এবং অবশ্যই, ফাইল অ্যাক্সেস কার্যকারিতা Huawei ডেটা স্টোরেজের সমগ্র পরিসর জুড়ে প্রসারিত হবে - আমাদের আপডেটের জন্য সাথে থাকুন।

উত্স: www.habr.com