মাইক্রোন ওপেন সোর্সড এইচএসই স্টোরেজ ইঞ্জিন SSD-এর জন্য অপ্টিমাইজ করা হয়েছে

মাইক্রোন টেকনোলজি, একটি DRAM এবং ফ্ল্যাশ মেমরি কোম্পানি, উপস্থাপন নতুন স্টোরেজ ইঞ্জিন এইচএসই (Heterogeneous-মেমরি স্টোরেজ ইঞ্জিন), NAND ফ্ল্যাশ (X100, TLC, QLC 3D NAND) বা স্থায়ী মেমরি (NVDIMM) এর উপর ভিত্তি করে SSD ড্রাইভে ব্যবহারের সুনির্দিষ্ট বৈশিষ্ট্য বিবেচনা করে ডিজাইন করা হয়েছে। ইঞ্জিনটি অন্যান্য অ্যাপ্লিকেশনগুলিতে এম্বেড করার জন্য একটি লাইব্রেরি হিসাবে ডিজাইন করা হয়েছে এবং কী-মান বিন্যাসে ডেটা প্রক্রিয়াকরণ সমর্থন করে। এইচএসই কোডটি সি এবং তে লেখা হয় দ্বারা বিতরণ Apache 2.0 এর অধীনে লাইসেন্সপ্রাপ্ত।

ইঞ্জিনের প্রয়োগের ক্ষেত্রগুলির মধ্যে উল্লেখ করা হয়েছে NoSQL DBMS-এ নিম্ন-স্তরের ডেটা স্টোরেজ, সফ্টওয়্যার স্টোরেজ (SDS, সফ্টওয়্যার-সংজ্ঞায়িত স্টোরেজ) যেমন Ceph এবং Scality RING, প্রচুর পরিমাণে ডেটা প্রক্রিয়াকরণের প্ল্যাটফর্ম (বিগ ডেটা) , হাই-পারফরম্যান্স কম্পিউটিং সিস্টেম (HPC), ইন্টারনেট ডিভাইস অব থিংস (IoT) এবং মেশিন লার্নিং সিস্টেমের সমাধান।

HSE শুধুমাত্র সর্বোচ্চ পারফরম্যান্সের জন্যই নয়, বিভিন্ন SSD ক্লাসে দীর্ঘায়ুর জন্যও অপ্টিমাইজ করা হয়েছে। হাইব্রিড স্টোরেজ মডেলের মাধ্যমে উচ্চ অপারেটিং গতি অর্জন করা হয় - সর্বাধিক প্রাসঙ্গিক ডেটা RAM এ ক্যাশে করা হয়, যা ড্রাইভে অ্যাক্সেসের সংখ্যা হ্রাস করে। তৃতীয় পক্ষের প্রকল্পগুলিতে একটি নতুন ইঞ্জিন সংহত করার উদাহরণ হিসাবে প্রস্তুত ডকুমেন্ট-ভিত্তিক DBMS MongoDB-এর একটি সংস্করণ, HSE ব্যবহার করার জন্য অনুবাদ করা হয়েছে।

প্রযুক্তিগতভাবে, HSE একটি অতিরিক্ত কার্নেল মডিউলের উপর নির্ভর করে এমপুল, যা সলিড-স্টেট ড্রাইভগুলির জন্য একটি বিশেষ অবজেক্ট স্টোরেজ ইন্টারফেস প্রয়োগ করে, তাদের ক্ষমতা এবং বৈশিষ্ট্যগুলিকে বিবেচনায় নিয়ে, যা আপনাকে মৌলিকভাবে ভিন্ন কর্মক্ষমতা এবং স্থায়িত্ব বৈশিষ্ট্যগুলি পেতে দেয়। এমপুল মাইক্রোন টেকনোলজির একটি উন্নয়ন, যা HSE-এর মতো একই সময়ে খোলা, কিন্তু একটি স্বাধীন অবকাঠামো প্রকল্পে বিভক্ত। Mpool ব্যবহার অনুমান অবিরাম স্মৃতি и জোনাল স্টোরেজ সুবিধা, কিন্তু বর্তমানে শুধুমাত্র ঐতিহ্যগত SSD সমর্থন করে।

প্যাকেজ ব্যবহার করে কর্মক্ষমতা পরীক্ষা YCSB (Yahoo ক্লাউড সার্ভিং বেঞ্চমার্ক) 2 KB ডেটা ব্লক প্রক্রিয়াকরণের সাথে 1 TB স্টোরেজ ব্যবহার করার সময় কার্যক্ষমতার একটি উল্লেখযোগ্য বৃদ্ধি দেখিয়েছে। একটি বিশেষভাবে উল্লেখযোগ্য কর্মক্ষমতা বৃদ্ধি পরিলক্ষিত হয় পরীক্ষায় পড়া এবং লেখার ক্রিয়াকলাপগুলির একটি অভিন্ন বন্টন (গ্রাফে "এ" পরীক্ষা)।

উদাহরণস্বরূপ, HSE ইঞ্জিন সহ MongoDB স্ট্যান্ডার্ড WiredTiger ইঞ্জিনের সংস্করণের তুলনায় প্রায় 8 গুণ দ্রুততর এবং RocksDB DBMS HSE ইঞ্জিনের চেয়ে 6 গুণ বেশি দ্রুততর। 95% রিড অপারেশন এবং 5% পরিবর্তন বা সংযোজন অপারেশন (গ্রাফে "B" এবং "D" পরীক্ষা) জড়িত পরীক্ষাগুলিতেও চমৎকার কর্মক্ষমতা দৃশ্যমান। পরীক্ষা সি, যা শুধুমাত্র রিড অপারেশন জড়িত, প্রায় 40% লাভ দেখায়। RocksDB-এর উপর ভিত্তি করে একটি সমাধানের তুলনায় লেখার ক্রিয়াকলাপের সময় SSD ড্রাইভের বেঁচে থাকার বৃদ্ধি অনুমান করা হয় 7 গুণ।

HSE এর মূল বৈশিষ্ট্য:

• কী/মান বিন্যাসে ডেটা প্রক্রিয়াকরণের জন্য স্ট্যান্ডার্ড এবং বর্ধিত অপারেটরদের জন্য সমর্থন;
• লেনদেনের জন্য সম্পূর্ণ সমর্থন এবং স্ন্যাপশট তৈরির মাধ্যমে স্টোরেজ স্লাইসগুলিকে আলাদা করার ক্ষমতা সহ (স্ন্যাপশটগুলি একটি স্টোরেজে স্বাধীন সংগ্রহ বজায় রাখতেও ব্যবহার করা যেতে পারে);
• স্ন্যাপশট-ভিত্তিক দৃশ্যগুলিতে ডেটা অতিক্রম করতে কার্সার ব্যবহার করার ক্ষমতা;
• একক স্টোরেজে মিশ্র লোড ধরনের জন্য অপ্টিমাইজ করা ডেটা মডেল;
• স্টোরেজ নির্ভরযোগ্যতা পরিচালনার জন্য নমনীয় প্রক্রিয়া;
• কাস্টমাইজযোগ্য ডেটা অর্কেস্ট্রেশন স্কিম (স্টোরেজের বিভিন্ন ধরণের মেমরি জুড়ে বিতরণ);
• একটি C API সহ একটি লাইব্রেরি যা গতিশীলভাবে যেকোনো অ্যাপ্লিকেশনের সাথে লিঙ্ক করতে পারে;
• টেরাবাইট ডেটা এবং সঞ্চয়স্থানে কয়েক বিলিয়ন কী স্কেল করার ক্ষমতা;
• হাজার হাজার সমান্তরাল অপারেশনের দক্ষ প্রক্রিয়াকরণ;
• স্ট্যান্ডার্ড বিকল্প সমাধানের তুলনায় বিভিন্ন ধরণের কাজের চাপের জন্য থ্রুপুটে উল্লেখযোগ্য বৃদ্ধি, দেরী হ্রাস এবং লেখা/পড়া কর্মক্ষমতা বৃদ্ধি;
• কর্মক্ষমতা এবং স্থায়িত্ব অপ্টিমাইজ করতে এক স্টোরেজে বিভিন্ন শ্রেণীর SSD ড্রাইভ ব্যবহার করার ক্ষমতা।

উত্স: opennet.ru