Micron Technology, DRAM va flesh xotira kompaniyasi, yangi saqlash mexanizmi (Heterojen xotirali saqlash mexanizmi), NAND flesh (X100, TLC, QLC 3D NAND) yoki doimiy xotira (NVDIMM) asosidagi SSD drayverlarida foydalanish xususiyatlarini hisobga olgan holda ishlab chiqilgan. Dvigatel boshqa ilovalarga joylashtirish uchun kutubxona sifatida yaratilgan va ma'lumotlarni kalit-qiymat formatida qayta ishlashni qo'llab-quvvatlaydi. HSE kodi C va tilida yozilgan Apache 2.0 ostida litsenziyalangan.
Dvigatelni qo'llash sohalari orasida NoSQL DBMSda past darajadagi ma'lumotlarni saqlash, Ceph va Scality RING kabi dasturiy ta'minot omborlari (SDS, Software-Defined Storage), katta hajmdagi ma'lumotlarni qayta ishlash platformalari (Big Data) haqida gap boradi. , yuqori samarali hisoblash tizimlari (HPC), narsalarning Internet qurilmalari (IoT) va mashinani o'rganish tizimlari uchun echimlar.
HSE nafaqat maksimal ishlash, balki turli SSD sinflarida uzoq umr ko'rish uchun optimallashtirilgan. Yuqori ish tezligiga gibrid saqlash modeli orqali erishiladi - eng kerakli ma'lumotlar operativ xotirada keshlanadi, bu esa haydovchiga kirishlar sonini kamaytiradi. Yangi dvigatelni uchinchi tomon loyihalariga integratsiya qilish misoli sifatida HSE dan foydalanish uchun tarjima qilingan hujjatga yo'naltirilgan DBMS MongoDB versiyasi.
Texnologik jihatdan HSE qo'shimcha yadro moduliga tayanadi , bu qattiq holatda drayvlar uchun ularning imkoniyatlari va xususiyatlarini hisobga olgan holda ixtisoslashtirilgan ob'ektni saqlash interfeysini amalga oshiradi, bu sizga printsipial jihatdan turli xil ishlash va chidamlilik xususiyatlarini olish imkonini beradi. Mpool, shuningdek, HSE bilan bir vaqtda ochiq, lekin mustaqil infratuzilma loyihasiga ajratilgan Micron Technology ishlanmasidir. Mpool foydalanishni o'z zimmasiga oladi ΠΈ , lekin hozirda faqat an'anaviy SSD'larni qo'llab-quvvatlaydi.
Paket yordamida ishlash testi (Yahoo Cloud Serving Benchmark) 2 KB ma'lumotlar bloklarini qayta ishlash bilan 1 TB xotiradan foydalanishda unumdorlikning sezilarli o'sishini ko'rsatdi. O'qish va yozish operatsiyalarini bir xil taqsimlash bilan testda unumdorlikning sezilarli o'sishi kuzatiladi (grafikda "A" testi).
Masalan, HSE dvigateliga ega MongoDB standart WiredTiger dvigateliga ega versiyadan taxminan 8 baravar tezroq bo'lib chiqdi va RocksDB DBMS HSE dvigateliga qaraganda 6 baravar tezroq edi. Zo'r ishlash 95% o'qish operatsiyalari va 5% o'zgartirish yoki qo'shish operatsiyalarini o'z ichiga olgan testlarda ham ko'rinadi (grafiklarda "B" va "D" testlari). Faqat o'qish operatsiyalarini o'z ichiga olgan S testi taxminan 40% daromadni ko'rsatadi. RocksDB-ga asoslangan yechim bilan solishtirganda, yozish operatsiyalari paytida SSD drayverlarining omon qolish qobiliyatining o'sishi 7 barobarga baholanmoqda.
HSE ning asosiy xususiyatlari:
- Kalit/qiymat formatidagi ma'lumotlarni qayta ishlash uchun umumiy va kengaytirilgan operatorlarni qo'llab-quvvatlash;
- Tranzaktsiyalarni to'liq qo'llab-quvvatlash va oniy rasmlarni yaratish orqali saqlash bo'laklarini ajratish qobiliyati bilan (snapshotlar mustaqil to'plamlarni bitta xotirada saqlash uchun ham ishlatilishi mumkin);
- Suratga asoslangan ko'rinishlarda ma'lumotlarni o'tkazish uchun kursorlardan foydalanish qobiliyati;
- Bir xotirada aralash yuk turlari uchun optimallashtirilgan ma'lumotlar modeli;
- Saqlash ishonchliligini boshqarishning moslashuvchan mexanizmlari;
- Sozlanishi mumkin bo'lgan ma'lumotlarni tartibga solish sxemalari (saqlashda mavjud bo'lgan turli xil xotira turlari bo'yicha tarqatish);
- Har qanday dasturga dinamik ravishda ulanishi mumkin bo'lgan C API bilan kutubxona;
- Saqlashda terabaytlargacha ma'lumotlar va yuzlab milliardlab kalitlarni kengaytirish imkoniyati;
- Minglab parallel operatsiyalarni samarali qayta ishlash;
- Standart muqobil echimlar bilan solishtirganda, o'tkazuvchanlikning sezilarli darajada oshishi, kechikishning kamayishi va turli xil ish yuklari uchun yozish/o'qish samaradorligini oshirish;
- Ishlash va chidamlilikni optimallashtirish uchun turli sinflardagi SSD drayverlarini bitta xotirada ishlatish imkoniyati.
Manba: opennet.ru