Мицрон опен соурце ХСЕ механизам за складиштење оптимизован за ССД

Мицрон Тецхнологи, компанија за ДРАМ и флеш меморију, представљени нови механизам за складиштење ХСЕ (Хетерогенеоус-мемори Стораге Енгине), дизајниран узимајући у обзир специфичности употребе на ССД дисковима заснованим на НАНД флеш (Кс100, ТЛЦ, КЛЦ 3Д НАНД) или трајну меморију (НВДИММ). Мотор је дизајниран као библиотека за уградњу у друге апликације и подржава обраду података у формату кључ/вредност. ХСЕ код је написан у Ц и дистрибуира лиценциран под Апацхе 2.0.

Међу областима примене мотора помињу се складиштење података ниског нивоа у НоСКЛ ДБМС, софтверска складишта (СДС, Софтваре-Дефинед Стораге) као што су Цепх и Сцалити РИНГ, платформе за обраду великих количина података (Биг Дата) , рачунарски системи високих перформанси (ХПЦ), Интернет уређаји ствари (ИоТ) и решења за системе машинског учења.

ХСЕ је оптимизован не само за максималне перформансе, већ и за дуговечност у различитим класама ССД-а. Велика брзина рада се постиже хибридним моделом складиштења – најрелевантнији подаци се кеширају у РАМ меморији, што смањује број приступа диску. Као пример интеграције новог мотора у пројекте треће стране припремљен верзија ДБМС оријентисане на документе МонгоДБ, преведена за коришћење ХСЕ.

Технолошки, ХСЕ се ослања на додатни модул кернела мпоол, који имплементира специјализовани интерфејс за складиштење објеката за ССД уређаје, узимајући у обзир њихове могућности и карактеристике, што вам омогућава да добијете фундаментално различите карактеристике перформанси и издржљивости. Мпоол је такође развој Мицрон Тецхнологи, отворен у исто време када и ХСЕ, али одвојен у независни инфраструктурни пројекат. Мпоол преузима употребу упорно памћење и зонских складишних објеката, али тренутно подржава само традиционалне ССД дискове.

Тестирање перформанси помоћу пакета ИЦСБ (Иахоо Цлоуд Сервинг Бенцхмарк) показао је значајно повећање перформанси када се користи складиште од 2 ТБ уз обраду блокова података од 1 КБ. Посебно значајно повећање перформанси је примећено у тесту са униформном расподелом операција читања и писања (тест „А“ на графикону).

На пример, испоставило се да је МонгоДБ са ХСЕ мотором око 8 пута бржи од верзије са стандардним ВиредТигер мотором, а РоцксДБ ДБМС је био бржи од ХСЕ мотора за више од 6 пута. Одличне перформансе су такође видљиве у тестовима који укључују 95% операција читања и 5% операција модификације или додавања (тестови „Б“ и „Д“ на графиконима). Тест Ц, који укључује само операције читања, показује повећање од приближно 40%. Повећање преживљавања ССД дискова током операција писања у поређењу са решењем заснованим на РоцксДБ процењује се на 7 пута.

Кључне карактеристике ХСЕ:

• Подршка за стандардне и проширене операторе за обраду података у формату кључ/вредност;
• Потпуна подршка за трансакције и са могућношћу да се изолују делови складишта кроз креирање снимака (снимци се такође могу користити за одржавање независних колекција у једном складишту);
• Могућност коришћења курсора за прелазак података у приказима заснованим на снимцима;
• Модел података оптимизован за мешовите типове оптерећења у једном складишту;
• Флексибилни механизми за управљање поузданошћу складиштења;
• Прилагодљиве шеме оркестрације података (дистрибуција кроз различите типове меморије присутне у складишту);
• Библиотека са Ц АПИ-јем који се може динамички повезати са било којом апликацијом;
• Могућност скалирања на терабајте података и стотине милијарди кључева у складишту;
• Ефикасна обрада хиљада паралелних операција;
• Значајно повећање пропусности, смањено кашњење и повећане перформансе писања/читања за различите врсте оптерећења у поређењу са стандардним алтернативним решењима;
• Могућност коришћења ССД дискова различитих класа у једном складишту ради оптимизације перформанси и издржљивости.

Извор: опеннет.ру