Micron го издава HSE 3.0 моторот за складирање оптимизиран за SSD-дискови

Micron Technology, компанија специјализирана за производство на DRAM и флеш меморија, го објави изданието на моторот за складирање HSE 3.0 (Хетерогена меморија за складирање), дизајниран земајќи ги предвид спецификите на употреба на SSD-дискови и меморија само за читање ( NVDIMM). Моторот е дизајниран како библиотека за вградување во други апликации и поддржува обработка на податоци во формат со клучна вредност. HSE кодот е напишан во C и е лиценциран под лиценцата Apache 2.0.

HSE е оптимизиран не само за максимални перформанси, туку и за долговечност во различни класи на SSD. Високата работна брзина се постигнува преку хибриден модел за складирање - најрелевантните податоци се кеширани во RAM меморијата, што го намалува бројот на пристапи до погонот. Моторот може да се користи за складирање податоци на ниско ниво во NoSQL DBMS, складишта на софтвер (SDS, софтверски дефинирано складирање) како што се Ceph и Scality RING, платформи за обработка на големи количини на податоци (Big Data), компјутери со високи перформанси (HPC ) системи, уреди за Интернет на нештата (IoT) и решенија за системи за машинско учење. Како пример за интегрирање на моторот во проекти од трети страни, изготвена е верзија на DBMS MongoDB ориентирана кон документи, конвертирана да користи HSE.

Главни карактеристики на HSE:

• Поддршка за стандардни и проширени оператори за обработка на податоци во формат клуч/вредност;
• Целосна поддршка за трансакции со можност за изолирање на делови за складирање преку создавање снимки (слики може да се користат и за одржување на независни збирки во едно складирање);
• Способност да се користат курсори за повторување низ податоците во приказите базирани на снимки;
• Модел на податоци оптимизиран за мешани типови на оптоварување;
• Флексибилни механизми за управување со доверливоста на складирањето;
• Приспособливи шеми за оркестрација на податоци (дистрибуција низ различни типови на меморија присутни во складиштето);
• Библиотека со C API што може динамички да се поврзе со која било апликација. Достапност на врски за Python и Java;
• Поддршка за складирање клучеви и податоци во компресирана форма.
• Способност за скала до терабајти податоци и стотици милијарди клучеви во складирање;
• Ефикасна обработка на илјадници паралелни операции;
• Способност да се користат SSD-дискови од различни класи во едно складирање за да се оптимизираат перформансите и да се продолжи работниот век на уредот.

Значајната промена на бројот на верзијата во HSE 3.0 се должи на промените во API, CLI, опциите за конфигурација, интерфејсот REST и форматот за складирање што ја нарушуваат компатибилноста наназад. Новото издание се фокусираше на оптимизирање на складирањето податоци за подобрување на перформансите за некои критични работни оптоварувања. Меѓу најзначајните подобрувања:

• Изведбата на операциите на курсорот сега е независна од должината на филтерот, што ви овозможува да повторувате преку копчињата користејќи курсор со произволни филтри без да ја намалувате пропусната моќ.
• Перформансите на читање и пишување се зголемени во ситуации кога се користат копчињата со монотоно зголемување, на пример, кога се складираат делови од вредностите на параметрите снимени во одредени интервали во системите за следење, финансиските платформи и системите за состојби на сензори за анкетирање.
• API обезбедува можност за контрола на компресија на индивидуално ниво на вредност, овозможувајќи ви да складирате и компресирани и некомпресирани записи во исто складирање.
• Додадени се нови режими за отворање на KVDB, што ви овозможува да формирате прашања во базата на податоци во складишта само за читање.

Извор: opennet.ru