Втори кандидат за версия libmdbx v1.0 след пет години разработка.

Библиотека libmdbx е значително преработен наследник на LMDB - изключително високопроизводителна, компактна вградена база данни ключ-стойност.
Текущата версия v0.5 е техническо издание, бележи завършването на всички подобрения и прехода към фазата на публично окончателно тестване и стабилизиране, с последващото формиране на първото пълно издание на библиотеката.

LMDB е доста добре известна транзакционна вградена СУБД ключ-стойност, базирана на дърво B+ без проактивно регистриране, което позволява на рояк от многонишкови процеси да работят конкурентно и изключително ефективно с локално споделена (не мрежова) база данни. На свой ред MDBX е по-бърз и по-надежден от LMDB, докато libmdbx запазва всички ключови характеристики на своя предшественик, като напр. ACID и неблокиращи четения с линейно мащабиране в ядрата на процесора, а също така добавя няколко нови.

Описанието на разликите и подобренията на libmdbx спрямо LMDB заслужава отделна статия (планирана за публикуване на Habré и ​​Medium). Тук е уместно да споменем най-важните и забележими:

• По принцип се обръща повече внимание на качеството на кода, тестването и автоматичните проверки.
• Значително повече контрол по време на работа, от проверка на параметри до вътрешен одит на структурите на базата данни.
• Автоматично уплътняване и автоматично управление на размера на базата данни.
• Единичен формат на база данни за 32-битови и 64-битови сборки.
• Оценка на размера на извадката по диапазони (оценка на заявка за диапазон).
• Поддръжка за ключове, два пъти по-големи от палачинки и избираем от потребителя размер на страницата на базата данни.

Кандидатът за освобождаване на libmdbx е резултат от решението (вижте по-долу) за разделяне на проектите MDBX и MithrilDB през август 2019 г. В същото време libmdbx реши да елиминира (рационалния) максимален технически дълг и да стабилизира библиотеката. На практика в набелязаното направление е направено 2-3 пъти повече от първоначално разчетеното и планираното:

• Реализирана е поддръжка за Mac OS и платформи от второ ниво: FreeBSD, Solaris, DragonFly BSD, OpenBSD, NetBSD. При необходимост може да се добави поддръжка на AIX и HP-UX.
• Санитира кода с помощта на Undefined Behavior Sanitizer и Address Sanitizer, елиминира всички предупреждения при изграждане с -Wpedantic, всички предупреждения на Coverity Static Analyzer и т.н.
• Актуализиране API описания.
• Обединяване на изходния код за по-лесно вграждане.
• Поддръжка на CMake.
• Поддръжка за вложени транзакции.
• Използване на bootid за определяне дали операционната система се е рестартирала (спиране на мръсна база данни).
• Преброяване от край до край на актуализирани/стари страници и разширена информация за транзакциите.
• Опция MDBX_ACCEDE за свързване към вече отворена база данни в съвместим режим.
• Употреба OFD блокиране когато е в наличност.
• Горещо архивиране в тръба.
• Специализиран оптимизиран алгоритъм за вътрешно сортиране (до 2-3 пъти по-бърз от qsort() и до 30% по-бърз от std::sort()).
• Максималната дължина на ключа е увеличена.
• Автоматичен контрол на четене напред (стратегия за кеширане на файлове на база данни в паметта).
• По-агресивно и по-бързо автоматично уплътняване.
• По-оптимална стратегия за обединяване на B+ дървовидни страници.
• Контрол на нелокални файлови системи (NFS, Samba и т.н.) за предотвратяване на повреда на базата данни, ако се използва неправилно.
• Наборът от тестове е разширен.

Разработването на "следващата" версия на libmdbx ще продължи като отделен проект MithrilDB, докато векторът на развитие на „текущата“ версия на MDBX е насочен към замразяване на набора от функции и стабилизирането му. Това решение беше взето по три причини:

• Напълно несъвместим: MithrilDB изисква различен (несъвместим) файлов формат на базата данни и различен (несъвместим) API за прилагане на всички планирани функции.
• Нов изходен код: Изходният код на MithrilDB е лицензиран независимо от LMDB, а самият проект се планира да бъде публикуван под различен лиценз (одобрен от OSI Разрешително Apache 2.0И не OpenLDAP Foundation).
• Разделянето избягва потенциално объркване, осигурява повече сигурност и гарантира, че проектите имат независим път напред.

MithrilDB, подобно на MDBX, също се основава на дърво B+ и също така ще включва изключително висока производителност, като същевременно елиминира редица основни недостатъци на MDBX и LMDB. По-специално, проблемът с „дългите четения“, който се проявява като „подуване“ на базата данни поради факта, че обработката на боклука е блокирана от транзакции за дълго четене, ще бъде елиминиран. Новите функции на MithrilDB включват:

• поддръжка за поставяне на базата данни на няколко разнородни носители: HDD, SSD и енергонезависима памет.
• оптимални стратегии за „ценни“ и „нискостойни“, за „горещи“, „топли“ и „студени“ данни.
• използване на Merkle дърво за наблюдение на целостта на базата данни.
• опционално използване на WAL и значително по-висока производителност в сценарии с интензивно писане и гаранции за целостта на данните.
• Мързеливо наваксващо фиксиране на данни на дискове.

Източник: linux.org.ru