Достъпен е вграден двигател за съхранение TidesDB 1.0, който поддържа ACID транзакции

Публикувано е първото стабилно издание на проекта TidesDB, развиващ библиотека за съхранение на данни в формат ключ/стойност. Проектът може да се използва както самостоятелно, така и за вграждане в приложения. Основните функции включват поддръжка на ACID-транзакции и оптимизация за ефективно съхранение на данни на флаш памети и в оперативна памет. Кодът е написан на езика C и се разпространява под лиценз MPL 2.0. Обвързванията са подготвени за езици C++, Go, Java, Python, Rust, Lua и JavaScript.

За съхранение на данни е използвана структура LSM-tree (журнално-структурирано дърво със сливане), осигуряваща висока производителност не само при четене, но и при изпълнение на операции по запис и промяна на данни. Операциите по четене не блокират записите и четенето на данни, а операциите по запис блокират само семейството от колони, в което се извършва записът. За допълнително ускоряване на четенето се поддържат индекси и кеширане на базата на bloom-филтри (позволяват проверка за принадлежност към множество, допускат фалшиво определение на липсващ елемент, но изключват пропуск на съществуващ елемент).

Има пълна поддръжка на ACID-транзакции, позволяващи атомарни промени, обхващащи семействата от колони, и при необходимост атомарно отмяна на операции. Данните могат да се съхраняват в компресиран вид с възможност за избор на алгоритъм за компресия, свързан със семейството от колони. Възможно е поставяне на заключвания на ниво отделни семействата от колони и пакетиране на хранилището в паралелен режим без блокиране на изпълнението на операции с БД.

Основни функции:

• Поддръжка на семейства от колони (Column Families) — изолирани набори от данни в формат ключ/стойност. За всяко семейство от колони се използват свои memtable, SSTable и WAL-журнал.
• ACID-транзакции, обхващащи няколко операции със семейства от колони.
• Оптимизация за паралелен достъп до данните.
• Поддръжка на двупосочни итератори, позволяващи да се преглеждат двойките ключ/стойност напред или назад спрямо избраната позиция в хранилището, използвайки предварително зададен метод на сортиране.
• Поддръжка на добавяне на собствени функции за сравнение на ключове. Наличие на вградени функции за сравнение memcmp, string и numeric.
• Водене на лог на операциите (WAL, Write-Ahead Log) и автоматично възстановяване на memtable (хранилище в оперативната памет) от този лог при стартиране.
• Използване на Bloom-филтри за минимизиране на достъпите до хранилището чрез проверка на наличието на ключа преди четене от SSTable (постоянно хранилище).
• Поддръжка на алгоритми Snappy, LZ4 и ZSTD за компресиране на записите в хранилището SSTable и WAL-лога.
• Възможност за определяне на времето за живот на записите (TTL) и автоматично изключване на просрочените записи.
• Три режима на синхронизация на данни в оперативната памет с постоянното хранилище: NONE (най-бързия), BACKGROUND (балансиран), FULL (най-надеждния).
• Възможност за настройка на размера на memtable, методите за компресия, bloom-филтрите, режима на синхронизация и параметрите за опаковане за всяко семейство колони.
• Прост C API, който връща 0 при успешно изпълнение на операцията и -1 при грешка.
• Използване на SBHA (Sorted Binary Hash Array) за бързо търсене на данни в SSTable, позволяващо определяне на_offsets_ на блоковете с ключове без пълно сканиране.
• Компактен преносим бинарен формат на представяне на базата, поддържащ версиониране.
• Вградени механизми за контрол на целостта, откриване на повреди в данните и възстановяване.

Източник: opennet.ru