Издаване на СУБД libmdbx 0.11.7. Преместете разработката в GitFlic след блокиране на GitHub

Библиотеката libmdbx 0.11.7 (MDBX) е пусната с внедряването на високопроизводителна компактна вградена база данни ключ-стойност. Кодът на libmdbx се разпространява под публичния лиценз OpenLDAP. Поддържат се всички актуални операционни системи и архитектури, както и руската Elbrus 2000.

Изданието е забележително с миграцията на проекта към услугата GitFlic, след като администрацията на GitHub премахна libmdbx заедно с множество други проекти на 15 април 2022 г. без никакво предупреждение или обяснение, като същевременно блокира достъпа до много разработчици, свързани с паднали компании под санкциите на САЩ. От гледна точка на потребителя, всички страници, хранилище и разклонения на проекта внезапно се превърнаха в страница "404", без възможност за каквато и да е комуникация и откриване на причините.

За съжаление почти всички броеве са загубени, в които имаше много въпроси с подробни отговори, както и много дискусии. Загубата на тази информация е единствената обективна вреда, която администрацията на GitHub успя да нанесе на проекта. Частични копия от дискусиите остават достъпни в архива на archive.org.

Загубата на вградени CI скриптове и инфраструктура (достъпна безплатно за OpenSource проекти) ни принуди да направим ревизия, унификация и елиминиране на малък технически дълг. Сега CI е възстановен почти в същата степен, с изключение на компилации и тестове за всички варианти на BSD и Solaris. Показателно е, че след действията на GitHub не са получени разяснения или известия, освен напомняне за необходимостта от плащане и опити за отписване на пари.

След последните новини за пускането на libmdbx v0.11.3, в допълнение към възстановяването от действия на GitHub, заслужава да се отбележат следните подобрения и корекции:

• Добавено е заобиколно решение за открит ефект/дефект на несъгласуваност в комбинирания кеш на страницата и буфера в ядрото на Linux. В системи, където кешовете на страниците и буферите са наистина унифицирани, няма смисъл ядрото да губи памет за две копия на данни, когато записва във файл, който вече е картографиран в паметта. Следователно данните, които се записват, стават видими чрез картографиране на паметта преди системното извикване write() да завърши, дори ако данните все още не са записани на диска.

  Като цяло, другото поведение не е рационално, защото със забавено сливане все още трябва да хващате ключалки за списъци със страници, да копирате данни или да коригирате PTE. Следователно негласното правило за съгласуваност е в сила от 1989 г., когато унифицираният буферен кеш се появи в SRV4. Следователно намирането на странни повреди в натоварени производствени сценарии на libmdbx изискваше много работа. Първо, чрез възпроизвеждане на проблема, след това чрез проверка на хипотези и проверка на подобренията.

  Сега можем уверено да кажем, че проблемът е надеждно идентифициран, локализиран и надеждно елиминиран, въпреки сложността и спецификата на сценария за възпроизвеждане. Освен това, работата на механизма за байпас беше потвърдена от един от разработчиците на Erigon (Ethereum), в неговия случай, при компилацията за отстраняване на грешки, защитата се задейства като регресия поради допълнителна проверка на твърдението.

  Трябва да се отбележи, че в контекста на широко разпространеното използване на libmdbx в работещи проекти е фундаментално по-важно да се осигури надеждна работа, отколкото да се установи „бъг ли е или функция“ и дали може да се разчита на такава съгласуваност, особено не намиране на причините за несъгласуваност в ядрото на Linux. Следователно тук говорим за коригиране на проблем, който може да засегне потребителите.

• Коригирана е регресия на грешката EXDEV (Cross-device link) при горещо копиране на база данни без компактизиране към друга файлова система, както чрез API, така и чрез помощната програма mdbx_copy.
• Kris Zyp внедри поддръжка за libmdbx в Deno. Kai Wetlesen е пакетирал RPM за Fedora. David Bouyssié внедри свързвания за Scala.
• Фиксирана обработка на стойността, зададена от опцията MDBX_opt_rp_augment_limit при обработка на огромни транзакции в големи бази данни. Преди това, поради грешка, можеха да се извършват ненужни действия, които понякога засягаха производителността при внедрявания на Ethereum (Erigon/Akula/Silkworm) и проекти на Binance Chain.
• Поправени са много грешки, включително тези в C++ API. Поправени са много проблеми с изграждането в редки и екзотични конфигурации. Пълен списък на всички значителни подобрения е достъпен в ChangeLog.
• Направени са общо 185 промени в 89 файла, добавени са ≈3300 реда, ≈4100 са изтрити. Премахнати повече най-вече поради изчистване на вече безполезни технически файлове, свързани с GitHub и зависимите услуги.

Исторически libmdbx е дълбок редизайн на LMDB DBMS и надминава своя прародител по отношение на надеждност, набор от функции и производителност. В сравнение с LMDB, libmdbx набляга много на качеството на кода, стабилността на API, тестването и автоматизираните проверки. Помощна програма за проверка на целостта на структурата на базата данни се доставя с някои опции за възстановяване.

Технологично, libmdbx предлага ACID, стриктна сериализация на промените и неблокиращи четения с линейно мащабиране в ядрата на процесора. Поддържат се автоматично уплътняване, автоматично управление на размера на базата данни и оценка на заявка за диапазон. От 2016 г. проектът се финансира от Positive Technologies и се използва в нейните продукти от 2017 г.

libmdbx предлага разработен C++ API, както и поддържани от ентусиасти свързвания към Rust, Haskell, Python, NodeJS, Ruby, Go, Nim, Deno, Scala.

Източник: opennet.ru