Издание на СУБД libmdbx 0.11.7. Пренос на разработката на GitFlic след блокировка в GitHub

Произведен выпуск библиотеки libmdbx 0.11.7 (MDBX), представляющей собой высокопроизводительную компактную встраиваемую базу данных класса ключ-значение. Код libmdbx распространяется под лицензией OpenLDAP Public License. Поддерживаются все актуальные операционные системы и архитектуры, включая российский Эльбрус 2000.

Релиз примечателен миграцией проекта на сервис GitFlic после того, как 15 апреля 2022 года администрация GitHub без каких-либо предупреждений и объяснений удалили libmdbx вместе с множеством других проектов, заблокировав доступ многим разработчикам, связанным с компаниями из-за санкций США. Для пользователей все страницы, репозиторий и форки проекта внезапно стали страницей «404», без возможности каких-либо коммуникаций и выяснения причин.

К сожалению, почти все issues были утеряны, в которых содержалось много вопросов с подробными ответами, а также немало обсуждений. Утрата этой информации — единственный объективный вред, который администрация GitHub смогла нанести проекту. Частично копии обсуждений остаются доступны в архиве archive.org.

Потеря отстроенных CI-сценариев и инфраструктуры (доступной для OpenSource-проектов бесплатно) привела к необходимости ревизии, унификации и устранению небольшого технического долга. В настоящее время CI восстановлен почти в прежнем объеме, за исключением сборки и прогон-тестов для всех вариантов BSD и Solaris. Примечательно, что после действий со стороны GitHub не поступило никаких разъяснений или уведомлений, за исключением напоминаний о необходимости оплаты и попыток списания денег.

С момента прошлой новости о релизе libmdbx v0.11.3, помимо восстановления после действий GitHub, стоит отметить следующие доработки и исправления:

• Добавлен обход обнаруженного эффекта/дефекта некогерентности в объединенном кэше страниц и буферов в ядре Linux. В системах, где кэш страниц и буферов действительно объединен, ядру нет смысла тратить память на две копии данных при записи в уже отображенный в память файл. Поэтому записываемые данные становятся видимыми через отображение в памяти до завершения системного вызова write(), даже если данные еще не записаны на диск.

  Общото поведение не е рационално, тъй като при отложено сливане все пак е необходимо да се задействат блокировки за списъците със страници, да се копират данни или да се коригира PTE. Затова неформалното правило за кохерентност действа от 1989 г., когато в SRV4 се появи обединен кеш на буфери. Следователно откритията на странни сривове в натоварени сценарии на експлоатация на libmdbx изискваха значителна работа. Първо, по възпроизвеждане на проблема, след това по проверка на хипотези и тестове на подобрения.

  Сега можем уверено да кажем, че проблемът е надеждно идентифициран, локализиран и отстранен, независимо от цялата сложност и специфичност на сценария на възпроизвеждане. Допълнително, работата на механизма за обход беше потвърдена от един от разработчиците на Erigon (Ethereum), в неговия случай на дебъг събрание проявата на защитната логика се изразяваше в регресия поради излишна проверка на assert.

  Трябва да се отбележи, че в контекста на широко приложение на libmdbx в работни проекти, принципно по-важно е осигуряването на надеждна работа, отколкото да се установи "грешка това или особеност" и дали може да се разчита на такава кохерентност, особено не да се търсят причините за некохерентност в ядрото на Linux. Затова тук става дума за отстраняване на проблема, който е могъл да засегне потребителите.

• Отстранен е регрес във възникването на грешка EXDEV (Cross-device link) при горещо копиране на бази данни без компактация на друга файлова система, както чрез API, така и с утилитата mdbx_copy.
• Kris Zyp реализира поддръжка на libmdbx в Deno. Kai Wetlesen подготви пакетиране на RPM за Fedora. David Bouyssié реализира свързвания за Scala.
• Коригирана е обработката на стойността, задавана от опцията MDBX_opt_rp_augment_limit при обработка на огромни транзакции в големи БД. По-рано, поради грешка, бяха предприемани излишни действия, които понякога се отразяваха на производителността в реализирането на Ethereum (Erigon/Akula/Silkworm) и проектите на Binance Chain.
• Поправени са много неясноти, включително в C++ API. Решени са множество проблеми с компилацията в редки и екзотични конфигурации. Пълен списък на всички значими подобрения е наличен в ChangeLog.
• Общо са направени 185 промени в 89 файла, добавени са около 3300 реда, изтрити са около 4100. Повечето от изтритите редове са свързани с почистване на вече ненужни технологични файлове, свързани с GitHub и зависими услуги.

Исторически libmdbx е дълбока преработка на СУБД LMDB и я надминава по надеждност, набор от възможности и производителност. В сравнение с LMDB, в libmdbx е обърнато голямо внимание на качеството на кода, стабилната работа на API, тестването и автоматичните проверки. Предоставя се инструмент за проверка на целостта на структурата на БД с някои възможности за възстановяване.

Технологично libmdbx предлага ACID, строго сериализиране на промените и неблокиращо четене с линейно мащабиране по ядрата на ЦПУ. Поддържа се автоматична компактификация, автоматично управление на размера на БД, оценка на обема на запитванията по диапазони (range query estimation). От 2016 г. проектът се финансира от компанията Positive Technologies и от 2017 г. се използва в нейните продукти.

За libmdbx е предложено развито C++ API, а също така се поддържат привързки към езици, разработвани от ентусиасти: Rust, Haskell, Python, NodeJS, Ruby, Go, Nim, Deno, Scala.

Източник: opennet.ru