Utgåvan av databashanteraren libmdbx 0.11.7. Flytt av utvecklingen till GitFlic efter blockeringen på GitHub

En ny version av biblioteket libmdbx 0.11.7 (MDBX) har släppts, som implementerar en högpresterande kompakt inbäddad databas av klassen nyckel-värde. Koden för libmdbx distribueras under OpenLDAP Public License. Alla aktuella operativsystem och arkitekturer stöds, inklusive den ryska Elbrus 2000.

Denna release är anmärkningsvärd för migreringen av projektet till GitFlic-tjänsten, efter att administrationen av GitHub utan förvarning eller förklaring tog bort libmdbx den 15 april 2022, tillsammans med många andra projekt, och samtidigt blockerade tillgången för många utvecklare kopplade till företag som drabbats av sanktioner från USA. Från användarnas perspektiv förvandlades alla sidor, repositoryt och forkarna plötsligt till en '404'-sida, utan möjlighet till kommunikation eller förklaring.

Tyvärr har nästan alla issues gått förlorade, där det fanns många frågor med detaljerade svar, samt flera diskussioner. Förlusten av denna information är den enda objektiva skadan som GitHubs administration lyckades åstadkomma för projektet. Vissa kopior av diskussionerna finns delvis tillgängliga i arkivet archive.org.

Förlusten av de uppsatta CI-scenarierna och infrastrukturen (tillgänglig gratis för OpenSource-projekt) har lett till en översyn, standardisering och avveckling av en del teknisk skuld. Nu har CI återställts nästan i sin tidigare omfattning, med undantag för bygg- och körtester för alla versioner av BSD och Solaris. Det är anmärkningsvärt att det efter GitHubs åtgärder inte kommit några förtydliganden eller meddelanden, förutom påminnelser om betalningsskyldighet och försök att dra pengar.

Sedan den senaste nyheten om releasen av libmdbx v0.11.3, förutom återställning efter GitHub, bör följande förbättringar och korrigeringar noteras:

• En workaround för den upptäckta effekten/defekten av inkohärens i den sammanlagda sidcache och buffertar i Linux-kärnan har lagts till. I system där sidcache och buffertar faktiskt är sammanfogade, är det meningslöst för kärnan att använda minne för två kopior av data när det skrivs till en fil som redan har visats i minnet. Därför blir de skrivna uppgifterna synliga genom minnesavbildning innan systemanropet write() är slutfört, även om data ännu inte har skrivits till disken.

  Övergripande är annat beteende irrationellt eftersom det vid fördröjd sammanslagning ändå krävs att blockeringar fångas för sidlistor, uppgifter kopieras eller PTE justeras. Därför har den informella koherensregeln gällt sedan 1989, då unified buffer cache introducerades i SRV4. Upptäckten av konstiga störningar i belastade driftscenarier med libmdbx krävde mycket arbete. Först för att reproducera problemet, sedan för att verifiera hypoteser och testa förbättringar.

  Nu kan man med säkerhet säga att problemet har identifierats, lokaliserats och på ett tillförlitligt sätt åtgärdats, trots alla svårigheter och specifikationer i reproduktionsscenariot. Dessutom har funktionaliteten hos omdirigeringsmekanismen bekräftats av en av utvecklarna av Erigon (Ethereum), där i hans fall på en debug-version yttrade sig skyddet som en regressionsfaktor på grund av en överflödig assert-kontroll.

  Det bör noteras att i kontexten av den breda användningen av libmdbx i arbetsprojekt är det principiellt viktigare att säkerställa pålitlig drift snarare än att ta reda på om "det är ett fel eller en egenskap" och om man kan lita på en sådan koherens, särskilt inte att söka orsakerna till okohärens inom Linux-kärnan. Därför handlar det om att åtgärda ett problem som kan ha påverkat användarna.

• Regressionsfelet EXDEV (Cross-device link) har åtgärdats vid hot copy av databaser utan komprimering till ett annat filsystem, både via API och med verktyget mdbx_copy.
• Kris Zyp har implementerat stöd för libmdbx i Deno. Kai Wetlesen har skapat RPM-paket för Fedora. David Bouyssié har implementerat bindningar för Scala.
• Behandlingen av värdet som anges av MDBX_opt_rp_augment_limit har förbättrats vid hantering av stora transaktioner i stora databaser. Tidigare kunde på grund av ett fel överflödiga åtgärder vidtas, vilket ibland påverkade prestandan i implementationer av Ethereum (Erigon/Akula/Silkworm) och projekt från Binance Chain.
• Många brister har åtgärdats, inklusive i C++ API. Många problem med byggen har eliminierats i sällsynta och exotiska konfigurationer. En fullständig lista över alla betydande förbättringar finns i ChangeLog.
• Totalt har 185 ändringar gjorts i 89 filer, ca 3300 rader har lagts till, cirka 4100 rader har tagits bort. Mer har tagits bort huvudsakligen på grund av rensning av redan meningslösa teknologifiler relaterade till GitHub och beroende tjänster.

Historiskt sett är libmdbx en djup omarbetning av databashanteraren LMDB och överträffar sin föregångare i pålitlighet, funktionalitet och prestanda. Jämfört med LMDB läggs stort fokus på kodkvalitet, stabil drift av API:er, testning och automatiska kontroller. En databasstrukturens integritetskontrollverktyg levereras också med vissa återställningsmöjligheter.

Tekniskt erbjuder libmdbx ACID, strikt serialisering av ändringar och icke-blockerande läsning med linjär skalning över CPU-kärnor. Automatisk kompaktdiskning, automatisk hantering av databasstorlek, och uppskattning av urvalvolymer baserat på intervaller stöds. Projektet har finansierats av Positive Technologies sedan 2016 och har använts i deras produkter sedan 2017.

För libmdbx erbjuds en utvecklad C++ API, samt stöd från entusiaster för bindningar till språken Rust, Haskell, Python, NodeJS, Ruby, Go, Nim, Deno, Scala.

Källa: opennet.ru