Zweite Release-Kandidatin libmdbx v1.0 nach fünf Jahren Entwicklung.

Bibliothek libmdbx ist ein wesentlich überarbeiteter Nachfolger von LMDB — einer extrem leistungsfähigen, kompakten eingebetteten Schlüssel-Wert-Datenbank.
Die aktuelle Version v0.5 ist eine technische Veröffentlichung, die den Abschluss von Entwicklungsarbeiten markiert und den Übergang zur Phase der öffentlichen finalen Tests und Stabilisierung einleitet, gefolgt von der Bildung der ersten vollständigen Version der Bibliothek.

LMDB ist eine recht bekannte transaktionale eingebettete Datenbank-Management-System der Klasse 'Schlüssel-Wert' basierend auf B+-Bäumen ohne Vorsorgeprotokollierung, die es einer Vielzahl von Multithread-Prozessen ermöglicht, nebenläufig und äußerst effizient mit einer lokal geteilten (nicht netzwerkbasierten) Datenbank zu arbeiten. Im Vergleich dazu ist MDBX schneller und zuverlässiger als LMDB; dabei bewahrt libmdbx alle wesentlichen Funktionen seines Vorfahren, wie ACID und nicht-blockierendes Lesen mit linearer Skalierung über CPU-Kerne sowie einige neue Funktionen hinzuzufügen.

Die Beschreibung der Unterschiede und Verbesserungen von libmdbx im Vergleich zu LMDB ist einen eigenen Artikel wert (geplante Veröffentlichung auf 'Habr' und 'Medium'). Hier sei jedoch auf die wichtigsten und auffälligsten Punkte verwiesen:

• Es wird grundsätzlich mehr Wert auf Codequalität, Tests und automatische Überprüfungen gelegt.
• Es gibt erheblich mehr Kontrolle während des Betriebs, von der Überprüfung der Parameter bis hin zu internen Audits der Datenbankstrukturen.
• Automatische Kompaktifizierung und automatisches Management der Datenbankgröße.
• Ein einheitliches Datenbankformat für 32-Bit- und 64-Bit-Bauten.
• Schätzung des Umfangs von Abfragen nach Bereichen (range query estimation).
• Unterstützung für Schlüssel mit doppelt so großen Blöcken und benutzerdefinierte Seitengrößen der Datenbank.

Die veröffentlichte Release-Kandidatin von libmdbx ist das Ergebnis der Entscheidung (siehe unten) zur Trennung der Projekte MDBX und MithrilDB im August 2019. Dabei wurde in libmdbx beschlossen, den (rationalen) Maximum an technischem Schulden zu beseitigen und die Bibliothek zu stabilisieren. Tatsächlich wurde in diesem Bereich 2-3 Mal mehr erreicht, als ursprünglich geschätzt und geplant:

• Unterstützung für Mac OS und Plattformen der 'zweiten Schicht': FreeBSD, Solaris, DragonFly BSD, OpenBSD, NetBSD. Unterstützung für AIX und HP-UX kann bei Bedarf hinzugefügt werden.
• Der Code wurde mit Hilfe von Undefined Behavior Sanitizer und Address Sanitizer sanitisiert, alle Warnungen bei der Compilation mit -Wpedantic, alle Warnungen von Coverity Static Analyzer usw. wurden beseitigt.
• Aktualisierung der API-Beschreibung.
• Amalgamierung des Quellcodes zur Erleichterung der Integration.
• CMake-Unterstützung.
• Unterstützung für verschachtelte Transaktionen.
• Verwendung von bootid zur Feststellung des Neustarts des Betriebssystems (unsauberer Stopp der Datenbank).
• Durchgängige Zählung aktualisierter/alter Seiten und erweiterte Informationen zu Transaktionen.
• Option MDBX_ACCEDE zum Anschluss an eine bereits geöffnete Datenbank im kompatiblen Modus.
• Verwendung OFD-Sperren bei deren Verfügbarkeit.
• Hotbackups über Pipe.
• Spezialisierter optimierter Algorithmus zur internen Sortierung (bis zu 2-3 Mal schneller als qsort() und bis zu 30% schneller als std::sort()).
• Erhöhte maximale Schlüsselgröße.
• Automatische Steuerung von Read Ahead (Caching-Strategie für die Datenbankdatei im Speicher).
• Aggressivere und schnellere Auto-Komprimierung.
• Optimalere Strategie zur Zusammenführung von Seiten im B+-Baum.
• Überwachung nicht-lokaler Dateisysteme (NFS, Samba usw.), um Datenbankbeschädigungen bei unsachgemäßer Nutzung zu vermeiden.
• Erweiterter Testkatalog.

Die Entwicklung der "nächsten" Version von libmdbx wird im Rahmen eines separaten Projekts fortgesetzt. MithrilDB, während die Entwicklungsrichtung der "aktuellen" Version von MDBX darauf abzielt, die Funktionalitäten zu stabilisieren und einzufrieren. Diese Entscheidung wurde aus drei Gründen getroffen:

• Vollständige Inkompatibilität: Um alle geplanten Funktionen in MithrilDB zu realisieren, ist ein anderes (inkompatibles) Datenbankdateiformat und eine andere (inkompatible) API erforderlich.
• Neuer Quellcode: Für den Quellcode von MithrilDB wurde die Lizenzunabhängigkeit von LMDB sichergestellt, und das Projekt soll unter einer anderen (genehmigten) OSI Lizenz Apache 2.0, nicht OpenLDAP Foundation).
• Die Trennung hilft, potenzielle Verwirrung zu vermeiden, mehr Klarheit zu schaffen und die Unabhängigkeit der Entwicklungswege der Projekte sicherzustellen.

MithrilDB basiert wie MDBX ebenfalls auf einem B+-Baum und wird dabei äußerst hohe Leistung bieten, während es gleichzeitig eine Reihe grundsätzlicher Nachteile von MDBX und LMDB beseitigt. Insbesondere wird das Problem der "langen Lesevorgänge" behoben, das sich als "Aufblähen" der Datenbank zeigt, da die Müllbereinigung durch lange lesende Transaktionen blockiert wird. Zu den neuen Funktionen von MithrilDB gehören:

• Unterstützung der Platzierung von Datenbanken auf mehreren heterogenen Trägern: HDD, SSD und nichtflüchtigem Speicher.
• Optimale Strategien für "wertvolle" und "weniger wertvolle", für "heiße", "warme" und "kalte" Daten.
• Verwendung von Merkle-Bäumen zur Integritätskontrolle von Datenbanken.
• Optionale Verwendung von WAL und deutlich höhere Leistung in Szenarien mit intensiven Schreibvorgängen und Integritätsgarantien.
• Faul nacheilende Datenspeicherung auf Festplatten.

Quelle: linux.org.ru