{"id":101601,"date":"2021-10-11T22:22:40","date_gmt":"2021-10-11T20:22:40","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10-4-i-libfpta-0-3-9"},"modified":"2021-10-11T22:22:40","modified_gmt":"2021-10-11T20:22:40","slug":"vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10-4-i-libfpta-0-3-9","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10-4-i-libfpta-0-3-9","title":{"rendered":"Ver\u00f6ffentlichung der leistungsstarken eingebetteten DBMS libmdbx 0.10.4 und libfpta 0.3.9","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Die Ver\u00f6ffentlichung der Bibliotheken libmdbx 0.10.4 (MDBX) mit der Umsetzung einer hochleistungsf\u00e4higen kompakten eingebetteten Schl\u00fcssel-Wert-Datenbank sowie der zugeh\u00f6rigen Bibliothek libfpta 0.3.9 (FPTA), die eine tabellarische Datenpr\u00e4sentation mit sekund\u00e4ren und zusammengesetzten Indizes \u00fcber MDBX realisiert, fand statt. Beide Bibliotheken werden unter OSI-akkreditierten Lizenzen vertrieben. Sie unterst\u00fctzen alle g\u00e4ngigen Betriebssysteme und Architekturen sowie den russischen Elbrus 2000. <\/p>\n
Historisch gesehen ist libmdbx eine umfassende \u00dcberarbeitung der Datenbank LMDB und \u00fcbertrifft ihren Vorg\u00e4nger in Bezug auf Zuverl\u00e4ssigkeit, Funktionalit\u00e4t und Leistung. Im Vergleich zu LMDB wird in libmdbx gro\u00dfer Wert auf Codequalit\u00e4t, stabile API-Arbeit, Tests und automatische Pr\u00fcfungen gelegt. Ein Tool zur \u00dcberpr\u00fcfung der Integrit\u00e4t der Datenbankstruktur mit einigen Wiederherstellungsfunktionen wird mitgeliefert. <\/p>\n
Technologisch bietet libmdbx ACID, strikte Serialisierung von \u00c4nderungen und nicht-blockierendes Lesen mit linearer Skalierung \u00fcber CPU-Kerne. Die Autocompactierung, die automatische Verwaltung der Datenbankgr\u00f6\u00dfe und die Sch\u00e4tzung des Volumens von Abfragen \u00fcber Bereiche (Range Query Estimation) werden unterst\u00fctzt. Seit 2016 wird das Projekt von der Firma Positive Technologies finanziert und wird seit 2017 in deren Produkten verwendet. <\/p>\n
F\u00fcr libmdbx wird ein C++ API angeboten, ebenso wie von Enthusiasten unterst\u00fctzte Bindings an die Sprachen Rust, Haskell, Python, NodeJS, Ruby, Go, Nim. F\u00fcr libfpta ist nur die Beschreibung des API in Form einer C\/C++ Header-Datei \u00f6ffentlich zug\u00e4nglich. <\/p>\n
Die wichtigsten Neuerungen, \u00dcberarbeitungen und Fehlerbehebungen, die nach der vorherigen Mitteilung vom 9. Mai hinzugef\u00fcgt wurden: <\/p>\n
\n
Es wurde die M\u00f6glichkeit von reproduzierbaren Builds sichergestellt.\n
Ein Fehler wurde behoben, aufgrund dessen in sehr seltenen Ausnahmef\u00e4llen w\u00e4hrend der Fixierung einer Transaktion eine Endlosschleife\/blockierung auftreten konnte. Das Problem wurde von den Spezialisten von Positive Technologies w\u00e4hrend interner Tests eigener Produkte identifiziert.\n
Die Tests wurden \u00fcberarbeitet und die Testszenarien zur \u00dcberpr\u00fcfung aller erreichbaren nicht-isomorphen Zust\u00e4nde des Seitenbaums und des GC-Inhalts innerhalb der Datenbank erweitert.\n
In der C++-API wurde das \u00fcberfl\u00fcssige «noexcept» entfernt, zus\u00e4tzliche \u00dcberladungen f\u00fcr die Methode «cursor::erase()» hinzugef\u00fcgt, und die Implementierung der Puffer wurde von der Verwendung von «std::string» befreit, um die Ausrichtung zu gew\u00e4hrleisten (dies ist relevant f\u00fcr die CLANG libstdc++).\n
Der R\u00fcckschritt im Algorithmus zum Spillen von schmutzigen Seiten (selektives Ersetzen ge\u00e4nderter DB-Seiten) wurde behoben, welcher sich durch den seltenen, unerwarteten Fehler MDBX_PROBLEM beim \u00c4ndern von Daten in riesigen Transaktionen \u00e4u\u00dferte.\n
Eine \u00dcberpr\u00fcfung durch Phasing wurde durchgef\u00fchrt, mit der Hinzuf\u00fcgung mehrerer Pr\u00fcfungen zur Gew\u00e4hrleistung der Stabilit\u00e4t bei absichtlicher Besch\u00e4digung der DB.\n
Weniger bedeutende Warnungen von UndefinedBehaviorSanitizer und Coverity Scan-Problemen wurden behoben.\n
Die \u00dcberpr\u00fcfung des veralteten und bereits nicht mehr verwendeten internen Flags «P_DIRTY» in eingebetteten Seiten innerhalb von DB-Images, die mit \u00e4lteren Versionen der Bibliothek erstellt wurden, wurde korrigiert.\n
In den CMake-Skripten wurde die Suche nach den f\u00fcr LTO (Linkzeitoptimierung) ben\u00f6tigten Compilerkomponenten verbessert.\n
Die maximale Anzahl gleichzeitiger Leser wurde auf 32767 erh\u00f6ht.\n
Die Leistung bei Verwendung von Valgrind und AddressSanitizer wurde verbessert.\n
Unter Windows wurde die rekursive Verwendung von SRW-Lock im MDBX_NOTLS-Modus (ohne Verwendung von Thread-Local Storage) beseitigt, die Generierung der Boot-ID bei \u00c4nderungen der Systemzeit wurde behoben, die Erkennung von WSL1 und WSL2 wurde verbessert, und es wurde die M\u00f6glichkeit hinzugef\u00fcgt, die DB auf Plan 9, die \u00fcber DrvFS bereitgestellt wird, zu \u00f6ffnen.\n
Insgesamt wurden mehr als 160 \u00c4nderungen in 57 Dateien vorgenommen, ~5000 Zeilen hinzugef\u00fcgt und ~2500 Zeilen entfernt. <\/ul>\n
Ein besonderer Dank gilt dem Team von Erigon (Ethereum-\u00d6kosystem) f\u00fcr die Unterst\u00fctzung bei Tests unter extremen Nutzungsszenarien. Auff\u00e4llig ist, dass in den f\u00fcnf Monaten seit der Ver\u00f6ffentlichung von libmdbx v0.10.0, bei einem DB-Volumen von 1-2 TB in jeder Erigon-Installation (verwendet auf 7% der Ethereum-Knoten), nur drei Meldungen \u00fcber DB-Besch\u00e4digungen eingegangen sind, alle aufgrund \u00e4u\u00dferer Ursachen und nicht aufgrund von Softwarefehlern: In zwei F\u00e4llen waren Speicherfehler die Ursache, im dritten Fall ein Fehler beim Zur\u00fccksetzen von Daten in einer speziellen Konfiguration des Speichersystems unter Verwendung von BTRFS. \n Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"