{"id":103864,"date":"2022-04-25T09:37:04","date_gmt":"2022-04-25T07:37:04","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/vypusk-subd-libmdbx-0-11-7-perenos-razrabotki-na-gitflic-posle-blokirovki-v-github"},"modified":"2022-04-25T09:37:04","modified_gmt":"2022-04-25T07:37:04","slug":"vypusk-subd-libmdbx-0-11-7-perenos-razrabotki-na-gitflic-posle-blokirovki-v-github","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/vypusk-subd-libmdbx-0-11-7-perenos-razrabotki-na-gitflic-posle-blokirovki-v-github","title":{"rendered":"Die Ver\u00f6ffentlichung von libmdbx 0.11.7. Der Transfer der Entwicklung zu GitFlic nach der Sperrung auf GitHub.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Die Bibliothek libmdbx 0.11.7 (MDBX) wurde ver\u00f6ffentlicht, die eine leistungsstarke, kompakte eingebettete Schl\u00fcssel-Wert-Datenbank implementiert. Der Code von libmdbx wird unter der OpenLDAP Public License ver\u00f6ffentlicht. Alle g\u00e4ngigen Betriebssysteme und Architekturen werden unterst\u00fctzt, einschlie\u00dflich des russischen Elbrus 2000. <\/p>\n
Die Ver\u00f6ffentlichung ist bemerkenswert, da das Projekt auf den Dienst GitFlic migriert wurde, nachdem die Verwaltung von GitHub am 15. April 2022 ohne Vorwarnung und ohne Erkl\u00e4rung der Gr\u00fcnde libmdbx zusammen mit einer Reihe anderer Projekte gel\u00f6scht hat, w\u00e4hrend gleichzeitig der Zugriff f\u00fcr viele Entwickler, die mit Unternehmen in Verbindung stehen, die von US-Sanktionen betroffen sind, gesperrt wurde. Aus Sicht der Nutzer verwandelten sich alle Seiten, das Repository und die Forks des Projekts pl\u00f6tzlich in eine «404»-Seite, ohne M\u00f6glichkeit zur Kommunikation oder Kl\u00e4rung der Gr\u00fcnde. <\/p>\n
Leider sind fast alle Issues verloren gegangen, in denen es viele Fragen mit detaillierten Antworten gab sowie zahlreiche Diskussionen. Der Verlust dieser Informationen stellt den einzigen objektiven Schaden dar, den die GitHub-Administration dem Projekt zugef\u00fcgt hat. Teilweise bleiben Kopien der Diskussionen im Archiv von archive.org verf\u00fcgbar. <\/p>\n
Der Verlust der aufgebauten CI-Szenarien und Infrastruktur (die f\u00fcr OpenSource-Projekte kostenlos zug\u00e4nglich war) hat dazu gef\u00fchrt, dass eine \u00dcberpr\u00fcfung, Vereinheitlichung und Beseitigung kleiner technischer Schulden erforderlich wurde. Derzeit ist CI fast wieder im urspr\u00fcnglichen Umfang hergestellt, mit Ausnahme der Builds und Testdurchl\u00e4ufe f\u00fcr alle BSD- und Solaris-Varianten. Bemerkenswert ist, dass nach den Ma\u00dfnahmen von GitHub keine Erkl\u00e4rungen oder Benachrichtigungen eingegangen sind, abgesehen von einer Erinnerung an die Notwendigkeit der Zahlung und Versuchen, Geld abzubuchen. <\/p>\n
Seit der letzten Nachricht \u00fcber die Ver\u00f6ffentlichung von libmdbx v0.11.3, neben der Wiederherstellung nach den Ma\u00dfnahmen von GitHub, sind die folgenden Verbesserungen und Korrekturen zu vermerken: <\/p>\n
\n
Ein Workaround f\u00fcr den festgestellten Incoherency-Effekt im gemeinsamen Seiten- und Puffer-Cache im Linux-Kernel wurde hinzugef\u00fcgt. In Systemen, in denen der Seiten- und Puffer-Cache tats\u00e4chlich zusammengef\u00fchrt wird, hat der Kernel keinen Sinn, Speicher f\u00fcr zwei Datenkopien bei der Schreibvorgang in eine bereits im Speicher angezeigte Datei zu verschwenden. Daher werden die beschriebenen Daten durch das Mapping im Speicher sichtbar, bevor der Systemaufruf write() abgeschlossen ist, selbst wenn die Daten noch nicht auf die Festplatte geschrieben wurden.\n
Insgesamt ist ein anderes Verhalten nicht effizient, da bei einer verz\u00f6gerten Zusammenf\u00fchrung dennoch Sperren f\u00fcr die Seitenlisten ergriffen, Daten kopiert oder PTE angepasst werden m\u00fcssen. Daher galt die stillschweigende Regel der Koh\u00e4renz seit 1989, als im SRV4 der unified buffer cache eingef\u00fchrt wurde. Die Entdeckung seltsamer St\u00f6rungen in stark belasteten Nutzungsszenarien von libmdbx erforderte viel Arbeit. Zuerst um das Problem zu reproduzieren, dann um Hypothesen zu verifizieren und die \u00c4nderungen zu \u00fcberpr\u00fcfen. <\/p>\n
Jetzt kann man mit Zuversicht sagen, dass das Problem eindeutig identifiziert, lokalisiert und zuverl\u00e4ssig behoben wurde, trotz der ganzen Komplexit\u00e4t und Spezifit\u00e4t des Reproduktionsszenarios. Zus\u00e4tzlich wurde die Funktion des Umgehungsmechanismus von einem der Entwickler von Erigon (Ethereum) best\u00e4tigt, bei dem der Schutz in einer Debug-Version durch eine \u00fcberfl\u00fcssige Assert-Pr\u00fcfung als Regression manifestierte. <\/p>\n
Es ist wichtig zu betonen, dass im Kontext der weit verbreiteten Verwendung von libmdbx in Arbeitsprojekten die Gew\u00e4hrleistung eines zuverl\u00e4ssigen Betriebs wesentlich wichtiger ist als die Kl\u00e4rung, ob es sich um einen «Fehler oder ein Merkmal» handelt und ob man auf diese Koh\u00e4renz vertrauen kann, geschweige denn die Ursachen f\u00fcr Inkoh\u00e4renz im Linux-Kernel zu suchen. Daher geht es hier um die Behebung eines Problems, das die Nutzer betreffen k\u00f6nnte. <\/p>\n
Der R\u00fcckschritt bei der Entstehung des Fehlers EXDEV (Cross-device link) wurde behoben, wenn eine Datenbank ohne Kompaktierung auf ein anderes Dateisystem kopiert wird, sowohl \u00fcber die API als auch mit dem Tool mdbx_copy.\n
Kris Zyp hat die Unterst\u00fctzung von libmdbx in Deno implementiert. Kai Wetlesen hat ein RPM-Paket f\u00fcr Fedora erstellt. David Bouyssi\u00e9 hat Bindungen f\u00fcr Scala implementiert.\n
Die Verarbeitung des Wertes, der durch die Option MDBX_opt_rp_augment_limit bei der Verarbeitung gro\u00dfer Transaktionen in umfangreichen Datenbanken festgelegt wird, wurde korrigiert. Zuvor konnten aufgrund eines Fehlers zus\u00e4tzliche Aktionen durchgef\u00fchrt werden, was manchmal die Leistung in Implementierungen von Ethereum (Erigon\/Akula\/Silkworm) und Projekten der Binance Chain beeintr\u00e4chtigte.\n
Eine Vielzahl von Fehlern, einschlie\u00dflich im C++-API, wurde behoben. Viele Probleme beim Kompilieren in seltenen und exotischen Konfigurationen wurden beseitigt. Eine vollst\u00e4ndige Liste aller bedeutenden Verbesserungen finden Sie im ChangeLog.\n
Insgesamt wurden 185 \u00c4nderungen in 89 Dateien vorgenommen, etwa 3300 Linien hinzugef\u00fcgt und etwa 4100 entfernt. Mehr wurde entfernt, haupts\u00e4chlich aufgrund der Bereinigung bereits nutzloser technischer Dateien im Zusammenhang mit GitHub und abh\u00e4ngigen Diensten. <\/ul>\n
Historisch gesehen ist libmdbx eine umfassende \u00dcberarbeitung der Datenbank LMDB und \u00fcbertrifft ihren Vorfahren in Bezug auf Zuverl\u00e4ssigkeit, Funktionsumfang und Leistung. Im Vergleich zu LMDB wird libmdbx ein gro\u00dfes Augenmerk auf die Codequalit\u00e4t, die stabile API-Arbeit, Tests und automatische Pr\u00fcfungen gelegt. Ein Dienstprogramm zur \u00dcberpr\u00fcfung der Integrit\u00e4t der Datenbankstruktur wird mit einigen Wiederherstellungsfunktionen bereitgestellt. <\/p>\n
Technologisch bietet libmdbx ACID, strikte Serialisierung von \u00c4nderungen und nicht blockierendes Lesen mit linearer Skalierung \u00fcber CPU-Kerne. Automatische Kompaktheit, automatische Datenbankgr\u00f6\u00dfenverwaltung und Sch\u00e4tzung der Abfragevolumina \u00fcber Bereiche (Range Query Estimation) werden unterst\u00fctzt. Seit 2016 wird das Projekt von Positive Technologies finanziert und ist seit 2017 Teil ihrer Produkte. <\/p>\n