{"id":100127,"date":"2021-05-09T22:23:13","date_gmt":"2021-05-09T20:23:13","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10"},"modified":"2021-05-09T22:23:13","modified_gmt":"2021-05-09T20:23:13","slug":"vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/news\/vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10","title":{"rendered":"Publication de la base de donn\u00e9es embarqu\u00e9e haute performance libmdbx 0.10","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Apr\u00e8s trois mois de d\u00e9veloppement, la biblioth\u00e8que libmdbx 0.10.0 (MDBX) a \u00e9t\u00e9 publi\u00e9e, avec une impl\u00e9mentation d'une base de donn\u00e9es embarqu\u00e9e cl\u00e9-valeur compacte et haute performance. Le code de libmdbx est distribu\u00e9 sous la licence OpenLDAP Public License. libmdbx est une r\u00e9\u00e9criture approfondie de la base de donn\u00e9es LMDB et, selon les d\u00e9veloppeurs, surpasse son pr\u00e9d\u00e9cesseur en termes de fiabilit\u00e9, de fonctionnalit\u00e9s et de performance. Il est affirm\u00e9 que libmdbx est jusqu'\u00e0 20 % plus rapide que LMDB dans les sc\u00e9narios CRUD et jusqu'\u00e0 30 % plus rapide si le contr\u00f4le interne est d\u00e9sactiv\u00e9 lors de la compilation de libmdbx \u00e0 un niveau comparable \u00e0 celui de LMDB. <\/p>\n
Libmdbx propose ACID, une s\u00e9rialisation stricte des modifications et une lecture non bloquante avec une mise \u00e0 l'\u00e9chelle lin\u00e9aire sur les c\u0153urs CPU. Dans libmdbx, une grande attention est accord\u00e9e \u00e0 la qualit\u00e9 du code, \u00e0 la stabilit\u00e9 de l'API, aux tests et aux v\u00e9rifications automatiques. La compactification automatique, la gestion automatique de la taille de la base de donn\u00e9es et un format unique pour les versions 32 bits et 64 bits sont pris en charge, ainsi que l'estimation du volume d'\u00e9chantillons par intervalles (range query estimation). Un utilitaire de v\u00e9rification de l'int\u00e9grit\u00e9 de la structure de la base de donn\u00e9es est fourni, avec certaines capacit\u00e9s de r\u00e9cup\u00e9ration. Depuis 2016, le projet est financ\u00e9 par Positive Technologies et est utilis\u00e9 dans ses produits depuis 2017, et les sanctions impos\u00e9es par le gouvernement am\u00e9ricain contre Positive Technologies n'ont pas d'impact significatif. <\/p>\n
Principales innovations, am\u00e9liorations et corrections ajout\u00e9es depuis la derni\u00e8re publication : <\/p>\n
\n
Des liaisons pour Ruby par Mahlon E. Smith et une version d'essai des liaisons pour Python par Noel Kuntze sont disponibles, ainsi que des liaisons mises \u00e0 jour pour GoLang par Alexey Sharov.\n
Pour le mode \u00ab MDBX_WRITEMAP \u00bb, lorsque les donn\u00e9es de la base de donn\u00e9es sont modifi\u00e9es directement en RAM, un \u00ab d\u00e9bordement transparent \u00bb des pages de la base de donn\u00e9es modifi\u00e9es sur le disque a \u00e9t\u00e9 mis en \u0153uvre. Ainsi, apr\u00e8s la fin de chaque op\u00e9ration, ces pages sont imm\u00e9diatement pr\u00eates \u00e0 \u00eatre \u00e9crites sur le disque, et le noyau du syst\u00e8me d'exploitation peut lui-m\u00eame d\u00e9charger les pages modifi\u00e9es, sans que la validation de la transaction n\u00e9cessite leur modification. En cons\u00e9quence, dans des sc\u00e9narios charg\u00e9s avec un manque de RAM, le volume des op\u00e9rations sur disque peut \u00eatre r\u00e9duit jusqu'\u00e0 deux fois.\n
L'\u00e9limination des instantan\u00e9s d'anciennes pages modifi\u00e9es a \u00e9t\u00e9 mise en \u0153uvre, avec une pr\u00e9f\u00e9rence pour l'\u00e9limination des pages ayant de grandes longueurs de valeurs, qui dans la grande majorit\u00e9 des cas, ne changent qu'une seule fois par transaction. Cela r\u00e9duit le volume des \u00e9changes avec le disque et am\u00e9liore les performances dans des sc\u00e9narios avec de tr\u00e8s grandes transactions.\n
Un mode \u00ab intelligent \u00bb de s\u00e9paration des pages lors de l'insertion de cl\u00e9s a \u00e9t\u00e9 mis en place. D\u00e9sormais, lors de l'insertion de s\u00e9quences ordonn\u00e9es, le remplissage complet des pages est automatiquement garanti, et dans les autres cas, un meilleur \u00e9quilibrage de l'arbre est r\u00e9alis\u00e9. En cons\u00e9quence, en moyenne, les pages de la base de donn\u00e9es sont remplies de mani\u00e8re plus optimale, et l'arbre B est plus \u00e9quilibr\u00e9, ce qui am\u00e9liore les performances.\n
Des statistiques sur les op\u00e9rations des pages ont \u00e9t\u00e9 ajout\u00e9es, ce qui permet d'\u00e9valuer pr\u00e9cis\u00e9ment le co\u00fbt des op\u00e9rations de modification sur la base de donn\u00e9es.\n
Plus d'une dizaine de d\u00e9fauts et erreurs ont \u00e9t\u00e9 corrig\u00e9s, y compris : des probl\u00e8mes avec la compilation via MinGW, l'utilisation de `std::filesystem::path` sur iOS <= 13.0, compilation ciblant d'anciennes versions de Windows, etc.\n
Au total, plus de 200 modifications ont \u00e9t\u00e9 apport\u00e9es dans 66 fichiers, ajoutant environ 6500 lignes et en supprimant environ 4500. <\/ul>\n
Il convient de souligner que le projet Turbo-Geth (fork turbo de Go-Ethereum) a choisi libmdbx comme nouvelle solution de stockage, et de remercier l'\u00e9quipe du projet (en particulier Alexei Sharov, Artem Vorotnikov et Alexei Akhunov) pour leur aide pr\u00e9cieuse dans les tests dans des sc\u00e9narios d'utilisation extr\u00eames. En particulier, cela a permis de d\u00e9couvrir et de corriger un d\u00e9faut dans la gestion de la lecture anticip\u00e9e\/caching, qui entra\u00eenait une d\u00e9gradation des performances dans des sc\u00e9narios difficiles \u00e0 reproduire avec de grandes bases de donn\u00e9es. \n Source : opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"