{"id":101601,"date":"2021-10-11T22:22:40","date_gmt":"2021-10-11T20:22:40","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10-4-i-libfpta-0-3-9"},"modified":"2021-10-11T22:22:40","modified_gmt":"2021-10-11T20:22:40","slug":"vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10-4-i-libfpta-0-3-9","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/news\/vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10-4-i-libfpta-0-3-9","title":{"rendered":"Publication de la base de donn\u00e9es embarqu\u00e9e haute performance libmdbx 0.10.4 et libfpta 0.3.9.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
La sortie des biblioth\u00e8ques libmdbx 0.10.4 (MDBX) a eu lieu, offrant une base de donn\u00e9es embarqu\u00e9e compacte et hautes performances de type cl\u00e9-valeur, ainsi que la biblioth\u00e8que associ\u00e9e libfpta 0.3.9 (FPTA), qui propose une repr\u00e9sentation tabulaire des donn\u00e9es avec des index secondaires et composites au-dessus de MDBX. Les deux biblioth\u00e8ques sont distribu\u00e9es sous des licences approuv\u00e9es par l'OSI. Elles prennent en charge tous les syst\u00e8mes d'exploitation et architectures actuels, ainsi que l'Elbrus 2000 russe. <\/p>\n
Historiquement, libmdbx est une refonte approfondie de la SGBD LMDB et surpasse son pr\u00e9d\u00e9cesseur en termes de fiabilit\u00e9, de fonctionnalit\u00e9s et de performance. Compar\u00e9 \u00e0 LMDB, libmdbx accorde une attention particuli\u00e8re \u00e0 la qualit\u00e9 du code, \u00e0 la stabilit\u00e9 de l'API, aux tests et aux v\u00e9rifications automatiques. Un utilitaire de v\u00e9rification de l'int\u00e9grit\u00e9 de la structure de la base de donn\u00e9es est fourni, avec certaines possibilit\u00e9s de r\u00e9cup\u00e9ration. <\/p>\n
Technologiquement, libmdbx propose ACID, une s\u00e9rialisation stricte des modifications et une lecture non bloquante avec une \u00e9volutivit\u00e9 lin\u00e9aire en fonction des c\u0153urs de CPU. L'auto-compaction est prise en charge, ainsi que la gestion automatique de la taille de la base de donn\u00e9es et l'estimation des volumes de requ\u00eates par plage. Depuis 2016, le projet est financ\u00e9 par la soci\u00e9t\u00e9 Positive Technologies et est utilis\u00e9 dans ses produits depuis 2017. <\/p>\n
Pour libmdbx, une API C++ est propos\u00e9e, ainsi que des liaisons prises en charge par des passionn\u00e9s pour les langages Rust, Haskell, Python, NodeJS, Ruby, Go et Nim. Pour libfpta, seule une description de l'API est publiquement disponible sous forme de fichier d'en-t\u00eate C\/C++. <\/p>\n
Les principales nouveaut\u00e9s, modifications et corrections apport\u00e9es depuis la derni\u00e8re mise \u00e0 jour du 9 mai : <\/p>\n
\n
La possibilit\u00e9 de compilations reproductibles a \u00e9t\u00e9 assur\u00e9e.\n
Un bug a \u00e9t\u00e9 corrig\u00e9, qui pouvait entra\u00eener un blocage dans des circonstances tr\u00e8s rares lors de l'engagement d'une transaction. Ce probl\u00e8me a \u00e9t\u00e9 identifi\u00e9 par des sp\u00e9cialistes de Positive Technologies lors des tests internes de ses propres produits.\n
Les tests ont \u00e9t\u00e9 am\u00e9lior\u00e9s et les sc\u00e9narios de test \u00e9tendus pour v\u00e9rifier tous les \u00e9tats non isomorphiques atteignables de l'arbre de pages et le contenu du GC \u00e0 l'int\u00e9rieur de la base de donn\u00e9es.\n
Dans l'API C++, le \u00ab noexcept \u00bb superflu a \u00e9t\u00e9 corrig\u00e9, des surcharges suppl\u00e9mentaires pour la m\u00e9thode \u00ab cursor::erase() \u00bb ont \u00e9t\u00e9 ajout\u00e9es, et la mise en \u0153uvre des buffers a \u00e9t\u00e9 d\u00e9barrass\u00e9e de l'utilisation de \u00ab std::string \u00bb pour garantir l'alignement (pertinent pour CLANG libstdc++).\n
Un probl\u00e8me a \u00e9t\u00e9 r\u00e9solu dans l'algorithme de spillage des pages sales (\u00e9viction s\u00e9lective des pages modifi\u00e9es de la base de donn\u00e9es), qui se manifestait par une rare erreur inattendue MDBX_PROBLEM lors de la modification de donn\u00e9es dans d'\u00e9normes transactions.\n
Un contr\u00f4le de phase a \u00e9t\u00e9 effectu\u00e9 avec l\u2019ajout de plusieurs v\u00e9rifications pour assurer la stabilit\u00e9 lors des dommages intentionnels \u00e0 la base de donn\u00e9es.\n
Des avertissements mineurs d'UndefinedBehaviorSanitizer et des probl\u00e8mes de Coverity Scan ont \u00e9t\u00e9 supprim\u00e9s.\n
La v\u00e9rification du drapeau interne obsol\u00e8te et non utilis\u00e9 \u00ab P_DIRTY \u00bb dans les pages imbriqu\u00e9es au sein des images de la base de donn\u00e9es cr\u00e9\u00e9es par d'anciennes versions de la biblioth\u00e8que a \u00e9t\u00e9 corrig\u00e9e.\n
Les scripts CMake ont \u00e9t\u00e9 am\u00e9lior\u00e9s pour rechercher les composants du compilateur n\u00e9cessaires pour LTO (optimisation \u00e0 l'heure de la liaison).\n
Le nombre maximal de lecteurs simultan\u00e9s a \u00e9t\u00e9 augment\u00e9 \u00e0 32767.\n
Les performances ont \u00e9t\u00e9 acc\u00e9l\u00e9r\u00e9es lors de l'utilisation de Valgrind et d'AddressSanitizer.\n
Sous Windows, l'utilisation r\u00e9cursive du SRW-lock a \u00e9t\u00e9 \u00e9limin\u00e9e lors de l'ex\u00e9cution en mode MDBX_NOTLS (sans utilisation de stockage local pour les threads), la g\u00e9n\u00e9ration de bootid a \u00e9t\u00e9 corrig\u00e9e en cas de changement de l'heure syst\u00e8me, la d\u00e9tection de WSL1 et WSL2 a \u00e9t\u00e9 am\u00e9lior\u00e9e, et il est d\u00e9sormais possible d'ouvrir la base de donn\u00e9es sur Plan 9 mont\u00e9 via DrvFS.\n
Au total, plus de 160 modifications ont \u00e9t\u00e9 apport\u00e9es dans 57 fichiers, environ 5000 lignes ajout\u00e9es et environ 2500 lignes supprim\u00e9es. <\/ul>\n
Je tiens \u00e0 remercier sp\u00e9cialement l'\u00e9quipe du projet Erigon (\u00e9cosyst\u00e8me Ethereum) pour leur aide dans les tests en sc\u00e9narios d'utilisation extr\u00eames. Il est notable qu'en cinq mois depuis la sortie de libmdbx v0.10.0, avec un volume de base de donn\u00e9es de 1 \u00e0 2 To pour chaque installation Erigon (utilis\u00e9e sur 7 % des n\u0153uds Ethereum), seulement trois rapports de corruption de base de donn\u00e9es ont \u00e9t\u00e9 re\u00e7us, tous dus \u00e0 des causes externes et non \u00e0 des erreurs logicielles : dans deux cas, les pannes \u00e9taient caus\u00e9es par des d\u00e9faillances de la RAM et, dans le troisi\u00e8me, une erreur de remise \u00e0 z\u00e9ro des donn\u00e9es dans une configuration sp\u00e9cifique du sous-syst\u00e8me de stockage utilisant BTRFS. \n Source : opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"