{"id":100127,"date":"2021-05-09T22:23:13","date_gmt":"2021-05-09T20:23:13","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10"},"modified":"2021-05-09T22:23:13","modified_gmt":"2021-05-09T20:23:13","slug":"vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/vypusk-vysokoproizvoditelnoj-vstraivaemoj-subd-libmdbx-0-10","title":{"rendered":"Lan\u00e7amento do banco de dados embutido de alto desempenho libmdbx 0.10","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Ap\u00f3s tr\u00eas meses de desenvolvimento, foi lan\u00e7ado a biblioteca libmdbx 0.10.0 (MDBX), implementando um banco de dados embutido de alto desempenho e compacto, do tipo chave-valor. O c\u00f3digo do libmdbx \u00e9 distribu\u00eddo sob a licen\u00e7a OpenLDAP Public License. O libmdbx \u00e9 uma reestrutura\u00e7\u00e3o profunda do SGBD LMDB e, segundo os desenvolvedores, supera seu antecessor em confiabilidade, recursos e desempenho. Alega-se que o libmdbx \u00e9 at\u00e9 20% mais r\u00e1pido que o LMDB em cen\u00e1rios CRUD e at\u00e9 30% mais r\u00e1pido caso o controle interno seja desativado durante a compila\u00e7\u00e3o, atingindo n\u00edveis compar\u00e1veis ao LMDB. <\/p>\n
O libmdbx oferece ACID, serializa\u00e7\u00e3o rigorosa de altera\u00e7\u00f5es e leitura n\u00e3o bloqueante com escalabilidade linear em n\u00facleos de CPU. No libmdbx, h\u00e1 um grande foco na qualidade do c\u00f3digo, estabilidade da API, testes e verifica\u00e7\u00f5es autom\u00e1ticas. Suporta autocompacta\u00e7\u00e3o, gerenciamento autom\u00e1tico do tamanho do banco de dados, um formato unificado de banco de dados para compila\u00e7\u00f5es de 32 e 64 bits, estimativa de volume de amostras por intervalos (range query estimation). Inclui uma ferramenta para verifica\u00e7\u00e3o de integridade da estrutura do banco de dados com algumas capacidades de recupera\u00e7\u00e3o. Desde 2016, o projeto \u00e9 financiado pela Positive Technologies e, desde 2017, utilizado em seus produtos, e as san\u00e7\u00f5es impostas pelo governo dos EUA contra a Positive Technologies n\u00e3o t\u00eam um impacto not\u00e1vel. <\/p>\n
Principais inova\u00e7\u00f5es, melhorias e corre\u00e7\u00f5es adicionadas ap\u00f3s o \u00faltimo lan\u00e7amento: <\/p>\n
\n
Est\u00e3o dispon\u00edveis as liga\u00e7\u00f5es para Ruby de Mahlon E. Smith e uma vers\u00e3o de teste das liga\u00e7\u00f5es para Python de Noel Kuntze, al\u00e9m das liga\u00e7\u00f5es atualizadas para GoLang de Alexey Sharov.\n
Para o modo \u00abMDBX_WRITEMAP\u00bb, onde os dados do banco de dados s\u00e3o alterados diretamente na RAM, foi implementado o \u00abvazamento transparente\u00bb para o disco das p\u00e1ginas modificadas do banco de dados. Agora, ap\u00f3s a conclus\u00e3o de cada opera\u00e7\u00e3o, essas p\u00e1ginas est\u00e3o imediatamente prontas para grava\u00e7\u00e3o no disco, e o n\u00facleo do sistema operacional pode descarregar as p\u00e1ginas modificadas no disco autonomamente, sem necessidade de modificar a confirma\u00e7\u00e3o da transa\u00e7\u00e3o. Como resultado, em cen\u00e1rios de alta carga com falta de RAM, o volume de opera\u00e7\u00f5es em disco pode ser reduzido em at\u00e9 2 vezes.\n
Foi implementada a remo\u00e7\u00e3o de c\u00f3pias sombra antigas de p\u00e1ginas alteradas, priorizando a remo\u00e7\u00e3o de p\u00e1ginas com valores grandes\/extensos, que na grande maioria dos cen\u00e1rios s\u00e3o alterados apenas uma vez por transa\u00e7\u00e3o. Isso reduz o volume de troca com o disco e aumenta o desempenho em cen\u00e1rios com transa\u00e7\u00f5es muito grandes.\n
Foi implementado o modo \u00abinteligente\u00bb de divis\u00e3o de p\u00e1ginas ao inserir chaves. Agora, ao inserir sequ\u00eancias ordenadas, garante-se automaticamente o preenchimento completo das p\u00e1ginas, enquanto em outros casos h\u00e1 uma balanceamento mais otimizado da \u00e1rvore. Como resultado, em m\u00e9dia, as p\u00e1ginas do banco de dados ficam mais otimizadas e a \u00e1rvore B se torna mais equilibrada, o que tem um efeito positivo sobre o desempenho.\n
Adicionada estat\u00edstica de opera\u00e7\u00f5es com p\u00e1ginas, permitindo uma avalia\u00e7\u00e3o precisa do custo das opera\u00e7\u00f5es de modifica\u00e7\u00e3o no banco de dados.\n
Eliminados mais de uma dezena de falhas e erros, incluindo: problemas resolvidos com a constru\u00e7\u00e3o usando MinGW, uso de `std::filesystem::path` em iOS <= 13.0, constru\u00e7\u00e3o visando vers\u00f5es mais antigas do Windows, etc.\n
No total, foram feitas mais de 200 altera\u00e7\u00f5es em 66 arquivos, adicionadas aproximadamente 6500 linhas e removidas cerca de 4500. <\/ul>\n
Vale destacar a escolha do projeto Turbo-Geth (fork turbo do Go-Ethereum) pela libmdbx como novo backend de armazenamento, al\u00e9m de agradecer \u00e0 equipe do projeto (especialmente Alexey Sharov, Artem Vorotnikov e Alexey Akhunov) pela grande ajuda nos testes em cen\u00e1rios extremos de uso. Em particular, um defeito na gest\u00e3o de leitura antecipada\/cache que causava a degrada\u00e7\u00e3o do desempenho em cen\u00e1rios complexos com grandes bancos de dados foi identificado e corrigido. \n Fonte: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"