고성능 임베디드 DBMS libmdbx 0.10.4, libfpta 0.3.9 출시

libmdbx 0.10.4(MDBX) 라이브러리는 고성능 컴팩트 임베디드 키-값 데이터베이스 구현과 함께 출시되었으며, 보조 및 복합 인덱스를 사용하여 데이터의 표 형식 표현을 구현하는 관련 libfpta 0.3.9(FPTA) 라이브러리가 출시되었습니다. MDBX 위에. 두 라이브러리 모두 OSI 승인 라이센스에 따라 배포됩니다. 현재의 모든 운영 체제와 아키텍처는 물론 Russian Elbrus 2000도 지원됩니다.

역사적으로 libmdbx는 LMDB DBMS를 심층적으로 재작업한 것이며 안정성, 기능 세트 및 성능 면에서 이전 버전보다 우수합니다. LMDB와 비교하여 libmdbx는 코드 품질, API 안정성, 테스트 및 자동화된 검사에 중점을 둡니다. 일부 복구 기능과 함께 데이터베이스 구조의 무결성을 검사하는 유틸리티가 제공됩니다.

기술 측면에서 libmdbx는 ACID, 강력한 변경 직렬화 및 CPU 코어 전체에 걸쳐 선형 확장을 통한 비차단 읽기를 제공합니다. 자동 압축, 자동 데이터베이스 크기 관리, 범위 쿼리 추정이 지원됩니다. 2016년부터 프로젝트는 Positive Technologies의 자금 지원을 받았으며 2017년부터 해당 프로젝트가 해당 제품에 사용되었습니다.

libmdbx는 C++ API뿐만 아니라 매니아가 지원하는 Rust, Haskell, Python, NodeJS, Ruby, Go 및 Nim용 언어 바인딩도 제공합니다. libfpta의 경우 API 설명만 C/C++ 헤더 파일 형식으로 공개적으로 제공됩니다.

9월 XNUMX일 이전 뉴스 이후 추가된 주요 혁신, 개선 및 수정 사항은 다음과 같습니다.

• 재현 가능한 빌드를 활성화합니다.
• 매우 드물게 트랜잭션 커밋 중에 루프/정지가 발생할 수 있는 버그를 수정했습니다. 이 문제는 Positive Tecnologies 전문가들이 자체 제품을 내부적으로 테스트하는 동안 확인되었습니다.
• 페이지 트리의 도달 가능한 모든 비동형 상태와 데이터베이스 내부의 GC 콘텐츠를 확인하도록 테스트가 개선되고 테스트 시나리오가 확장되었습니다.
• C++ API에서는 추가 "noException"이 수정되었고 "cursor::erase()" 메서드에 추가 오버로드가 추가되었으며 버퍼 구현에서 정렬을 보장하기 위해 "std::string" 사용이 생략되었습니다. (CLANG libstdc++와 관련됨)
• 대규모 트랜잭션에서 데이터를 변경할 때 드물게 예상치 못한 오류 MDBX_PROBLEM으로 나타나는 더티 페이지 유출 알고리즘(변경된 데이터베이스 페이지의 선택적 배출)의 회귀가 제거되었습니다.
• 데이터베이스에 의도적인 손상이 발생할 경우 안정성을 보장하기 위해 여러 가지 검사를 추가하여 단계적 테스트를 수행했습니다.
• 사소한 경고 UndefineBehaviorSanitizer 및 Coverity Scan 문제를 수정했습니다.
• 이전 버전의 라이브러리에서 생성된 데이터베이스 이미지 내의 중첩 페이지에서 오래되어 더 이상 사용되지 않는 내부 플래그 "P_DIRTY"를 확인하는 문제를 수정했습니다.
• CMake 스크립트에서 LTO(링크 타임 최적화)에 필요한 컴파일러 구성 요소 검색이 개선되었습니다.
• 최대 동시 독자 수가 32767명으로 늘어났습니다.
• Valgrind 및 AddressSanitizer 사용 시 성능이 향상되었습니다.
• Windows에서는 MDBX_NOTLS 모드(스레드 로컬 스토리지를 사용하지 않음)에서 작업할 때 SRW 잠금의 재귀 사용이 제거되었으며, 시스템 시간이 변경된 경우 bootid 생성이 수정되었으며, WSL1 및 WSL2 감지가 개선되었으며, DrvFS를 통해 마운트된 Plan 9에서 데이터베이스 열기가 추가되었습니다.
• 전체적으로 160개 파일에 57개 이상의 변경이 이루어졌으며 ~5000줄이 추가되었고 ~2500줄이 삭제되었습니다.

특히 극한 사용 시나리오 테스트에 도움을 준 Erigon 프로젝트 팀(Ethereum 생태계)에 감사의 말씀을 전하고 싶습니다. libmdbx v0.10.0이 출시된 이후 1개월 동안 각 Erigon 설치에서 데이터베이스 볼륨이 2-7TB(이더리움 노드의 XNUMX%에서 사용됨)인 경우 데이터베이스 손상에 대한 보고가 XNUMX건만 접수되었다는 점은 의미가 있습니다. 이는 소프트웨어 오류가 아닌 외부 이유로 인해 발생했습니다. 두 가지 경우 원인은 RAM 오류였고, 세 번째는 BTRFS를 사용하여 스토리지 하위 시스템의 특정 구성에서 데이터를 재설정하는 동안 발생한 오류였습니다.

출처 : opennet.ru