DBMS libmdbx 0.11.7 릴리스. GitHub에서 잠금 후 GitFlic으로 개발 이동

libmdbx 0.11.7(MDBX) 라이브러리는 고성능 소형 임베디드 키-값 데이터베이스의 구현과 함께 출시되었습니다. libmdbx 코드는 OpenLDAP Public License에 따라 배포됩니다. 모든 현재 운영 체제 및 아키텍처는 물론 Russian Elbrus 2000이 지원됩니다.

이 릴리스는 GitHub 관리자가 경고나 설명 없이 15년 2022월 404일에 다른 여러 프로젝트와 함께 libmdbx를 제거한 후 프로젝트를 GitFlic 서비스로 마이그레이션한 것으로 유명합니다. 동시에 추락한 회사와 관련된 많은 개발자에 대한 액세스를 차단했습니다. 미국의 제재하에. 사용자의 관점에서 볼 때 프로젝트의 모든 페이지, 저장소 및 포크가 갑자기 "XNUMX" 페이지로 바뀌어 통신할 수 없고 이유를 찾을 수 없습니다.

불행히도 거의 모든 문제가 손실되었으며 자세한 답변이 포함된 많은 질문과 많은 토론이 있었습니다. 이 정보의 손실은 GitHub 관리가 프로젝트에 가한 유일한 객관적인 손상입니다. 토론의 일부 사본은 archive.org 아카이브에서 계속 사용할 수 있습니다.

내장된 CI 스크립트 및 인프라(OpenSource 프로젝트에 무료로 사용 가능)의 손실로 인해 약간의 기술적 부채를 수정, 통합 및 제거해야 했습니다. 이제 CI는 모든 BSD 및 Solaris 변형에 대한 빌드 및 테스트 실행을 제외하고 거의 동일한 정도로 복원되었습니다. 놀랍게도 GitHub의 조치 후에 지불의 필요성을 상기시키고 돈을 탕감하려는 시도를 제외하고는 어떠한 설명이나 알림도 수신되지 않았습니다.

libmdbx v0.11.3 릴리스에 대한 마지막 뉴스 이후 GitHub 작업에서 복구하는 것 외에도 다음 개선 사항 및 수정 사항에 주목할 가치가 있습니다.

• Linux 커널의 결합된 페이지 및 버퍼 캐시에서 감지된 비일관성 효과/결함에 대한 해결 방법을 추가했습니다. 페이지 캐시와 버퍼 캐시가 완전히 통합된 시스템에서 커널이 이미 메모리 매핑된 파일에 쓸 때 두 개의 데이터 복사본에 메모리를 낭비하는 것은 의미가 없습니다. 따라서 기록 중인 데이터는 데이터가 아직 디스크에 기록되지 않은 경우에도 write() 시스템 호출이 완료되기 전에 메모리 매핑을 통해 표시됩니다.

  전반적으로 다른 동작은 합리적이지 않습니다. 지연된 병합을 사용하면 여전히 페이지 목록에 대한 잠금을 잡고 데이터를 복사하거나 PTE를 조정해야 하기 때문입니다. 따라서 무언의 일관성 규칙은 통합 버퍼 캐시가 SRV1989에 등장한 4년부터 적용되었습니다. 따라서 바쁜 libmdbx 프로덕션 시나리오에서 이상한 오류를 찾는 데 많은 작업이 필요했습니다. 먼저 문제를 재현한 다음 가설을 검증하고 개선 사항을 확인합니다.

  이제 우리는 재생 시나리오의 복잡성과 특수성에도 불구하고 문제가 안정적으로 식별되고 현지화되었으며 안정적으로 제거되었다고 자신 있게 말할 수 있습니다. 또한 바이패스 메커니즘의 작업은 Erigon(Ethereum)의 개발자 중 한 명에 의해 확인되었으며, 그의 경우 디버그 빌드에서 추가 어설션 검사로 인해 보호가 회귀로 트리거되었습니다.

  작업 중인 프로젝트에서 libmdbx를 광범위하게 사용한다는 맥락에서 기본적으로 신뢰할 수 있는 작동을 보장하는 것이 더 중요하며 "이것이 버그인지 기능인지"와 그러한 일관성이 신뢰할 수 있는지 여부를 파악하는 것이 아니라는 점에 유의해야 합니다. , 특히 Linux 커널 내에서 불일치의 원인을 검색하지 않습니다. 따라서 여기서는 사용자에게 영향을 줄 수 있는 문제를 해결하는 방법에 대해 설명합니다.

• API와 mdbx_copy 유틸리티를 사용하여 다른 파일 시스템으로 압축하지 않고 데이터베이스를 핫 복사할 때 EXDEV(교차 장치 링크) 오류 회귀를 수정했습니다.
• Kris Zyp는 Deno에서 libmdbx에 대한 지원을 구현했습니다. Kai Wetlesen은 Fedora용 RPM을 패키징했습니다. David Bouyssié는 Scala용 바인딩을 구현했습니다.
• 대규모 데이터베이스에서 대용량 트랜잭션을 처리할 때 MDBX_opt_rp_augment_limit 옵션으로 설정된 값의 처리가 수정되었습니다. 이전에는 버그로 인해 불필요한 작업이 수행될 수 있었으며, 이는 때때로 이더리움 구현(Erigon/Akula/Silkworm) 및 바이낸스 체인 프로젝트의 성능에 영향을 미쳤습니다.
• C++ API를 포함하여 많은 버그가 수정되었습니다. 희귀하고 이국적인 구성에서 많은 빌드 문제를 수정했습니다. 모든 중요한 개선 사항의 전체 목록은 ChangeLog에서 확인할 수 있습니다.
• 185개 파일에 총 89개의 변경 사항이 적용되었으며 약 3300줄이 추가되었고 약 4100줄이 삭제되었습니다. GitHub 및 종속 서비스와 관련된 이미 쓸모 없는 기술 파일이 제거되어 더 많이 제거되었습니다.

역사적으로 libmdbx는 LMDB DBMS를 심층적으로 재설계했으며 안정성, 기능 세트 및 성능 측면에서 이전 제품을 능가합니다. LMDB와 비교하여 libmdbx는 코드 품질, API 안정성, 테스트 및 자동화된 검사에 중점을 둡니다. 데이터베이스 구조의 무결성을 검사하는 유틸리티는 일부 복구 옵션과 함께 제공됩니다.

기술적으로 libmdbx는 ACID, 엄격한 변경 직렬화 및 CPU 코어에서 선형 확장을 통한 비차단 읽기를 제공합니다. 자동 압축, 자동 데이터베이스 크기 관리 및 범위 쿼리 추정이 지원됩니다. 2016년부터 이 프로젝트는 Positive Technologies의 자금 지원을 받아 2017년부터 제품에 사용되었습니다.

libmdbx는 Rust, Haskell, Python, NodeJS, Ruby, Go, Nim, Deno, Scala에 대한 매니아 지원 바인딩뿐만 아니라 개발된 C++ API를 제공합니다.

출처 : opennet.ru