TileDB 2.0 스토리지 엔진 출시

Опубликовано 저장소 타일DB 2.0, 과학적 계산에 사용되는 다차원 배열 및 데이터 저장에 최적화되었습니다. TileDB의 활용 분야로는 유전정보, 공간, 금융 데이터를 처리하는 다양한 시스템이 언급된다. 운영체제 부족한 또는 연속적으로 채워진 다차원 배열. TileDB는 애플리케이션의 데이터 및 메타데이터에 대한 액세스를 투명하게 추상화하고 효율적인 저장을 위해 모든 하위 수준 작업을 처리하는 C++ 라이브러리를 제공합니다. 프로젝트 코드는 C++로 작성되었으며 배포자 MIT 라이센스에 따라. Linux, macOS 및 Windows에서의 작업을 지원합니다.

TileDB의 주요 기능:

• 데이터가 연속적이지 않은 희소 배열을 저장하는 효율적인 방법입니다. 배열은 조각으로 채워지고 대부분의 요소는 비어 있거나 동일한 값을 갖습니다.
• 키-값 형식 또는 열 세트의 데이터에 액세스하는 기능(데이터 프레임);
  

• 클라우드 스토리지 AWS S3, Google Cloud Storage 및 Azure Blob Storage와의 통합을 지원합니다.
• 타일식(블록) 배열 지원
• 다양한 데이터 압축 및 암호화 알고리즘을 사용하는 능력
• 체크섬을 사용한 무결성 검사 지원
• 병렬 입력/출력을 사용하는 다중 스레드 모드에서 작업합니다.
• 과거 특정 시점의 상태 검색이나 전체 대규모 세트의 원자적 업데이트를 포함하여 저장된 데이터 버전 관리를 지원합니다.
• 메타데이터를 연결하는 기능
• 데이터 그룹화 지원
• Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF 및 PrestoDB에서 하위 수준 스토리지 엔진으로 사용하기 위한 통합 모듈
• Python, R, Java 및 Go용 C++ API용 바인딩 라이브러리입니다.

릴리스 2.0은 특정 속성에 연결된 임의 길이의 값 열 형식으로 데이터를 저장할 수 있는 "DataFrame" 개념을 지원하는 것으로 유명합니다. 스토리지는 또한 이기종 크기의 희소 배열을 처리하는 데 최적화되어 있습니다(셀은 다양한 유형의 데이터를 저장할 수 있고 이름, 시간 및 가격을 저장하는 열과 같은 다양한 유형의 열에 대해 병합 작업을 수행할 수 있음). 문자열 데이터가 있는 열에 대한 지원이 추가되었습니다. Google Cloud Storage 및 Azure Blob Storage와의 통합을 위한 모듈이 추가되었습니다. R 언어용 API가 재설계되었습니다.

출처 : opennet.ru