TileDB 2.0儲存引擎發布

Опубликовано 知識庫 TileDB 2.0,針對儲存多維數組和科學計算中使用的數據進行了最佳化。用於處理遺傳資訊、空間和財務資料的各種系統被認為是 TileDB 的應用領域,即作業系統 或連續填充的多維數組。 TileDB 提供了一個 C++ 函式庫,用於透明地抽象化對應用程式中的資料和元資料的訪問​​,同時負責組織高效儲存的所有低階工作。專案程式碼是用 C++ 寫的, 分發者 本作品採用 MIT 許可證。工作由以下機構支持: Linux, macOS и Windows.

TileDB 的主要特點:

  • 儲存稀疏數組的有效方法,其中資料不連續,數組以片段填充,並且大多數元素保持為空或取相同的值。
  • 能夠以鍵值或列集格式存取資料(數據框);

    TileDB 2.0儲存引擎發布
  • 支援與AWS S3、Google Cloud Storage和Azure Blob Storage雲端儲存整合;
  • 支援馬賽克(區塊)陣列;
  • 可以使用不同的資料壓縮和加密演算法;
  • 支援使用校驗和進行完整性檢查;
  • 以並行輸入/輸出的多執行緒模式工作;
  • 支援儲存資料的版本控制,包括檢索過去某個時間點的狀態或整個大型集合的原子更新。
  • 元資料綁定的可能性;
  • 支援數據分組;
  • 用於作為 Spark、Dask、MariaDB、GDAL、PDAL、Rasterio、gVCF 和 PrestoDB 中的低階儲存引擎所使用的整合模組;
  • Python、R、Java 和 Go 的 C++ API 包裝器。

2.0 版本顯著支援「DataFrame」概念,該概念允許以任意長度的列形式儲存數據,這些列的值與特定屬性綁定。儲存也針對處理異質大小的稀疏數組進行了最佳化(單元格可以存儲不同類型的數據,並且可以合併不同類型的列,例如,存儲名稱、時間和價格的列)。新增了對字串資料列的支援。新增了與 Google Cloud Storage 和 Azure Blob Storage 整合的模組。 R 語言的 API 也經過了重新設計。

來源: opennet.ru

為具有 DDoS 保護、VPS VDS 服務器的站點購買可靠的主機 🔥 購買具備 DDoS 防護的可靠網站寄存服務,包括 VPS 和 VDS 伺服器 | ProHoster