Ngaleupaskeun mesin panyimpen TileDB 2.0

diterbitkeun Repository TileDB 2.0, dioptimalkeun pikeun nyimpen arrays multidimensional jeung data dipaké dina itungan ilmiah. Rupa-rupa sistem pikeun ngolah informasi genetik, data spasial jeung finansial disebutkeun salaku wewengkon aplikasi pikeun TileDB, i.e. sistem operasi jarang atawa terus ngeusi arrays multidimensional. TileDB nawiskeun perpustakaan C ++ pikeun aksés transparan kana data sareng metadata dina aplikasi, ngurus sadaya padamelan tingkat rendah pikeun neundeun efisien. Kode proyék ditulis dina C ++ jeung disebarkeun ku handapeun lisénsi MIT. Ngarojong karya dina Linux, macOS sareng Windows.

Fitur utama TileDB:

• Métode efisien pikeun nyimpen arrays jarang, data nu teu kontinyu; array ieu ngeusi fragmen jeung lolobana elemen tetep kosong atawa nyokot nilai sarua.
• Kamampuhan pikeun ngakses data dina format konci-nilai atawa susunan kolom (DataFrame);
  

• Ngarojong integrasi sareng panyimpenan awan AWS S3, Google Cloud Storage sareng Azure Blob Storage;
• Rojongan pikeun ubin (blok) arrays;
• Kamampuhan ngagunakeun komprési data sareng algoritma enkripsi anu béda;
• Rojongan pikeun mariksa integritas ngagunakeun checksums;
• Gawé dina modeu multi-threaded kalawan input / output paralel;
• Rojongan pikeun versioning data disimpen, kaasup pikeun retrieving kaayaan dina titik nu tangtu dina kaliwat atawa apdet atom tina sakabéh set badag.
• Kamampuhan pikeun numbu metadata;
• Rojongan pikeun ngagolongkeun data;
• Modul integrasi pikeun dianggo salaku mesin panyimpen tingkat rendah dina Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF sareng PrestoDB;
• Ngabeungkeut perpustakaan pikeun C ++ API pikeun Python, Urang Sunda, Java jeung Go.

Kaluaran 2.0 kasohor pikeun ngadukung konsép "DataFrame", anu ngamungkinkeun data disimpen dina bentuk kolom nilai panjangna sawenang-wenang, dihijikeun kana atribut anu tangtu. Panyimpenan ogé dioptimalkeun pikeun ngolah arrays jarang tina ukuran hétérogén (sél tiasa nyimpen data tina tipena béda sareng tiasa ngalakukeun operasi ngahiji dina kolom tina tipena béda, contona, nami nyimpen, waktos sareng harga). Ditambahkeun rojongan pikeun kolom kalawan data string. Ditambahkeun modul pikeun integrasi sareng Google Cloud Storage sareng Azure Blob Storage. API pikeun basa Sunda geus dirarancang deui.

sumber: opennet.ru