Rilis mesin panyimpenan TileDB 2.0

Diterbitake ing gudang TileDB 2.0, dioptimalake kanggo nyimpen array multidimensi lan data sing digunakake ing petungan ilmiah. Macem-macem sistem kanggo ngolah informasi genetik, data spasial lan finansial kasebut minangka area aplikasi kanggo TileDB, i.e. sistem operasi jarang utawa terus diisi array multidimensi. TileDB nawakake perpustakaan C ++ kanggo akses transparan menyang data lan metadata ing aplikasi, ngurus kabeh karya tingkat rendah kanggo panyimpenan sing efisien. Kode project ditulis ing C ++ lan disebarake dening ing lisensi MIT. Ndhukung karya ing Linux, macOS lan Windows.

Fitur utama TileDB:

  • Cara sing efisien kanggo nyimpen array sing jarang, data sing ora terus-terusan; array diisi fragmen lan umume unsur tetep kosong utawa njupuk nilai sing padha.
  • Kemampuan kanggo ngakses data ing format nilai kunci utawa set kolom (DataFrame);

    Rilis mesin panyimpenan TileDB 2.0

  • Ndhukung integrasi karo panyimpenan maya AWS S3, Google Cloud Storage lan Azure Blob Storage;
  • Dhukungan kanggo susunan jubin (blok);
  • Kemampuan kanggo nggunakake algoritma kompresi data lan enkripsi sing beda;
  • Dhukungan kanggo mriksa integritas nggunakake checksums;
  • Bisa ing mode multi-Utas kanthi input / output paralel;
  • Dhukungan kanggo versi data sing disimpen, kalebu kanggo njupuk negara ing titik tartamtu ing jaman kepungkur utawa nganyari atom kabeh set gedhe.
  • Kemampuan kanggo ngubungake metadata;
  • Dhukungan kanggo klompok data;
  • Modul integrasi kanggo digunakake minangka mesin panyimpenan tingkat rendah ing Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF lan PrestoDB;
  • Naleni perpustakaan kanggo C ++ API kanggo Python, R, Java lan Go.

Rilis 2.0 misuwur amarga dhukungan kanggo konsep "DataFrame", sing ngidini data disimpen ing bentuk kolom nilai-nilai kanthi dawa sewenang-wenang, diikat karo atribut tartamtu. Panyimpenan uga dioptimalake kanggo ngolah susunan jarang kanthi ukuran heterogen (sel bisa nyimpen data saka macem-macem jinis lan bisa nindakake operasi gabungan ing kolom saka macem-macem jinis, contone, sing nyimpen jeneng, wektu lan rega). Ditambahake dhukungan kanggo kolom kanthi data senar. Nambahake modul kanggo integrasi karo Google Cloud Storage lan Azure Blob Storage. API kanggo basa R wis didesain ulang.

Source: opennet.ru

Add a comment