ProHoster > blog > aħbarijiet fuq l-internet > Rilaxx tal-magna tal-ħażna TileDB 2.0

Rilaxx tal-magna tal-ħażna TileDB 2.0

Опубликовано repożitorju TileDB 2.0, ottimizzat għall-ħażna ta 'arrays multidimensjonali u data użata f'kalkoli xjentifiċi. Diversi sistemi għall-ipproċessar ta’ informazzjoni ġenetika, data spazjali u finanzjarja huma msemmija bħala oqsma ta’ applikazzjoni għal TileDB, i.e. sistemi operattivi skarsa jew arrays multidimensjonali mimlija kontinwament. TileDB joffri librerija C++ għall-astrazzjoni trasparenti tal-aċċess għad-dejta u l-metadejta fl-applikazzjonijiet, filwaqt li tieħu ħsieb ix-xogħol kollu ta 'livell baxx għal ħażna effiċjenti. Il-kodiċi tal-proġett huwa miktub f'C++ u imqassma minn taħt liċenzja MIT. Jappoġġja xogħol fuq Linux, macOS u Windows.

Karatteristiċi ewlenin ta' TileDB:

  • Metodi effiċjenti għall-ħażna ta 'arrays skars, li d-dejta tagħhom mhix kontinwa; il-firxa hija mimlija bi frammenti u ħafna mill-elementi jibqgħu vojta jew jieħdu l-istess valur.
  • Kapaċità li taċċessa dejta f'format ta' valur ewlieni jew settijiet ta' kolonni (DataFrame);

    Rilaxx tal-magna tal-ħażna TileDB 2.0

  • Jappoġġja l-integrazzjoni mal-ħażna tas-sħab AWS S3, Google Cloud Storage u Azure Blob Storage;
  • Appoġġ għall-madum (blokk) arrays;
  • Kapaċità li tuża algoritmi ta' kompressjoni u ta' kriptaġġ tad-dejta differenti;
  • Appoġġ għall-iċċekkjar tal-integrità bl-użu ta 'checksums;
  • Xogħol f'modalità multi-threaded b'input/output parallel;
  • Appoġġ għall-verżjoni tad-dejta maħżuna, inkluż għall-irkupru tal-istat f'ċertu punt fil-passat jew aġġornamenti atomiċi ta 'settijiet kbar sħaħ.
  • Kapaċità li torbot metadata;
  • Appoġġ għall-grupp tad-dejta;
  • Moduli ta 'integrazzjoni għall-użu bħala magna tal-ħażna ta' livell baxx fi Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF u PrestoDB;
  • Libreriji vinkolanti għall-API C++ għal Python, R, Java u Go.

Ir-Release 2.0 huwa notevoli għall-appoġġ tiegħu għall-kunċett "DataFrame", li jippermetti li d-dejta tinħażen fil-forma ta 'kolonni ta' valuri ta 'tul arbitrarju, marbuta ma' ċerti attributi. Il-ħażna hija wkoll ottimizzata għall-ipproċessar ta 'arrays skars ta' daqsijiet eteroġenji (ċelluli jistgħu jaħżnu data ta 'tipi differenti u jistgħu jwettqu operazzjonijiet ta' amalgamazzjoni fuq kolonni ta 'tipi differenti, pereżempju, dawk li jaħżnu l-isem, il-ħin u l-prezz). Appoġġ miżjud għall-kolonni b'data ta 'sekwenza. Moduli miżjuda għall-integrazzjoni ma' Google Cloud Storage u Azure Blob Storage. L-API għal-lingwa R ġiet imfassla mill-ġdid.

Sors: opennet.ru

Żid kumment