Rhyddhau injan storio TileDB 2.0

ΠžΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½ΠΎ storfa TileDB 2.0, wedi'i optimeiddio ar gyfer storio araeau aml-ddimensiwn a data a ddefnyddir mewn cyfrifiadau gwyddonol. Mae systemau amrywiol ar gyfer prosesu gwybodaeth enetig, data gofodol ac ariannol yn cael eu crybwyll fel meysydd cais ar gyfer TileDB, h.y. systemau gweithredu gwasgarog neu araeau amlddimensiwn wedi'u llenwi'n barhaus. Mae TileDB yn cynnig llyfrgell C ++ ar gyfer tynnu mynediad tryloyw at ddata a metadata mewn cymwysiadau, gan ofalu am yr holl waith lefel isel ar gyfer storio effeithlon. Mae cod y prosiect wedi'i ysgrifennu yn C++ a dosbarthu gan dan drwydded MIT. Yn cefnogi gwaith ar Linux, macOS a Windows.

Prif nodweddion TileDB:

  • Dulliau effeithlon ar gyfer storio araeau tenau, nad yw'r data ynddynt yn barhaus; mae'r arae wedi'i llenwi Γ’ darnau ac mae'r rhan fwyaf o'r elfennau'n aros yn wag neu'n cymryd yr un gwerth.
  • Y gallu i gael mynediad at ddata mewn fformat gwerth allweddol neu setiau colofn (Ffram Data);

    Rhyddhau injan storio TileDB 2.0

  • Yn cefnogi integreiddio Γ’ storio cwmwl AWS S3, Google Cloud Storage a Azure Blob Storage;
  • Cefnogaeth ar gyfer araeau teils (bloc);
  • Y gallu i ddefnyddio gwahanol algorithmau cywasgu ac amgryptio data;
  • Cefnogaeth ar gyfer gwirio cywirdeb gan ddefnyddio sieciau;
  • Gweithio mewn modd aml-edau gyda mewnbwn/allbwn cyfochrog;
  • Cefnogaeth ar gyfer fersiwn data storio, gan gynnwys ar gyfer adalw cyflwr ar adeg benodol yn y gorffennol neu ddiweddariadau atomig o setiau mawr cyfan.
  • Y gallu i gysylltu metadata;
  • Cefnogaeth ar gyfer grwpio data;
  • Modiwlau integreiddio i'w defnyddio fel injan storio lefel isel yn Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF a PrestoDB;
  • Llyfrgelloedd rhwymo ar gyfer yr API C ++ ar gyfer Python, R, Java a Go.

Mae Release 2.0 yn nodedig am ei gefnogaeth i'r cysyniad β€œDataFrame”, sy'n caniatΓ‘u i ddata gael ei storio ar ffurf colofnau o werthoedd o hyd mympwyol, wedi'u cysylltu Γ’ nodweddion penodol. Mae'r storfa hefyd wedi'i optimeiddio ar gyfer prosesu araeau gwasgaredig o feintiau heterogenaidd (gall celloedd storio data o wahanol fathau a gallant berfformio gweithrediadau uno ar golofnau o wahanol fathau, er enghraifft, y rhai sy'n storio enw, amser a phris). Ychwanegwyd cefnogaeth ar gyfer colofnau gyda data llinynnol. Ychwanegwyd modiwlau i'w hintegreiddio Γ’ Google Cloud Storage ac Azure Blob Storage. Mae'r API ar gyfer yr iaith R wedi'i ailgynllunio.

Ffynhonnell: opennet.ru

Ychwanegu sylw