TileDB 2.0 salvestusmootorit on väljalaskealune

Avaldatud salvestus TileDB 2.0, optimeeritud mitmemõõtmeliste massiivide ja teaduslikes arvutustes kasutatavate andmete salvestamiseks. TileDB rakenduste valdkondade hulka kuuluvad erinevad geneetilise informatsiooni töötlemise, ruumiliste ja finantsandmete süsteemid, st süsteemid, mis käsitlevad haruldasi või pidevalt täidetavaid mitmemõõtmelisi massiive. TileDB pakub C++ teeki, mis võimaldab andmete ja metaandmete juurdepääsu sujuvat abstraktsioneerimist rakendustes, võttes enda kanda kogu madala taseme efektiivse salvestamise korraldamise. Projekti kood on kirjutatud C++ keeles ja levitatakse MIT litsentsi all. Töötab Linuxis, macOS-is ja Windowsis.

TileDB põhijooned:

• Efektiivsed haruldaste massiivide salvestamise meetodid, kus andmed ei ole pidevad, massiiv täidetakse fragmentidega ja suur osa elementidest jääb tühjaks või võtab sama väärtuse.
• Andmete juurdepääsu võimalus võtme-väärtuse formaadis või veergude komplektide kaudu (DataFrame);
  
• Toetab integratsiooni pilvesalvestusteenustega AWS S3, Google Cloud Storage ja Azure Blob Storage;
• Toetab mosaiikseid (plokk-) massiive;
• Andmete tihendamise ja krüpteerimise erinevate algoritmide kasutamise võimalus;
• Toetab kontrollsummade põhjal sisse registreeritud andmete terviklikkuse kontrollimist;
• Töötab mitme kiirusrežiimiga, jagades sisend-/väljundoperaatootori;
• Toetab salvestatud andmete versioonimist, sealhulgas kindlate seisundite väljatoomise võimalus minevikus või suurtel komplektidel atomaarsete uuenduste tegemine.
• Võimalus metaandmete sidumiseks;
• Toetab andmete grupeerimist;
• Integratsioonimoodulid madala taseme salvestusmootorina kasutamiseks Sparkis, Daskis, MariaDB-s, GDAL-is, PDAL-is, Rasterio-s, gVCF-is ja PrestoDB-s;
• Python, R, Java ja Go keele jaoks C++ API kohaliku teekide kasutamine.

Versioon 2.0 paistab silma „DataFrame“ kontseptsiooni toetamisega, mis võimaldab andmete salvestamist erineva pikkusega väärtuste veergudena, mis on seotud kindlate atribuutidega. Salvestus on ka optimeeritud mitmekesise suurusega haruldaste massiivide töötlemiseks (ristmestedes võivad olla andmed erinevate tüüpidega ja saab teostada veergude erinevat tüüpi ühendamise operatsioone, näiteks, kus on salvestatud nimi, aeg ja hind). Lisatud on toetamine stringi andmete veergude jaoks. Lisatud moodulid Google Cloud Storage’i ja Azure Blob Storage’i integreerimiseks. R-keele API on üle vaadatud.

Allikas: opennet.ru