сховішча , аптымізаванае для захоўвання шматмерных масіваў і дадзеных, якія выкарыстоўваюцца ў навуковых разліках. У якасці абласцей ужывання TileDB згадваюцца розныя сістэмы апрацоўкі генетычнай інфармацыі, прасторавых і фінансавых дадзеных, г.зн. сістэмы аперуючыя ці бесперапынна запаўняюцца шматмернымі масівамі. TileDB прапануе З++ бібліятэку для празрыстага абстрагавання доступу да дадзеных і метададзеным у прыкладаннях, беручы на сябе ўсю працу па нізкаўзроўневай арганізацыі эфектыўнага захоўвання. Код праекту напісаны на мове З++ і пад ліцэнзіяй MIT. Падтрымліваецца праца ў Linux, macOS і Windows.
Асноўныя асаблівасці TileDB:
- Эфектыўныя метады захоўвання разрэджаных масіваў, дадзеныя ў якіх не вынікаюць бесперапынна, масіў запаўняецца фрагментамі і большая частка элементаў застаюцца пустымі або прымаюць адно і тое ж значэнне.
- Магчымасць доступу да дадзеных у фармаце ключ-значэнне або набораў слупкоў ();
- Падтрымка інтэграцыі з хмарнымі сховішчамі AWS S3, Google Cloud Storage і Azure Blob Storage;
- Падтрымка мазаічных (блочных) масіваў;
- Магчымасць выкарыстання розных алгарытмаў сціску і шыфраванні дадзеных;
- Падтрымка праверкі цэласнасці па кантрольных сумах;
- Праца ў шматструменным рэжыме з распаралельваннем уводу/высновы;
- Падтрымка версіявання захоўваемых дадзеных у тым ліку для выбаркі стану ў пэўны момант у мінулым ці атамарных абнаўленняў цалкам вялікіх набораў.
- Магчымасць прывязкі метададзеных;
- Падтрымка групоўкі даных;
- Модулі інтэграцыі для выкарыстання ў якасці нізкаўзроўневага рухавічка захоўвання ў Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF і PrestoDB;
- Бібліятэкі-абвязкі над C++ API для моў Python, R, Java і Go.
Выпуск 2.0 адметны падтрымкай канцэпцыі "DataFrame", якая дазваляе захоўваць дадзеныя ў форме слупкоў значэнняў адвольнай даўжыні, прывязаных да вызначаных атрыбутаў. Сховішча таксама аптымізавана для апрацоўкі разрэджаных масіваў разнастайнага памеру (у вочках могуць захоўваецца дадзеныя рознага тыпу і можна выконваць аперацыі зліцця слупкоў рознага тыпу, напрыклад, у якіх захоўваецца назоў, час і кошт). Дададзена падтрымка слупкоў са радковымі дадзенымі. Дададзеныя модулі для інтэграцыі з Google Cloud Storage і Azure Blob Storage. Перапрацаваны API для мовы R.
Крыніца: opennet.ru