Објавување на моторот за складирање TileDB 2.0

Опубликовано складиште TileDB 2.0, оптимизиран за складирање на повеќедимензионални низи и податоци кои се користат во научните пресметки. Како области на примена за TileDB се споменуваат различни системи за обработка на генетски информации, просторни и финансиски податоци, т.е. оперативни системи редок или континуирано пополнети повеќедимензионални низи. TileDB нуди C++ библиотека за транспарентно апстрахирање на пристап до податоци и метаподатоци во апликациите, грижејќи се за целата работа на ниско ниво за ефикасно складирање. Кодот на проектот е напишан во C++ и дистрибуирани од под лиценца МИТ. Поддржува работа на Linux, macOS и Windows.

Главни карактеристики на TileDB:

• Ефикасни методи за складирање на ретки низи, податоците во кои не се континуирани; низата се полни со фрагменти и повеќето елементи остануваат празни или ја земаат истата вредност.
• Способност за пристап до податоци во формат клуч-вредност или комплети колони (Рамка на податоци);
  

• Поддржува интеграција со складирање облак AWS S3, Google Cloud Storage и Azure Blob Storage;
• Поддршка за плочки (блок) низи;
• Способност за користење на различни алгоритми за компресија и шифрирање на податоци;
• Поддршка за проверка на интегритетот користејќи контролни суми;
• Работа во режим со повеќе нишки со паралелен влез/излез;
• Поддршка за верзии на складирани податоци, вклучително и за враќање на состојбата во одреден момент во минатото или атомски ажурирања на цели големи комплети.
• Способност за поврзување на метаподатоци;
• Поддршка за групирање на податоци;
• Модули за интеграција за употреба како мотор за складирање на ниско ниво во Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF и PrestoDB;
• Врзувачки библиотеки за C++ API за Python, R, Java и Go.

Изданието 2.0 е забележливо по поддршката за концептот „DataFrame“, кој овозможува складирање на податоците во форма на колони со вредности со произволна должина, врзани за одредени атрибути. Складирањето е исто така оптимизирано за обработка на ретки низи со хетерогени големини (клетките можат да складираат податоци од различни типови и можат да вршат операции за спојување на колони од различни типови, на пример, оние што складираат име, време и цена). Додадена е поддршка за колони со стринг податоци. Додадени се модули за интеграција со Google Cloud Storage и Azure Blob Storage. API за јазикот R е редизајниран.

Извор: opennet.ru