Издание на хранилището TileDB 2.0

Публикация хранилище TileDB 2.0, оптимизирано за съхранение на многомерни масиви и данни, използвани в научни изчисления. Като области на приложение за TileDB се споменават различни системи за обработка на генетична информация, пространствени и финансови данни, т.е. системи, които оперират разредени или непрекъснато запълвани многомерни масиви. TileDB предлага C++ библиотека за прозрачно абстрахиране на достъпа до данни и метаданни в приложения, поематки на всяка работа по нискоуровневата организация на ефективното съхранение. Кодът на проекта е написан на езика C++ и разпространява под лицензия MIT. Поддържа работа в Linux, macOS и Windows.

Основни характеристики на TileDB:

• Ефективни методи за съхранение на разредени масиви, данните в които не следват непрекъснато, масивът се запълва на части и по-голямата част от елементите остават празни или приемат едно и също значение.
• Възможност за достъп до данни във формат ключ-стойност или набори от колони (DataFrame);
  
• Поддръжка на интеграция с облачни хранилища AWS S3, Google Cloud Storage и Azure Blob Storage;
• Поддръжка на мозаечни (блочни) масиви;
• Възможност за използване на различни алгоритми за компресия и криптиране на данни;
• Поддръжка на проверка на целостта чрез контролни суми;
• Работа в многопоточен режим с паралелизиране на входа/изхода;
• Поддръжка на версия на съхранявани данни, включително за извличане на състояние в определен момент в миналото или атомарни обновления на цели големи набори.
• Възможност за привързване на метаданни;
• Поддръжка на групиране на данни;
• Интеграционни модули за използване като нискоуровневен двигател за съхранение в Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF и PrestoDB;
• Обвиващи библиотеки над C++ API за езици Python, R, Java и Go.

Издание 2.0 е забележително за поддръжката на концепцията „DataFrame“, която позволява съхранение на данни под формата на колони от стойности с произволна дължина, свързани с определени атрибути. Хранилището също е оптимизирано за обработка на разредени масиви с хетерогенен размер (в клетките могат да се съхраняват данни с различен тип и могат да се извършват операции за сливане на колони с различен тип, например, в които се съхраняват име, време и цена). Добавена е поддръжка за колони с низови данни. Добавени са модули за интеграция с Google Cloud Storage и Azure Blob Storage. API-то за езика R е преработено.

Източник: opennet.ru