Издание на движка за съхранение TileDB 2.0

Публикувано съхранение TileDB 2.0, оптимизирано за съхранение на многомерни масиви и данни, използвани в научни изчисления. Приложенията на TileDB включват различни системи за обработка на генетична информация, пространствени и финансови данни, т.е. системи, които обработват разредени или непрекъснато запълвани многомерни масиви. TileDB предлага C++ библиотека за прозрачно абстрахиране на достъпа до данни и метаданни в приложения, поемаща цялата работа по нискоуровневата организация на ефективното съхранение. Кодът на проекта е написан на C++ и се разпространява под лиценз MIT. Поддържа работа в Linux, macOS и Windows.

Основни характеристики на TileDB:

• Ефективни методи за съхранение на разредени масиви, при които данните не следват непрекъснато, масивът се запълва на фрагменти и голяма част от елементите остават празни или приемат една и съща стойност.
• Възможност за достъп до данни в формат ключ-стойност или набори от колони (DataFrame);
  
• Поддръжка на интеграция с облачни хранилища AWS S3, Google Cloud Storage и Azure Blob Storage;
• Поддръжка на мозаечни (блокови) масиви;
• Възможност за използване на различни алгоритми за компресия и шифроване на данни;
• Поддръжка на проверка на целостта чрез контрольни суми;
• Работа в многопоточен режим с паралелизиране на входа/изхода;
• Поддръжка на версиониране на съхранените данни, включително за избор на състояние в определен момент в миналото или атомарни актуализации на цели големи набори.
• Възможност за свързване на метаданни;
• Поддръжка на групиране на данни;
• Модули за интеграция, за да се използват като нискоуровневен двигател за съхранение в Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF и PrestoDB;
• Обвързващи библиотеки за C++ API за езици Python, R, Java и Go.

Версия 2.0 е забележителна с поддръжката на концепцията „DataFrame“, която позволява съхранение на данни под формата на колони от произволна дължина, свързани с определени атрибути. Хранилището е оптимизирано и за обработка на разредени масиви с различен размер (в клетките могат да се съхраняват данни от различен тип и е възможно извършване на операции по обединяване на колони с различен тип, например, които съдържат заглавие, време и цена). Добавена е поддръжка за колони с низови данни. Включени са модули за интеграция с Google Cloud Storage и Azure Blob Storage. Преработено е API-то за езика R.

Източник: opennet.ru