Пускане на TileDB 2.0 двигател за съхранение

Опубликовано хранилище TileDB 2.0, оптимизиран за съхраняване на многоизмерни масиви и данни, използвани в научни изчисления. Като области на приложение на TileDB се споменават различни системи за обработка на генетична информация, пространствени и финансови данни, т.е. операционна система рядък или непрекъснато запълнени многомерни масиви. TileDB предлага C++ библиотека за прозрачно абстрахиране на достъпа до данни и метаданни в приложенията, като се грижи за цялата работа на ниско ниво за ефективно съхранение. Кодът на проекта е написан на C++ и разпространява се от под лиценз на MIT. Поддържа работа на Linux, macOS и Windows.

Основни характеристики на TileDB:

• Ефективни методи за съхраняване на редки масиви, данните в които не са непрекъснати, масивът се запълва с фрагменти и повечето елементи остават празни или приемат една и съща стойност.
• Възможност за достъп до данни във формат ключ-стойност или набори от колони (DataFrame);
  

• Поддържа интеграция с облачно хранилище AWS S3, Google Cloud Storage и Azure Blob Storage;
• Поддръжка на плочки (блокови) масиви;
• Възможност за използване на различни алгоритми за компресиране и криптиране на данни;
• Поддръжка за проверка на целостта чрез контролни суми;
• Работа в многонишков режим с паралелен вход/изход;
• Поддръжка за създаване на версии на съхранени данни, включително за извличане на състояние в определен момент в миналото или атомни актуализации на цели големи набори.
• Възможност за свързване на метаданни;
• Поддръжка за групиране на данни;
• Интеграционни модули за използване като двигател за съхранение на ниско ниво в Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF и PrestoDB;
• Обвързващи библиотеки за C++ API за Python, R, Java и Go.

Версия 2.0 се отличава с поддръжката си на концепцията "DataFrame", която позволява данните да се съхраняват под формата на колони със стойности с произволна дължина, свързани с определени атрибути. Съхранението също е оптимизирано за обработка на редки масиви с разнородни размери (клетките могат да съхраняват данни от различни типове и могат да извършват операции по сливане на колони от различни типове, например тези, съхраняващи име, време и цена). Добавена е поддръжка за колони с низови данни. Добавени модули за интеграция с Google Cloud Storage и Azure Blob Storage. API за езика R е преработен.

Източник: opennet.ru