TileDB 2.0 saxlama mühərrikinin buraxılışı

Опубликовано depo TileDB 2.0, çoxölçülü massivləri və elmi hesablamalarda istifadə olunan məlumatları saxlamaq üçün optimallaşdırılmışdır. TileDB-nin tətbiq sahələri kimi genetik məlumatların, məkan və maliyyə məlumatlarının emalı üçün müxtəlif sistemlər qeyd olunur, yəni. əməliyyat sistemləri seyrək və ya davamlı olaraq doldurulmuş çoxölçülü massivlər. TileDB səmərəli saxlama üçün bütün aşağı səviyyəli işlərə diqqət yetirərək, tətbiqlərdə verilənlərə və metadatalara şəffaf şəkildə giriş əldə etmək üçün C++ kitabxanasını təklif edir. Layihə kodu C++ dilində yazılmışdır və yayılır MIT lisenziyası altında. Linux, macOS və Windows üzərində işi dəstəkləyir.

TileDB-nin əsas xüsusiyyətləri:

• Məlumatları davamlı olmayan seyrək massivləri saxlamaq üçün effektiv üsullar; massiv fraqmentlərlə doludur və elementlərin əksəriyyəti boş qalır və ya eyni dəyəri alır.
• Açar-dəyər formatında və ya sütun dəstlərində verilənlərə daxil olmaq imkanı (DataFrame);
  

• Bulud yaddaşı AWS S3, Google Cloud Storage və Azure Blob Storage ilə inteqrasiyanı dəstəkləyir;
• Kafel (blok) massivlərə dəstək;
• Müxtəlif məlumatların sıxılma və şifrələmə alqoritmlərindən istifadə etmək bacarığı;
• Yoxlama məbləğlərindən istifadə edərək bütövlüyün yoxlanılmasına dəstək;
• Paralel giriş/çıxış ilə çox yivli rejimdə işləmək;
• Keçmişdə müəyyən bir nöqtədə vəziyyətin bərpası və ya bütün böyük dəstlərin atomik yeniləmələri daxil olmaqla, saxlanılan məlumatların versiyalaşdırılması üçün dəstək.
• Metaməlumatları əlaqələndirmək imkanı;
• Məlumatların qruplaşdırılmasına dəstək;
• Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF və PrestoDB-də aşağı səviyyəli yaddaş mühərriki kimi istifadə üçün inteqrasiya modulları;
• Python, R, Java və Go üçün C++ API üçün məcburi kitabxanalar.

Release 2.0, verilənləri müəyyən atributlara bağlı ixtiyari uzunluqlu dəyərlər sütunları şəklində saxlamağa imkan verən “DataFrame” konsepsiyasını dəstəkləməsi ilə diqqət çəkir. Yaddaş eyni zamanda heterojen ölçülü seyrək massivlərin işlənməsi üçün optimallaşdırılmışdır (hüceyrələr müxtəlif növ məlumatları saxlaya bilər və müxtəlif növ sütunlarda birləşmə əməliyyatlarını yerinə yetirə bilər, məsələn, adı, vaxtı və qiyməti saxlayanlar). Sətir məlumatı olan sütunlar üçün əlavə dəstək. Google Cloud Storage və Azure Blob Storage ilə inteqrasiya üçün modullar əlavə edildi. R dili üçün API yenidən işlənib.

Mənbə: opennet.ru