مستودع ، مُحسّن لتخزين المصفوفات والبيانات متعددة الأبعاد المستخدمة في الحسابات العلمية. تم ذكر أنظمة مختلفة لمعالجة المعلومات الجينية والبيانات المكانية والمالية كمجالات تطبيق لـ TileDB، على سبيل المثال. أنظمة التشغيل أو مصفوفات متعددة الأبعاد مملوءة بشكل مستمر. يقدم TileDB مكتبة C++ لتجريد الوصول إلى البيانات والبيانات الوصفية في التطبيقات بشفافية، مع الاهتمام بجميع الأعمال ذات المستوى المنخفض من أجل تخزين فعال. كود المشروع مكتوب بلغة C++ و بموجب ترخيص معهد ماساتشوستس للتكنولوجيا. يدعم العمل على Linux وmacOS وWindows.
الميزات الرئيسية لبرنامج TileDB:
- طرق فعالة لتخزين المصفوفات المتفرقة، التي تكون البيانات فيها غير مستمرة؛ المصفوفة مليئة بالأجزاء وتبقى معظم العناصر فارغة أو تأخذ نفس القيمة.
- القدرة على الوصول إلى البيانات بتنسيق القيمة الرئيسية أو مجموعات الأعمدة ();
- يدعم التكامل مع التخزين السحابي AWS S3 وGoogle Cloud Storage وAzure Blob Storage؛
- دعم المصفوفات المتجانبة (الكتلة)؛
- القدرة على استخدام خوارزميات مختلفة لضغط البيانات وتشفيرها؛
- دعم التحقق من السلامة باستخدام المجاميع الاختبارية؛
- العمل في وضع متعدد الخيوط مع إدخال/إخراج متوازي؛
- دعم إصدار البيانات المخزنة، بما في ذلك استرداد الحالة عند نقطة معينة في الماضي أو التحديثات الذرية لمجموعات كبيرة بأكملها.
- القدرة على ربط البيانات الوصفية.
- دعم تجميع البيانات؛
- وحدات التكامل للاستخدام كمحرك تخزين منخفض المستوى في Spark وDask وMariaDB وGDAL وPDAL وRasterio وgVCF وPrestoDB؛
- مكتبات ملزمة لـ C++ API لـ Python وR وJava وGo.
يتميز الإصدار 2.0 بدعمه لمفهوم "DataFrame"، الذي يسمح بتخزين البيانات في شكل أعمدة ذات قيم ذات طول تعسفي، مرتبطة بسمات معينة. تم تحسين التخزين أيضًا لمعالجة المصفوفات المتفرقة ذات الأحجام غير المتجانسة (يمكن للخلايا تخزين بيانات من أنواع مختلفة ويمكنها إجراء عمليات دمج على أعمدة من أنواع مختلفة، على سبيل المثال، تلك التي تخزن الاسم والوقت والسعر). تمت إضافة دعم للأعمدة التي تحتوي على بيانات السلسلة. تمت إضافة وحدات للتكامل مع Google Cloud Storage وAzure Blob Storage. تمت إعادة تصميم واجهة برمجة التطبيقات للغة R.
المصدر: opennet.ru