שחרור מנוע האחסון TileDB 2.0

Опубликовано מאגר TileDB 2.0, מותאם לאחסון מערכים ונתונים רב מימדיים המשמשים בחישובים מדעיים. מערכות שונות לעיבוד מידע גנטי, נתונים מרחביים ופיננסיים מוזכרות כתחומי יישום של TileDB, כלומר. מערכות הפעלה דליל או מערכים רב מימדיים מלאים ברציפות. TileDB מציעה ספריית C++ להפשטה שקופה של גישה לנתונים ומטא נתונים ביישומים, תוך טיפול בכל העבודה ברמה נמוכה לאחסון יעיל. קוד הפרויקט כתוב ב-C++ ו מופץ על ידי תחת רישיון MIT. תומך בעבודה על לינוקס, macOS ו-Windows.

תכונות עיקריות של TileDB:

• שיטות יעילות לאחסון מערכים דלילים, שהנתונים בהם אינם רציפים; המערך מלא בשברים ורוב האלמנטים נשארים ריקים או מקבלים אותו ערך.
• יכולת לגשת לנתונים בפורמט מפתח-ערך או ערכות עמודות (DataFrame);
  

• תומך באינטגרציה עם אחסון ענן AWS S3, Google Cloud Storage ו-Azure Blob Storage;
• תמיכה במערכי אריחים (בלוקים);
• יכולת להשתמש באלגוריתמים שונים של דחיסת נתונים והצפנה;
• תמיכה בבדיקת תקינות באמצעות סכומי ביקורת;
• עבודה במצב מרובה הליכי עם קלט/פלט מקבילים;
• תמיכה בניהול גרסאות של נתונים מאוחסנים, כולל לאחזור מצב בנקודה מסוימת בעבר או עדכונים אטומיים של סטים גדולים שלמים.
• יכולת לקשר מטא נתונים;
• תמיכה בקיבוץ נתונים;
• מודולי אינטגרציה לשימוש כמנוע אחסון ברמה נמוכה ב-Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF ו-PrestoDB;
• ספריות מחייבות עבור C++ API עבור Python, R, Java ו-Go.

מהדורה 2.0 בולטת בתמיכה שלה בקונספט "DataFrame", המאפשר לאחסן נתונים בצורה של עמודות של ערכים באורך שרירותי, הקשורים לתכונות מסוימות. האחסון מותאם גם לעיבוד מערכים דלילים בגדלים הטרוגניים (תאים יכולים לאחסן נתונים מסוגים שונים ויכולים לבצע פעולות מיזוג על עמודות מסוגים שונים, למשל, אלו המאחסנות שם, זמן ומחיר). נוספה תמיכה בעמודות עם נתוני מחרוזת. נוספו מודולים לשילוב עם Google Cloud Storage ו-Azure Blob Storage. ה-API עבור שפת R עוצב מחדש.

מקור: OpenNet.ru