לאחר חמש שנים של פיתוח, פורסם המועמד השני לגרסה של libmdbx 1.0

זמין לבדיקת המועמד השני לשחרור ספרייה libmdbx עם יישום של מסד נתונים משובץ קומפקטי בעל ביצועים גבוהים. הגרסה הנוכחית (0.5) היא מהדורה טכנית, מסמנת את השלמת כל שיפורים ואת המעבר לשלב של בדיקות סופיות וייצוב פומביות, עם היווצרותה של המהדורה המלאה הראשונה של הספרייה. קוד libmdbx מופץ על ידי מורשה תחת הרישיון הציבורי של OpenLDAP.

ספריית MDBX היא מזלג מעודכן באופן משמעותי LMDB - DBMS מוטבע טרנזקציות של מחלקת "מפתח-ערך" מבוסס על עץ B+ без רישום יזום, המאפשר לתהליכים מרובי הליכי לעבוד בצורה תחרותית ויעילה עם מסד נתונים משותף מקומי (לא רשת). בתורו, MDBX מהיר ואמין יותר מ-LMDB, ובו בזמן שומר על כל תכונות המפתח של האב הקדמון שלו, כגון ACID וקריאה לא חוסמת עם קנה מידה ליניארי על פני ליבות המעבד.

ההבדלים החשובים ביותר בין MDBX ל-LMDB:

• בעיקרון, תשומת לב רבה יותר מוקדשת לאיכות הקוד, לבדיקות ולבדיקות אוטומטיות.
• יותר שליטה משמעותית במהלך הפעולה, מבדיקת פרמטרים ועד ביקורת פנימית של מבני מסד נתונים.
• קומפקציה אוטומטית וניהול גודל מסד נתונים אוטומטי.
• פורמט מסד נתונים יחיד למכלולים של 32 סיביות ו-64 סיביות.
• אומדן נפחי דגימה לפי טווחים (הערכת שאילתת טווח).
• תמיכה במפתחות גדולים פי שניים מפנקייקים וגודל עמוד מסד נתונים לבחירת המשתמש.

המועמד לשחרור libmdbx הוא תוצאה של החלטה שהתקבלה באוגוסט 2019 להפריד בין פרויקטי MDBX ל-MithrilDB. במקביל, libmdbx החליטה לבטל את החוב הטכני המקסימלי (הרציונלי) ולייצב את הספרייה. למעשה, נעשה בכיוון המיועד פי 2-3 יותר ממה שהוערך ומתוכנן בתחילה:

• הוטמעה תמיכה ב-macOS ובפלטפורמות מהדרג השני: FreeBSD, Solaris, DragonFly BSD, OpenBSD, NetBSD. ניתן להוסיף תמיכה ב-AIX ו-HP-UX לפי הצורך.
• הקוד עבר חיטוי באמצעות Undefined Behavior Sanitizer ו-Address Sanitizer, כל האזהרות בעת בנייה עם "-Wpedantic", כל האזהרות של Coverity Static Analyzer וכו' בוטלו.
• עדכון תיאורי API.
• מיזוג (מיזוג) של קוד מקור להטמעה קלה.
• תמיכת CMake.
• תמיכה בעסקאות מקוננות.
• שימוש ב-bootid כדי לקבוע אם מערכת ההפעלה אותחלה (עצירה של מסד נתונים מלוכלך).
• ספירה מקצה לקצה של דפים מעודכנים/ישנים ופרטי עסקה מורחבים.
• אפשרות MDBX_ACCEDE לחיבור למסד נתונים שכבר פתוח במצב תואם.
• להשתמש חסימת OFD כשזמין.
• גיבוי חם בצינור.
• אלגוריתם מיון פנימי מותאם מיוחד (מהיר עד פי 2-3 מ-"qsort()" ועד 30% מהר יותר מ-"std::sort()").
• אורך המפתח המרבי הוגדל.
• שליטה אוטומטית בקריאה קדימה (אסטרטגיית אחסון קבצי מסד נתונים בזיכרון).
• קומפקציה אוטומטית אגרסיבית ומהירה יותר.
• אסטרטגיה אופטימלית יותר למיזוג דפי עץ B+.
• שליטה במערכות קבצים לא מקומיות (NFS, Samba וכו') כדי למנוע נזק למסד הנתונים אם נעשה שימוש לא נכון.
• מערך המבחנים הורחב.

פיתוח הגרסה "הבאה" של libmdbx ימשיך כפרויקט נפרד MithrilDB, בעוד וקטור הפיתוח של הגרסה ה"נוכחית" של MDBX מכוון להקפיא את מערך הפיצ'רים ולייצב אותו. החלטה זו התקבלה משלוש סיבות:

• לחלוטין לא תואם: MithrilDB דורש פורמט קובץ מסד נתונים שונה (לא תואם) וממשק API שונה (לא תואם) כדי ליישם את כל התכונות המתוכננות.
• קוד מקור חדש: קוד המקור MithrilDB קיבל רישיון עצמאי מ-LMDB, והפרויקט עצמו מתוכנן להתפרסם ברישיון אחר (באישור או אם רישיון Apache 2.0, לא OpenLDAP Public License).
• ההפרדה מונעת בלבול פוטנציאלי, מציגה יותר ודאות ומבטיחה דרך עצמאית לפרויקטים.

MithrilDB, כמו MDBX, מבוססת גם על עץ B+ ויציג גם ביצועים גבוהים במיוחד, תוך ביטול מספר חסרונות בסיסיים של MDBX ו-LMDB. בפרט, תבוטל בעיית "קריאה ארוכה", המתבטאת כ"נפיחות" של בסיס הנתונים בשל העובדה שעיבוד האשפה נחסם על ידי עסקאות קריאה ארוכות. תכונות MithrilDB חדשות כוללות:

• תמיכה בהצבת מסד הנתונים על מספר מדיה הטרוגנית: HDD, SSD וזיכרון לא נדיף.
• אסטרטגיות אופטימליות לנתונים "בעלי ערך" ו"ערך נמוך", לנתונים "חמים", "חמים" ו"קרים".
• שימוש בעץ Merkle לניטור שלמות מסד הנתונים.
• שימוש אופציונלי ב-WAL ושיפור משמעותי בביצועים בתרחישים עתירי כתיבה עם הבטחות שלמות נתונים.
• איסוף עצל בהעברת נתונים לדיסקים.

מקור: OpenNet.ru