שחרור של DBMS משובץ בעל ביצועים גבוהים libmdbx 0.10

לאחר שלושה חודשים של פיתוח, libmdbx 0.10.0 (MDBX) שוחרר, תוך הטמעת מסד נתונים משובץ מפתח-ערך בעל ביצועים גבוהים וקומפקטיים. הקוד libmdbx מורשה תחת הרישיון הציבורי של OpenLDAP. libmdbx הוא עיבוד מעמיק של ה-LMDB DBMS ולפי המפתחים, הוא עדיף על האב הקדמון שלו באמינות, בטווח היכולות והביצועים. נאמר כי libmdbx מהיר ב-20% מ-LMDB בתרחישי CRUD ועד 30% מהיר יותר אם הבקרות הפנימיות מושבתות בעת בניית libmdbx לרמה הדומה ל-LMDB.

Libmdbx מציע ACID, סידורי שינויים חזקים וקריאות לא חוסמות עם קנה מידה ליניארי על פני ליבות CPU. ב-libmdbx מוקדשת תשומת לב רבה לאיכות הקוד, פעולת API יציבה, בדיקות ובדיקות אוטומטיות. תמיכה אוטומטית בקומפקציה, ניהול גודל מסד נתונים אוטומטי, פורמט מסד נתונים יחיד למכלולים של 32 סיביות ו-64 סיביות, ואומדן שאילתות טווח. מסופק כלי עזר לבדיקת תקינות מבנה מסד הנתונים עם כמה יכולות שחזור. מאז 2016, הפרויקט ממומן על ידי Positive Technologies ומשמש במוצריה מאז 2017, ולסנקציות שהטילה ממשלת ארה"ב על Positive Technologies אין השפעה ניכרת.

חידושים, שיפורים ותיקונים מרכזיים שנוספו מאז המהדורה האחרונה:

• כריכת רובי מאת Mahlon E. Smith וגרסת ניסיון של כריכות Python מאת נואל קונץ זמינות, וכריכות GoLang מאת אלכסיי שרוב עודכנו.
• עבור מצב "MDBX_WRITEMAP", כאשר נתוני מסד הנתונים משתנים ישירות ב-RAM, מיושמת "הזליגה שקופה" של דפי מסד נתונים שהשתנו לדיסק. כעת, לאחר השלמת כל פעולה, דפים כאלה מוכנים מיידית לחלוטין לכתיבה לדיסק וקרנל מערכת ההפעלה יכולה לשטוף באופן עצמאי את הדפים שהשתנו לדיסק, וביצוע עסקה לא ידרוש שינוי שלהם. כתוצאה מכך, בתרחישים עמוסים עם זיכרון RAM לא מספיק, ניתן להפחית את נפח פעולות הדיסק עד פי 2.
• פינוי מיושם של עותקי צל שאינם בשימוש זמן רב של דפים שהשתנו, עם העדפה לפינוי של דפים בעלי ערכים גדולים/ארוכים, שברובם המוחלט של התרחישים משתנים רק פעם אחת בכל עסקה. התוצאה היא תעבורת דיסק מופחתת וביצועים משופרים בתרחישים עם עסקאות גדולות מאוד.
• מיושם מצב "חכם" להפרדת דפים בעת הכנסת מפתחות. כעת, בעת הכנסת רצפים מסודרים, הדפים מתמלאים באופן אוטומטי לחלוטין, ובמקרים אחרים, העץ מאוזן בצורה מיטבית יותר. כתוצאה מכך, בממוצע, דפי מסד הנתונים מתמלאים בצורה אופטימלית יותר ועץ ה-B מאוזן יותר, מה שמשפיע לטובה על הביצועים.
• נוספו סטטיסטיקות של פעולות עם דפים, המאפשרות להעריך במדויק את עלות שינוי הפעולות עם מסד הנתונים.
• יותר מתריסר באגים ובאגים תוקנו, כולל: בעיות בבנייה באמצעות MinGW, שימוש ב-`std::filesystem::path` ב-iOS <= 13.0, בנייה המיועדת לגרסאות ישנות יותר של Windows וכו'.
• בסך הכל, בוצעו יותר מ-200 שינויים ב-66 קבצים, נוספו ~6500 שורות, ~4500 נמחקו.

בנפרד, ברצוני לציין את הבחירה בפרויקט Turbo-Geth (מזלג טורבו של Go-Ethereum) libmdbx כגב אחסון חדש, וגם להודות לצוות הפרויקט (במיוחד אלכסיי שרוב, ארטיום וורוטניקוב ואלכסיי אחונוב) על שלהם. עזרה רבה בבדיקה בתרחישי שימוש קיצוניים. בפרט, התגלה ובוטל פגם בבקרת הקריאה קדימה/מטמון, מה שהוביל לירידה בביצועים בתרחישים קשים לשחזור עם מסדי נתונים גדולים.

מקור: OpenNet.ru