שחרור של DBMS מוטבע עם ביצועים גבוהים libmdbx 0.10.4 ו-libfpta 0.3.9

ספריות libmdbx 0.10.4 (MDBX) שוחררו עם יישום של מסד נתונים קומפקטי משובץ מפתח-ערך בעל ביצועים גבוהים, וספריית libfpta 0.3.9 (FPTA), המיישמת ייצוג טבלאי של נתונים עם אינדקסים משניים ומרוכבים על גבי MDBX. שתי הספריות מופצות תחת רישיונות מאושרים של OSI. כל מערכות ההפעלה והארכיטקטורות הנוכחיות נתמכות, כמו גם Elbrus 2000 הרוסי.

מבחינה היסטורית, libmdbx הוא עיבוד מעמיק של ה-LMDB DBMS והוא עדיף על האב הקדמון שלו באמינות, מערך תכונות וביצועים. בהשוואה ל-LMDB, libmdbx שמה דגש רב על איכות קוד, יציבות API, בדיקות ובדיקות אוטומטיות. מסופק כלי עזר לבדיקת תקינות מבנה מסד הנתונים עם כמה יכולות שחזור.

מבחינה טכנולוגית, libmdbx מציע ACID, סידורי שינויים חזקים וקריאות לא חוסמות עם קנה מידה ליניארי על פני ליבות המעבד. הקומפקציה אוטומטית, ניהול גודל מסד נתונים אוטומטי והערכת שאילתת טווח נתמכים. מאז 2016, פרויקטים ממומנים על ידי Positive Technologies ומאז 2017 משמשים במוצרים שלה.

libmdbx מציע C++ API, כמו גם כריכות שפה הנתמכות על ידי חובבים עבור Rust, Haskell, Python, NodeJS, Ruby, Go ו-Nim. עבור libfpta, רק תיאור ה-API זמין לציבור בצורה של קובץ כותרת C/C++.

חידושים, שיפורים ותיקונים מרכזיים שנוספו מאז החדשות הקודמות ב-9 במאי:

• מאפשר בנייה ניתנת לשחזור.
• תיקן באג שבגללו, בנסיבות נדירות מאוד, לולאה/הקפאה עלולה להתרחש במהלך ביצוע עסקה. הבעיה זוהתה על ידי מומחי Positive Tecnologies במהלך בדיקות פנימיות של המוצרים שלהם.
• הבדיקות שופרו ותרחישי הבדיקה הורחבו כדי לבדוק את כל המצבים הלא-איזמורפיים הנגישים של עץ העמודים ותוכן GC בתוך מסד הנתונים.
• ב-C++ API, תוקן "noexcept" נוסף, עומסים נוספים נוספו עבור שיטת "cursor::erase()", יישום מאגרים נחסך מהשימוש ב-"std::string" כדי להבטיח יישור (רלוונטי עבור CLANG libstdc++).
• נסיגה באלגוריתם שפיכת הדף המלוכלך (פליטה סלקטיבית של דפי מסד נתונים שהשתנו) שהתבטאה בשגיאה בלתי צפויה נדירה MDBX_PROBLEM בעת שינוי נתונים בעסקאות ענק בוטלה.
• בוצעה בדיקת פאזינג בתוספת מספר בדיקות להבטחת יציבות במקרה של פגיעה מכוונת במאגר הנתונים.
• תוקנו בעיות של אזהרות קלות UndefinedBehaviorSnitizer וסריקת Coverity.
• תוקן בדיקת הדגל הפנימי המיושן והלא בשימוש עוד "P_DIRTY" בדפים מקוננים בתוך תמונות מסד נתונים שנוצרו על ידי גרסאות ישנות יותר של הספרייה.
• בסקריפטים של CMake, החיפוש אחר רכיבי מהדר הנדרשים ל-LTO (אופטימיזציה בזמן קישור) שופר.
• המספר המרבי של קוראים בו-זמנית הוגדל ל-32767.
• ביצועים משופרים בעת שימוש ב-Valgrind ו-AddressSnitizer.
• ב-Windows, בוטל השימוש הרקורסי ב-SRW-lock בעת עבודה במצב MDBX_NOTLS (ללא שימוש באחסון מקומי של פתיל), יצירת אתחול תוקן אם זמן המערכת השתנה, זיהוי WSL1 ו-WSL2 שופר, והיכולת פתח מסד נתונים בתוכנית 9 המותקן באמצעות DrvFS נוסף.
• בסך הכל, בוצעו יותר מ-160 שינויים ב-57 קבצים, נוספו ~5000 שורות, ~2500 נמחקו.

אני רוצה להודות במיוחד לצוות הפרויקט של Erigon (Ethereum ecosystem) על הסיוע שלהם בבדיקה בתרחישי שימוש קיצוני. זה משמעותי שבחמישה חודשים מאז יציאת libmdbx v0.10.0, עם נפח מסד נתונים של 1-2 TB בכל התקנת Erigon (בשימוש ב-7% מצמתי Ethereum), התקבלו רק שלושה דיווחים על שחיתות במסד הנתונים, כולם שהתרחשה מסיבות חיצוניות, ולא שגיאות תוכנה: בשני מקרים הסיבה הייתה תקלות RAM, בשלישי שגיאה באיפוס נתונים בתצורה ספציפית של תת-מערכת האחסון באמצעות BTRFS.

מקור: OpenNet.ru