שחרור של DBMS libmdbx 0.11.7. העבר את הפיתוח ל-GitFlic לאחר הנעילה ב-GitHub

ספריית libmdbx 0.11.7 (MDBX) שוחררה עם יישום של מסד נתונים קומפקטי משובץ מפתח-ערך בעל ביצועים גבוהים. הקוד libmdbx מורשה תחת הרישיון הציבורי של OpenLDAP. כל מערכות ההפעלה והארכיטקטורות הנוכחיות נתמכות, כמו גם Elbrus 2000 הרוסי.

המהדורה בולטת במעבר של הפרויקט לשירות GitFlic לאחר שב-15 באפריל 2022, הנהלת GitHub, ללא כל אזהרה או הסבר, מחק את libmdbx יחד עם שורה של פרויקטים אחרים, תוך חסימת גישה למפתחים רבים הקשורים ל- חברות הכפופות לסנקציות אמריקאיות. מנקודת מבטם של המשתמשים, כל הדפים, המאגר והמזלגות של הפרויקט הפכו לפתע לעמוד 404, ללא אפשרות לתקשורת כלשהי ולברר את הסיבות.

למרבה הצער, כמעט כל הנושאים, בהם היו שאלות רבות עם תשובות מפורטות, כמו גם דיונים רבים, אבדו. אובדן המידע הזה הוא הנזק האובייקטיבי היחיד שהנהלת GitHub הצליחה לגרום לפרויקט. עותקים חלקיים של הדיונים נשארים זמינים ב-archive.org.

אובדן תרחישי CI ותשתית מובנים (זמינים עבור פרויקטי OpenSource בחינם) אילץ אותנו לבצע תיקון, איחוד וחיסול חובות טכניים קטנים. כעת CI שוחזר כמעט באותה מידה, למעט בדיקות הבנייה וההפעלה עבור כל גרסאות ה-BSD וה-Solaris. בדרך כלל, לאחר הפעולות, GitHub לא קיבלה כל הבהרות או הודעות, מלבד תזכורות על הצורך בתשלום וניסיונות למחוק כסף.

מאז החדשות האחרונות על שחרורו של libmdbx v0.11.3, בנוסף לשחזור מפעולות GitHub, כדאי לשים לב לשיפורים והתיקונים הבאים:

• נוסף פתרון לעקיפת הבעיה לאפקט/פגם של חוסר קוהרנטיות שזוהה במטמון המשולב של העמוד והמאגר בליבת לינוקס. במערכות שבהן מטמון העמוד והמאגר משולבים באמת, אין טעם שהקרנל מבזבז זיכרון עבור שני עותקים של נתונים בעת כתיבה לקובץ שכבר ממופה לזיכרון. לכן, הנתונים הנכתבים הופכים לגלויים באמצעות מיפוי זיכרון לפני שהקריאה למערכת write() מסתיימת, גם אם הנתונים עדיין לא נכתבו לדיסק.

  באופן כללי, התנהגות אחרת אינה רציונלית, מכיוון שעם מיזוג דחוי, עדיין תצטרך לרכוש מנעולים לרשימות דפים, להעתיק נתונים או להתאים PTE. לכן, כלל הקוהרנטיות הבלתי מדוברת בתוקף מאז 1989, כאשר מטמון המאגר המאוחד הופיע ב-SRV4. לכן, זיהוי קריסות מוזרות בתרחישי ניצול טעונים של libmdbx דרש עבודה רבה. תחילה לשחזר את הבעיה, אחר כך לאמת השערות ולבחון שיפורים.

  כעת אנו יכולים לומר בביטחון שהבעיה זוהתה בצורה מהימנה, מקומית ובוטלה בצורה מהימנה, למרות המורכבות והספציפיות של תרחיש ההתרבות. בנוסף, פעולת מנגנון העקיפה אושרה על ידי אחד מהמפתחים של Erigon (Ethereum); במקרה שלו, בבניית ניפוי הבאגים, ההגנה הופעלה כרגרסיה עקב בדיקת טענה מיותרת.

  יש לציין כי בהקשר של השימוש הנרחב ב-libmdbx בפרויקטי ייצור, הבטחת פעולה אמינה חשובה ביסודה מאשר להבין אם זה באג או תכונה והאם ניתן לסמוך על קוהרנטיות כזו, ופחות מכך חיפוש אחר גורמים לחוסר קוהרנטיות בתוך ליבת לינוקס. לכן, כאן אנחנו מדברים על תיקון בעיה שאולי השפיעה על משתמשים.

• הרגרסיה של שגיאת EXDEV (קישור חוצה-מכשיר) בעת העתקה חמה של מסד נתונים ללא דחיסה למערכת קבצים אחרת, הן דרך ה-API והן עם כלי השירות mdbx_copy, בוטלה.
• Kris Zyp הטמיע תמיכת libmdbx ב-Deno. קאי ווטלסן עיצב אריזות RPM עבור פדורה. דיוויד בויסי יישם כריכות עבור סקאלה.
• עיבוד קבוע של הערך שצוין על ידי אפשרות MDBX_opt_rp_augment_limit בעת עיבוד עסקאות ענק בבסיסי נתונים גדולים. בעבר, עקב שגיאה, יכלו להתבצע פעולות מיותרות, שלעתים השפיעו על הביצועים ביישומי Ethereum (Erigon/Akula/Silkworm) ו-Binance Chain.
• הרבה באגים תוקנו, כולל ב-C++ API. תיקן בעיות בנייה רבות בתצורות נדירות ואקזוטיות. רשימה מלאה של כל השיפורים המשמעותיים זמינה ב-ChangeLog.
• בסך הכל בוצעו 185 שינויים ב-89 קבצים, נוספו ≈3300 שורות, ≈4100 נמחקו. עוד הוסרו בעיקר עקב ניקוי קבצי טכנולוגיה חסרי תועלת ממילא הקשורים ל-GitHub ולשירותים התלויים.

מבחינה היסטורית, libmdbx הוא עיבוד מעמיק של ה-LMDB DBMS והוא עדיף על האב הקדמון שלו באמינות, מערך תכונות וביצועים. בהשוואה ל-LMDB, libmdbx שמה דגש רב על איכות קוד, יציבות API, בדיקות ובדיקות אוטומטיות. מסופק כלי עזר לבדיקת תקינות מבנה מסד הנתונים עם כמה יכולות שחזור.

מבחינה טכנולוגית, libmdbx מציע ACID, סידורי שינויים חזקים וקריאות לא חוסמות עם קנה מידה ליניארי על פני ליבות המעבד. הקומפקציה אוטומטית, ניהול גודל מסד נתונים אוטומטי והערכת שאילתת טווח נתמכים. מאז 2016, הפרויקט ממומן על ידי Positive Technologies ומשמש במוצריה מאז 2017.

libmdbx מציעה API מפותח של C++, כמו גם כריכות נתמכות על ידי חובבים לשפות Rust, Haskell, Python, NodeJS, Ruby, Go, Nim, Deno, Scala.

מקור: OpenNet.ru