מנוע אחסון HSE במקור פתוח של מיקרון מותאם ל-SSD

Micron Technology, חברת DRAM וזיכרון פלאש, מוצג מנוע אחסון חדש HSE (מנוע אחסון הטרוגני), תוכנן תוך התחשבות בפרטי השימוש בכונני SSD המבוססים על פלאש NAND (X100, TLC, QLC 3D NAND) או זיכרון קבוע (NVDIMM). המנוע מתוכנן כספרייה להטמעה באפליקציות אחרות ותומך בעיבוד נתונים בפורמט מפתח-ערך. קוד HSE כתוב ב-C ו מופץ על ידי מורשה תחת Apache 2.0.

בין תחומי היישום של המנוע מוזכר אחסון נתונים ברמה נמוכה ב-NoSQL DBMS, אחסון תוכנה (SDS, Software-Defined Storage) כמו Ceph ו-Scality RING, פלטפורמות לעיבוד כמויות גדולות של נתונים (Big Data) , מערכות מחשוב בעלות ביצועים גבוהים (HPC), התקני אינטרנט של דברים (IoT) ופתרונות למערכות למידת מכונה.

HSE מותאם לא רק לביצועים מקסימליים, אלא גם לאריכות ימים במגוון מחלקות SSD. מהירות פעולה גבוהה מושגת באמצעות מודל אחסון היברידי - הנתונים הרלוונטיים ביותר מאוחסנים בזיכרון RAM, מה שמפחית את מספר הגישה לכונן. כדוגמה לשילוב מנוע חדש בפרויקטים של צד שלישי מוּכָן גרסה של DBMS מונחה מסמכים MongoDB, שתורגמה לשימוש ב-HSE.

מבחינה טכנולוגית, HSE מסתמך על מודול ליבה נוסף mpool, המיישמת ממשק אחסון אובייקטים מיוחד עבור כונני מצב מוצק, תוך התחשבות ביכולות ובתכונות שלהם, המאפשר לך להשיג מאפייני ביצועים ועמידות שונים מהותית. Mpool היא גם פיתוח של Micron Technology, הפתוחה במקביל ל-HSE, אך מופרדת לפרויקט תשתית עצמאי. Mpool מניח את השימוש זיכרון מתמשך и מתקני אחסון אזוריים, אך כרגע תומך רק בכונני SSD מסורתיים.

בדיקת ביצועים באמצעות החבילה YCSB (Yahoo Cloud Serving Benchmark) הראה עלייה משמעותית בביצועים בעת שימוש באחסון של 2 TB עם עיבוד בלוקי נתונים של 1 KB. במבחן נצפית עליית ביצועים משמעותית במיוחד עם התפלגות אחידה של פעולות קריאה וכתיבה (מבחן "A" בגרף).

לדוגמה, MongoDB עם מנוע ה-HSE התברר כמהירות פי 8 מהגרסה עם מנוע ה-WiredTiger הסטנדרטי, וה-RocksDB DBMS היה מהיר יותר ממנוע HSE ביותר מפי 6. ביצועים מצוינים ניכרים גם במבחנים הכוללים 95% פעולות קריאה ו-5% שינוי או הוספה של פעולות (בדיקות "B" ו-"D" בתרשימים). מבחן C, הכולל רק פעולות קריאה, מראה רווח של כ-40%. הגידול בכושר השרידות של כונני SSD במהלך פעולות כתיבה בהשוואה לפתרון המבוסס על RocksDB מוערך בכפי 7.

תכונות עיקריות של HSE:

• תמיכה במפעילים סטנדרטיים ומורחבים לעיבוד נתונים בפורמט מפתח/ערך;
• תמיכה מלאה בעסקאות ועם יכולת לבודד פרוסות אחסון באמצעות יצירת תצלומים (ניתן להשתמש בצילומים גם לשמירה על אוספים עצמאיים באחסון אחד);
• יכולת להשתמש בסמנים כדי לעבור נתונים בתצוגות מבוססות תמונת מצב;
• מודל נתונים מותאם לסוגי עומס מעורבים באחסון יחיד;
• מנגנונים גמישים לניהול אמינות אחסון;
• סכימות תזמור נתונים הניתנות להתאמה אישית (הפצה על פני סוגים שונים של זיכרון הקיימים באחסון);
• ספרייה עם C API שיכולה לקשר באופן דינמי לכל יישום;
• יכולת קנה מידה לטרה-בייט של נתונים ומאות מיליארדי מפתחות באחסון;
• עיבוד יעיל של אלפי פעולות מקבילות;
• גידול משמעותי בתפוקה, חביון מופחת וביצועי כתיבה/קריאה מוגברים עבור סוגים שונים של עומס עבודה בהשוואה לפתרונות חלופיים סטנדרטיים;
• היכולת להשתמש בכונני SSD ממחלקות שונות באחסון אחד כדי לייעל את הביצועים והעמידות.

מקור: OpenNet.ru