פרויקט Dragonfly מפתח תחליף מהיר יותר עבור Redis ו-Memcached

המהדורה הראשונה של מערכת זיכרון המטמון של Dragonfly זמינה, המספקת תמיכה בפרוטוקולי Memcached ו-Redis, אך מאפשרת ביצוע שאילתות עם ביצועים גבוהים בהרבה וצריכת זיכרון פחותה. המערכת מבצעת מניפולציות בנתונים בפורמט מפתח/ערך ויכולה לשמש כפתרון קל משקל להאצת העבודה של אתרים בעלי עומס גבוה, שמירה במטמון של שאילתות איטיות ל-DBMS ונתוני ביניים ב-RAM. קוד Dragonfly כתוב ב-C/C++ ומופץ תחת ה-BSL (רישיון המקור העסקי).

רישיון BSL הוצע על ידי מייסדי MySQL כחלופה למודל Open Core. המהות של BSL היא שהקוד של פונקציונליות מתקדמת זמין בתחילה לשינוי, אך במשך זמן מה ניתן להשתמש בו ללא תשלום רק אם מתקיימים תנאים נוספים, המחייבים רכישת רישיון מסחרי כדי לעקוף. תנאי רישיון נוספים של פרויקט Dragonfly מחייבים את העברת הקוד לרישיון Apache 2.0 רק ב-1 ביוני 2027. עד למועד זה, הרישיון מאפשר שימוש בקוד רק כדי להבטיח את פעולת שירותיו ומוצריו, אך אוסר על שימוש ליצירת שירותי ענן בתשלום המשמשים כתוספת ל- Dragonfly.

על פי המפתחים והבדיקות המדגימות, Dragonfly טוענת שהיא מערכת אחסון הזיכרון המהירה ביותר. בהשוואה לרדיס, Dragonfly השיגה עלייה של פי 25 בביצועים והפחתה פי שלושה בצריכת הזיכרון בעומסי עבודה טיפוסיים. שרת Dragonfly אחד יכול לעבד מיליוני בקשות בשנייה, למשל, בסביבת Amazon EC2 c6gn.16xlarge ניתן היה להשיג ביצועים של 3.8 מיליון בקשות בשנייה.

בבדיקות לאחסון נתונים של 5 ג'יגה-בייט, Dragonfly דרש 30% פחות זיכרון מאשר Redis. בעת יצירת צילומי מצב עם הפקודה "bgsave", צריכת הזיכרון עולה, אך ברגעי השיא היא נשארת כמעט פי שלושה פחות מאשר ברדיס, ופעולת הקלטת תמונת המצב עצמה מהירה בהרבה (בבדיקה נכתבה תמונת מצב ב- Dragonfly ב-30 שניות, בעוד Redis - תוך 42 שניות).

ביצועים גבוהים מושגים הודות לארכיטקטורת ריבוי הליכי חיבור ללא שיתוף משאבים (shared-nothing), מה שאומר שלכל שרשור מוקצה מעבד נפרד נפרד עם מנת נתונים משלו, שעובד ללא מוטקסים ומנעולי ספין. כדי להבטיח אטומיות בעת עבודה עם מפתחות מרובים, נעשה שימוש במנעולי VLL קלים. כדי לאחסן מידע ביעילות בזיכרון, נעשה שימוש במבנה טבלת ה-dashtable, המיישמת סוג של טבלת hash מחולקת.

בין התכונות הזמינות במהדורה הראשונה, מצוינת תמיכה בפרוטוקול RESP2 ו-130 פקודות Redis, אשר תואמת בערך את הפונקציונליות של מהדורת Redis 2.8. בנוסף, Dragonfly תומך בכל פקודות ה-memcached מלבד CAS (check-and-set), מספק תמיכה בפעולות אסינכרוניות ליצירת צילומי מצב, מספק צריכת זיכרון צפויה, מספק מתורגמן מובנה Lua 5.4, ותומך בסוגי נתונים מורכבים כגון hashes, ערכות ורשימות (ZSET, HSET, LIST, SETS ו-STRING).

מצב מטמון זמין בנפרד, אשר מחליף אוטומטית נתונים ישנים בנתונים חדשים לאחר מיצוי הזיכרון הפנוי. ניתן לצרף לנתונים חיים שלמים שבמהלכם הנתונים נחשבים רלוונטיים. ניתן לשטוף את מצב האחסון לדיסק ברקע לשחזור מאוחר יותר לאחר הפעלה מחדש. לניהול המערכת מסופקת קונסולת HTTP (נקשרת ליציאת TCP 6379) וממשק API להחזרת מדדים, התואם ל-Prometheus. בגרסאות עתידיות, אנו מתכננים להרחיב את התמיכה בפקודות Redis וליישם את היכולת לשכפל אחסון כדי לספק סובלנות תקלות ואיזון עומסים.

מקור: OpenNet.ru