Apache Cassandra 4.0 DBMS זמין

קרן תוכנת Apache הציגה את השחרור של ה-DBMS המבוזר Apache Cassandra 4.0, השייך למחלקת מערכות noSQL ונועד ליצור אחסון מדרגי ואמין ביותר של כמויות אדירות של נתונים המאוחסנים בצורה של מערך אסוציאטיבי (hash). המהדורה של Cassandra 4.0 נחשבת מוכנה ליישום ייצור וכבר נוסתה בתשתיות של אמזון, אפל, DataStax, Instaclustr, iland ו-Netflix עם אשכולות של יותר מ-1000 צמתים. קוד הפרויקט כתוב ב-Java ומופץ תחת רישיון Apache 2.0.

ה- Cassandra DBMS פותח במקור על ידי פייסבוק ובשנת 2009 הועבר בחסות קרן אפאצ'י. פתרונות תעשייתיים המבוססים על קסנדרה נפרסו לשירותי חשמל של חברות כמו אפל, אדובי, CERN, סיסקו, יבמ, HP, Comcast, דיסני, eBay, Huawei, Netflix, Sony, Rackspace, Reddit וטוויטר. לדוגמה, תשתית האחסון מבוססת Apache Cassandra שנפרסה על ידי אפל כוללת יותר מאלף אשכולות, כולל 160 אלף צמתים ואחסון של יותר מ-100 פטה-בייט של נתונים. Huawei משתמשת ביותר מ-300 אשכולות Apache Cassandra, הכוללים 30 אלף צמתים, ונטפליקס משתמשת ביותר מ-100 אשכולות, המכסים 10 אלף צמתים ומעבדים יותר מטריליון בקשות ביום.

ה- Cassandra DBMS משלב מערכת Hash מופצת מלאה של Dynamo, המספקת מדרגיות כמעט ליניארית ככל שנפח הנתונים גדל. Cassandra משתמשת במודל אחסון נתונים המבוסס על משפחת עמודים (ColumnFamily), השונה ממערכות כמו memcachedb, המאחסנות נתונים רק בשרשרת מפתח/ערך, ביכולת לארגן אחסון של hashes בכמה רמות של קינון. כדי לפשט את האינטראקציה עם מסד הנתונים, נתמכת שפת השאילתות המובנית CQL (Cassandra Query Language), שמזכירה את SQL, אך מופחתת בפונקציונליות. התכונות כוללות תמיכה במרחבי שמות ומשפחות עמודות, ויצירת אינדקסים באמצעות הביטוי "CREATE INDEX".

ה-DBMS מאפשר לך ליצור אחסון עמיד בפני כשלים: נתונים המוצבים במסד הנתונים משוכפלים אוטומטית למספר צמתים של רשת מבוזרת, שיכולים להשתרע על פני מרכזי נתונים שונים. כאשר צומת נכשל, הפונקציות שלו נקלטות תוך כדי תנועה על ידי צמתים אחרים. הוספת צמתים חדשים לאשכול ועדכון גרסת הקסנדרה נעשים תוך כדי תנועה, ללא התערבות ידנית נוספת או הגדרה מחדש של צמתים אחרים. מנהלי התקנים עם תמיכה ב-CQL מוכנים עבור Python, Java (JDBC/DBAPI2), Ruby, PHP, C++ ו-JavaScript (Node.js).

חידושים עיקריים:

• ביצועים משופרים ומדרגיות. היעילות של חילופי נתונים בפורמט SSTable (Sorted Strings Table) בין צמתים שופרה. פרוטוקול ההודעות של Internode עבר אופטימיזציה. מהירות העברת זרמי הנתונים בין צמתים גדלה עד פי 5 (בעיקר עקב השימוש בטכניקת Zero Copy והעברת SSTables שלמים), ותפוקת פעולות הקריאה והכתיבה גדלה ל-25%. תהליך ההתאוששות המצטבר עבר אופטימיזציה. השהיות עקב הפסקת איסוף האשפה מצטמצמות למספר אלפיות שניות.
• נוספה תמיכה ביומן ביקורת המאפשר לך לעקוב אחר פעולות אימות משתמשים וכל שאילתות CQL שבוצעו.
• נוספה את היכולת לשמור על יומן בקשות בינארי מלא, המאפשר לך לשמור את כל תעבורת הבקשות והתגובה. לניהול, הפקודות "nodetool enablefullquerylog|disablefullquerylog|resetfullquerylog" מוצעות, וכלי השירות fqltool מסופק לניתוח יומן. ניתנות פקודות להמרת היומן לצורה קריא (Dump), השוואת פרוסות פעילות (Compare) וביצוע מחדש (Replay) לצורך ניתוח לשחזור התנאים הגלומים בעומס האמיתי.
• נוספה תמיכה בטבלאות וירטואליות שלא משקפות נתונים המאוחסנים ב-SSTables, אלא פלט מידע דרך ה-API (מדדי ביצועים, מידע הגדרות, תוכן מטמון, מידע על לקוחות מחוברים וכו').
• היעילות של אחסון נתונים דחוס שופרה, תוך הפחתת צריכת שטח דיסק ושיפור ביצועי הקריאה.
• נתונים הקשורים למרחב המפתחות של המערכת (system.*) ממוקמים כעת בספרייה הראשונה כברירת מחדל במקום להיות מופצים על פני כל ספריות הנתונים, מה שמאפשר לצומת להישאר פעיל אם אחד מהדיסקים הנוספים נכשל.
• נוספה תמיכה ניסיונית עבור שכפול חולף וקוורום זול. העתקים זמניים אינם מאחסנים את כל הנתונים ומשתמשים בשחזור מצטבר כדי להיות עקביים עם העתקים מלאים. מניינים קלים מיישמים אופטימיזציה של כתיבה שבה לא מתבצעות כתיבה לעתקים זמניים עד שקבוצה מספקת של העתקים מלאים זמינה.
• נוספה תמיכה ניסיונית עבור Java 11.
• נוספה אפשרות ניסיונית להשוואת כל עצי מרקל. לדוגמה, הפעלת האפשרות באשכול בן 3 צמתים שבו שני העתקים זהים ואחד מיושן, תגרום לעדכון של העותק המעופש באמצעות פעולת העתקה אחת בלבד של העתק הנוכחי.
• נוספו פונקציות חדשות currentTimestamp, currentDate, currentTime ו-currentTimeUUID.
• נוספה תמיכה בפעולות אריתמטיות בשאילתות CQL.
• מסופקת היכולת לבצע פעולות אריתמטיות בין נתונים מסוגים "חותמת זמן"/"תאריך" ו"משך".
• נוסף מצב לתצוגה מקדימה של זרמי נתונים הנדרשים לשחזור (תיקון nodetool —תצוגה מקדימה) ויכולת לבדוק את תקינות הנתונים המשוחזרים (תיקון nodetool —validate).
• לשאילתות SELECT יש כעת את היכולת לעבד רכיבי Map ו-Set.
• נוספה תמיכה בהקבלה לשלב הבנייה הראשוני של תצוגות שהתממשו (cassandra.yaml:concurrent_materialized_view_builders).
• הפקודה "nodetool cfstats" הוסיפה תמיכה למיון לפי מדדים מסוימים והגבלת מספר השורות המוצגות.
• הגדרות מסופקות כדי להגביל את החיבור של המשתמש למרכזי נתונים מסוימים בלבד.
• נוספה היכולת להגביל את האינטנסיביות (מגבלת הקצב) של פעולות יצירת וסליקה של תמונת מצב.
• cqlsh ו-cqlshlib תומכים כעת ב-Python 3 (Python 2.7 עדיין נתמך).
• התמיכה בפלטפורמת Windows הופסקה. כדי להפעיל את Cassandra על Windows, מומלץ להשתמש בסביבות לינוקס שנוצרו על בסיס תת-מערכת WSL2 (Windows Subsystem for Linux 2) או מערכות וירטואליזציה.

מקור: OpenNet.ru