Yandex פתחה את הקוד עבור DBMS מבוזר YDB התומך ב-SQL

Yandex פרסמה את קוד המקור של ה-DBMS המבוזר YDB, המיישמת תמיכה בניב SQL ועסקאות ACID. ה-DBMS נוצר מאפס ופותח בתחילה במטרה להבטיח סובלנות תקלות, התאוששות אוטומטית מתקלות ומדרגיות. יצוין כי Yandex השיקה אשכולות YDB עובדים, הכוללים יותר מ-10 אלף צמתים, המאחסנים מאות פטה-בייט של נתונים ומשרתים מיליוני עסקאות מבוזרות בשנייה. YDB משמש בפרויקטים כאלה של Yandex כמו Market, Cloud, Smart Home, Alice, Metrica ו-Auto.ru. הקוד כתוב ב-C/C++ ומופץ תחת רישיון Apache 2.0. להכרות ולהשקה מהירה, אתה יכול להשתמש במיכל Docker מוכן.

תכונות הפרויקט:

• שימוש במודל נתונים יחסי עם טבלאות. עבור שאילתות והגדרת סכימת הנתונים, נעשה שימוש בשפת YQL (YDB Query Language), שהיא ניב של SQL המותאם לעבודה עם מסדי נתונים מבוזרים גדולים. בעת יצירת סכימת אחסון, נתמך קיבוץ טבלאות דמוי עץ, המזכיר ספריות במערכת קבצים. מסופק API לעבודה עם נתונים בפורמט JSON.
• תמיכה בגישה לנתונים באמצעות שאילתות סריקה המיועדות לביצוע שאילתות אד-הוק אנליטיות במסד הנתונים, המבוצעות במצב קריאה בלבד והחזרת זרם grpc.
• האינטראקציה עם ה-DBMS ושליחת הבקשות מתבצעת באמצעות ממשק שורת הפקודה, ממשק אינטרנט מובנה או YDB SDK, המספק ספריות עבור C++, C# (.NET), Go, Java, Node.js, PHP ו-Python.
• היכולת ליצור תצורות סבילות לתקלות שממשיכות לפעול כאשר דיסקים בודדים, צמתים, מתלים ואפילו מרכזי נתונים נכשלים. YDB תומכת בפריסה ובשכפול סינכרוני בשלושה אזורי זמינות, תוך שמירה על הפונקציונליות של האשכול במקרה של כשל של אחד האזורים.
• התאושש אוטומטית מתקלות עם זמן אחזור מינימלי עבור יישומים ושמור אוטומטית על יתירות נתונים שצוינה.
• יצירה אוטומטית של אינדקסים על בסיס המפתח הראשי ויכולת להגדיר אינדקסים משניים לשיפור יעילות הגישה לעמודות שרירותיות.
• מדרגיות אופקית. ככל שהעומס והגודל של הנתונים המאוחסנים גדלים, ניתן להרחיב את האשכול על ידי חיבור צמתים חדשים. שכבות המחשוב והאחסון מופרדות, מה שמאפשר לך להרחיב את כוח המחשוב וגודל האחסון בנפרד. ה-DBMS עצמו מנטר את ההפצה האחידה של הנתונים והעומס, תוך התחשבות במשאבי החומרה הזמינים. ניתן לפרוס תצורות מבוזרות גיאוגרפית המכסות מספר מרכזי נתונים בחלקים שונים של העולם.
• תומך במודל העקביות החזק ובטרנזקציות ACID בעת עיבוד שאילתות המשתרעות על פני מספר צמתים וטבלאות. כדי לשפר את הביצועים, אתה יכול להשבית באופן סלקטיבי את בדיקת העקביות.
• שכפול נתונים אוטומטי, חלוקה אוטומטית למחיצות (חלוקה, פיצול) כאשר הגודל או העומס גדלים, ואיזון עומס ונתונים אוטומטי בין צמתים.
• אחסון נתונים ישירות על התקני בלוק באמצעות רכיב PDisk מקורי ושכבת VDisk. DSProxy פועל על גבי VDisk, המנתח את מאפייני הזמינות והביצועים של דיסקים על מנת לבטל אותם אם מתגלות בעיות.
• ארכיטקטורה גמישה המאפשרת ליצור שירותים שונים על גבי YDB, כולל התקני בלוק וירטואלי ותורים מתמשכים. התאמה לסוגים שונים של עומסי עבודה, OLTP ו-OLAP (שאילתות אנליטיות).
• תמיכה בתצורות ריבוי דיירים וללא שרתים. אפשרות לאימות לקוח. משתמשים יכולים ליצור אשכולות ובסיסי נתונים וירטואליים שלהם בתשתית משותפת משותפת, תוך התחשבות בצריכת משאבים ברמת מספר הבקשות וגודל הנתונים, או על ידי השכרה/שימור משאבי מחשוב ושטח אחסון מסוימים.
• יכולת להגדיר את משך החיים של רשומות להסרה אוטומטית של נתונים מיושנים.

מקור: OpenNet.ru