מיני ראיון עם אולג אנסטסייב: סובלנות תקלות באפאצ'י קסנדרה

Odnoklassniki הוא המשתמש הגדול ביותר של Apache Cassandra ב-RuNet ואחד הגדולים בעולם. התחלנו להשתמש בקסנדרה ב-2010 לאחסון דירוגי תמונות, ועכשיו קסנדרה מנהלת פטה-בייט של נתונים באלפי צמתים, למעשה, אפילו פיתחנו משלנו מסד נתונים עסקה של NewSQL.
ב-12 בספטמבר במשרדנו בסנט פטרסבורג נקיים מפגש שני המוקדש לאפצ'י קסנדרה. הדובר הראשי של האירוע יהיה המהנדס הראשי של Odnoklassniki אולג אנסטסייב. אולג הוא מומחה בתחום של מערכות מבוזרות וסובלנות תקלות; הוא עובד עם קסנדרה כבר יותר מ-10 שנים ושוב ושוב דיבר על תכונות השימוש במוצר זה בכנסים.

ערב המפגש שוחחנו עם אולג על סבילות התקלות של מערכות מבוזרות עם קסנדרה, שאלנו על מה הוא ידבר במפגש ולמה כדאי להשתתף באירוע הזה.

אולג החל את קריירת התכנות שלו ב-1995. הוא פיתח תוכנות בבנקאות, טלקום ותחבורה. הוא עובד כמפתח מוביל ב- Odnoklassniki מאז 2007 בצוות הפלטפורמה. תחומי האחריות שלו כוללים פיתוח ארכיטקטורות ופתרונות למערכות עומס גבוה, מחסני נתונים גדולים ופתרון בעיות של ביצועים ואמינות פורטל. הוא גם מכשיר מפתחים בתוך החברה.

- אולג, שלום! בחודש מאי התקיים מפגש ראשון, המוקדש לאפצ'י קסנדרה, המשתתפים אומרים שהדיונים נמשכו עד שעות הלילה המאוחרות, אנא ספר לי, מה ההתרשמות שלך מהמפגש הראשון?

מפתחים עם רקע שונה מחברות שונות הגיעו עם כאב משלהם, פתרונות בלתי צפויים לבעיות וסיפורים מדהימים. הצלחנו לנהל את רוב המפגש במתכונת דיון, אבל היו כל כך הרבה דיונים שהצלחנו לגעת רק בשליש מהנושאים המתוכננים. הקדשנו תשומת לב רבה לאיך ומה אנחנו מפקחים באמצעות הדוגמה של שירותי הייצור האמיתיים שלנו.

התעניינתי ומאוד אהבתי.

- אם לשפוט לפי ההודעה, מפגש שני יוקדש כולו לסובלנות תקלות, מדוע בחרת בנושא זה?

Cassandra היא מערכת מבוזרת עמוסה טיפוסית עם כמות עצומה של פונקציונליות מעבר למתן שירות ישיר לבקשות משתמשים: רכילות, זיהוי כשלים, הפצת שינויים בסכימה, הרחבת/הפחתה של אשכולות, אנטי-אנטרופיה, גיבויים ושחזורים וכו'. כמו בכל מערכת מבוזרת, ככל שכמות החומרה עולה, הסבירות לתקלות עולה, כך שתפעול אשכולות הייצור של Cassandra דורשת הבנה עמוקה של המבנה שלה כדי לחזות התנהגות במקרה של כשלים ופעולות מפעיל. לאחר שימוש בקסנדרה במשך שנים רבות, אנחנו צברו מומחיות משמעותית, שאנו מוכנים לשתף, ואנחנו גם רוצים לדון כיצד עמיתים בחנות פותרים בעיות טיפוסיות.

- כשזה מגיע לקסנדרה, למה אתה מתכוון בסובלנות לתקלות?

קודם כל, כמובן, היכולת של המערכת לשרוד כשלי חומרה אופייניים: אובדן מכונות, דיסקים או קישוריות רשת עם צמתים/מרכזי נתונים. אבל הנושא עצמו הרבה יותר רחב ובפרט כולל התאוששות מתקלות, כולל כשלים שאנשים מוכנים אליהם רק לעתים רחוקות, למשל שגיאות מפעיל.

- האם אתה יכול לתת דוגמה לאשכול הנתונים הטעון והגדול ביותר?

אחד האשכולות הגדולים ביותר שלנו הוא אשכול המתנות: יותר מ-200 צמתים ומאות TB של נתונים. אבל זה לא הכי טעון, מכיוון שהוא מכוסה על ידי מטמון מבוזר. האשכולות העמוסים ביותר שלנו מטפלים בעשרות אלפי RPS לכתיבה ואלפי RPS לקריאה.

- וואו! כל כמה זמן משהו נשבר?

כן כל הזמן! בסך הכל, יש לנו יותר מ-6 שרתים, ומדי שבוע מוחלפים כמה שרתים וכמה עשרות דיסקים (מבלי לקחת בחשבון את התהליכים המקבילים של שדרוג והרחבה של צי המכונות). לכל סוג של תקלה ישנן הנחיות ברורות מה לעשות ובאיזה סדר, הכל אוטומטי בכל הזדמנות אפשרית, ולכן התקלות הן שגרתיות וב-99% מהמקרים מתרחשות ללא תשומת לב למשתמשים.

— איך מתמודדים עם סירובים כאלה?

כבר מתחילת הפעילות של קסנדרה והתקריות הראשונות, עבדנו על מנגנוני הגיבוי וההתאוששות מהם, בנינו נהלי פריסה שלוקחים בחשבון את מצב אשכולות קסנדרה ולדוגמא, אינם מאפשרים הפעלה מחדש של צמתים אם אובדן נתונים אפשרי. אנחנו מתכננים לדבר על כל זה במפגש.

- כפי שאמרת, אין מערכות אמינות לחלוטין. לאילו סוגי כשלים אתה מתכונן ומסוגל להתמודד?

אם נדבר על ההתקנות שלנו של אשכולות Cassandra, המשתמשים לא ישימו לב לכלום אם נאבד מספר מכונות ב-DC אחד או DC אחד שלם (זה קרה). עם הגידול במספר ה-DCs, אנחנו חושבים להתחיל להבטיח יכולת הפעלה במקרה של תקלה של שני DCs.

- מה לדעתך חסר לקסנדרה מבחינת סובלנות לתקלות?

קסנדרה, כמו חנויות NoSQL מוקדמות רבות אחרות, דורשת הבנה עמוקה של המבנה הפנימי שלה ושל התהליכים הדינמיים המתרחשים. הייתי אומר שאין בו פשטות, יכולת חיזוי וצפייה. אבל יהיה מעניין לשמוע את דעותיהם של משתתפי מפגש אחרים!

אולג, תודה רבה על שהקדשת מזמנך לענות על השאלות!

אנו מחכים לכל מי שרוצה לתקשר עם מומחים בתחום הפעלת Apache Cassandra במפגש ב-12 בספטמבר במשרדנו בסנט פטרסבורג.

בוא, יהיה מעניין!

הרשמה לאירוע.

מקור: www.habr.com