WAL-G: תכונות חדשות והרחבת קהילה. גאורגי רילוב

אני מציע לך לקרוא את התמליל של הדו"ח של תחילת 2020 מאת ג'ורג'י רילוב "WAL-G: הזדמנויות חדשות והרחבת הקהילה"

מנהלי קוד פתוח מתמודדים עם אתגרים רבים כשהם גדלים. איך לכתוב עוד ועוד פיצ'רים נדרשים, לתקן עוד ועוד בעיות ולהצליח לראות עוד ועוד בקשות משיכה? באמצעות WAL-G (כלי גיבוי ל-PostgreSQL) כדוגמה, אספר לכם כיצד פתרנו את הבעיות הללו על ידי השקת קורס לפיתוח קוד פתוח באוניברסיטה, מה השגנו ולאן נעבור הלאה.

שלום שוב לכולם! אני מפתח Yandex מיקטרינבורג. והיום אדבר על WAL-G.

הכותרת של הדו"ח לא אמרה שזה משהו על גיבויים. מישהו יודע מה זה WAL-G? או שכולם יודעים? הרם את היד אם אתה לא יודע. חרא, הגעת לדוח ולא יודע על מה מדובר.

תן לי לספר לך מה יקרה היום. זה קורה שהצוות שלנו עושה גיבויים כבר די הרבה זמן. וזהו דוח נוסף בסדרה שבה אנו מדברים על האופן שבו אנו מאחסנים נתונים בצורה בטוחה, מאובטחת, נוחה ויעילה.

בסדרות קודמות היו דיווחים רבים של אנדריי בורודין ולדימיר לסקוב. היינו רבים מאיתנו. ואנחנו מדברים על WAL-G כבר שנים רבות.

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

הדו"ח הזה יהיה קצת שונה מהאחרים בכך שהוא היה יותר על החלק הטכני, אבל כאן אדבר על איך נתקלנו בבעיות הקשורות לצמיחת הקהילה. ואיך הגענו לרעיון קטן שעוזר לנו להתמודד עם זה.

לפני כמה שנים, WAL-G היה פרויקט קטן למדי שקיבלנו מ-Citus Data. ופשוט לקחנו את זה. וזה פותח על ידי אדם אחד.

ורק ל-WAL-G לא היה:

• גיבוי מעתק.
• לא היו גיבויים מצטברים.
• לא היו גיבויים של WAL-Delta.
• ועדיין היה חסר הרבה.

במהלך השנים הללו, WAL-G גדלה מאוד.

ועד שנת 2020, כל האמור לעיל כבר הופיע. ולזה התווסף מה שיש לנו עכשיו:

• יותר מ-1 כוכבים ב-GitHub.
• 150 מזלגות.
• כ-15 יחסי ציבור פתוחים.
• ועוד הרבה תורמים.
• ופותחים נושאים כל הזמן. וזאת למרות שאנחנו ממש הולכים לשם כל יום ועושים משהו בנידון.

והגענו למסקנה שהפרויקט הזה דורש יותר תשומת לב שלנו, גם כשאנחנו בעצמנו לא צריכים ליישם שום דבר עבור שירות מסדי הנתונים המנוהלים שלנו ב-Yandex.

ואי שם בסתיו 2018, עלה במוחנו רעיון. בדרך כלל לצוות יש כמה דרכים לפתח כמה תכונות או לתקן באגים אם אין לך מספיק ידיים. לדוגמה, אתה יכול לשכור מפתח אחר ולשלם לו כסף. או שאתה יכול לקחת מתמחה לזמן מה וגם לשלם לו משכורת כלשהי. אבל עדיין יש קבוצה די גדולה של אנשים, שחלקם כבר באמת יודעים לכתוב קוד. אתה פשוט לא תמיד יודע מה איכות הקוד.

חשבנו על זה והחלטנו לנסות למשוך תלמידים. אבל תלמידים לא ישתתפו איתנו בהכל. הם יעשו רק חלק מהעבודה. והם, למשל, יכתבו בדיקות, יתקנו באגים, יישמו תכונות שלא משפיעות על הפונקציונליות העיקרית. הפונקציונליות העיקרית היא יצירת גיבויים ושחזור גיבויים. אם נעשה טעות ביצירת גיבוי, נחווה אובדן נתונים. ואף אחד לא רוצה את זה, כמובן. כולם רוצים שהכל יהיה מאוד בטוח. לכן, כמובן, אנחנו לא רוצים לתת לקוד שאנחנו סומכים עליו פחות משלנו. כלומר, כל קוד לא קריטי הוא מה שהיינו רוצים לקבל מהעובדים הנוספים שלנו.

באילו תנאים מתקבלים יחסי ציבור לסטודנטים?

• הם נדרשים לכסות את הקוד שלהם בבדיקות. הכל צריך להתרחש ב-CI.
• ואנחנו גם עוברים על 2 ביקורות. אחד של אנדריי בורודין ואחד שלי.
• ובנוסף, כדי לבדוק שזה לא ישבור כלום בשירות שלנו, אני מעלה בנפרד את האסיפה עם ה-commit הזה. ואנחנו בודקים במבחנים מקצה לקצה ששום דבר לא נכשל.

קורס מיוחד בנושא קוד פתוח

קצת על למה זה נחוץ ולמה זה, נראה לי, רעיון מגניב.

עבורנו, הרווח ברור:

• אנחנו מקבלים ידיים נוספות.
• ואנו מחפשים מועמדים לצוות בקרב תלמידים חכמים שכותבים קוד חכם.

מה היתרון לסטודנטים?

הם עשויים להיות פחות ברורים, כי תלמידים, לכל הפחות, לא מקבלים כסף עבור הקוד שהם כותבים, אלא רק מקבלים ציונים עבור רישומי התלמידים שלהם.

שאלתי אותם על זה. ובדבריהם:

• ניסיון של תורם בקוד פתוח.
• קבל שורה בקורות החיים שלך.
• הוכח את עצמך והעבר ראיון ב- Yandex.
• הפוך לחבר GSoC.
• +1 קורס מיוחד למי שרוצה לכתוב קוד.

אני לא אדבר על איך בנוי הקורס. אני רק אגיד ש-WAL-G היה הפרויקט העיקרי. כללנו גם פרויקטים כמו Odyssey, PostgreSQL ו-ClickHouse בקורס זה.

והם נתנו בעיות לא רק בקורס הזה, אלא גם חילקו תעודות ועבודות קורסים.

מה לגבי התועלת למשתמשים?

עכשיו בואו נעבור לחלק שהכי מעניין אתכם. מה זה עוזר לך? הנקודה היא שהתלמידים תיקנו הרבה באגים. ועשינו את תכונות הבקשה שביקשת מאיתנו לעשות.

ותן לי לספר לך על הדברים שרצית מזמן ואשר התגשמו.

תמיכה במרחבי שולחנות. מרחבי טבלאות ב-WAL-G צפויים כנראה מאז יציאתו של WAL-G, מכיוון ש-WAL-G הוא היורש של כלי גיבוי אחר WAL-E, שבו נתמכו גיבויים של מסדי נתונים עם מרחבי טבלאות.

הרשו לי להזכיר לכם בקצרה מה זה ולמה כל זה נחוץ. בדרך כלל, כל נתוני Postgres שלך תופסים ספרייה אחת במערכת הקבצים, הנקראת הבסיס. והספרייה הזו כבר מכילה את כל הקבצים ותתי הספריות הנדרשים על ידי Postgres.

מרחבי טבלאות הם ספריות המכילות נתוני Postgres, אך הם אינם ממוקמים מחוץ לספריית הבסיס. השקופית מראה ש- tablespaces ממוקמים מחוץ לספריית הבסיס.

איך זה נראה עבור Postgres עצמה? קיימת ספריית משנה נפרדת pg_tblspc בספריית הבסיס. והוא מכיל קישורים סימליים לספריות שמכילות למעשה נתוני Postgres מחוץ לספריית הבסיס.

כאשר אתה משתמש בכל זה, אז עבורך הפקודות האלה עשויות להיראות בערך כך. כלומר, אתה יוצר טבלה במרחב טבלאות מסוים ורואה היכן היא נמצאת כעת. אלו הן שתי השורות האחרונות, שתי הפקודות האחרונות נקראות. ושם ברור שיש דרך כלשהי. אבל במציאות, זו לא הדרך האמיתית. זהו הנתיב עם הקידומת מספריית הבסיס למרחב הטבלה. ומשם זה מותאם עם סימלינק שמוביל לנתונים האמיתיים שלך.

אנחנו לא משתמשים בכל זה בצוות שלנו, אבל זה שימש הרבה משתמשי WAL-E אחרים שכתבו לנו שהם רוצים לעבור ל-WAL-G, אבל זה עצר אותם. זה נתמך כעת.

תכונה נוספת שהקורס המיוחד שלנו הביא לנו היא תפיסה. אנשים שכנראה עבדו יותר עם אורקל מאשר עם פוסטגרס יודעים על התפיסה.

בקצרה על מה זה. טופולוגיית האשכולות בשירות שלנו עשויה להיראות בדרך כלל בערך כך. יש לנו מאסטר. יש העתק שמזרים ממנו יומן כתיבה קדימה. והעותק אומר למאסטר באיזה LSN הוא נמצא כרגע. ואיפשהו במקביל לזה, ניתן לאחסן את היומן בארכיון. ובנוסף לארכיון היומן, נשלחים גם גיבויים לענן. ונשלחים גיבויי דלתא.

מה יכולה להיות הבעיה? כאשר יש לך מסד נתונים גדול למדי, ייתכן שיתברר שהעותק שלך מתחיל לפגר הרבה מאחורי המאסטר. והיא מפגרת כל כך מאחור שהיא לעולם לא תוכל להדביק אותו. בעיה זו בדרך כלל צריכה להיפתר איכשהו.

והדרך הקלה ביותר היא להסיר את העתק ולהעלות אותו מחדש, כי הוא לעולם לא יתפוס, וצריך לטפל בבעיה. אבל זה די הרבה זמן, כי שחזור של גיבוי מסד נתונים שלם של 10 TB הוא זמן מאוד מאוד ארוך. ואנחנו רוצים לעשות את כל זה מהר ככל האפשר אם יתעוררו בעיות כאלה. ובשביל זה בדיוק נועד קצף.

Catchup מאפשר לך להשתמש בגיבוי דלתא, המאוחסנים בענן בצורה זו. אתה אומר באיזה LSN העותק המשוגר נמצא כרגע ומציין אותו בפקודה catchup על מנת ליצור גיבוי דלתא בין ה-LSN הזה לבין ה-LSN שעליו נמצא האשכול שלך כרגע. ואחרי זה אתה משחזר את הגיבוי הזה לעותק שהיה בפיגור מאחור.

בסיסים אחרים

התלמידים גם הביאו לנו הרבה תכונות בבת אחת. מכיוון שב-Yandex אנחנו מבשלים לא רק את Postgres, יש לנו גם MySQL, MongoDB, Redis, ClickHouse, בשלב מסוים היינו צריכים להיות מסוגלים לבצע גיבויים עם שחזור נקודת זמן עבור MySQL, וכדי שתהיה הזדמנות להעלות אותם לענן.

ורצינו לעשות את זה בצורה דומה למה ש-WAL-G עושה. והחלטנו להתנסות ולראות איך הכל ייראה.

ובהתחלה, בלי לחלוק את ההיגיון הזה בשום צורה, הם כתבו את הקוד במזלג. הם ראו שיש לנו סוג של דגם עובד והוא יכול לעוף. ואז חשבנו שהקהילה העיקרית שלנו היא postgresists, הם משתמשים ב-WAL-G. ולכן אנחנו צריכים איכשהו להפריד את החלקים האלה. כלומר, כאשר אנו עורכים קוד עבור Postgres, אנו לא שוברים את MySQL; כאשר אנו עורכים את MySQL, אנו לא שוברים את Postgres.

הרעיון הראשון כיצד להפריד את זה היה הרעיון של שימוש באותה גישה המשמשת בהרחבות PostgreSQL. ולמעשה, כדי לבצע גיבוי MySQL היית צריך להתקין איזושהי ספרייה דינמית.

אבל כאן האסימטריה של גישה זו נראית מיד. כשאתה מגבה את Postgres, אתה שם עליו גיבוי רגיל עבור Postgres והכל בסדר. ול-MySQL מסתבר שמתקין גיבוי ל-Postgres וגם מתקין עבורו ספרייה דינמית ל-MySQL. זה נשמע די מוזר. גם אנחנו חשבנו כך והחלטנו שזה לא הפתרון שאנחנו צריכים.

מבנים שונים עבור Postgres, MySQL, MongoDB, Redis

אבל זה אפשר לנו, כך נראה לנו, להגיע להחלטה הנכונה - להקצות אספות שונות לבסיסים שונים. זה איפשר לבודד את ההיגיון הקשור לגיבויים של מסדי נתונים שונים שייגשו ל-API המשותף ש-WAL-G מיישמת.

זה החלק שכתבנו בעצמנו - לפני שנתנו לתלמידים את הבעיות. כלומר, זה בדיוק החלק שבו הם יכולים לעשות משהו לא בסדר, אז החלטנו שמוטב שנעשה משהו כזה והכל יהיה בסדר.

אחרי זה שחררנו בעיות. הם פורקו מיד. התלמידים נדרשו לתמוך בשלושה בסיסים.

זהו MySQL, שאנו מגבים באמצעות WAL-G בצורה זו במשך יותר משנה.

ועכשיו MongoDB מתקרבים לייצור, שם הם מסיימים את זה עם קובץ. למעשה, כתבנו את המסגרת לכל זה. אחר כך התלמידים כתבו כמה דברים מעשיים. ואז אנחנו מביאים אותם למצב שאנחנו יכולים לקבל בהפקה.

בעיות אלו לא נראו כאילו התלמידים צריכים לכתוב כלי גיבוי מלאים עבור כל אחד מבסיסי הנתונים הללו. לא הייתה לנו בעיה כזו. הבעיה שלנו הייתה שרצינו שחזור נקודת זמן ורצינו לגבות לענן. והם ביקשו מהתלמידים לכתוב איזה קוד שיפתור את זה. התלמידים השתמשו בכלי גיבוי שכבר קיימים, אשר איכשהו לוקחים גיבויים, ולאחר מכן הדביקו את הכל יחד עם WAL-G, שהעבירה הכל לענן. והם גם הוסיפו לכך התאוששות נקודתית.

מה עוד הביאו התלמידים? הם הביאו תמיכה בהצפנה של Libsodium ל-WAL-G.

יש לנו גם מדיניות אחסון גיבוי. כעת ניתן לסמן גיבויים כקבועים. ואיכשהו נוח יותר לשירות שלך להפוך את תהליך האחסון שלהם לאוטומטי.

מה הייתה התוצאה של הניסוי הזה?

למעלה מ-100 איש נרשמו תחילה לקורס. בהתחלה לא אמרתי שהאוניברסיטה ביקטרינבורג היא האוניברסיטה הפדרלית של אורל. הכרזנו שם הכל. נרשמו 100 איש. במציאות, הרבה פחות אנשים התחילו לעשות משהו, בערך 30 אנשים.

עוד פחות אנשים סיימו את הקורס, כי היה צורך לכתוב מבחנים לקודים שכבר קיימים. וגם לתקן איזה באג או לעשות איזושהי תכונה. וכמה תלמידים עדיין סגרו את הקורס.

נכון לעכשיו, במהלך הקורס הזה, התלמידים תיקנו כ-14 בעיות ויצרו 10 תכונות בגדלים שונים. ונראה לי, מדובר בהחלפה מלאה של מפתח אחד או שניים.

בין השאר הנפקנו תעודות ועבודות קורסים. ו-12 קיבלו תעודות. 6 מהם כבר התגוננו ב"5". לאלה שנשארו עוד לא הייתה הגנה, אבל אני חושב שגם להם הכל יהיה בסדר.

תוכניות לעתיד

אילו תוכניות יש לנו לעתיד?

לפחות אותן בקשות תכונה שכבר שמענו ממשתמשים ורוצים לעשות. זֶה:

• ניטור נכונות מעקב ציר הזמן בארכיון הגיבוי של אשכולות HA. אתה יכול לעשות זאת עם WAL-G. ואני חושב שיהיו לנו תלמידים שיתייחסו לעניין הזה.
• יש לנו כבר אדם שאחראי על העברת גיבויים ו-WAL בין עננים.
• ולאחרונה פרסמנו רעיון שנוכל להאיץ עוד יותר את WAL-G על ידי פירוק גיבויים מצטברים מבלי לשכתב דפים ולייעל את הארכיונים שאנו שולחים לשם.

אתה יכול לשתף אותם כאן

לשם מה היה הדו"ח הזה? יתרה מכך, כעת, בנוסף ל-4 האנשים שתומכים בפרויקט הזה, יש לנו ידיים נוספות, מהן יש לא מעט. במיוחד אם אתה כותב להם בהודעה אישית. ואם אתה מגבה את הנתונים שלך ועושה את זה באמצעות WAL-G או תרצה לעבור ל-WAL-G, אז נוכל להיענות בקלות לרצונותיך.

זהו קוד QR וקישור. אתה יכול לעבור עליהם ולכתוב את כל משאלותיך. לדוגמה, אנחנו לא מתקנים באג כלשהו. או שאתה באמת רוצה תכונה כלשהי, אבל משום מה היא עדיין לא בגיבוי כלשהו, ​​כולל שלנו. הקפד לכתוב על זה.

שאלות

שלום! תודה על הדיווח! שאלה לגבי WAL-G, אבל לא לגבי Postgres. WAL-G מגבה את MySQL וקורא לגיבוי נוסף. אם ניקח התקנות מודרניות על CentOS ואם תתקין את MySQL, MariDB תותקן. מגרסה 10.3 גיבוי נוסף אינו נתמך, גיבוי MariDB נתמך. איך אתה מסתדר עם זה?

כרגע לא ניסינו לגבות את MariDB. היו לנו בקשות לתמיכה של FoundationDB, אבל באופן כללי, אם יש בקשה כזו, אז נוכל למצוא אנשים שיעשו זאת. זה לא כל כך ארוך או קשה כמו שאני חושב.

אחר הצהריים טובים תודה על הדיווח! שאלה לגבי תכונות חדשות פוטנציאליות. האם אתה מוכן לגרום ל-WAL-G לעבוד עם קלטות כדי שתוכל לגבות לקלטות?

גיבוי באחסון קלטות אומר כנראה?

כן.

יש את אנדריי בורודין, שיכול לענות על השאלה הזו יותר טוב ממני.

(אנדריי) כן, תודה על השאלה! הייתה לנו בקשה להעביר גיבוי לקלטת מאחסון ענן. ובשביל זה נְסִירָה העברה בין עננים. מכיוון שהעברת ענן לענן היא גרסה כללית של העברת קלטות. בנוסף, יש לנו ארכיטקטורה הניתנת להרחבה מבחינת Storages. אגב, סטוריז רבים נכתבו על ידי תלמידים. ואם אתה כותב Storage for tape, אז זה כמובן יהיה נתמך. אנו מוכנים לשקול בקשות משיכה. שם אתה צריך לכתוב קובץ, לקרוא קובץ. אם אתה עושה את הדברים האלה ב-Go, אתה בדרך כלל מגיע עם 50 שורות קוד. ואז קלטת תתמוך ב-WAL-G.

תודה על הדיווח! תהליך פיתוח מעניין. גיבוי הוא חלק רציני של פונקציונליות שאמור להיות מכוסה היטב על ידי בדיקות. כשהטמעת פונקציונליות עבור מסדי נתונים חדשים, האם גם התלמידים כתבו את המבחנים, או שכתבת את המבחנים בעצמך ואז נתת את היישום לתלמידים?

התלמידים גם כתבו מבחנים. אבל תלמידים כתבו יותר עבור תכונות כמו מסדי נתונים חדשים. הם כתבו מבחני אינטגרציה. והם כתבו מבחנים ליחידה. אם האינטגרציה עוברת, כלומר כרגע, זה סקריפט שאתה מבצע ידנית או שיש לך cron שעושה את זה, למשל. כלומר, התסריט שם ​​מאוד ברור.

לתלמידים אין הרבה ניסיון. האם סקירה לוקחת הרבה זמן?

כן, ביקורות לוקחות די הרבה זמן. כלומר, בדרך כלל, כשבאים כמה מתחייבים בבת אחת ואומרים שעשיתי את זה, עשיתי את זה, אז צריך לחשוב ולהקדיש בערך חצי יום כדי להבין מה כתבו שם. כי יש לקרוא בעיון את הקוד. לא היה להם ראיון. אנחנו לא מכירים אותם היטב, אז זה לוקח הרבה זמן.

תודה על הדיווח! בעבר, אנדריי בורודין קבע שיש לקרוא ישירות ל-archive_command ב-WAL-G. אבל במקרה של איזושהי מחסנית אשכול, אנחנו צריכים היגיון נוסף כדי לקבוע את הצומת שממנו לשלוח את הצירים. איך אתה פותר את הבעיה הזו בעצמך?

מה הבעיה שלך כאן? נניח שיש לך העתק סינכרוני שאיתו אתה עושה גיבוי? או מה?

(אנדריי) העובדה היא שאכן WAL-G מיועד לשימוש ללא סקריפטים של מעטפת. אם משהו חסר, אז בואו נוסיף את ההיגיון שאמור להיות בתוך WAL-G. באשר למקור הארכיון צריך להגיע, אנו מאמינים שהארכיון צריך להיות מהמאסטר הנוכחי באשכול. אחסון מהעתק הוא רעיון רע. ישנם תרחישים אפשריים שונים עם בעיות. בפרט, בעיות בארכיון לוחות זמנים וכל מידע נוסף. תודה על השאלה!

(הבהרה: נפטרנו מתסריטי מעטפת בנושא זה)

ערב טוב! תודה על הדיווח! אני מתעניין בתכונת התפיסה שדיברת עליה. עמדנו בפני מצב שבו העתק היה מאחור ולא הצליח להדביק את הפער. ולא מצאתי תיאור של תכונה זו במסמכי WAL-G.

Catchup הופיע פשוטו כמשמעו ב-20 בינואר 2020. ייתכן שהתיעוד יצטרך עוד קצת עבודה. אנחנו כותבים את זה בעצמנו ואנחנו לא כותבים את זה טוב במיוחד. ואולי כדאי שנתחיל לדרוש מהתלמידים לכתוב את זה.

זה כבר שוחרר?

בקשת המשיכה כבר מתה, כלומר בדקתי אותה. ניסיתי את זה על אשכול בדיקה. עד כה לא היה לנו מצב שבו נוכל לבדוק זאת בדוגמה קרבית.

מתי לצפות?

אני לא יודע. חכה חודש, נבדוק בוודאות.

מקור: www.habr.com