בזמן שכולם חגגו את יום ההולדת שלי, תיקנתי את האשכול עד הבוקר - והמפתחים האשימו אותי בטעויות שלהם

הנה סיפור ששינה לנצח את הגישה שלי לעבודת devops. עוד בתקופות טרום קוביד, הרבה הרבה לפניהן, כשהחבר'ה ואני רק תכננו את העסק שלנו ופרילנסר בהזמנות אקראיות, הצעה אחת נפלה לעגלה שלי.

החברה שכתבה את זה הייתה חברת ניתוח נתונים. היא עיבדה אלפי בקשות מדי יום. הם הגיעו אלינו במילים: חבר'ה, יש לנו קליקהאוס ואנחנו רוצים להפוך את התצורה וההתקנה שלו לאוטומטיים. אנחנו רוצים את Ansible, Terraform, Docker ושכל זה יאוחסן ב-Git. אנחנו רוצים אשכול של ארבעה צמתים עם שני העתקים כל אחד.

זו בקשה סטנדרטית, יש עשרות כאלה, ואתה צריך פתרון סטנדרטי טוב לא פחות. אמרנו "בסדר", ואחרי 2-3 שבועות הכל היה מוכן. הם קיבלו את התפקיד והחלו לעבור לאשכול קליקהאוס חדש באמצעות כלי השירות שלנו.

אף אחד לא רצה או ידע להתעסק עם קליקהאוס. ואז חשבנו שזו הבעיה העיקרית שלהם, ולכן תחנת השירות של החברה פשוט נתנה אישור לצוות שלי להפוך את העבודה לאוטומטית ככל האפשר, כדי לא להגיע לשם בעצמי שוב.

ליווינו את המהלך, עלו משימות נוספות - הקמת גיבויים וניטור. באותו רגע התמזגה תחנת השירות של פלוגה זו עם פרויקט נוסף, והותירה אותנו עם אחד משלנו - ליאוניד - כמפקד. לניה לא היה בחור מוכשר במיוחד. מפתח פשוט שפתאום הופקד על קליקהאוס. נראה שזו הייתה המשימה הראשונה שלו לנהל משהו, והכבוד המוחץ גרם לו להרגיש מוכה כוכב.

יחד התחלנו לבצע גיבויים. הצעתי לגבות מיד את הנתונים המקוריים. פשוט קח אותו, רוכס אותו וזרוק אותו באלגנטיות לאיזה C3. נתונים גולמיים הם זהב. הייתה אפשרות נוספת - לגבות את הטבלאות עצמן בקליקהאוס, באמצעות הקפאה והעתקה. אבל לניה המציא פתרון משלו.

הוא הכריז שאנחנו צריכים אשכול קליקהאוס שני. ומעכשיו נכתוב נתונים לשני אשכולות - הראשי והגיבוי. אני אומר לו, לניה, זה לא יהיה גיבוי, אלא העתק פעיל. ואם הנתונים מתחילים ללכת לאיבוד בייצור, אותו הדבר יקרה בגיבוי שלך.

אבל לניה תפסה בחוזקה את ההגה וסירבה להקשיב לטיעוני. שוחחנו איתו הרבה זמן בצ'אט, אבל לא היה מה לעשות - לניה הייתה אחראית על הפרויקט, פשוט היינו ילדים שכירים מהרחוב.

עקבנו אחר מצב האשכול וחייבנו רק על עבודת המנהלים. ניהול קליקהאוס טהור מבלי להיכנס לנתונים. האשכול היה זמין, הדיסקים היו בסדר, הצמתים היו בסדר.

לא ידענו שקיבלנו הזמנה זו עקב אי הבנה נוראית בצוות שלהם

המנהל לא היה מרוצה מכך שקליקהאוס היה איטי ולעתים נתונים אבדו. הוא הטיל על תחנת השירות שלו את המשימה להבין זאת. הוא הבין את זה כמיטב יכולתו והגיע למסקנה שאנחנו רק צריכים להפוך את הקליקהאוס לאוטומטי - זה הכל. אבל כפי שהתברר במהרה, הם לא היו זקוקים כלל לצוות של devops.

כל זה התברר כמאוד מאוד כואב. והדבר הכי פוגע היה שזה היה ביום ההולדת שלי.

שישי בערב. הזמנתי מקום בבר היין האהוב עליי והזמנתי את ההומיות.

כמעט לפני היציאה, אנחנו מקבלים משימה ליצור שינוי, אנחנו משלימים אותה, הכל בסדר. אלטר עבר, קליקהאוס אישר. אנחנו כבר הולכים לבר, וכותבים לנו שאין מספיק נתונים. חישבנו שנראה שהכל מספיק. והם עזבו לחגוג.

המסעדה הייתה רועשת ביום שישי. לאחר שהזמנו משקאות ואוכל, התרווחנו על הספות. כל הזמן הזה, הרפיון שלי הוצף לאט לאט בהודעות. הם כתבו משהו על מחסור בנתונים. חשבתי - הבוקר חכם יותר מהערב. במיוחד היום.

קרוב יותר לאחת עשרה התחילו להתקשר. זה היה ראש החברה... "כנראה החליט לברך אותי", חשבתי בהיסוס רב, והרמתי טלפון.

ושמעתי משהו כמו: "דפקת את הנתונים שלנו! אני משלם לך, אבל שום דבר לא עובד! היית אחראי לגיבויים, ולא עשית שום דבר! בוא נתקן את זה!" - רק אפילו יותר גס.

אתה יודע מה, צא החוצה! היום הוא יום ההולדת שלי, ועכשיו אני אשתה, ולא אעסוק במוצרים הביתיים של יוני משטויות ומקלות!

זה מה שלא אמרתי. במקום זאת, הוצאתי את המחשב הנייד שלי והלכתי לעבודה.

לא, הפצצתי, הפצצתי כמו לעזאזל! הוא שפך "אמרתי לך" קאוסטית לצ'אט - כי הגיבוי, שלא היה גיבוי כלל, כמובן, לא הציל כלום.

הבנים ואני הבנו איך לעצור ידנית את ההקלטה ולבדוק הכל. למעשה דאגנו שחלק מהנתונים לא נכתבו.

הפסקנו להקליט וספרנו את מספר האירועים שהיו שם ביום. הם העלו נתונים נוספים, שרק שליש מהם לא תועד. שלושה רסיסים עם 2 העתקים כל אחד. אתה מוסיף 100.000 שורות - 33.000 לא נרשמות.

היה בלבול מוחלט. כולם אמרו זה לזה להתעסק בתורות: לניה הלכה לשם ראשונה, ואחריה אני ומייסד החברה. רק עמדת השירות שהצטרפה ניסתה להסיט את שיחות הצעקות והתכתובות שלנו למציאת פתרון לבעיה.

אף אחד לא הבין מה באמת קורה

אני והחבר'ה פשוט היינו מפוצצים כשהבנו ששליש מכל הנתונים לא רק שלא נרשמו, הם הלכו לאיבוד! התברר שהסדר בחברה היה כזה: לאחר ההכנסה הנתונים נמחקו באופן בלתי הפיך, האירועים התבזבזו בקבוצות. דמיינתי איך סרגיי ימיר את כל זה ברובלים אבודים.

גם יום ההולדת שלי נזרק לפח. ישבנו על הבר ויצרנו רעיונות, בניסיון לפתור את הפאזל שהוטל עלינו. הסיבה לנפילתו של קליקהאוס לא הייתה ברורה. אולי זו הרשת, אולי הגדרות לינוקס. כן, מה שאתה רוצה, היו מספיק השערות.

לא נשבעתי את שבועת המפתח, אבל זה היה לא הגון לנטוש את החבר'ה בצד השני של הקו - גם אם הם האשימו אותנו בכל דבר. הייתי בטוח ב-99% שהבעיה לא טמונה בהחלטות שלנו, לא בצד שלנו. הסיכוי של 1% שפישלנו בוער מרוב חרדה. אבל לא משנה באיזה צד הייתה הבעיה, היה צריך לתקן אותה. להשאיר לקוחות, לא משנה מי הם, עם דליפת נתונים כל כך נוראית זה אכזרי מדי.

עבדנו ליד שולחן המסעדה עד שלוש לפנות בוקר. הוספנו אירועים, הכנסנו בחירה ויצאנו להשלים את החסר. כשאתה מפשל את הנתונים, ככה עושים את זה: לוקחים את הנתונים הממוצעים של הימים הקודמים ומכניסים אותם לאלו הדפוקים.

אחרי שלוש לפנות בוקר הלכנו אני וחבר שלי לביתי והזמנו בירה משוק האלכוהול. ישבתי עם מחשב נייד ובעיות קליקהאוס, חבר אמר לי משהו. כתוצאה מכך, אחרי שעה הוא נעלב שאני עובד ולא שותה איתו בירה, והלך. קלאסי - הייתי חבר של Devops.

בשש בבוקר, שיחזרתי את הטבלה שוב, והנתונים החלו להציף. הכל עבד ללא הפסדים.

ואז זה היה קשה. כולם האשימו אחד את השני באובדן הנתונים. אם היה קורה באג חדש, אני בטוח שהיה קרב יריות

במאבקים האלה סוף סוף התחלנו להבין - בחברה חשבו שאנחנו החבר'ה שעובדים עם נתונים ומפקחים על מבנה הטבלאות. הם בלבלו בין מנהלים לבין סוחרים. והם באו לשאול אותנו משהו שונה מהמנהלים.

התלונה העיקרית שלהם היא - מה לעזאזל, היית אחראי לגיבויים ולא עשית אותם כמו שצריך, המשכת לבזבז את הנתונים. וכל זה עם מחצלות מתפתלות לאחור.

רציתי צדק. חפרתי את ההתכתבות וצירפתי צילומי מסך של כולם, שבהם ליאוניד בכל הכוח מכריח אותם לעשות את הגיבוי שנעשה. תחנת השירות שלהם תפסה את הצד שלנו לאחר שיחת הטלפון שלי. מאוחר יותר הודה לניה באשמתו.

ראש החברה, להיפך, לא רצה להאשים את אנשיו שלו. צילומי מסך ומילים לא השפיעו עליו. הוא האמין שמכיוון שאנחנו מומחים כאן, עלינו לשכנע את כולם ולהתעקש על ההחלטה שלנו. ככל הנראה, המשימה שלנו הייתה ללמד את לניה ויותר מכך לעקוף אותו, שמונה למנהל הפרויקט, להגיע לעיקר ולשפוך בפניו באופן אישי את כל הספקות שלנו לגבי מושג הגיבויים.

הצ'אט נשפך משנאה, תוקפנות נסתרת ולא נסתרת. לא ידעתי מה לעשות. הכל נעצר. ואז יעצו לי הכי קל - לכתוב הודעה אישית למנהל ולתאם איתו פגישה. ואסיה, אנשים בחיים האמיתיים אינם מהירים כמו בצ'אט. הבוס ענה להודעה שלי: בוא, אין שאלה.

זה היה הפגישה הכי מפחידה בקריירה שלי. בן בריתי מהלקוח - STO - לא הצליח למצוא את הזמן. הלכתי לפגישה עם הבוס ולנה.

שוב ושוב שיחזרתי את הדיאלוג האפשרי שלנו בראשי. הצלחתי להגיע מוקדם מאוד, חצי שעה מראש. התחלתי להיות עצבני, עישנתי 10 סיגריות הבנתי, זהו - אני פאקינג לבד. אני לא אצליח לשכנע אותם. והוא נכנס למעלית.

בזמן שהוא קם, הוא היכה במצית כל כך חזק שהוא שבר אותו.

כתוצאה מכך, לניה לא הייתה בפגישה. והיתה לנו שיחה נהדרת על הכל עם הבוס! סרגיי סיפר לי על הכאב שלו. הוא לא רצה "להפוך את Clickhouse לאוטומטי" - הוא רצה "לגרום לשאילתות לעבוד".

לא ראיתי עז, אבל בחור טוב, מודאג מהעסק שלו, שקוע בעבודה 24/7. הצ'אט מושך אותנו לעתים קרובות נבלים, נבלות ואנשים טיפשים. אבל בחיים אלה אנשים בדיוק כמוך.

סרגיי לא היה צריך להעסיק כמה עובדים. הבעיה שהיתה להם התבררה כהרבה יותר גדולה.

אמרתי שאני יכול לפתור את הבעיות שלו - זו פשוט עבודה אחרת לגמרי, ויש לי חבר שעובד בשבילה. אם היינו יודעים מההתחלה שזו עסקה עבורם, היינו נמנעים הרבה. זה כבר מאוחר, אבל הבנו שהבעיה נעוצה בניהול נתונים מחורבן, לא בתשתית.

לחצנו ידיים, הם העלו את השכר שלנו פעמיים וחצי, אבל בתנאי שאקח לעצמי את כל הבלגן עם הנתונים שלהם וקליקהאוס. במעלית, תקשרתי עם אותו איש DI מקס וחיברתי אותו לעבודה. היה צורך לגרוף את כל האשכול.

היה הרבה זבל בפרויקט המאומץ. החל מה"גיבוי" שהוזכר. התברר שאותו אשכול "גיבוי" לא היה מבודד. הם בדקו הכל על זה, לפעמים אפילו הוציאו אותו לייצור.

המפתחים הפנימיים שלנו יצרו מוסיף נתונים מותאם אישית משלהם. הוא עבד כך: הוא איגד את הקבצים, הפעיל את הסקריפט ומיזוג את הנתונים לטבלה. אבל הבעיה העיקרית הייתה שכמות עצומה של נתונים התקבלה לבקשה אחת פשוטה. הבקשה הצטרפה לנתונים בכל שנייה. הכל למען מספר אחד - הכמות ליום.

מפתחים פנימיים השתמשו בכלי הניתוח בצורה שגויה. הם הלכו לגראפנה וכתבו את בקשתם המלכותית. הוא העלה נתונים במשך שבועיים. התברר שזה גרף יפהפה. אבל במציאות, בקשת הנתונים הייתה כל 2 שניות. כל זה הצטבר בתור כי קליקהאוס פשוט לא הוציא את העיבוד. כאן הוסתרה הסיבה העיקרית. שום דבר לא עבד בגרפאנה, הבקשות עמדו בתור, וכל הזמן הגיעו נתונים ישנים ולא רלוונטיים.

הגדרנו מחדש את האשכול, ערכנו מחדש את ההכנסה. המפתחים הפנימיים כתבו מחדש את ה"מוסיף" שלהם, והוא התחיל לפצח נתונים בצורה נכונה.

מקס ערך ביקורת תשתית מלאה. הוא התווה תוכנית למעבר ל-backend מן המניין. אבל זה לא התאים לחברה. הם ציפו לסוד קסום ממקס שיאפשר להם לעבוד בדרך הישנה, ​​אבל רק ביעילות. לניה עדיין הייתה אחראית על הפרויקט, והוא לא למד דבר. מכל מה שהוצע, הוא שוב בחר באלטרנטיבה שלו. כמו תמיד, זו הייתה ההחלטה הסלקטיבית ביותר... הנועזת ביותר. לניה האמין שלחברתו יש דרך מיוחדת. קוצני ומלא בקרחונים.

למעשה, שם נפרדנו - עשינו מה שיכולנו.

מלאי ידע וחוכמה מההיסטוריה הזו, פתחנו עסק משלנו ויצרנו לעצמנו מספר עקרונות. לעולם לא נתחיל לעבוד באותה צורה עכשיו כמו שהתחלנו אז.

DJ Max הצטרף אלינו אחרי הפרויקט הזה, ואנחנו עדיין עובדים נהדר ביחד. מקרה קליקהאוס לימד אותי כיצד לבצע ביקורת תשתית מלאה ויסודית לפני תחילת העבודה. אנחנו מבינים איך הכל עובד ורק אז מקבלים את המשימות. ואם קודם לכן היינו ממהרים מיד לתחזק את התשתית, עכשיו אנחנו קודם כל עושים פרויקט חד פעמי, שעוזר לנו להבין איך להביא אותו למצב עבודה.

וכן, אנחנו נמנעים מפרויקטים עם תשתית מחורבן. גם אם תמורת הרבה כסף, גם אם מתוך ידידות. לא משתלם להפעיל פרויקטים חולים. ההבנה הזו עזרה לנו לצמוח. או פרויקט חד פעמי לסדר את התשתית ואז חוזה תחזוקה, או שפשוט טסים. עבר עוד קרחון.

נ.ב אז אם יש לך שאלות לגבי התשתית שלך, אתה מוזמן להגיש בקשה.

יש לנו 2 ביקורות בחינם לחודש, אולי הפרויקט שלך יהיה אחד מהם.

מקור: www.habr.com