איך Uma.Tech פיתחה תשתית

השקנו שירותים חדשים, התעבורה גדלה, החלפנו שרתים, חיברנו אתרים חדשים ושיפצנו מרכזי נתונים - ועכשיו נספר את הסיפור הזה שאת תחילתו הכרנו לפני חמש שנים.

חמש שנים הן זמן טיפוסי לסיכום תוצאות ביניים. לכן, החלטנו לדבר על פיתוח התשתית שלנו, שבמהלך חמש השנים האחרונות עברה מסלול פיתוח מעניין להפתיע, שאנו גאים בו. השינויים הכמותיים שיישמנו הפכו לאיכותיים; כעת התשתית יכולה לפעול במצבים שנראו פנטסטיים באמצע העשור האחרון.

אנו מבטיחים תפעול של הפרויקטים המורכבים ביותר עם הדרישות המחמירות ביותר לאמינות ועומסים, כולל PREMIER ו-Match TV. שידורי ספורט והקרנת בכורה של סדרות טלוויזיה פופולריות דורשות תעבורה בטרביטים/שניות, אנו מיישמים זאת בקלות, ולעתים קרובות כל כך שעבודה במהירויות כאלה כבר מזמן הפכה להיות שבשגרה אצלנו. ולפני חמש שנים, הפרויקט הכבד ביותר שרץ על המערכות שלנו היה Rutube, שמאז התפתחה, הגדילה נפחים ותנועה, מה שהיה צריך לקחת בחשבון בעת ​​תכנון עומסים.

דיברנו על איך פיתחנו את החומרה של התשתית שלנו ("רוטוב 2009-2015: ההיסטוריה של החומרה שלנו") ופיתחה מערכת האחראית להעלאת סרטונים ("מאפס ל-700 גיגה-ביט לשנייה - איך אחד מאתרי אירוח הווידאו הגדולים ברוסיה מעלה וידאו"), אך חלף זמן רב מאז נכתבו הטקסטים הללו, נוצרו ויושמו פתרונות רבים אחרים, שתוצאותיהם מאפשרות לנו לעמוד בדרישות המודרניות ולהיות גמישים מספיק כדי להסתגל למשימות חדשות.

ליבת רשת אנחנו כל הזמן מתפתחים. עברנו לציוד של סיסקו ב-2015, אותו הזכרנו במאמר הקודם. אז זה עדיין היה אותו 10/40G, אבל מסיבות ברורות, לאחר כמה שנים הם שדרגו את השלדה הקיימת, ועכשיו אנחנו משתמשים באופן פעיל ב-25/100G.

קישורי 100G הם כבר מזמן לא מותרות (אלא, זו דרישה דחופה של הזמן בפלח שלנו), וגם לא דבר נדיר (יותר ויותר מפעילים מספקים חיבורים במהירויות כאלה). עם זאת, 10/40G נשאר רלוונטי: דרך קישורים אלו אנו ממשיכים לחבר מפעילים עם כמות קטנה של תעבורה, שעבורה לא מתאים כרגע להשתמש בפורט רחב יותר.

ליבת הרשת שיצרנו ראויה להתייחסות נפרדת והיא תהפוך לנושא של מאמר נפרד מעט מאוחר יותר. שם נתעמק בפרטים טכניים ונשקול את ההיגיון של הפעולות שלנו בעת יצירתו. אך כעת נמשיך לשרטט את התשתית בצורה סכמטית יותר, שכן תשומת הלב שלכם, קוראים יקרים, אינה בלתי מוגבלת.

שרתי פלט וידאו להתפתח במהירות, עבורו אנו מציעים מאמץ רב. אם קודם לכן השתמשנו בעיקר בשרתי 2U עם 4-5 כרטיסי רשת עם שתי יציאות 10G כל אחד, כעת רוב התעבורה נשלחת משרתי 1U, שיש להם 2-3 כרטיסים עם שתי יציאות 25G כל אחד. כרטיסים עם 10G ו-25G כמעט שווים בעלותם, ופתרונות מהירים יותר מאפשרים לך לשדר גם ב-10G וגם ב-25G. התוצאה הייתה חיסכון ברור: פחות רכיבי שרת וכבלים לחיבור - עלות נמוכה יותר (ואמינות גבוהה יותר), רכיבים תופסים פחות מקום במדף - אפשר היה להציב יותר שרתים ליחידת שטח ולכן, עלויות השכרה נמוכות יותר.

אבל חשוב יותר הוא הרווח במהירות! עכשיו אנחנו יכולים לשלוח יותר מ-1G עם 100U! וזה על רקע מצב שבו כמה פרויקטים רוסיים גדולים קוראים לפלט 40G מ-2U "הישג". היינו רוצים את הבעיות שלהם!

שימו לב שאנחנו עדיין משתמשים בדור של כרטיסי רשת שיכולים לפעול רק על 10G. הציוד הזה עובד ביציבות ומוכר לנו מאוד ולכן לא זרקנו אותו אלא מצאנו לו שימוש חדש. התקנו את הרכיבים האלה בשרתי אחסון וידאו, שעבורם ממשק 1G אחד או שניים לא מספיקים בבירור כדי לפעול ביעילות; כאן התברר שכרטיסי 10G הם רלוונטיים.

מערכות אחסון גם גדלים. במהלך חמש השנים האחרונות, הם השתנו מ-12 דיסקים (2x HDD 36U) לשלושים ושישה דיסקים (4x HDD XNUMXU). חלקם חוששים להשתמש ב"פגרים" כה מרווחים, שכן אם שלדה אחת כזו תיכשל, עלול להיות איום על הפרודוקטיביות - או אפילו התפעול! - לכל המערכת. אבל זה לא יקרה איתנו: סיפקנו גיבוי ברמה של עותקים גיאוגרפיים של נתונים. הפצנו את המארז למרכזי נתונים שונים - אנו משתמשים בשלושה בסך הכל - וזה מבטל את התרחשותן של בעיות הן במקרה של תקלות במארז והן בעת ​​נפילת האתר.

כמובן, גישה זו הפכה את החומרה RAID למיותרת, אותה נטשנו. על ידי ביטול יתירות, הגברנו בו זמנית את אמינות המערכת על ידי פישוט הפתרון והסרת אחת מנקודות הכשל הפוטנציאליות. נזכיר לכם שמערכות האחסון שלנו הן "תוצרת בית". עשינו זאת בכוונה רבה והיינו מרוצים לחלוטין מהתוצאה.

מרכזי נתונים במהלך חמש השנים האחרונות השתנינו מספר פעמים. מאז כתיבת המאמר הקודם, לא שינינו רק מרכז נתונים אחד - DataLine - השאר דרשו החלפה עם התפתחות התשתית שלנו. כל ההעברות בין האתרים תוכננו.

לפני שנתיים עברנו בתוך MMTS-9, עברנו לאתר עם תיקונים איכותיים, מערכת קירור טובה, אספקת חשמל יציבה וללא אבק, שבעבר שכבו בשכבות עבות על כל המשטחים וגם סתמו את החלק הפנימי של הציוד שלנו. . בחר שירותים איכותיים - וללא אבק! – הפך להיות הסיבה למהלך שלנו.

כמעט תמיד "מהלך אחד שווה לשתי שריפות", אבל הבעיות במהלך ההגירה שונות בכל פעם. הפעם, הקושי העיקרי לנוע בתוך מרכז נתונים אחד "סופק" על ידי חיבורים צולבים אופטיים - השפע שלהם בין קומות מבלי להיות משולבים לחיבור צולב אחד על ידי מפעילי טלקום. תהליך העדכון והניתוב מחדש של קשרים צולבים (עם מהנדסי MMTS-9 עזרו לנו) היה אולי השלב הקשה ביותר של ההגירה.

ההגירה השנייה התרחשה לפני שנה; ב-2019 עברנו ממרכז נתונים לא טוב במיוחד ל-O2xygen. הסיבות למהלך היו דומות לאלו שנדונו לעיל, אך נוספה להן בעיית חוסר האטרקטיביות של מרכז הנתונים המקורי עבור מפעילי טלקום - ספקים רבים נאלצו "להדביק" עד לנקודה זו בכוחות עצמם.

ההגירה של 13 מתלים לאתר איכותי ב-MMTS-9 אפשרה לפתח את המיקום הזה לא רק כמיקום מפעיל (זוג מתלים ו"פורוורדים" של מפעילים), אלא גם להשתמש בו כאחד העיקריים שבהם. זה קצת פשט את ההגירה ממרכז נתונים לא טוב במיוחד - העברנו ממנו את רוב הציוד לאתר אחר, ו-O2xygen קיבל את התפקיד של מפתח, ששלח לשם 5 מתלים עם ציוד.

כיום O2xygen היא כבר פלטפורמה מן המניין, שבה "הגיעו" המפעילים שאנו צריכים וחדשים ממשיכים להתחבר. עבור המפעילים, O2xygen התגלה כאטרקטיבי גם מנקודת מבט של פיתוח אסטרטגי.

אנחנו תמיד מבצעים את השלב העיקרי של המהלך בלילה אחד, וכשהגירה בתוך MMTS-9 ול-O2xygen, הקפדנו על כלל זה. אנו מדגישים שאנו מקפידים על כלל "העבר בין לילה", ללא קשר למספר המתלים! אפילו היה תקדים כשהעברנו 20 מתלים והשלמנו גם את זה בלילה אחד. הגירה היא תהליך פשוט למדי שדורש דיוק ועקביות, אבל יש כאן כמה טריקים, הן בתהליך ההכנה, והן בעת ​​מעבר דירה, והן בעת ​​פריסה למקום חדש. אנו מוכנים לדבר על הגירה בפירוט אם אתה מעוניין.

ממצאים אנחנו אוהבים תוכניות פיתוח לחמש שנים. השלמנו את בנייתה של תשתית חדשה עמידה לתקלות, המופצת על פני שלושה מרכזי נתונים. הגדלנו בחדות את צפיפות התנועה - אם לאחרונה היינו מרוצים מ-40-80G עם 2U, כעת הנורמה עבורנו היא 100G עם 1U. עכשיו אפילו טרה-ביט של תנועה נתפסת אצלנו כשגורה. אנחנו מוכנים להמשיך ולפתח את התשתית שלנו, שהתבררה כגמישה וניתנת להרחבה.

שאלה: על מה עלי לספר לכם בטקסטים הבאים, קוראים יקרים? מדוע התחלנו ליצור מערכות אחסון נתונים תוצרת בית? על ליבת הרשת והתכונות שלה? על הטריקים והדקויות של הגירה בין מרכזי נתונים? לגבי אופטימיזציה של החלטות מסירה על ידי בחירת רכיבים וכיוונון עדין של פרמטרים? על יצירת פתרונות ברי קיימא בזכות ריבוי יתירות ויכולות קנה מידה אופקי בתוך דאטה סנטר, המיושמות במבנה של שלושה מרכזי נתונים?

מחבר: פטר וינוגרדוב - מנהל טכני של Uma.Tech אוגרים

מקור: www.habr.com