צוות התמיכה באחסון של בלומברג מסתמך על קוד פתוח ו-SDS

TL; DR: צוות Bloomberg Storage Engineering יצר אחסון ענן לשימוש פנימי שאינו מפריע לתשתית ויכול לעמוד בעומס הרב של תנודתיות המסחר במהלך המגיפה.

מתי לאונרד, כשהוא מדבר על עבודתו כמנהל טכני בצוות הנדסת אחסון של בלומברג, מרבה להשתמש במילים "מאתגר" ו"מהנה". האתגרים נובעים מההיקף הרחב של האחסון, ממערכי ה-SAN העדכניים ביותר מבוססי NVMe ועד לאחסון מוגדר תוכנה בקוד פתוח ב-DevOps. כאן מתחיל ה"כיף" (ראה את האווטאר שלי ב-Habré, משוער. מְתוּרגְמָן).

לאונרד וצוותו המונה 25 עמיתים מפקחים על יותר מ-100 פטה-בייט של קיבולת וענן פנימי עבור 6000 מהנדסים המפתחים יישומים עבור בלומברג טרמינל, הטכנולוגיה שהפכה את מייקל בלומברג למיליארדר. הצוות מתכנן, בונה ומתחזק מערכות אחסון עבור בלומברג הנדסה.

כמו שאר מקצועות ה-IT, 2020 הייתה שנה יוצאת דופן עבור חברי צוות הנדסת אחסון מכיוון ש-COVID-19 אילץ אותם לעבוד מרחוק. לאונרד אמר שהמגיפה השפיעה על "הצוות ההדוק" שלו מבחינה חברתית שכן אינטראקציות פנים אל פנים בוטלו, אך הצוות הסתגל מהר מאוד לעבודה מהבית על מחשבים ניידים ושיחות ועידה בווידאו.

למרבה הפלא, אני רוצה לומר שזה לא החמיר את המצב. הייתה תקופת הסתגלות קצרה - לא כולם היו מוכנים לעבוד מהבית. אחרי שבוע-שבועיים כולם הבינו את זה. הצלחנו למצוא דרכים להעסיק את עצמנו, לקנות ולשדרג ציוד ולהגדיל עלויות כדי לתמוך בחברה בזמנים אלו. היינו צריכים להיות יצירתיים, אבל לא נפגענו

האתגר הגדול ביותר אולי קדם לשיא ה-COVID-19. זה נבע ממסחר תנודתי בשוק עקב חששות מהשפעת המגיפה על הכלכלה העולמית. נפח הנתונים שזורם למסופי בלומברג משווקי ההון העולמיים כמעט הוכפל, והגיע ל-240 מיליארד פיסות מידע בימים מסוימים בסוף מרץ. זהו מבחן רציני של מערכות אחסון.

כשאתה מכפיל באופן מיידי את דרישות האחסון שלך ביום אחד, זה אכן יוצר בעיות מעניינות. הצלחנו להתגבר על זה ולהבטיח שצוותי פיתוח אפליקציות יקבלו את המרחב והביצועים הדרושים להם. רוב זה קשור לאופן שבו אנו חושבים על מערכות אחסון. היום אנחנו לא יוצרים כלום. אנחנו לא אומרים, "אנחנו משתמשים ב-ABC, אז נבנה את התשתית ל-ABC". אנו עושים את מה שאנו מכנים "תקצוב נתונים" עם הצוותים שלנו כדי לחזות שימוש, לנתח מגמות שימוש וביצועים, ואנחנו גם בוחנים את האבטחה. סוג זה של תכנון, חשיבה ובדיקת נאותות מתודית מאפשרים לנו לנקוט בפעולה דרסטית על עליות מתח מבלי להזיע. כמובן, הייתי עצבני, אבל הרגשתי בנוח להיות במקומי.

לאונרד שוחח לאחרונה עם SearchStorage בפירוט על ניהול אחסון עבור עסקים מונעי נתונים. הוא דן במה שנדרש כדי להציע פתרון אחסון ענן פרטי, עם היכולת לספק תכונות AWS למשתמשים שלו תוך שמירה על כל הנתונים במרכזי הנתונים של בלומברג.

אם כבר לא תהיה מגיפה, אילו קשיים יש למהנדסי בלומברג עם ניהול האחסון?

יש לנו הרבה צרכים, אנחנו פשוט נקרעים לכיוונים שונים. אז אנחנו צריכים לספק סוגים רבים ושונים של מוצרים ברמות SLA שונות כדי לעזור למפתחי האפליקציות שלנו להתמקד במשימות שלהם במקום לדאוג לגבי האחסון עצמו.

ואיזו אסטרטגיה אתה נוקט בשביל זה?

חלק ממה שאנחנו מנסים לעשות הוא לשפר את ביצועי האחסון. תחשוב על מודל ה-AWS שבו מהנדס פיתוח נכנס, לוחץ על כפתור ואז "קליק" מקבל באופן קסום את סוג האחסון המתאים לפתור את הבעיה שלו.

איך נראית תשתית האחסון שלך?

מכיוון שיש לנו מערכת אקולוגית מאוד מגוונת ומפתחים רבים ושונים, איננו יכולים להציע מוצר בודד. יש לנו אחסון אובייקטים, קבצים וחסימות. אלו מוצרים שונים ואנו מציעים סוגים שונים של טכנולוגיות לספק אותם. עבור בלוק אנו משתמשים ב-SAN. יש לנו גם SDS, המספק אפשרות נוספת לאחסון בלוק עם סט שונה של דרישות ביצועים. עבור קבצים אנו משתמשים ב-NFS. SDS משמש גם לאחסון חפצים. חלקי הבלוק והאובייקט יוצרים ענן פרטי פנימי עבור מחשוב ואחסון.

אז אתה לא משתמש באחסון ענן ציבורי?

זה נכון. לכמה צוותי פיתוח יש הרשאה להשתמש בעננים ציבוריים. אבל בגלל אופי העסק שלנו, אנחנו מעדיפים לקבל יותר שליטה על הדברים שעוזבים את הקירות שלנו. אז כן, יש לנו עננים משלנו שנמצאים בשליטתנו. זהו ציוד שנמצא במרכז הנתונים שלנו בניהולנו.

במרכזי הנתונים שלנו, אנו מעדיפים אסטרטגיה מרובת ספקים. הם ספקים גדולים, אבל לא נגיד מי בדיוק (המדיניות של בלומברג היא לא לאשר אף ספק, משוער. מְתוּרגְמָן).

האם אתה משתמש בתשתית היפר-קונברזציה כדי לבנות את הענן הפרטי שלך?

לא. אנחנו בבלומברג בוחרים בכיוון שבו אנחנו לא מתקדמים לעבר התכנסות יתר. אנחנו מנסים לנתק מחשוב מאחסון כדי שנוכל להתאים אותם באופן עצמאי. הכיוון אליו אנו מתקדמים, במיוחד עם הענן שלנו, הוא שנוכל להפריד בין שתי הישויות הללו. והכל בגלל שחלק מהדברים בארצנו דורשים חישובים אינטנסיביים, בעוד שאחרים דורשים אחסון. אם תרחיק אותם באופן שווה, תאבד משאבים, לא משנה כסף, או מקום במרכזי נתונים, או על ידי קניית קיבולת שאינך צריך. לכן אנחנו אוהבים שיהיה ממשק משותף בין שני הגופים, אבל שיהיו מערכות שונות לחלוטין ומנוהלות על ידי צוותים שונים.

על אילו מכשולים יש להתגבר כדי לבנות ענן פרטי?

בעיה של קנה מידה. כמו ברוב הדברים, השטן נמצא בפרטים הקטנים. כשאתה חושב על איך הדברים האלה עובדים, איך להפוך אותם לגמישים, איך להתמודד עם העומס התפעולי, איך אתה מתקשר עם צוותי הנכס הפיזי, הדברים נעשים קצת מעניינים. האתגר הוא למצוא דרך להפוך כל דבר למוצר ניתן להרחבה וניתן לתמיכה שמפתחי האפליקציות שלנו היו רוצים להשתמש בו, להיות מסוגלים להעשיר את מערך התכונות תוך הישארות בחזית מה שעושה הענן הציבורי. וגם לרכז את הכל כדי שזה ימשיך לעבוד. זו הבעיה העיקרית שלנו – אנחנו עובדים בכל תחומי העסק, מנסים לספק את כל הצרכים, אבל לא מתעלמים מצרכים אחרים.

האם אתה חושב שאתה צריך את התכונות העדכניות ביותר הזמינות ב-AWS ובעננים ציבוריים אחרים?

העובדה הכי כיפית ב-S3 היא שרמת החיים משתנה כל הזמן, תכונות חדשות תמיד מתווספות. זה כמו צעצוע חדש. אם מישהו רואה תכונה חדשה במהדורה חדשה, הוא רוצה אותה. לא כל תכונות ה-AWS ישימות בסביבה שלנו, ולכן חשוב ומעניין לדעת מה יעזור למפתחים ואיך להשיג את זה בבית.

באיזה ציוד אחסון אתה משתמש?

אנו משתמשים בציוד החדיש ביותר. הענן הפנימי שלנו מבוסס לחלוטין על NVMe Flash, מה שהופך את המערכות הללו לחזקות מאוד. זה עושה את החיים שלנו קצת יותר קלים, וזה גם תכונה נחמדה עבור המפתחים שלנו כי הם לא צריכים לדאוג לגבי ביצועי האחסון.

בשביל מה אתה משתמש באחסון חפצים?

יש לנו 6000 מפתחים שעובדים על תשתית, הם לא מאוחדים בשום מקרה שימוש אחד. כל אפשרות שאתה יכול לחשוב עליה, כנראה שיש לנו אותה באחסון חפצים. חלק מהצוותים משתמשים בו לאחסון ארכיון קר, חלקם להעברת נתונים ואחרים שמשתמשים בו ליישומים עסקיים. כל מקרי השימוש הללו דורשים רמות שונות של SLA, כך שכפי שאתה יכול לראות, יש לנו סוגים שונים של תעבורה, כל מיני צרכים למשתמשים שונים של התשתית שלנו. זה לא מקרה שימוש הומוגני הפועל על גבי כל אחד מהאחסון שלנו, מה שכמובן הופך את הדברים למורכבים יותר.

כמה גדול תפקידם של Kubernetes ומכולות עבורך, ואיך זה משפיע על האחסון?

אנחנו דוחפים את פרודוקטיביות האחסון כדי ליצור תחושה של ענן, תחושה של משהו-כשירות, שבו יש כפתור למפתחים להאיץ את היצירה שלהם ולהסיר תשתית לאורך הדרך.

מס' העורך: 15 באוקטובר 2020 יהיה מוכן קורס וידאו של Ceph. תלמדו את טכנולוגיית האחסון ברשת Ceph לשימוש בפרויקטים שלכם כדי לשפר את סבילות התקלות.

יש לנו שלושה צוותים, הראשון הוא צוות ה-API של האחסון. הם מייצרים גישה פרוגרמטית, נקודות קצה וזרימות עבודה מוגדרות מראש עבור לקוחות פיתוח אפליקציות בבלומברג. מדובר בצוות של מפתחי אינטרנט מלאים, הם משתמשים בטכנולוגיות node.js, python, קוד פתוח, כמו Apache Airflow, אז הם לומדים קונטיינריזציה ווירטואליזציה.

יש לנו גם שני צוותים טכניים שלמעשה מזיזים את הביטים והבתים. הם קשורים יותר לציוד. יש לנו הרבה ציוד, והצוותים האלה לא משתמשים בווירטואליזציה ובקונטיינרים.

אנחנו מנסים להתעדכן במה שקורה בתעשייה, לומדים את מנהלי ההתקן של Kubernetes CSI, וגם עובדים בשיתוף פעולה הדוק עם הצוות המטמיע Kubernetes בבלומברג כדי להעריך אם אנחנו יכולים לגרום לאחסון Kubernetes לעבוד באופן עקבי עם הטכנולוגיות שיש לנו, ויש לנו זה עובד. אנו משתמשים ב-SDS כדי לתמוך ב-Kubernetes המחוברים לאחסון מתמשך. פיתחנו בהצלחה את הטכנולוגיה הזו, והדיונים נמשכים בין שני הצוותים על האופן שבו נוכל להפוך זאת לזמין לכל השאר בבלומברג. הראינו שזה בהחלט אפשרי.

באיזה עוד תוכנת קוד פתוח אתה משתמש, במיוחד לאחסון?

אנו משתמשים ב- Apache Airflow, HAProxy כדי להגביל את תעבורת האפליקציות. אנו משתמשים גם ב-Ceph, פלטפורמה ל-SDS. עם זה, אתה יכול לקבל מערכת אחת לפקודות, אבל לספק מספר ממשקים ללקוחות. אחת מפלטפורמות הווירטואליזציה פועלת על OpenStack - אנו עובדים בשיתוף פעולה הדוק עם הצוות הזה. יש לנו פלטפורמת וירטואליזציה בקוד פתוח המשתמשת בפלטפורמת SDS בקוד פתוח לאחסון. זה מצחיק.

אילו טכנולוגיות אחסון אתה שוקל לשנתיים-שלוש הבאות?

אנחנו תמיד בודקים דברים חדשים ומגניבים אחרים שקורים בתעשיית האחסון. זה חלק מהעבודה שלנו, זה לא "הנה ה-SAN שלך, נהל כאן, והנה ה-NFS שלך, נהל שם." אנחנו מנסים לתקשר עם הלקוחות שלנו, כלומר. על ידי מפתחי האפליקציות שלנו. אנו עובדים יחד כדי להבין אילו בעיות הם מנסים לפתור וכיצד זה ישפיע על לקוחות בלומברג החיצוניים שלנו - הבנקים ואחרים שמשתמשים בתוכנה שלנו. ואז אנחנו חוזרים לעולם אחסון הנתונים כדי למצוא הזדמנויות שיעזרו להם להשיג את מטרתם. איך נוכל לעזור להם למצוא את טכנולוגיית האחסון המתאימה שמתאימה ל-SLA שלהם או למה שהם מנסים לעשות? בגלל שיש לנו כל כך הרבה מהנדסים שעושים דברים מגניבים, זה אף פעם לא נהיה משעמם.

אנו בודקים כעת דרכים לשיפור הביצועים עבור SDS שעלולים לפעול בשרתים לשימוש כללי. אז אנחנו עובדים על NVMe על TCP, זו יוזמה מאוד מעניינת ומגניבה, אחת מני רבות. אנחנו עובדים גם עם אנשי מפתח בתעשייה וחלק מהספקים הקיימים כדי לברר מה הם מציעים ומה יהיו הביצועים בפועל, האם נוכל להתחיל להשתמש בו בייצור בחברה. זה פותח אופקים חדשים שלא היו נגישים בעבר.

קצת עזרה ב-PS

נ.ב אם יורשה לי, ברצוני להזכיר לכם שהתאריכים 28-30 בספטמבר יתקיימו בסיס Kubernetes אינטנסיבי, למי שלא מכיר את Kubernetes, אבל רוצה להכיר ולהתחיל לעבוד איתו.

מקור: www.habr.com