איך לעמוד בעומסים מוגברים על המערכת: אנחנו מדברים על הכנות בקנה מידה גדול לבלאק פריידי

היי הבר!

בשנת 2017, במהלך יום שישי השחור, העומס גדל כמעט פי אחד וחצי, והשרתים שלנו היו במגבלה שלהם. במהלך השנה גדל מספר הלקוחות בצורה משמעותית, והתברר שללא הכנה מוקדמת קפדנית, ייתכן שהפלטפורמה פשוט לא תעמוד בעומסים של 2018.

הצבנו את היעד השאפתני ביותר שאפשר: רצינו להיות מוכנים לחלוטין לכל גל פעילות, אפילו החזק ביותר, והתחלנו להשיק יכולות חדשות מראש במהלך השנה.

הסמנכ"ל שלנו אנדריי צ'יז' (chizh_andrey) מספר כיצד התכוננו לבלאק פריידי 2018, אילו אמצעים נקטנו כדי למנוע נפילות, וכמובן, התוצאות של הכנה זהירה שכזו.

היום אני רוצה לדבר על ההכנות לבלאק פריידיי 2018. למה עכשיו, כשרוב המכירות הגדולות מאחורינו? התחלנו להיערך כשנה לפני אירועים רחבי היקף, ובאמצעות ניסוי וטעייה מצאנו את הפתרון האופטימלי. אנו ממליצים לכם לדאוג מראש לעונות החמות ולמנוע הונאות שעלולות לצוץ ברגע הכי לא מתאים.
החומר יהיה שימושי לכל מי שרוצה לסחוט את הרווח המקסימלי ממניות כאלה, כי הצד הטכני של הנושא אינו נחות מהצד השיווקי כאן.

תכונות של תנועה במכירות גדולות

בניגוד למה שנהוג לחשוב, בלאק פריידי הוא לא רק יום אחד בשנה, אלא כמעט שבוע שלם: הצעות ההנחה הראשונות מגיעות 7-8 ימים לפני המכירה. תעבורת האתר מתחילה לצמוח בצורה חלקה לאורך כל השבוע, מגיעה לשיאה ביום שישי ויורדת בחדות בשבת לרמות הרגילות של החנות.

זה חשוב לקחת בחשבון: חנויות מקוונות הופכות רגישות במיוחד לכל "האטה" במערכת. בנוסף, קו ניוזלטר המייל שלנו חווה גם עלייה משמעותית במספר ההגשות.

חשוב לנו אסטרטגית לעבור את הבלאק פריידי ללא קריסות, כי... הפונקציונליות החשובה ביותר של אתרי אינטרנט וניוזלטרים של חנויות תלויה בתפעול הפלטפורמה, כלומר:

• מעקב והנפקת המלצות למוצרים,
• הנפקת חומרים קשורים (לדוגמה, תמונות של עיצוב קוביות המלצות, כגון חצים, לוגו, אייקונים ואלמנטים ויזואליים אחרים),
• אספקת תמונות מוצר בגודל הנדרש (למטרות אלו יש לנו "ImageResizer" - תת-מערכת שמורידה תמונה משרת החנות, דוחסת אותה לגודל הדרוש ובאמצעות שרתי מטמון מייצרת תמונות בגודל הנדרש עבור כל מוצר ב- כל בלוק המלצות).

למעשה, במהלך Black Friday 2019, העומס על השירות גדל ב-40%, כלומר. מספר האירועים שמערכת Retail Rocket עוקבת ומעבדת באתרי חנויות מקוונות גדל מ-5 ל-8 אלף בקשות בשנייה. בשל העובדה שהתכוננו לעומסים רציניים יותר, שרדנו גל כזה בקלות.

הכשרה כללית

יום שישי השחור הוא זמן עמוס עבור כל הקמעונאות והמסחר האלקטרוני בפרט. כמות המשתמשים ופעילותם בזמן זה גדלה משמעותית, ולכן, כמו תמיד, התכוננו ביסודיות לתקופה העמוסה הזו. בואו נוסיף כאן את העובדה שיש לנו הרבה חנויות מקוונות המחוברות לא רק ברוסיה, אלא גם באירופה, שם ההתרגשות הרבה יותר גבוהה, ואנו מקבלים רמת תשוקה גרועה יותר מהסדרה הברזילאית. מה צריך לעשות כדי להיות מוכנים לחלוטין לעומסים מוגברים?

עבודה עם שרתים

ראשית, היה צורך לברר מה בדיוק אנחנו צריכים כדי להגדיל את כוח השרת. כבר באוגוסט התחלנו להזמין שרתים חדשים במיוחד לבלאק פריידי - בסך הכל הוספנו 10 מכונות נוספות. עד נובמבר הם היו בלחימה מלאה.

במקביל, חלק ממכונות הבנייה הותקנו מחדש לשימוש כשרתי יישומים. מיד הכנו אותם לשימוש בפונקציות שונות: הן להוצאת המלצות והן לשירות ImageResizer, כך שבהתאם לסוג העומס, כל אחת מהן תוכל לשמש לאחד מהתפקידים הללו. במצב רגיל, לשרתי Application ו-ImageResizer יש פונקציות מוגדרות בבירור: הראשונים מנפיקים המלצות, השניים מספקים תמונות למכתבים ובלוקי המלצות באתרי קניות מקוונים. לקראת בלאק פריידי הוחלט לעשות את כל השרתים הדו-שימושיים על מנת לאזן את התעבורה ביניהם בהתאם לסוג ההורדה.

לאחר מכן הוספנו שני שרתים גדולים עבור Kafka (Apache Kafka) וקיבלנו אשכול של 5 מכונות חזקות. למרבה הצער, הכל לא הלך חלק כמו שהיינו רוצים: במהלך תהליך סנכרון הנתונים, שתי מכונות חדשות תפסו את כל רוחב ערוץ הרשת, והיינו צריכים להבין בדחיפות כיצד לבצע את תהליך ההוספה במהירות ובבטחה עבור תשתית שלמה. כדי לפתור בעיה זו, המנהלים שלנו נאלצו להקריב בגבורה את סופי השבוע שלהם.

עבודה עם נתונים

בנוסף לשרתים, החלטנו לבצע אופטימיזציה של קבצים כדי להקל על העומס וצעד גדול עבורנו היה תרגום קבצים סטטיים. כל הקבצים הסטטיים שהתארחו בעבר בשרתים הועברו ל-S3 + Cloudfront. אנחנו רוצים לעשות את זה כבר הרבה זמן, מאז העומס על השרת היה קרוב לערכי הגבול, ועכשיו נוצרה הזדמנות מצוינת.

שבוע לפני הבלאק פריידי, הגדלנו את זמן אחסון התמונות במטמון ל-3 ימים, כך שאם ImageResizer תקרוס, תמונות שנשמרו בעבר במטמון יוחזרו מה-cdn. זה גם הפחית את העומס על השרתים שלנו, מכיוון שככל שהתמונה מאוחסנת זמן רב יותר, כך נצטרך להשקיע בתדירות נמוכה יותר משאבים על שינוי גודל.

ואחרון חביב: 5 ימים לפני הבלאק פריידי הוכרז על מורטוריום על פריסת כל פונקציונליות חדשה, כמו גם על כל עבודה עם התשתית - כל תשומת הלב מכוונת להתמודדות עם עומסים מוגברים.

תוכניות לתגובה למצבים קשים

לא משנה עד כמה התכשיר איכותי, תמיד אפשר לעשות פקאפס. ופיתחנו 3 תוכניות תגובה למצבים קריטיים אפשריים:

• הפחתת עומס,
• השבתת שירותים מסוימים,
• כיבוי מוחלט של השירות.

תוכנית א': הפחת עומס. היה צריך להיות מופעל אם, עקב עלייה בעומס, השרתים שלנו חרגו מתזמוני תגובה מקובלים. במקרה זה, הכנו מנגנונים להפחתת העומס בהדרגה על ידי העברת חלק מהתנועה לשרתי אמזון, שפשוט יגיבו לכל הבקשות ב-"200 OK" ויתנו מענה ריק. הבנו שמדובר בפגיעה באיכות השירות, אבל הברירה בין העובדה שהשירות לא עובד בכלל או לא מציג המלצות לכ-10% מהתנועה ברורה.

תוכנית ב': השבתת שירותים. השפלה חלקית משתמעת של השירות. למשל, הפחתת מהירות חישוב ההמלצות האישיות על מנת לפרוק כמה מאגרי מידע וערוצי תקשורת. במצב רגיל, ההמלצות מחושבות בזמן אמת, תוך יצירת גרסה שונה של החנות המקוונת עבור כל מבקר, אך בתנאים של עומס מוגבר, הפחתת המהירות מאפשרת לשירותי ליבה אחרים להמשיך לעבוד.

תוכנית ג': במקרה של ארמגדון. אם מתרחש כשל מערכתי מוחלט, הכנו תוכנית שתאפשר לנו להתנתק בבטחה מהלקוחות שלנו. קוני חנות פשוט יפסיקו לראות המלצות; הביצועים של החנות המקוונת לא ייפגעו בשום צורה. לשם כך, נצטרך לאפס את קובץ האינטגרציה שלנו כך שמשתמשים חדשים יפסיקו לקיים אינטראקציה עם השירות. כלומר, נשבית את קוד המעקב הראשי שלנו, השירות יפסיק לאסוף נתונים וחישוב המלצות, והמשתמש פשוט יראה דף ללא חסימות המלצות. לכל אלה שקיבלו בעבר קובץ אינטגרציה, סיפקנו את האפשרות להעביר את רשומת ה-DNS לאמזון ואת ה-200 OK stub.

תוצאות של

טיפלנו בכל העומס גם ללא צורך בשימוש במכונות בנייה נוספות. ובזכות הכנה מוקדמת לא נזקקנו לאף אחת מתוכניות התגובה שפותחו. אבל כל העבודה שנעשתה היא ניסיון שלא יסולא בפז שיעזור לנו להתמודד עם זרימות התנועה הבלתי צפויות והעצומות ביותר.
כמו ב-2017, העומס על השירות גדל ב-40%, ומספר המשתמשים בחנויות מקוונות גדל ב-60% ב-Black Friday. כל הקשיים והטעויות התרחשו במהלך תקופת ההכנה, מה שהציל אותנו ואת לקוחותינו ממצבים בלתי צפויים.

איך אתה מתמודד עם בלאק פריידי? איך מתכוננים לעומסים קריטיים?

מקור: www.habr.com