ניטור + בדיקת עומס = חיזוי וללא כשלים

מחלקת ה-IT של VTB נאלצה מספר פעמים להתמודד עם מצבי חירום בהפעלת מערכות, כאשר העומס עליהן גדל פי כמה. לכן, היה צורך לפתח ולבדוק מודל שיחזה עומס שיא על מערכות קריטיות. לשם כך, מומחי ה-IT של הבנק הקימו ניטור, ניתחו נתונים ולמדו לבצע אוטומציה של תחזיות. נספר לכם במאמר קצר אילו כלים עזרו לחזות את העומס והאם הם עזרו לייעל את העבודה.

בעיות עם שירותים בעומס גבוה מתעוררות כמעט בכל הענפים, אך עבור המגזר הפיננסי הן קריטיות. בשעה X כל היחידות הקרביות חייבות להיות מוכנות ולכן היה צורך לדעת מראש מה יכול לקרות ואף לקבוע את היום בו יקפוץ העומס ואילו מערכות ייתקלו בו. צריך לטפל בכשלים ולמנוע אותם, ולכן הצורך ביישום מערכת ניתוח חיזוי אפילו לא נדון. היה צורך לבצע מודרניזציה של מערכות המבוססות על נתוני ניטור.

אנליטיקה על הברכיים

פרויקט השכר הוא אחד הרגישים ביותר במקרה של כישלון. זה הכי מובן לחיזוי, אז החלטנו להתחיל איתו. בשל קישוריות גבוהה, תת-מערכות אחרות, כולל שירותי בנקאות מרחוק (RBS), עלולות להיתקל בבעיות בזמנים של עומסי שיא. לדוגמה, לקוחות שהיו מרוצים מה-SMS על קבלת הכסף החלו להשתמש בו באופן פעיל. העומס יכול לקפוץ ביותר מסדר גודל. 

מודל התחזית הראשון נוצר באופן ידני. לקחנו את ההעלאות של השנה האחרונה וחישבנו באילו ימים צפויים השיאים המקסימליים: למשל, ה-1, ה-15 וה-25, וכן בימים האחרונים של החודש. מודל זה דרש עלויות עבודה משמעותיות ולא סיפק תחזית מדויקת. למרות זאת, היא זיהתה צווארי בקבוק שבהם היה צורך להוסיף חומרה, ואיפשרה לייעל את תהליך העברת הכסף באמצעות הסכמה עם לקוחות עוגן: כדי לא לתת משכורות בלגימה אחת, עסקאות מאזורים שונים חולקו לאורך זמן. כעת אנו מעבדים אותם בחלקים שתשתית ה-IT של הבנק יכולה "ללעוס" ללא תקלה.

לאחר שקיבלנו את התוצאה החיובית הראשונה, עברנו לאוטומציה של חיזוי, עוד תריסר אזורים קריטיים חיכו לתורם.

גישה מורכבת

VTB הטמיעה מערכת ניטור מבית MicroFocus. משם לקחנו איסוף נתונים לחיזוי, מערכת אחסון ומערכת דיווח. למעשה, ניטור כבר היה במקום, כל שנותר היה להוסיף מדדים, מודול חיזוי וליצור דוחות חדשים. החלטה זו נתמכת על ידי הקבלן החיצוני Technoserv, כך שעיקר העבודה על יישום הפרויקט נפלה על המומחים שלו, אבל אנחנו בנינו את המודל בעצמנו. מערכת החיזוי נעשתה על בסיס Prophet, מוצר קוד פתוח שפותח על ידי פייסבוק. זה קל לשימוש ומשתלב בקלות עם כלי הניטור המשולבים המותקנים שלנו ו-Vertica. באופן גס, המערכת מנתחת את גרף העומס ומוציאה אותו על סמך סדרות פורייה. אפשר גם להוסיף מקדמים מסוימים לפי יום, שנלקחו מהמודל שלנו. מדדים נלקחים ללא התערבות אנושית, התחזית מחושבת אוטומטית פעם בשבוע, ודוחות חדשים נשלחים לנמענים. 

גישה זו מזהה את המחזוריות העיקרית, למשל, שנתי, חודשי, רבעוני ושבועי. תשלומי משכורות ומקדמות, תקופות חופשות, חגים ומכירות - כל זה משפיע על מספר הפניות למערכות. התברר, למשל, שחלק מהמחזורים חופפים זה את זה, והעומס העיקרי (75%) על המערכות מגיע מהמחוז הפדרלי המרכזי. ישויות משפטיות ויחידים מתנהגים אחרת. אם העומס מ"פיזיקאים" מתחלק באופן שווה יחסית על פני ימות השבוע (מדובר בהרבה עסקאות קטנות), אז עבור חברות מושקעים 99,9% על שעות עבודה, ועסקאות יכולות להיות קצרות, או יכולות להיות מעובדות בתוך כמה דקות או אפילו שעות.

על סמך הנתונים המתקבלים נקבעות מגמות ארוכות טווח. המערכת החדשה חשפה שאנשים עוברים בהמוניהם לשירותי בנקאות מרוחקים. כולם יודעים את זה, אבל לא ציפינו לקנה מידה כזה ובהתחלה לא האמנו בו: מספר השיחות למשרדי הבנקים יורד מהר ביותר, ומספר העסקאות המרוחקות גדל באותה כמות בדיוק. בהתאם, גם העומס על המערכות גדל וימשיך לגדול. כעת אנו חוזים את העומס עד פברואר 2020. ניתן לחזות ימים רגילים עם טעות של 3%, וימי שיא עם טעות של 10%. זו תוצאה טובה.

חסרונות

כרגיל, זה לא היה חף מקשיים. מנגנון האקסטרפולציה באמצעות סדרת פורייה לא חוצה את האפס היטב - אנחנו יודעים שישויות משפטיות מייצרות מעט עסקאות בסופי שבוע, אבל מודול החיזוי מייצר ערכים רחוקים מאפס. אפשר היה לתקן אותם בכוח, אבל קביים הם לא השיטה שלנו. בנוסף, נאלצנו לפתור את הבעיה של שליפת נתונים ממערכות מקור ללא כאב. איסוף שוטף של מידע דורש משאבי מחשוב רציניים, לכן בנינו מטמונים מהירים באמצעות שכפול וקבלנו נתונים עסקיים מהעתקים. היעדר עומס נוסף על המערכות הראשיות במקרים כאלה הוא דרישת חסימה.

אתגרים חדשים

המשימה הפשוטה של ​​חיזוי השיאים נפתרה: לא היו תקלות הקשורות לעומס יתר בבנק מאז מאי השנה, ולמערכת החיזוי החדשה היה תפקיד חשוב בכך. כן, התברר שזה לא מספיק, ועכשיו הבנק רוצה להבין עד כמה הפסגות מסוכנות עבורו. אנחנו צריכים חיזויים באמצעות מדדים מבדיקות עומס, וכ-30% מהמערכות הקריטיות זה כבר עובד, השאר נמצאים בתהליך של קבלת חיזויים. בשלב הבא, אנחנו הולכים לחזות את העומס על מערכות לא בעסקאות עסקיות, אלא במונחים של תשתית IT, כלומר נרד שכבה אחת. בנוסף, עלינו לבצע אוטומציה מלאה של איסוף המדדים ובניית תחזיות על בסיסם, כדי לא להתעסק בהורדות. אין בזה שום דבר מפואר - אנחנו רק חוצים ניטור ובדיקות עומס בהתאם לשיטות העבודה המומלצות העולמיות.

מקור: www.habr.com