תוכנת קוד פתוח עבור LMS: כיצד soft חינמי מסייע בניהול מערכות עסקיות קריטיות ב-VTB

מערכת התמיכה בתיעוד בבנק שלנו מתפתחת ומתרחבת כל הזמן, והדרישות למהירות וסובלנות תקלות רק הולכות וגדלות. בשלב מסוים, תחזוקת LMS ללא ניטור מרכזי יעיל הפכה למסוכנת מדי. כדי לאבטח תהליכים עסקיים ב-VTB ולפשט את עבודתם של המנהלים, הטמענו פתרון המבוסס על ערימה של טכנולוגיות פתוחות. בעזרתו, אנו יכולים להגיב באופן יזום לאירועים, ולמנוע בעיות פוטנציאליות. מתחת לגזרה יש סיפור על הניסיון שלנו בשימוש בתוכנה חופשית לניטור מערכות עסקיות בקנה מידה גדול.

למה לפקח על מערכת ניהול המסמכים שלך?

מאז 2005, התמיכה בתיעוד בבנק VTB "מנוהלת" על ידי מערכת CompanyMedia. ה-LMS מעסיק למעלה מ-60 אלף משתמשים שיוצרים יותר ממיליון מסמכים חדשים מדי חודש. השרתים שלנו חייבים לפעול 24 שעות ביממה: כמעט בכל רגע יש 2500–3000 אנשים במערכת, המחוברים בכל הארץ, מפטרופבלובסק-קמצ'צקי ועד קלינינגרד. כל שנייה של פעולת LMS פירושה 10-15 שינויים.

כדי להבטיח שהמערכת ממלאת במדויק את המשימות שהוקצו לה, פרסנו תשתית עמידה לתקלות באמצעות שרתי פרוקסי, איזון בקשות, הגנת מידע, חיפוש בטקסט מלא, מסלולי אינטגרציה וגיבוי. כדי לתמוך ולנהל פרויקט בקנה מידה זה דורש משאבים אדירים. מנהלי מערכת עוקבים אחר מידע בסיסי על פעולת השרת, עומס זיכרון RAM, זמן מעבד, תת-מערכת קלט/פלט וכן הלאה מסביב לשעון. אבל חוץ מזה, יש צורך בניתוח עדין יותר:

• חישוב הזמן המושקע בביצוע תרחישים עסקיים;
• ניטור הדינמיקה של ביצועי המערכת והעומס עליה;
• חיפוש אחר סטיות ברכיבי המערכת מהדרישות הלא פונקציונליות המאושרות.

11 שנים לאחר כניסת ה-LMS, נושא המענה היזום לסוגים שונים של טעויות החריף במיוחד. הנהלת הבנק הבינה שעבודה ללא מוניטורים וקונסולת חיי מערכת משחקת באש: הכישלון הקטן ביותר במערכת עסקית ברמה כזו עלול לגרום להפסדים של מיליונים.

בשנת 2016 התחלנו להכניס כלים לזיהוי מהיר של בעיות בתפקוד ה-LMS, כולל ניטור פרמטרים המעניינים אותנו בזמן אמת. בעבר, מערכת הניטור היישומי נפרסה ונבדקה במסגרת תשתית חברת InterTrust.

איך הכל התחיל

כיום, מערכת ניטור האפליקציות המרכזית של VTB LMS, המבוססת על מוצרי תוכנה בקוד פתוח, מסייעת למנוע את רוב השגיאות הקשורות לזרימת מסמכים, לסווג בעיות במהירות ובדייקנות ולהגיב מיידית לכל תקרית. הוא כולל שתי מערכות משנה:

• לניטור תשתית ה-IT של שירותי המערכת;
• לנטר את התרחשותן של שגיאות בפעולת ה-LMS.

הכל התחיל באפליקציית ניטור אחת בחינם. לאחר שעברנו מספר אפשרויות, הסתפקנו ב- Zabbix - תוכנה חינמית שנכתבה במקור עבור שירותים וציוד בנקאיים. מערכת מבוססת רשת PHP זו, שיכולה לאחסן נתונים ב-MySQL, PostgreSQL, SQLite או Oracle Database, התאימה בצורה מושלמת לצרכים שלנו.

Zabbix מפעילה את הסוכנים שלה בכל שרת ואוספת מידע על מדדי עניין בזמן אמת למסד נתונים בודד. באמצעות האפליקציה נוח לאסוף נתונים על העומס על מעבדים וזיכרון RAM, על השימוש ברשת וברכיבים נוספים, לבדוק זמינות ותגובה של שירותים סטנדרטיים (SMTP או HTTP), להפעיל תוכנות חיצוניות ולתמוך בניטור באמצעות SNMP.

לאחר פריסת Zabbix, הגדרנו מדדי חומרה סטנדרטיים, ובהתחלה זה הספיק. אבל VTB SDO מתפתח וגדל ללא הרף: ב-2016, מספר השרתים גדל בצורה ניכרת, הופיעו תהליכי הגירה, הבנק של מוסקבה, VTB Capital ו-VTB24 הצטרפו למערכת. כבר אין מספיק מדדים סטנדרטיים, ולמדנו את Zabbix לעקוב אחר מידע על הימצאות תורים בכל אחד מהכרכים המחוברים לשרת (מהקופסה Zabbix משקפת רק את תור הדיסק הכללי), כמו גם את הזמן שלוקח להשלמת הליך מסוים.

בנוסף, ציידנו את המערכת במספר טריגרים - תנאים שבהם נשלחת הודעה למנהל (הודעה בטלגרם, SMS למספר טלפון או מייל). ניתן להגדיר טריגרים עבור כל סט של פרמטרים. לדוגמה, אתה יכול לציין אחוז מסוים של שטח דיסק פנוי, והמערכת תתריע בפני המנהל כאשר הסף שצוין יגיע, או תודיע לך אם הליך רקע רץ יותר מהרגיל.

קישוריות Java והדמיית נתונים

הרחבנו משמעותית את מגוון הנתונים המנותחים, אך עד מהרה זה לא הספיק לניטור יעיל. תוך ניצול העובדה שה-LMS של CompanyMedia הוא אפליקציית Java, התחברנו ל-Java Virtual Machine דרך ממשק JMX והצלחנו לקחת מדדי Java ישירות. ולא רק פרמטרים סטנדרטיים של פעילות חיונית של Java, כגון עוצמת העבודה של GC או צריכת ערימה, אלא גם בדיקות ספציפיות הקשורות ישירות לקוד היישום הניתן להפעלה.

בשנת 2017, כשנה לאחר הטמעת מערכת הניטור, התברר שכדי לעבוד בצורה רגילה עם כמות הנתונים האדירה שנאספו ב-Zabix, אין מספיק ויזואליזציה - מסכים מורכבים. הפתרון הטוב ביותר לבעיה זו היה שוב תוכנה חינמית - Grafana, לוח מחוונים נוח למדדים המאפשר לצבור את כל הנתונים על מסך אחד.

ממשק Grafana הוא אינטראקטיבי, מזכיר מערכת OLAP. תת-המערכת מציגה את הנתונים שהתקבלו ב-Zabix על מסך בודד, תוך הצגת המידע בצורה של גרפים ודיאגרמות שקל לנתח. המנהל יכול בקלות להתאים אישית את הפרוסות שהוא צריך.

ניטור ומניעת שגיאות במערכת LMS

פלטפורמת תוכנת הקוד הפתוח של ELK עוזרת לך לסנן ולנתח את המידע המתקבל במהלך הניטור. מוצר קוד פתוח זה מורכב משלושה כלים רבי עוצמה לאיסוף, אחסון וניתוח נתונים: Elasticsearch, Logstash ו-Kibana. הטמעת תת-מערכת זו מאפשרת, בפרט, לראות בזמן אמת כמה שגיאות אירעו במערכת, באילו שרתים והאם שגיאות אלו חוזרות על עצמן.

כעת מנהל המערכת יכול לזהות בעיה בשלב מוקדם, עוד לפני שהמשתמש נתקל בה. ניטור יזום כזה מאפשר לך למנוע תקלות במערכת על ידי ביטול שגיאות בזמן. בנוסף, אנו יכולים להבין כיצד השתנתה התנהגות המערכת לאחר העדכון, וכן לזהות בעיות חדשות אם הן מופיעות.

ניטור תפעול עסקי

בנוסף לפונקציות הבסיסיות של ניטור צריכת משאבים, למערכת יש יכולת לנתח ולשלוט בפעולות העסקיות.

ניטור זמן הביצוע הכולל של הפעילות העסקית מאפשר לזהות גורמים חדשים ולהבין את ההשפעה שיש להם על פעולת המערכת.

מעקב אחר זמן ביצוע הבקשות לכל שירות עסקי מאפשר לזהות פעולות החורגות מהמקובל.

צילום המסך למעלה הוא דוגמה לניטור משימת רקע מבחינת החריגה שלה מהנורמה.

רשימת המשימות הנשלטות מבחינת פעילותן בשרת ספציפי מאפשרת לזהות שגיאות - כולל כפילות של ביצוע משימות - בכל השרתים.

כמו כן, מנוטרות מגמות בזמן הביצוע של נהלי רקע.

המערכת צומחת, מתפתחת ועוזרת להתמודד עם בעיות

עם יישום המערכת המתוארת, ניטור פעולת שרתי LMS הפך לפשוט משמעותית. עם זאת, סוגים שונים של קונפליקטים מתעוררים מעת לעת, המשפיעים על מהירות זרימת המסמכים וגורמים לתלונות משתמשים. אז הבנו שצריך לשלוט בהתנהגות האפליקציה עצמה, ולא רק בשרתים.

כדי לפתור בעיה זו, חובר איזון למערכת הניטור באמצעות API, שעובד עם אשכול שרתי יישומים. הודות לכך, המנהל יכול לראות כמה זמן לוקח לשרת להגיב לכל בקשת משתמש.

נתונים על זמני תגובה של שרת הפכו זמינים לניתוח, מה שאיפשר לקשר את ההאטה של ​​ה-LMS עם התהליכים המתרחשים בשרת. במיוחד נוצר מצב מעניין: השרת פועל לאט, למרות שברגע זה הוא אינו נטען. בניתוח האנומליה, גילינו סטיות בפעולת ה-Garbage Collector Java. בסופו של דבר התברר שתפעול לא נכון של השירות הזה הוא שהוביל למצב הזה. על ידי השתלטות על Garbage Collector Java, חיסלנו לחלוטין את הבעיה.

כך תוכנה חופשית מסייעת למערכת ניהול המסמכים בענף הבנקאות להתפתח ולצמוח. נגענו רק בנושאים העיקריים הקשורים למערכת הניטור VTB SDO. אם אתם מעוניינים בפרטים, שאלו בהערות, נשמח לשתף אתכם בניסיון שלנו.

מקור: www.habr.com