אנו חוסכים זמן, עצבים ושעות עבודה

הפרויקטים שלנו הם בדרך כלל אזוריים, והלקוחות הם בדרך כלל משרדים. אבל, בנוסף למגזר הציבורי, גם ארגונים פרטיים משתמשים במערכות שלנו. כמעט ואין בעיות איתם.

אז, הפרויקטים העיקריים הם אזוריים, ולפעמים יש בעיות איתם. לדוגמה, עם ביצועים, כאשר באזורים יש יותר מ-20 משתמשים יקרים שלנו במהלך תקופת השקת פונקציונליות חדשה על שרתי המוצר. זה כאב…

שמי רוסלן ואני תומך במערכות המידע של BARS Group ו פיתוח בוט רוצח עבור DBAs סדרתי אלים. הפוסט הזה לא מיועד לבעלי לב חלש - יש הרבה מכתבים ותמונות.

/awr

חלק מהיישומים שלנו פועלים על Oracle DBMS. ישנם גם פרויקטים ב- PostgreSQL DBMS. לאורקל יש דבר נפלא - איסוף סטטיסטיקות על העומס על ה-DBMS, שמדגיש בעיות קיימות ואף נותן המלצות לביטול - Automatic Workload Repository (AWR). בשלב מסוים (כלומר ברגע הכאב), המפתחים ביקשו כל הזמן לאסוף דוחות AWR לניתוח ביצועים. הלכנו בכנות לשרת ה-DBMS, אספנו דוחות, לקחנו אותם אלינו ושלחנו אותם לייצור לניתוח. אחרי הפעם החמישית זה נהיה מעצבן... אחרי העשירית זה הפך לעצבן...

אחד מהקולגות שלי הביע פעם את הרעיון שכל מה שנעשה יותר מפעם אחת צריך להיות אוטומטי. עד לרגע הגירוי, למען האמת, לא חשבתי על זה וניסיתי לעשות אוטומציה של כל מה שאפשר לעשות אוטומטית, אבל לעתים קרובות זה לא היה מבוקש והיה יותר מחקר מאשר אופי יישומי.

ואז חשבתי: "אין צורך במנהלי מערכת כדי ליצור דוח...". אחרי הכל, איסוף דו"ח פירושו לבצע את הסקריפט sql @$ORACLE_HOME/rdbms/admin/awrrpt.sql ולקחת את הדו"ח מהשרת למקום שלך... אה, כן, אנחנו לא מאפשרים פיתוח להפקה.

אחר כך חיפשתי בגוגל את המידע הדרוש, יצרתי את הפונקציה מהמאמר על בסיס הבדיקות, הרצתי את הסקריפט והנס - הדוח נערך וניתן לשמור אותו באופן מקומי. יצר פונקציות שבהן היה צורך לעתים קרובות בדוחות AWR ואמרו למפתחים כיצד להשתמש בהן.

בערך בזמן הזה, בזמני הפנוי, לאחר שדיברתי עם @BotFather, יצרתי לעצמי בוט של טלגרם, סתם בשביל הכיף. דפקתי שם פונקציונליות פשוטה - הצג את השעה הנוכחית, שערי חליפין, מזג האוויר, לימדתי את זה לשלוח מחמאות לאשתי (אז החברה) בלוח זמנים. אולי, באותה תקופה, שליחת מחמאות הייתה הפונקציונליות הפופולרית ביותר של הבוט שלי, ואשתי העריכה זאת.

כך. מפתחים כותבים לנו בטלגרם, אנחנו שולחים להם דיווח בטלגרם... מה אם הם כותבים לא לנו, אלא לבוט? הרי זה יהיה יותר טוב לכולם, הדיווח יתקבל מהר יותר והכי חשוב יעקוף אותנו. כך נולד הרעיון של הפונקציונליות הפופולרית הראשונה עבור הבוט שלי.

התחלתי ליישם. עשיתי את זה, כמיטב יכולתי, ב-PHP (האפליקציה שלנו עצמה היא ב-PHP, אני בקיא בה יותר מאשר ב-Python). אני לא קודן טוב, אז אני לא אראה לך את הקוד שלי :)

הבוט חי ברשת הארגונית שלנו ויש לו גישה לפרויקטים מסוימים, כולל מסדי נתונים יעד. כדי לא להתעסק בפרמטרים בצוות או בתפריט, הוספתי את הפונקציונליות הזו לצ'אט הקבוצתי עם הודעות ניטור. כך הבוט יודע מיד מאיזה מסד נתונים לאסוף את הדוח.

לאחר שקיבל פקודה כמו /awr N, כאשר N הוא מספר השעות המלאות שעבורן יש צורך בדוח (כברירת מחדל - שעה), אפילו למשך שבוע, אם מסד הנתונים לא הופעל מחדש, הבוט מיד מתחיל לעבוד, אוסף את הדוח, מפרסם אותו כקובץ דף אינטרנט ומיד (כמעט ממש שם) מספק קישור לדוח הנחוץ.

עקוב אחר הקישור והנה הוא, דוח AWR:

כצפוי, המפתחים התמודדו עם יצירת דוחות כזו, וחלקם אפילו הודו לנו.

לאחר שהעריכו את הנוחות של הצוות, מנהלי פרויקטים מאזורים אחרים רצו אותו הדבר, מכיוון שהם מקבלים את המרב מהלקוח ומודאגים מהביצועים והזמינות של המערכות. הוספתי את הבוט לצ'אטים אחרים. הם עדיין משתמשים בזה, ואני שמח על זה.

מאוחר יותר, עמיתים מ-CIT גילו כיצד אנו אוספים דוחות ורצו לעשות זאת גם כן. לא הוספתי אותם לצ'אטים שלנו, יצרתי צ'אט נפרד עם הפקת דוחות על פי לוח זמנים ועל פי בקשה.

/pgBadger

יש לנו גם יישומים אחרים ב-PHP בשילוב עם PostgreSQL. יישמתי את אוסף דוחות pgBadger עבור מי שזקוק לאותו עיקרון - בצ'אטים קבוצתיים. בהתחלה הם השתמשו בזה, אבל אז הם הפסיקו. הפונקציונליות הופסקה כמיותרת.

/חוֹבָה

במחלקה שלנו יש משמרות לילה ובהתאם יש לו לוח זמנים. זה ב-Google Sheets. לא תמיד נוח לחפש קישור, לפתוח תרשים, לחפש בעצמכם... אחד מעמיתיי לשעבר שיחק גם עם הבוט הטלגרם שלו והכניס אותו לצ'אט של המחלקה שלנו הודעות על תחילת משמרת המשמרת לעובדי המחלקה. הבוט מנתח את לוח הזמנים, קובע את התורן עד לתאריך הנוכחי ולפי לוח הזמנים או לפי בקשה מדווח מי תורן היום. יצא מעולה ונוח. נכון, לא ממש אהבתי את הפורמט של ההודעות. כמו כן, לעובדי מחלקה אחרת (לדוגמה, BC "רפואה") אין ממש צורך במידע על תורנים בכיוונים אחרים, אבל צריך לדעת מי תורן ב"רפואה" במקרה של בעיות. החלטתי "להשאיל" את הפונקציונליות, אבל לשנות את מה שלא אהבתי. עשיתי פורמט הודעה נוח לעצמי ולאחרים, הסרתי מידע מיותר.

/tnls

לאחר שניסיתי אוטומציה באמצעות בוט של טלגרם, הופיעו רעיונות רבים ושונים, אבל רציתי לעשות דברים נחוצים בהחלט. החלטתי להוביל סטטיסטיקה על בקשות. כדי לגשת לפרויקטים של הלקוחות שלנו, הטמענו מה שנקרא "שרת קפיצה" או שרת שילוח. מעלים עליו חיבורי VPN, לאחר מכן מועברים יציאות יישומים, מסדי נתונים ושאר העברות עזר לרשת המקומית שלנו באמצעות ssh, לגישה נוחה לפרויקטים של העובדים שלנו, ללא בעיות בחיבורי VPN. כל מה שאתה צריך לעשות הוא להגדיר חיבור VPN לרשת הארגונית שלנו.

הסטטיסטיקה של הבקשות הראתה שלעיתים קרובות, לאחר שאחת המנהרות נכשלת (במקרה של בעיות ברשת, עקב פסק זמן, למשל), אנשים פונים אלינו לגבי החזרת הגישה לפרויקט. ברוב המקרים, מספיק רק הפעלה מחדש של החיבור והכל בסדר. בוא נעשה את זה בעצמך. הנה הפקודה:


אתה "נופל" לפריט התפריט הרצוי, בוחר את הפרויקט שלך, חכה דקה וכולם שמחים ומרוצים...

עם קבלת פקודה, בתנועה קלה של הביטים והסיביות, הבוט מתחבר לשרת ההעברה, יודע מראש איזה העברה צריך להתחיל מחדש, ועושה את עבודתו - משחזר את החיבור לפרויקט. כתבתי הוראות כדי שתוכל לפתור בעיות כאלה בעצמך. ואנשים פנו אלינו רק אם הכלי שסופק לא עבד...

/ecp_to_pem

נתונים סטטיסטיים נוספים הראו שלעתים קרובות יש צורך להמיר EDS Crypto Pro בפורמט PEM(בסיס בסיס) עבור אינטגרציות שונות, ויש לנו די הרבה מהם. משימה: קח קונטיינר, העתק אותו למחשב Windows עם כלי השירות P12FromGostCSP מותקן (בתשלום, אגב), המר אותו ל-pfx, ולאחר מכן המר את pfx באמצעות OpenSSL (עם תמיכה בהצפנת GOST) ל-pem. זה לא מאוד נוח, אבל אתה רוצה את זה בלחיצת האצבעות שלך.

גוגל שוב באה להציל. מצאתי כלי עזר של אדם חביב. הרכבתי אותו כמו שכתוב ב-README - זה עבד. לימדתי את הבוט לעבוד עם כלי השירות וקיבלתי המרה כמעט מיידית.


עד ליישום הסופי, ניתנה הוראה לעבור לפורמט הצפנה חדש - gost-2012. עד כמה שאני זוכר, כלי השירות באותו רגע עבד רק עם GOST הישן (2001), אולי זה היה עוד כלי עזר דומה מאדם חביב אחר, אני לא זוכר בדיוק.
לאחר המעבר ל-GOST החדש, הפונקציונליות של הבוט הוסרה מסיבות אבטחה. הטמיע את זה במיכל דוקר.

Dockerfile, למקרה שמישהו צריך את זה:

FROM ubuntu:16.04                                                                                                                                                                        
RUN apt update && apt -y install git sudo wget unzip gcc g++ make &&                        
   cd /srv/ && git clone https://github.com/kov-serg/get-cpcert.git &&                     
   cd get-cpcert && chmod +x *.sh && ./prepare.sh && ./build.sh &&                         
   mkdir -p /srv/{in,out} &&                                                               
   echo '#!/bin/bash' > /srv/getpem.sh &&                                                  
   echo 'cd /srv/get-cpcert' >> /srv/getpem.sh &&                                          
   echo './get-cpcert /srv/in/$CONT.000 $PASS > /srv/out/$CONT.pem' >> /srv/getpem.sh &&   
   chmod +x /srv/getpem.sh                                                                  ENTRYPOINT /srv/getpem.sh

כדי להמיר, עליך למקם את המיכל המקורי (ספרייה כמו xxx.000) בספריית /srv/in, ולקחת את ה-pem המוגמר אל /srv/out.

להמיר:

 docker run -t -i -e CONT='<имя директории с контейнером(без ".000")>' -e PASS='<пароль для контейнера>' -v /srv/in:/srv/in -v /srv/out:/srv/out --name ecptopem <адрес нашего репозитория>/med/ecptopem:latest 

/emstop ו-/emstart

יום אחד, אורקל DBA מגניב מאוד, עם הרבה ניסיון בניהול ופיתוח DBMS, קיבל עבודה בחברה שלנו. ומיד התקשה להתחבר לשרתי ה-DBMS עם ssh: הוא לא יודע לאן או איך להתחבר, הגישה לא מתוארת בבירור, או שהוא לא יכול להעביר משהו שהוא צריך לעצמו. ובכן, אנחנו שמחים לעזור, אמרנו לו איך להתחבר, והעברנו אותו למנהל הארגונים. אבל הדברים עדיין לא הסתדרו עם ssh. אחד מהקולגות שלי הסביר את זה בפשטות: DBA גזעי :) החלטנו שאם אנחנו צריכים לצבוט משהו בשרת, נעשה את זה בעצמנו.

EM לפעמים קורס תחת עומס כבד, וכדי להפעיל אותו מחדש... צריך להתחבר דרך ssh ולהפעיל מחדש דרך הטרמינל. "מנהלי מערכת טובים בזה", החליט הקולגה החדש שלנו. עומסים כבדים על ה-DBMS אינם נדירים עבורנו, וגם בקשות להפעלה מחדש של EM נפוצות. ואז אותו תרחיש: מתח, עצבנות וחיפוש אחר פתרון לבעיה. אז באותם צ'אטים קבוצתיים הופיעו הפקודות הבאות: /emstop ו-/emstart.

/לַהֲרוֹג

אם יש תחרות חזקה על בסיס הנתונים, וזה קורה לפעמים, יש צורך לפרוק במהירות את בסיס הנתונים. הדרך המהירה ביותר היא להרוג את התהליך הבעייתי... לשם כך, התחבר באמצעות ssh, kill -9... הבוט יעזור!

אלכסיי העריך את הצוות ונתן לו שם חיבה - "קיליאלקה" או אקדח.
יום אחד, לאחר שראיתי איך אלכסיי ניסה וסבל, נכנסתי ל/kill xxx בכל פעם עבור כל אחד מהתהליכים, החלטתי להוסיף "רב-קנה" לאקדח שלנו:

זה יותר טוב! הכל בשבילך, אלכסיי, פשוט תעבוד, יקירי!

מטבע הדברים, צוות כה חשוב היה מוגבל גישה על ידי user_id - "עמיד בפני תקלות". כשראה איך לשה הורג בזריזות תהליכים בשרת מסד הנתונים, כמה אנשים ניסו להזין פקודה עם מספר תהליך אקראי, אבל אתה לא יכול לרמות את הבוט החכם שלי, הוא מיד סירב.

/alertlog

ובכן, ליתר בטחון, עשיתי את הפקודה:
/alertlog - קבל את המספר שצוין של שורות ההתראות
הבוט מושך יומן התראה ושולח אותו לשירות שלנו, כמו pastebin, הנקרא pyste, ושולח קישור להדבקה לצ'אט הבקשה.

/צ'קים

בהמשך הגיעה בקשה ל ניטור הביצועים האמיתיים של האפליקציה שלנו. עד כה, התמיכה הטכנית של הפרויקט אספה נתונים אלה באופן ידני. לא משנה! הבודקים האמיצים שלנו פיתחו מקרי בדיקה לכך. יומן הבדיקה המתקבל אינו נוח מאוד לקריאה; למשתמש לא מנוסה ייקח זמן רב להבין ואינו בטוח שהוא ידגיש את המידע הדרוש. ואנחנו לא אוהבים לעשות עם הידיים שלנו מה שאנחנו לא יכולים לעשות עם הידיים... משימה חדשה לבוט!

הפקודה /checks מציגה תפריט פשוט וחד משמעי; הפעם החבר'ה שלנו למדו איך להשתמש בפקודה הזו ללא הוראות!

כאשר אתה בוחר את הפריט הרצוי, במקום תפריט, מופיעה הודעה על תחילת הבדיקה, כדי שמשתמשים חסרי סבלנות לא יפעילו את הבדיקה שלנו 100500 פעמים:

בהתאם לפריט התפריט שנבחר, בוצעה בדיקה ספציפית מהרשת שלנו, כלומר מהמכונה שבה הבוט חי (Jmeter מוגדר מראש שם, הבדיקות הדרושות ממוקמות...) או ישירות ממרכז הנתונים (מ- מכונה שהוכנה ליד האפליקציה), כדי לא לכלול חיבורי רשת בעת בדיקת עיכובים, או לצמצם אותם למינימום.

לאחר השלמת הבדיקה וקבלת היומן, הבוט מנתח אותו ומפיק את התוצאה בצורה "ניתנת לקריאה":

אוסף מדדים

הפונקציונליות הגיעה ומנהלי פרויקטים מתעניינים קיבלו פונקציה כזו לאזורים שלהם. ומנהל פרויקט רחום אחד אמר: "אני רוצה לקבל סטטיסטיקות זמן!" מישהו מ-CIT אמר לה שיהיה נוח לפקח על כל זה ב-Zabix. Zabbix, אז Zabbix...

חשבתי שאני צריך להתכונן לצורך לשכפל את הפתרון... הכנסתי את הרעיון למיכל דוקר. במיכל, jmeter מופעל בלוח זמנים (אחת ל-10 דקות), מכניס את היומן למקום מסוים, php מנתח אותו ומציג את הנתונים הדרושים בצורה של דף אינטרנט. Zabbix, באמצעות מפתח web.page.get, מקבל את הדף הזה, בוחר בקביעות את הנתונים הדרושים עבור אלמנטים תלויים מסוימים ובונה גרף.

אני חושב שיצא לא רע. על ידי התבוננות בגרף, אנו, ראשית, רואים את המהירות המשוערת של היישום, ואם מתגלים שיאים על הגרף, אנו יודעים בערך היכן נמצא ה"תקע". זה פשוט. עד כה התברר שהוא מבוקש רק לאזור אחד, אבל אני מוכן לשכפל אותו למעוניינים.

פיתוח אפליקציות

נתונים סטטיסטיים על משימות דומות הולידו לאחרונה רעיונות נוספים לפישוט והקלת העבודה. בחלק מהפרויקטים, בשרתי יישומים, יש צורך להתקין קונטיינרים מרכזיים של Crypto Pro, ישנם רבים מהם, ותוקף החתימה הדיגיטלית פג עם הזמן. לפעמים מגיעות 2 משימות ביום. אבל חשבתי שזה לא בטוח להשתמש בבוט למטרות אלה והחלטתי שאיצור את הפונקציונליות ישירות באפליקציה. כמובן עם הרשאה ובדיקת זכויות גישה. אם יש לך את ההרשאות הדרושות, פריט תפריט נוסף יהיה זמין לעבודה עם חתימות דיגיטליות, התקנה, מחיקה, צפייה במידע וכו'. הפונקציונליות נמצאת כעת בפיתוח. כפי שהתברר, זה לא מאוד קשה, אתה רק צריך לקרוא קצת את ההוראות הקיימות, להסתכל על דוגמאות קוד, לשאול עמיתים מנוסים יותר בפיתוח, ואז לעשות את זה. במהלך תהליך המחקר עלו רעיונות להוסיף לאפליקציה. אני לא אתכנן תוכניות נפוליאון - יש פיתוח, תן לכל אחד להתעסק בעניינים שלו. אבל למרות שזה מעניין, אני עושה את זה בעצמי.

תוכניות

כפי שאמרתי, רעיונות רבים ושונים נולדו לשימוש בבוט שלנו ולא רק - באופן כללי, נניח, רעיונות ל"נקודות אוטומציה", רבים מהם נשכחו, מכיוון שלא הספקתי לרשום אותם. עכשיו אני מנסה לרשום את כל מה שעולה לי בראש, ואני ממליץ לאחרים לעשות את אותו הדבר.

אבל אלכסיי לא שוכח לתת את משאלותיו. מהאחרון:
/kill_sql SQL_ID - הרוג את כל ההפעלות עם בקשת SQL_ID זו
/kill_block - להרוג את סשן חסימת השורש
/show_em - הצג תמונה של ביצועי EM
הוא בחור ערמומי, הוא רוצה לתפור DBA מהטלפון שלו =)

כך אנו פועלים לטובת המולדת!

איך נפטרים ממשימות שגרתיות ולא מעניינות?

אני מקווה שהקריאה יצאה מעניינת, ואולי אפילו שימושית למישהו, ולא הספקתי לשעמם את הקורא... בהצלחה לכולנו.

מקור: www.habr.com