סטטיסטיקה וניטור של סקריפטים של PHP בזמן אמת. קליקהאוס וגראפנה נחלצות לעזרתה של פינבה

במאמר זה אספר לכם כיצד להשתמש ב-pinba עם קליקהאוס וגראפנה במקום pinba_engine ו-pinboard.

בפרויקט PHP, pinba היא אולי הדרך האמינה היחידה להבין מה קורה עם הביצועים. נכון, פינבה מיושם בדרך כלל רק כאשר כבר נצפו בעיות ולא ברור "היכן לחפור".

לעתים קרובות לאף אחד אין מושג כמה פעמים בשנייה/דקה קוראים לסקריפט זה או אחר והם מתחילים לבצע אופטימיזציה "במגע", החל מאותם מקומות שנראים הגיוניים יותר.

חלקם מנתחים יומני nginx, בעוד שאחרים מנתחים שאילתות איטיות של מסד נתונים.

כמובן, פינבה לא יהיה מיותר, אבל יש כמה סיבות לכך שלא בכל פרויקט יש את זה.

והסיבה הראשונה היא התקנה.

כדי לקבל פחות או יותר איזשהו "מיצוי" מהטמעת פינבה, רצוי מאוד לראות מדדים לא רק לדקות האחרונות, אלא גם על פני תקופה ארוכה (מימים עד חודשים).

בשביל זה אתה צריך:

• התקן סיומת עבור php (ואולי תרצה מודול עבור nginx)
• הרחבת קומפיל עבור mysql
• התקן לוח סיכה והגדר את ה-cron

בשל כמות המידע המועטה על Pinba, לאנשים רבים יש הרושם שהוא עבד רק על PHP5 וכבר מזמן היה נחלת העבר, אך כפי שנראה בהמשך, זה לא המקרה.

הצעד הראשון הוא הפשוט ביותר, כל מה שאתה צריך לעשות הוא להפעיל את הפקודה:

apt install php-pinba

הרחבה זו זמינה במאגרים עד וכולל php 7.3 ואין צורך להדר כלום.

לאחר ביצוע פקודת ההתקנה, אנו מקבלים מיד סיומת עבודה שאוסף ושולח מדדים לכל סקריפט (זמן ריצה, זיכרון וכו') בפורמט פרוטובוף דרך udp ל-127.0.0.1:30002.

עד כה אף אחד לא תפס או עיבד את מנות ה-UDP הללו, אבל זה לא משפיע בשום אופן לרעה על המהירות או היציבות של סקריפטי ה-PHP שלך.

עד לאחרונה, האפליקציה היחידה שיכולה לתפוס ולעבד מנות UDP אלו הייתה pinba_engine. תיאור "פשוט ותמציתי"ההתקנה מרתיעה את הרצון לקרוא ולהעמיק בה שוב. רשימות התלות ארוכות הקילומטרים מכילות הן את שמות החבילות והן את שמות התוכניות וקישורים לדפים בודדים עם התקנתן, ולאלה יש קישורים משלהם לתלות אחרות. לאף אחד אין זמן או חשק להתמודד עם השטויות האלה.

תהליך ההתקנה pinba2 לא קל יותר במיוחד.

אולי מתישהו יהיה אפשר להתקין pinba10 עם פקודה אחת או שתיים ולא צריך לקרוא המון חומר כדי להבין איך לעשות את זה, אבל בינתיים זה לא המקרה.

אם אתה מתקין pinba_engine, אז זה רק חצי מהקרב. אחרי הכל, בלי לוח תצטרך להגביל את עצמך לנתונים מהדקות האחרונות בלבד, או שתצטרך לצבור, לאחסן ולהמחיש את הנתונים בעצמך. זה טוב שלוח הסיכה הוא די פשוט לשימוש להתקין.

נראה, למה סבל כזה אם כל המדדים מ-php כבר נשלחים ליציאת udp בפורמט protobuf וכל מה שצריך זה לכתוב אפליקציה שתתפוס אותם ותכניס אותם לאחסון כלשהו? ככל הנראה, אותם מפתחים שהעלו את הרעיון הזה ישבו מיד לכתוב רעיונות משלהם, שחלקם הגיעו ל-GitHub.

להלן סקירה של ארבעה פרויקטים בקוד פתוח שחוסכים מדדים באחסון, מהם ניתן לאחזר בקלות את הנתונים הללו ולהמחיש אותם, למשל, באמצעות גראפנה.

olegfedoseev/pinba-server (נובמבר 2017)

שרת udp בתנועה ששומר מדדים ל-OpenTSDB. אולי אם אתה כבר משתמש ב-OpenTSDB בפרויקט שלך, אז הפתרון הזה יתאים לך, אחרת אני ממליץ לעבור אותו.

olegfedoseev/pinba-influxdb (יוני 2018)

שרת udp בתנועה, מאותו הדבר הדפדפן, ששומר הפעם את המדדים ב-InfluxDB. פרויקטים רבים כבר משתמשים ב-InfluxDB לניטור, כך שהפתרון הזה עשוי להיות מושלם עבורם.

יתרונות:

• InfluxDB היא מאפשרת לצבור את המדדים שהתקבלו, ולמחוק את המקור לאחר זמן מוגדר.

חסרונות:

• פתרון זה אינו שומר מידע על טיימרים.
• InfluxDB יאחסן כתובות של דפי האתר כתגיות ואם יש לך כתובות עמוד ייחודיות רבות, זה יוביל לכך צריכה מוגברת זיכרון גישה אקראית. מרגע מסוים הוא"יתחיל לאכול את הזיכרון כמו מטורף". (מקור)

ClickHouse-Ninja/Proton (ינואר 2019)

שרת udp on go, ששומר מדדים ב-ClickHouse. זה הפתרון של חבר שלי. לאחר היכרות עם זה החלטתי שהגיע הזמן להתמודד עם פינבו וקליקהאוס.

יתרונות:

• Clickhouse אידיאלי עבור משימות כאלה; הוא מאפשר לך לדחוס נתונים כל כך הרבה שאתה יכול לאחסן את כל הנתונים הגולמיים גם ללא צבירה
• במידת הצורך, תוכל לצבור בקלות את המדדים המתקבלים
• תבנית מוכנה לגראפנה
• שומר מידע על טיימרים

חסרונות:

• פגם קטלני
• אין תצורה שבה אתה יכול להגדיר את שם מסד הנתונים והטבלאות, הכתובת והיציאה של השרת.
• בעת אחסון נתונים גולמיים, טבלת מילון עזר משמשת לאחסון כתובות דפים ותחום, מה שמקשה על שאילתות עוקבות
• דברים קטנים אחרים הבאים מהמינוס הראשון

pinba-server/pinba-server (אפריל 2019)

שרת udp ב-php, ששומר מדדים ב-ClickHouse. זה הפתרון שלי, שהוא תוצאה של היכרות עם pinba, ClickHouse ו-protobuf. בזמן שסידרתי את כל החבורה הזו, כתבתי "הוכחת קונספט", שבאופן בלתי צפוי עבורי, לא צרכה משאבים משמעותיים (30 MB של זיכרון RAM ופחות מ-1% מאחת מ-XNUMX ליבות המעבד), אז אני החליטו לשתף אותו עם הציבור.

היתרונות זהים לפתרון הקודם, השתמשתי גם בשמות הרגילים מה-pinba_engine המקורי. הוספתי גם תצורה שמאפשרת להפעיל כמה מופעי שרת Pinbase בבת אחת על מנת לשמור מדדים בטבלאות שונות - זה שימושי אם אתה רוצה לאסוף נתונים לא רק מ-php, אלא גם מ-nginx.
חסרונות - "פגם קטלני" והדברים הקטנים האלה שלא יתאימו לך אישית, אבל הפתרון שלי הוא "פשוט כמו נעלי בית" ומורכב מכ-100 שורות קוד בלבד, כך שכל מפתח PHP יכול לשנות את מה שהוא לא אוהב תוך כמה דקות.

עיקרון הפעולה

מאזינים ליציאת UDP 30002. כל החבילות הנכנסות מפוענחות לפי סכימת ה-protobuf ומצטברות. פעם בדקה, חבילה מוכנסת ל-clickhouse לטבלת pinba.requests. (כל הפרמטרים מוגדרים ב תצורה)

קצת על קליקהאוס

Clickhouse תומך במנועי אחסון נתונים שונים. הנפוץ ביותר הוא MergeTree.

אם בשלב מסוים תחליט לאחסן נתונים מצטברים לכל הזמן, ונתונים גולמיים רק עבור האחרון, אז אתה יכול ליצור תצוגה ממומשת עם קיבוץ, ולנקות מעת לעת את הטבלה הראשית pinba.requests, בעוד שכל הנתונים יישארו ב- השקפה התממשה. יתרה מכך, בעת יצירת טבלת pinba.requests, ניתן לציין "engine = Null", אז הנתונים הגולמיים לא יישמרו בדיסק כלל, ובמקביל הם עדיין יגיעו לתצוגה המממשת ויישמרו מצטברים . אני משתמש בסכימה הזו עבור מדדי nginx, כי ב-nginx יש לי פי 50 יותר בקשות מאשר ב-php.

אז עברת דרך ארוכה ואני לא רוצה לעזוב אותך באמצע הדרך, אז מה להלן תיאור מפורט של ההתקנה והתצורה של הפתרון שלי וכל מה שאתה צריך, כמו גם המלכודות שגרמו ליותר מספינה אחת להתרסק. תהליך ההתקנה כולו מתואר עבור אובונטו 18.04 LTS ו- Centos 7; התהליך עשוי להיות שונה מעט בהפצות ובגרסאות אחרות.

התקנה

הכנסתי את כל הפקודות הדרושות דוקרפיל כדי להקל על השחזור של הוראות. רק המלכודות יתוארו להלן.

php-pinba

לאחר ההתקנה, ודא שבקובץ /etc/php/7.2/fpm/conf.d/20-pinba.ini ביטלת את כל האפשרויות. בהפצות מסוימות (למשל סנטוס) הם עשויים להיות מוערים.

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

בית קליק

במהלך ההתקנה, clickhouse יבקש ממך להגדיר סיסמה עבור משתמש ברירת המחדל. כברירת מחדל, משתמש זה נגיש מכל כתובות ה-IP, כך שאם אין לך חומת אש בשרת שלך, הקפד להגדיר עבורו סיסמה. ניתן לעשות זאת גם לאחר ההתקנה בקובץ /etc/clickhouse-server/users.xml.

ראוי גם לציין ש-clickhouse משתמש במספר יציאות, כולל 9000. יציאה זו משמשת גם עבור php-fpm בהפצות מסוימות (לדוגמה, centos). אם אתה כבר משתמש ביציאה זו, תוכל לשנות אותה לאחרת בקובץ /etc/clickhouse-server/config.xml.

גרפנה עם תוסף קליקהאוס

לאחר התקנת Grafana, השתמש באדמין ההתחברות ובמנהל הסיסמה. כשתתחבר בפעם הראשונה, Grafana יבקש ממך להגדיר סיסמה חדשה.

לאחר מכן, עבור אל "+" -> תפריט ייבוא ​​וציין את מספר לוח המחוונים לייבוא 10011. הכנתי והעליתי את לוח המחוונים הזה כדי שלא תצטרך לעשות זאת בעצמך שוב.

Grafana תומכת בעבודה עם קליקהאוס דרך תוסף של צד שלישי, אבל לגראפאנה אין התראות על תוספים של צד שלישי (יש לזה כרטיס כבר כמה שנים).

שרת pinba

התקנת protobuf ו-libevent היא אופציונלית, אך משפרת את ביצועי שרת pinba. אם אתה מתקין pinba-server בתיקייה שאינה /opt, תצטרך גם לתקן סקריפט systemd את הקובץ.

מודול pinba עבור nginx

כדי להרכיב מודול, אתה צריך קודי מקור של אותה גרסה של nginx שכבר מותקנת בשרת שלך, כמו גם את אותן אפשרויות קומפילציה, אחרת הבנייה תצליח, אבל בעת חיבור המודול, תופיע שגיאה ש "המודול אינו תואם בינארי." ניתן להציג אפשרויות קומפילציה באמצעות הפקודה nginx -V

פריצות חיים

כל האתרים שלי עובדים רק על https. שדה הסכימה הופך חסר משמעות, אז אני משתמש בו כדי להפריד בין אינטרנט למסוף.

בסקריפטים הנגישים מהאינטרנט אני משתמש ב:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

ובסקריפטים של מסוף (לדוגמה, סקריפטים של קרון):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

בלוח המחוונים שלי בגרפאנה יש מתג אינטרנט/קונסולות לצפייה בסטטיסטיקה בנפרד.

אתה יכול גם לשלוח את התגים שלך ל- Pinba, לדוגמה:

pinba_tag_set('country', $countryCode);

זה הכל.

אנא ענו על הסקרים מתחת לכתבה.

כרגיל, אני מזהיר אותך שאני לא מייעץ או עוזר באמצעות הודעות אישיות בהבר וברשתות החברתיות.

צור כרטיס ב- Github.

כמו כן נא לתמוך בלייקים גירסא אנגלית במאמר זה ב- reddit.

רק משתמשים רשומים יכולים להשתתף בסקר. להתחברבבקשה.

באיזה מערכת הפעלה אתה משתמש בשרת?

• אובונטו

• CentOS

• דביאן

• ג'נטו

• רד האט

• פדורה

• OpenSUSE

• שוויץ

• יוניקס

• Windows

• אחר

114 משתמשים הצביעו. 11 משתמשים נמנעו.

באיזו גרסה של php אתה משתמש בשרת?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• אחר

105 משתמשים הצביעו. 17 משתמשים נמנעו.

האם אי פעם השתמשת בפינבה?

• כן

• לא, אבל הייתי רוצה

• לא ואני לא הייתי רוצה

• לא ולא שמעתי עליה

100 משתמשים הצביעו. 14 משתמשים נמנעו.

איזו גרסה של שרת Pinba תרצה לנסות?

• pinba_engine (מנוע mysql)

• pinba2 (מנוע mysql)

• לוח סיכה (php + mysql)

• olegfedoseev/pinba-server (גו + OpenTSDB)

• olegfedoseev/pinba-influxdb (גו + influxdb)

• pinba-server/pinba-server (go + clickhouse)

• pinba-server/pinba-server (php + clickhouse)

• אני אכתוב את שלי בעצמי

• אחר

39 משתמשים הצביעו. 47 משתמשים נמנעו.

מקור: www.habr.com