वास्तविक समय में PHP स्क्रिप्ट के आँकड़े और निगरानी। क्लिकहाउस और ग्राफाना पिनबा की सहायता के लिए आए हैं

इस लेख में मैं आपको बताऊंगा कि पिनबा_इंजन और पिनबोर्ड के बजाय क्लिकहाउस और ग्राफाना के साथ पिनबा का उपयोग कैसे करें।

PHP प्रोजेक्ट पर, प्रदर्शन के साथ क्या हो रहा है, यह समझने के लिए पिनबा शायद एकमात्र विश्वसनीय तरीका है। सच है, पिनबा आमतौर पर केवल तभी लागू किया जाता है जब समस्याएं पहले से ही देखी जाती हैं और यह स्पष्ट नहीं है कि "कहां खोदना है।"

अक्सर किसी को पता नहीं होता कि प्रति सेकंड/मिनट में कितनी बार इस या उस स्क्रिप्ट को कॉल किया जाता है और वे "स्पर्श द्वारा" अनुकूलन करना शुरू करते हैं, उन स्थानों से शुरू करते हैं जो अधिक तार्किक लगते हैं।

कुछ nginx लॉग का विश्लेषण करते हैं, जबकि अन्य धीमी डेटाबेस क्वेरी का विश्लेषण करते हैं।

बेशक, पिनबा अतिश्योक्तिपूर्ण नहीं होगा, लेकिन कई कारण हैं कि हर परियोजना में यह क्यों नहीं है।

और पहला कारण है इंस्टालेशन.

पिनबा के कार्यान्वयन से कमोबेश किसी प्रकार का "निकास" प्राप्त करने के लिए, न केवल अंतिम मिनटों के लिए, बल्कि लंबी अवधि (दिनों से महीनों तक) के मेट्रिक्स को देखना बहुत वांछनीय है।

इसके लिए आपको आवश्यकता है:

• php के लिए एक्सटेंशन इंस्टॉल करें (और आप nginx के लिए एक मॉड्यूल चाह सकते हैं)
• MySQL के लिए एक्सटेंशन संकलित करें
• पिनबोर्ड स्थापित करें और क्रॉन कॉन्फ़िगर करें

पिनबा के बारे में कम मात्रा में जानकारी के कारण, कई लोगों की धारणा है कि यह केवल PHP5 पर काम करता है और लंबे समय से अतीत की बात है, लेकिन जैसा कि हम बाद में देखेंगे, यह मामला नहीं है।

पहला चरण सबसे सरल है, आपको बस कमांड चलाना है:

apt install php-pinba

यह एक्सटेंशन php 7.3 तक के रिपॉजिटरी में उपलब्ध है और आपको कुछ भी संकलित करने की आवश्यकता नहीं है।

इंस्टॉलेशन कमांड निष्पादित करने के बाद, हमें तुरंत एक कार्यशील एक्सटेंशन प्राप्त होता है जो प्रारूप में प्रत्येक स्क्रिप्ट (रनिंग टाइम, मेमोरी इत्यादि) के लिए मेट्रिक्स एकत्र करता है और भेजता है। Protobuf यूडीपी के माध्यम से 127.0.0.1:30002 पर।

अभी तक किसी ने भी इन यूडीपी पैकेटों को नहीं पकड़ा है या संसाधित नहीं किया है, लेकिन यह किसी भी तरह से आपकी PHP स्क्रिप्ट की गति या स्थिरता को नकारात्मक रूप से प्रभावित नहीं करता है।

हाल तक, एकमात्र एप्लिकेशन जो इन यूडीपी पैकेटों को पकड़ और संसाधित कर सकता था पिनबा_इंजन. विवरण "सरल और संक्षिप्त"इंस्टॉलेशन इसे दोबारा पढ़ने और गहराई से जानने की इच्छा को हतोत्साहित करता है। निर्भरताओं की किलोमीटर-लंबी सूची में पैकेजों के नाम और कार्यक्रमों के नाम और उनकी स्थापना के साथ अलग-अलग पृष्ठों के लिंक शामिल हैं, और उनके पास अन्य निर्भरताओं के अपने स्वयं के लिंक हैं। इस बकवास से निपटने के लिए किसी के पास समय या इच्छा नहीं है।

स्थापना प्रक्रिया पिनबा2 नहीं किया विशेष रूप से आसान.

शायद किसी दिन एक या दो कमांड के साथ पिनबीए10 इंस्टॉल करना संभव होगा और इसे कैसे करना है यह समझने के लिए बहुत सारी सामग्री पढ़ने की ज़रूरत नहीं होगी, लेकिन अभी यह मामला नहीं है।

यदि आप Pinba_engine इंस्टॉल करते हैं, तो यह केवल आधी लड़ाई है। आख़िरकार, बिना पिन बोर्ड आपको अपने आप को केवल अंतिम कुछ मिनटों के डेटा तक सीमित रखना होगा, या आपको स्वयं डेटा को एकत्र करना, संग्रहीत करना और विज़ुअलाइज़ करना होगा। यह अच्छा है कि पिनबोर्ड का उपयोग करना काफी सरल है इंस्टालेशन.

ऐसा प्रतीत होता है, ऐसी पीड़ा क्यों है यदि php से सभी मेट्रिक्स पहले से ही प्रोटोबफ़ प्रारूप में udp पोर्ट पर भेजे गए हैं और आपको बस एक एप्लिकेशन लिखना है जो उन्हें पकड़ लेगा और उन्हें किसी प्रकार के भंडारण में डाल देगा? जाहिरा तौर पर, जो डेवलपर्स इस विचार के साथ आए थे, वे तुरंत अपने विचार लिखने के लिए बैठ गए, जिनमें से कुछ GitHub पर समाप्त हो गए।

निम्नलिखित चार ओपन सोर्स प्रोजेक्ट्स का अवलोकन है जो मेट्रिक्स को स्टोरेज में सहेजते हैं, जिससे इस डेटा को आसानी से पुनर्प्राप्त और विज़ुअलाइज़ किया जा सकता है, उदाहरण के लिए, ग्राफ्टाना का उपयोग करके।

ओलेगफेडोसेव/पिनबा-सर्वर (नवंबर 2017)

यूडीपी सर्वर चालू है जो मेट्रिक्स को ओपनटीएसडीबी में सहेजता है। शायद यदि आप पहले से ही अपने प्रोजेक्ट में OpenTSDB का उपयोग कर रहे हैं, तो यह समाधान आपके लिए उपयुक्त होगा, अन्यथा मैं इसे पास करने की सलाह देता हूं।

ओलेगफेडोसेव/पिनबा-इनफ्लक्सडीबी (जून 2018)

यूडीपी सर्वर चालू है, उसी से हैब्रोसर, जो इस बार मेट्रिक्स को InfluxDB में संग्रहीत करता है। कई परियोजनाएँ पहले से ही निगरानी के लिए InfluxDB का उपयोग कर रही हैं, इसलिए यह समाधान उनके लिए एकदम सही हो सकता है।

पेशेवरों:

• इन्फ्लक्सडीबी यह अनुमति देता है प्राप्त मेट्रिक्स को एकत्रित करें, और एक निर्दिष्ट समय के बाद मूल को हटा दें।

विपक्ष:

• यह समाधान टाइमर पर जानकारी सहेजता नहीं है.
• इन्फ्लक्सडीबी साइट पेज पते को टैग के रूप में संग्रहीत करेगा और यदि आपके पास कई अद्वितीय पेज पते हैं, तो यह आगे बढ़ेगा बढ़ी हुई खपत रैंडम एक्सेस मेमोरी। एक निश्चित क्षण से वह "पागलों की तरह स्मृति को खाना शुरू कर देंगे". (स्रोत)

क्लिकहाउस-निंजा/प्रोटॉन (जनवरी 2019)

यूडीपी सर्वर चालू है, जो क्लिकहाउस में मेट्रिक्स को सहेजता है। यह मेरे मित्र का समाधान है. इससे परिचित होने के बाद मैंने निर्णय लिया कि अब पिनबू और क्लिकहाउस से मुकाबला करने का समय आ गया है।

पेशेवरों:

• क्लिकहाउस ऐसे कार्यों के लिए आदर्श है; यह आपको डेटा को इतना संपीड़ित करने की अनुमति देता है कि आप एकत्रीकरण के बिना भी सभी कच्चे डेटा को संग्रहीत कर सकते हैं
• यदि आवश्यक हो, तो आप परिणामी मेट्रिक्स को आसानी से एकत्रित कर सकते हैं
• ग्राफाना के लिए तैयार टेम्पलेट
• टाइमर पर जानकारी सहेजता है

विपक्ष:

• घातक दोष
• ऐसी कोई कॉन्फ़िगरेशन नहीं है जिसमें आप डेटाबेस और तालिकाओं का नाम, सर्वर का पता और पोर्ट कॉन्फ़िगर कर सकें।
• कच्चे डेटा को संग्रहीत करते समय, पृष्ठ और डोमेन पते को संग्रहीत करने के लिए एक सहायक शब्दकोश तालिका का उपयोग किया जाता है, जो बाद के प्रश्नों को जटिल बनाता है
• अन्य छोटी चीजें जो पहले माइनस से आती हैं

पिनबा-सर्वर/पिनबा-सर्वर (अप्रैल 2019)

php में udp सर्वर, जो ClickHouse में मेट्रिक्स को सहेजता है। यह मेरा समाधान है, जो पिनबा, क्लिकहाउस और प्रोटोबफ़ को जानने का परिणाम है। जब मैं इस पूरे समूह को सुलझा रहा था, मैंने एक "अवधारणा का प्रमाण" लिखा, जो, मेरे लिए अप्रत्याशित रूप से, महत्वपूर्ण संसाधनों (30 एमबी रैम और आठ प्रोसेसर कोर में से एक के 1% से कम) का उपभोग नहीं करता था, इसलिए मैंने इसे जनता के साथ साझा करने का निर्णय लिया।

फायदे पिछले समाधान के समान हैं, मैंने मूल पिनबा_इंजन से सामान्य नामों का भी उपयोग किया है। मैंने एक कॉन्फ़िगरेशन भी जोड़ा है जो आपको विभिन्न तालिकाओं में मेट्रिक्स को सहेजने के लिए एक साथ कई पिनबेस सर्वर इंस्टेंस लॉन्च करने की अनुमति देता है - यह उपयोगी है यदि आप न केवल PHP से, बल्कि nginx से भी डेटा एकत्र करना चाहते हैं।
नुकसान - "घातक दोष" और वे छोटी चीजें जो आपको व्यक्तिगत रूप से पसंद नहीं आएंगी, लेकिन मेरा समाधान "एक चप्पल जितना सरल" है और इसमें कोड की केवल 100 लाइनें हैं, इसलिए कोई भी PHP डेवलपर वह बदल सकता है जो उसे पसंद नहीं है कुछ मिनटों में.

आपरेशन के सिद्धांत

यूडीपी पोर्ट 30002 को सुना जाता है। सभी आने वाले पैकेटों को प्रोटोबफ़ योजना के अनुसार डिकोड किया जाता है और एकत्रित किया जाता है। एक मिनट में एक बार, एक पैकेट को क्लिकहाउस में Pinba.requests तालिका में डाला जाता है। (सभी पैरामीटर कॉन्फ़िगर किए गए हैं कॉन्फ़िग)

क्लिकहाउस के बारे में थोड़ा

क्लिकहाउस विभिन्न डेटा भंडारण इंजनों का समर्थन करता है। सबसे अधिक इस्तेमाल किया जाने वाला मर्जट्री है।

यदि किसी बिंदु पर आप समग्र डेटा को सभी समय के लिए संग्रहीत करने का निर्णय लेते हैं, और कच्चे डेटा को केवल अंतिम के लिए संग्रहीत करते हैं, तो आप समूहीकरण के साथ एक भौतिक दृश्य बना सकते हैं, और समय-समय पर मुख्य पिनबा.अनुरोध तालिका को साफ़ कर सकते हैं, जबकि सारा डेटा इसमें रहेगा। भौतिक दृश्य. इसके अलावा, Pinba.requests तालिका बनाते समय, आप "इंजन = नल" निर्दिष्ट कर सकते हैं, फिर कच्चे डेटा को डिस्क पर बिल्कुल भी सहेजा नहीं जाएगा, और साथ ही यह अभी भी भौतिक दृश्य में समाप्त हो जाएगा और एकत्रित रूप से सहेजा जाएगा . मैं इस योजना का उपयोग nginx मेट्रिक्स के लिए करता हूं, क्योंकि nginx पर मेरे पास php की तुलना में 50 गुना अधिक अनुरोध हैं।

तो, आप एक लंबा सफर तय कर चुके हैं और मैं आपको आधे रास्ते में छोड़ना नहीं चाहूंगा, इसलिए मेरे समाधान की स्थापना और कॉन्फ़िगरेशन और आपकी ज़रूरत की हर चीज़ का विस्तृत विवरण, साथ ही उन नुकसानों का विवरण है जो एक से अधिक जहाजों के कारण हुए हैं दुर्घटना के लिए। पूरी स्थापना प्रक्रिया Ubuntu 18.04 LTS और Centos 7 के लिए वर्णित है; यह प्रक्रिया अन्य वितरणों और संस्करणों पर थोड़ी भिन्न हो सकती है।

स्थापना

मैंने सभी आवश्यक आदेश डाल दिए Dockerfile निर्देशों की प्रतिलिपि प्रस्तुत करने की सुविधा के लिए। नीचे केवल नुकसानों का वर्णन किया जाएगा।

php-pinba

इंस्टालेशन के बाद, सुनिश्चित करें कि /etc/php/7.2/fpm/conf.d/20-pinba.ini फ़ाइल में आपने सभी विकल्पों पर टिप्पणी हटा दी है। कुछ वितरणों (जैसे सेंटोस) पर उन पर टिप्पणी की जा सकती है।

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

क्लिकहाउस

इंस्टालेशन के दौरान, क्लिकहाउस आपसे डिफ़ॉल्ट उपयोगकर्ता के लिए एक पासवर्ड सेट करने के लिए कहेगा। डिफ़ॉल्ट रूप से, यह उपयोगकर्ता सभी आईपी से पहुंच योग्य है, इसलिए यदि आपके सर्वर पर फ़ायरवॉल नहीं है, तो इसके लिए एक पासवर्ड सेट करना सुनिश्चित करें। इसे /etc/clickhouse-server/users.xml फ़ाइल में इंस्टालेशन के बाद भी किया जा सकता है।

यह भी ध्यान देने योग्य है कि क्लिकहाउस 9000 सहित कई पोर्ट का उपयोग करता है। इस पोर्ट का उपयोग कुछ वितरणों (उदाहरण के लिए, सेंटोस) में php-fpm के लिए भी किया जाता है। यदि आप पहले से ही इस पोर्ट का उपयोग करते हैं, तो आप इसे /etc/clickhouse-server/config.xml फ़ाइल में दूसरे में बदल सकते हैं।

क्लिकहाउस प्लगइन के साथ ग्राफाना

ग्राफाना स्थापित करने के बाद, लॉगिन एडमिन और पासवर्ड एडमिन का उपयोग करें। जब आप पहली बार लॉग इन करेंगे, तो ग्राफाना आपसे एक नया पासवर्ड सेट करने के लिए कहेगा।

इसके बाद, "+" -> आयात मेनू पर जाएं और आयात के लिए डैशबोर्ड नंबर इंगित करें 10011. मैंने यह डैशबोर्ड तैयार और अपलोड किया है ताकि आपको इसे दोबारा स्वयं न करना पड़े।

ग्राफाना तृतीय-पक्ष प्लगइन के माध्यम से क्लिकहाउस के साथ काम करने का समर्थन करता है, लेकिन ग्राफाना के पास तृतीय-पक्ष प्लगइन के लिए अलर्ट नहीं है (इसके लिए कई वर्षों से टिकट उपलब्ध है)।

पिनबा-सर्वर

प्रोटोबफ़ और लिबवेंट को स्थापित करना वैकल्पिक है, लेकिन पिनबा-सर्वर प्रदर्शन में सुधार करता है। यदि आप पिनबा-सर्वर को /opt के अलावा किसी अन्य फ़ोल्डर में इंस्टॉल करते हैं, तो आपको इसे सही करने की भी आवश्यकता होगी सिस्टमड स्क्रिप्ट फ़ाइल।

nginx के लिए पिनबा मॉड्यूल

मॉड्यूल को संकलित करने के लिए, आपको nginx के उसी संस्करण के स्रोत कोड की आवश्यकता है जो पहले से ही आपके सर्वर पर स्थापित है, साथ ही समान संकलन विकल्प भी हैं, अन्यथा निर्माण सफल होगा, लेकिन मॉड्यूल कनेक्ट करते समय, एक त्रुटि उत्पन्न होगी "मॉड्यूल बाइनरी संगत नहीं है।" संकलन विकल्प nginx -V कमांड का उपयोग करके देखे जा सकते हैं

लाइफ़ हैक्स

मेरी सभी साइटें https पर ही काम करती हैं। स्कीमा फ़ील्ड अर्थहीन हो जाती है, इसलिए मैं इसका उपयोग वेब/कंसोल को अलग करने के लिए करता हूं।

वेब से पहुंच योग्य स्क्रिप्ट में मैं इनका उपयोग करता हूं:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

और कंसोल स्क्रिप्ट में (उदाहरण के लिए, क्रॉन स्क्रिप्ट):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

ग्राफाना में मेरे डैशबोर्ड में आंकड़ों को अलग से देखने के लिए एक वेब/कंसोल स्विच है।

आप अपने टैग पिनबा को भी भेज सकते हैं, उदाहरण के लिए:

pinba_tag_set('country', $countryCode);

बस इतना ही।

कृपया लेख के नीचे दिए गए सर्वेक्षणों का उत्तर दें।

हमेशा की तरह, मैं आपको चेतावनी देता हूं कि मैं हैबर और सोशल नेटवर्क पर व्यक्तिगत संदेशों के माध्यम से सलाह या मदद नहीं करता हूं।

Github पर एक टिकट बनाएं.

कृपया लाइक के साथ समर्थन भी करें अंग्रेजी संस्करण इस लेख का रेडिट पर.

केवल पंजीकृत उपयोगकर्ता ही सर्वेक्षण में भाग ले सकते हैं। साइन इन करेंकृपया।

आप सर्वर पर किस ओएस का उपयोग कर रहे हैं?

• Ubuntu

• CentOS

• डेबियन

• Gentoo

• कार्डिनल की टोपी

• फेडोरा

• ओपनएसयूएसई

• स्विट्ज़रलैंड

• यूनिक्स

• Windows

• अन्य

114 उपयोगकर्ताओं ने मतदान किया। 11 उपयोगकर्ता अनुपस्थित रहे।

आप सर्वर पर php का कौन सा संस्करण उपयोग कर रहे हैं?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• अन्य

105 उपयोगकर्ताओं ने मतदान किया। 17 उपयोगकर्ता अनुपस्थित रहे।

क्या आपने कभी पिनबा का उपयोग किया है?

• हां

• नहीं, लेकिन मैं चाहूंगा

• नहीं और मैं ऐसा नहीं करना चाहूंगा

• नहीं और उसके बारे में नहीं सुना है

100 उपयोगकर्ताओं ने मतदान किया। 14 उपयोगकर्ता अनुपस्थित रहे।

आप पिनबा सर्वर का कौन सा संस्करण आज़माना चाहेंगे?

• पिनबा_इंजन (mysql इंजन)

• पिनबा2 (mysql इंजन)

• पिनबोर्ड (php + mysql)

• ओलेगफेडोसेव/पिनबा-सर्वर (गो + ओपनटीएसडीबी)

• ओलेगफेडोसेव/पिनबा-इनफ्लक्सडीबी (गो + इनफ्लक्सडीबी)

• पिनबा-सर्वर/पिनबा-सर्वर (गो + क्लिकहाउस)

• पिनबा-सर्वर/पिनबा-सर्वर (पीएचपी + क्लिकहाउस)

• मैं अपना खुद लिखूंगा

• अन्य

39 उपयोगकर्ताओं ने मतदान किया। 47 उपयोगकर्ता अनुपस्थित रहे।

स्रोत: www.habr.com