रिअल टाइममध्ये पीएचपी स्क्रिप्टची आकडेवारी आणि निरीक्षण. ClickHouse आणि Grafana पिनबाच्या मदतीला येतात

या लेखात मी तुम्हाला pinba_engine आणि pinboard ऐवजी clickhouse आणि grafana सह pinba कसे वापरायचे ते सांगेन.

PHP प्रकल्पावर, कार्यप्रदर्शनासह काय घडत आहे हे समजून घेण्यासाठी पिनबा हा कदाचित एकमेव विश्वसनीय मार्ग आहे. खरे आहे, पिनबा सामान्यतः तेव्हाच अंमलात आणला जातो जेव्हा समस्या आधीच पाळल्या जातात आणि "कोठे खोदायचे" हे स्पष्ट नसते.

ही किंवा ती स्क्रिप्ट दर सेकंदाला/मिनिटाला किती वेळा कॉल केली जाते याची अनेकदा कुणालाही कल्पना नसते आणि ते अधिक तार्किक वाटणाऱ्या ठिकाणांपासून ते “स्पर्शाने” ऑप्टिमाइझ करू लागतात.

काही nginx लॉगचे विश्लेषण करतात, तर काही स्लो डेटाबेस क्वेरीचे विश्लेषण करतात.

अर्थात, पिनबा अनावश्यक होणार नाही, परंतु प्रत्येक प्रकल्पात ते नसण्याची अनेक कारणे आहेत.

आणि पहिले कारण म्हणजे स्थापना.

पिनबाच्या अंमलबजावणीतून कमी-अधिक प्रमाणात "एक्झॉस्ट" मिळविण्यासाठी, केवळ शेवटच्या मिनिटांसाठीच नव्हे तर दीर्घ कालावधीसाठी (दिवसांपासून महिन्यांपर्यंत) मेट्रिक्स पाहणे खूप इष्ट आहे.

हे करण्यासाठी, आपल्याला आवश्यक आहे:

• php साठी विस्तार स्थापित करा (आणि तुम्हाला nginx साठी मॉड्यूल हवे असेल)
• mysql साठी विस्तार संकलित करा
• पिनबोर्ड स्थापित करा आणि क्रॉन कॉन्फिगर करा

पिनबा बद्दलच्या माहितीच्या अल्प प्रमाणामुळे, बर्याच लोकांचा असा समज आहे की ते फक्त PHP5 वर कार्य करते आणि ती खूप पूर्वीची गोष्ट आहे, परंतु आपण नंतर पाहू, असे नाही.

पहिली पायरी सर्वात सोपी आहे, तुम्हाला फक्त कमांड चालवायची आहे:

apt install php-pinba

हा विस्तार php 7.3 पर्यंतच्या रेपॉजिटरीजमध्ये उपलब्ध आहे आणि तुम्हाला काहीही संकलित करण्याची आवश्यकता नाही.

इंस्टॉलेशन कमांड कार्यान्वित केल्यानंतर, आम्हाला त्वरित एक कार्यरत विस्तार प्राप्त होतो जो प्रत्येक स्क्रिप्टसाठी मेट्रिक्स (चालण्याची वेळ, मेमरी इ.) फॉरमॅटमध्ये गोळा करतो आणि पाठवतो. प्रोटोबुफ 127.0.0.1:30002 पर्यंत udp द्वारे.

आतापर्यंत कोणीही ही UDP पॅकेट पकडली किंवा त्यावर प्रक्रिया केली नाही, परंतु हे कोणत्याही प्रकारे तुमच्या PHP स्क्रिप्टच्या गतीवर किंवा स्थिरतेवर नकारात्मक परिणाम करत नाही.

अलीकडे पर्यंत, ही UDP पॅकेट पकडू आणि त्यावर प्रक्रिया करू शकणारा एकमेव अनुप्रयोग होता पिनबा_इंजिन. वर्णन "साधे आणि संक्षिप्त" इन्स्टॉलेशन कधीही वाचण्याची आणि त्यात पुन्हा डोकावण्याच्या इच्छेला परावृत्त करते. अवलंबनांच्या किलोमीटर-लांबीच्या सूचीमध्ये पॅकेजची नावे आणि प्रोग्रामची नावे आणि त्यांच्या स्थापनेसह वैयक्तिक पृष्ठांचे दुवे दोन्ही असतात आणि त्यांचे इतर अवलंबनांशी त्यांचे स्वतःचे दुवे असतात. या बकवासाला सामोरे जाण्यासाठी कोणाकडे वेळ किंवा इच्छा नाही.

स्थापना प्रक्रिया pinba2 नाही विशेषतः सोपे.

कदाचित एखाद्या दिवशी एक किंवा दोन कमांडसह पिनबा 10 स्थापित करणे शक्य होईल आणि ते कसे करावे हे समजून घेण्यासाठी सामग्रीचा एक समूह वाचावा लागणार नाही, परंतु सध्या असे नाही.

जर तुम्ही पिनबा_इंजिन स्थापित केले तर ही फक्त अर्धी लढाई आहे. सर्व केल्यानंतर, न पिनबोर्ड तुम्हाला फक्त शेवटच्या काही मिनिटांच्या डेटापुरते मर्यादित ठेवावे लागेल किंवा तुम्हाला स्वतः डेटा एकत्रित, संग्रहित आणि दृश्यमान करावा लागेल. पिनबोर्ड वापरण्यास अगदी सोपे आहे हे चांगले आहे स्थापना.

असे दिसते की, जर php मधील सर्व मेट्रिक्स आधीच प्रोटोबफ स्वरूपात udp पोर्टवर पाठवल्या गेल्या असतील आणि तुम्हाला फक्त एक अनुप्रयोग लिहावा लागेल जो त्यांना पकडेल आणि त्यांना एखाद्या प्रकारच्या स्टोरेजमध्ये ठेवेल? वरवर पाहता, ज्या विकासकांनी ही कल्पना सुचली ते ताबडतोब त्यांच्या स्वतःच्या कल्पना लिहिण्यासाठी बसले, त्यापैकी काही गिटहबवर संपल्या.

खालील चार ओपन सोर्स प्रोजेक्ट्सचे विहंगावलोकन आहे जे स्टोरेजमध्ये मेट्रिक्स जतन करतात, ज्यामधून हा डेटा सहजपणे पुनर्प्राप्त केला जाऊ शकतो आणि दृश्यमान केला जाऊ शकतो, उदाहरणार्थ, ग्राफना वापरून.

olegfedoseev/pinba-server (नोव्हेंबर 2017)

udp सर्व्हर चालू आहे जो OpenTSDB वर मेट्रिक्स वाचवतो. कदाचित तुम्ही तुमच्या प्रोजेक्टमध्ये ओपनटीएसडीबी आधीच वापरत असाल, तर हा उपाय तुमच्यासाठी अनुकूल असेल, अन्यथा मी ते पास करण्याची शिफारस करतो.

olegfedoseev/pinba-influxdb (जून 2018)

जाता जाता udp सर्व्हर, त्याच पासून habrowser, जे यावेळी मेट्रिक्स InfluxDB मध्ये संग्रहित करते. अनेक प्रकल्प आधीच निरीक्षणासाठी InfluxDB वापरत आहेत, त्यामुळे हा उपाय त्यांच्यासाठी योग्य असू शकतो.

साधक:

• InfluxDB तो संमत प्राप्त मेट्रिक्स एकत्रित करा आणि निर्दिष्ट वेळेनंतर मूळ हटवा.

बाधक

• हे समाधान टाइमरवर माहिती जतन करत नाही.
• InfluxDB साइट पृष्ठ पत्ते टॅग म्हणून संग्रहित करेल आणि आपल्याकडे अनेक अद्वितीय पृष्ठ पत्ते असल्यास, यामुळे वाढलेला वापर यादृच्छिक प्रवेश मेमरी. एका विशिष्ट क्षणापासून तो "वेड्यासारखे स्मृती खाऊ लागेल. (स्त्रोत)

क्लिकहाऊस-निन्जा/प्रोटॉन (जानेवारी 2019)

जाता जाता udp सर्व्हर, जो क्लिकहाऊसमध्ये मेट्रिक्स वाचवतो. हा माझ्या मित्राचा उपाय आहे. त्याच्याशी ओळख झाल्यानंतर मी ठरवले की पिनबू आणि क्लिकहाऊसला सामोरे जाण्याची वेळ आली आहे.

साधक:

• क्लिकहाऊस अशा कार्यांसाठी आदर्श आहे; ते तुम्हाला डेटा इतका संकुचित करण्यास अनुमती देते की तुम्ही सर्व कच्चा डेटा एकत्रित न करता देखील संचयित करू शकता.
• आवश्यक असल्यास, आपण परिणामी मेट्रिक्स सहजपणे एकत्रित करू शकता
• ग्राफानासाठी तयार टेम्पलेट
• टाइमरवर माहिती जतन करते

बाधक

• घातक दोष
• असे कोणतेही कॉन्फिगर नाही ज्यामध्ये तुम्ही डेटाबेस आणि टेबलचे नाव, सर्व्हरचा पत्ता आणि पोर्ट कॉन्फिगर करू शकता.
• कच्चा डेटा संचयित करताना, पृष्ठ आणि डोमेन पत्ते संचयित करण्यासाठी सहायक शब्दकोश सारणी वापरली जाते, जे नंतरच्या प्रश्नांना गुंतागुंत करते
• पहिल्या वजा पासून अनुसरण इतर लहान गोष्टी

pinba-server/pinba-server (एप्रिल 2019)

php मध्ये udp सर्व्हर, जो क्लिकहाऊसमध्ये मेट्रिक्स वाचवतो. हा माझा उपाय आहे, जो पिनबा, क्लिकहाऊस आणि प्रोटोबफ जाणून घेण्याचा परिणाम आहे. मी या संपूर्ण गुच्छाचे वर्गीकरण करत असताना, मी "संकल्पनेचा पुरावा" लिहिला, ज्याने माझ्यासाठी अनपेक्षितपणे, महत्त्वपूर्ण संसाधने वापरली नाहीत (30 MB RAM आणि आठ प्रोसेसर कोरपैकी 1% पेक्षा कमी), म्हणून मी लोकांसोबत शेअर करण्याचा निर्णय घेतला.

फायदे मागील सोल्यूशन प्रमाणेच आहेत, मी मूळ पिनबा_इंजिनमधील नेहमीची नावे देखील वापरली आहेत. मी एक कॉन्फिगरेशन देखील जोडले आहे जे तुम्हाला वेगवेगळ्या सारण्यांमध्ये मेट्रिक्स जतन करण्यासाठी एकाच वेळी अनेक पिनबेस सर्व्हर उदाहरणे लाँच करण्याची परवानगी देते - तुम्हाला केवळ php वरूनच नाही तर nginx वरून देखील डेटा गोळा करायचा असेल तर हे उपयुक्त आहे.
तोटे - "घातक दोष" आणि त्या छोट्या गोष्टी ज्या तुम्हाला वैयक्तिकरित्या अनुकूल नसतील, परंतु माझे समाधान "चप्पल सारखे सोपे" आहे आणि त्यात फक्त 100 ओळी कोड असतात, त्यामुळे कोणताही PHP विकसक त्याला जे आवडत नाही ते बदलू शकतो. काही मिनिटांत.

हे कसे कार्य करते

UDP पोर्ट 30002 ऐकले आहे. सर्व येणारे पॅकेट प्रोटोबफ योजनेनुसार डीकोड केले जातात आणि एकत्रित केले जातात. मिनिटातून एकदा, एक पॅकेट क्लिकहाऊसमध्ये pinba.requests टेबलमध्ये घातले जाते. (सर्व पॅरामीटर्स मध्ये कॉन्फिगर केले आहेत कॉन्फिगरेशन)

क्लिकहाऊस बद्दल थोडेसे

क्लिकहाऊस वेगवेगळ्या डेटा स्टोरेज इंजिनांना सपोर्ट करते. सर्वात सामान्यपणे वापरले जाणारे एक MergeTree आहे.

जर एखाद्या वेळी तुम्ही एकत्रित डेटा नेहमीसाठी आणि केवळ शेवटच्या डेटासाठी कच्चा डेटा संग्रहित करण्याचे ठरवले, तर तुम्ही गटबद्धतेसह एक भौतिक दृश्य तयार करू शकता आणि वेळोवेळी मुख्य pinba.requests टेबल साफ करू शकता, तर सर्व डेटा भौतिक दृश्य. शिवाय, pinba.requests सारणी तयार करताना, तुम्ही “engine = Null” निर्दिष्ट करू शकता, नंतर कच्चा डेटा डिस्कवर अजिबात सेव्ह केला जाणार नाही आणि त्याच वेळी तो मटेरियलाइज्ड व्ह्यूमध्ये संपेल आणि एकत्रितपणे सेव्ह केला जाईल. . मी ही योजना nginx मेट्रिक्ससाठी वापरतो, कारण nginx वर माझ्याकडे php पेक्षा 50 पट जास्त विनंत्या आहेत.

तर, तुम्ही खूप पुढे आला आहात आणि मला तुम्हाला अर्ध्यावर सोडून जायला आवडणार नाही, म्हणून माझ्या सोल्यूशनच्या स्थापनेचे आणि कॉन्फिगरेशनचे आणि तुम्हाला आवश्यक असलेल्या सर्व गोष्टींचे तपशीलवार वर्णन, तसेच एकापेक्षा जास्त जहाजांना कारणीभूत असलेल्या समस्यांचे तपशीलवार वर्णन आहे. कोसळणे. Ubuntu 18.04 LTS आणि Centos 7 साठी संपूर्ण इंस्टॉलेशन प्रक्रियेचे वर्णन केले आहे; प्रक्रिया इतर वितरण आणि आवृत्त्यांवर थोडी वेगळी असू शकते.

सेटिंग

मी सर्व आवश्यक कमांड टाकल्या डॉकरफाइल सूचनांचे पुनरुत्पादन सुलभ करण्यासाठी. फक्त तोटे खाली वर्णन केले जातील.

php-pinba

स्थापनेनंतर, खात्री करा की /etc/php/7.2/fpm/conf.d/20-pinba.ini फाईलमध्ये तुम्ही सर्व पर्याय अनकमेंट केले आहेत. काही वितरणांवर (उदा. सेंटोस) त्यांची टिप्पणी केली जाऊ शकते.

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

क्लिकहाऊस

इंस्टॉलेशन दरम्यान, क्लिकहाऊस तुम्हाला डीफॉल्ट वापरकर्त्यासाठी पासवर्ड सेट करण्यास सांगेल. डीफॉल्टनुसार, हा वापरकर्ता सर्व IP वरून प्रवेश करण्यायोग्य आहे, म्हणून तुमच्या सर्व्हरवर फायरवॉल नसल्यास, त्यासाठी पासवर्ड सेट करण्याचे सुनिश्चित करा. हे /etc/clickhouse-server/users.xml फाइलमध्ये स्थापनेनंतर देखील केले जाऊ शकते.

हे देखील लक्षात घेण्यासारखे आहे की क्लिकहाऊस 9000 सह अनेक पोर्ट वापरते. हे पोर्ट काही वितरणांमध्ये (उदाहरणार्थ, सेंटोस) php-fpm साठी देखील वापरले जाते. जर तुम्ही आधीच हे पोर्ट वापरत असाल, तर तुम्ही ते /etc/clickhouse-server/config.xml फाइलमध्ये बदलू शकता.

क्लिकहाऊस प्लगइनसह ग्राफाना

Grafana स्थापित केल्यानंतर, लॉगिन प्रशासक आणि पासवर्ड प्रशासक वापरा. जेव्हा तुम्ही पहिल्यांदा लॉग इन करता, तेव्हा Grafana तुम्हाला नवीन पासवर्ड सेट करण्यास सांगेल.

पुढे, “+” -> आयात मेनूवर जा आणि आयात करण्यासाठी डॅशबोर्ड क्रमांक सूचित करा 10011. मी हा डॅशबोर्ड तयार केला आहे आणि अपलोड केला आहे जेणेकरून तुम्हाला ते पुन्हा स्वतः करावे लागणार नाही.

Grafana तृतीय-पक्ष प्लगइनद्वारे क्लिकहाऊससह कार्य करण्यास समर्थन देते, परंतु Grafana कडे तृतीय-पक्ष प्लगइनसाठी अलर्ट नाहीत (यासाठी अनेक वर्षांपासून तिकीट आहे).

पिनबा-सर्व्हर

प्रोटोबफ आणि लिबेव्हेंट स्थापित करणे पर्यायी आहे, परंतु पिनबा-सर्व्हर कार्यप्रदर्शन सुधारते. तुम्ही/opt व्यतिरिक्त फोल्डरमध्ये pinba-server स्थापित केल्यास, तुम्हाला दुरुस्त करणे देखील आवश्यक आहे systemd स्क्रिप्ट फाइल.

nginx साठी पिनबा मॉड्यूल

मॉड्यूल संकलित करण्यासाठी, तुम्हाला तुमच्या सर्व्हरवर आधीपासून स्थापित केलेल्या nginx च्या समान आवृत्तीचे स्त्रोत कोड तसेच समान संकलन पर्याय आवश्यक आहेत, अन्यथा बिल्ड यशस्वी होईल, परंतु मॉड्यूल कनेक्ट करताना, त्रुटी फेकली जाईल. "मॉड्यूल बायनरी सुसंगत नाही." nginx -V कमांड वापरून संकलन पर्याय पाहिले जाऊ शकतात

लाइफ हॅक्स

माझ्या सर्व साइट फक्त https वर काम करतात. स्कीमा फील्ड निरर्थक बनते, म्हणून मी ते वेब/कन्सोल वेगळे करण्यासाठी वापरतो.

मी वापरत असलेल्या वेबवरून प्रवेश करण्यायोग्य स्क्रिप्टमध्ये:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

आणि कन्सोल स्क्रिप्टमध्ये (उदाहरणार्थ, क्रॉन स्क्रिप्ट):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

माझ्या Grafana मधील डॅशबोर्डमध्ये स्वतंत्रपणे आकडेवारी पाहण्यासाठी वेब/कन्सोल स्विच आहे.

तुम्ही तुमचे टॅग पिनबाला देखील पाठवू शकता, उदाहरणार्थ:

pinba_tag_set('country', $countryCode);

एवढेच.

कृपया लेखाच्या खालील मतदानाला उत्तर द्या.

नेहमीप्रमाणे, मी तुम्हाला चेतावणी देतो की मी Habr आणि सोशल नेटवर्कवरील वैयक्तिक संदेशांद्वारे सल्ला किंवा मदत करत नाही.

Github वर तिकीट तयार करा.

तसेच लाईक्स देऊन सपोर्ट करा इंग्रजी आवृत्ती हा लेख reddit वर.

केवळ नोंदणीकृत वापरकर्तेच सर्वेक्षणात भाग घेऊ शकतात. साइन इन करा, आपले स्वागत आहे.

तुम्ही सर्व्हरवर कोणती ओएस वापरत आहात?

• उबंटू

• CentOS

• डेबियन

• गेन्टू

• लाल टोपी

• Fedora

• OpenSUSE

• सुसे

• युनिक्स

• विंडोज

• इतर

114 वापरकर्त्यांनी मतदान केले. 11 वापरकर्ते दूर राहिले.

तुम्ही सर्व्हरवर php ची कोणती आवृत्ती वापरत आहात?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• इतर

105 वापरकर्त्यांनी मतदान केले. 17 वापरकर्ते दूर राहिले.

तुम्ही कधी पिनबा वापरला आहे का?

• होय

• नाही, पण मला आवडेल

• नाही आणि मला नको आहे

• नाही आणि तिच्याबद्दल ऐकले नाही

100 वापरकर्त्यांनी मतदान केले. 14 वापरकर्ते दूर राहिले.

पिनबा सर्व्हरची कोणती आवृत्ती तुम्ही वापरून पाहू इच्छिता?

• pinba_engine (mysql इंजिन)

• pinba2 (mysql इंजिन)

• पिनबोर्ड (php + mysql)

• olegfedoseev/pinba-server (go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-server/pinba-server (go + clickhouse)

• pinba-server/pinba-server (php + clickhouse)

• मी स्वतः लिहीन

• इतर

39 वापरकर्त्यांनी मतदान केले. 47 वापरकर्ते दूर राहिले.

स्त्रोत: www.habr.com