वास्तविक समयमा PHP स्क्रिप्टहरूको तथ्याङ्क र निगरानी। ClickHouse र Grafana पिनबाको सहायतामा आउँछन्

यस लेखमा म तपाईंलाई pinba_engine र pinboard को सट्टा clickhouse र grafana सँग pinba कसरी प्रयोग गर्ने भनेर बताउनेछु।

PHP परियोजनामा, pinba शायद प्रदर्शन संग के भइरहेको छ बुझ्न को लागी एक मात्र भरपर्दो तरीका हो। साँचो हो, पिनबा सामान्यतया तब मात्र लागू गरिन्छ जब समस्याहरू पहिले नै देखिएका हुन्छन् र "कहाँ खन्ने" स्पष्ट हुँदैन।

प्रायः कसैलाई थाहा हुँदैन कि प्रति सेकेन्ड/मिनेट कति पटक यो वा त्यो स्क्रिप्टलाई कल गरिन्छ र तिनीहरूले "स्पर्श द्वारा" अनुकूलन गर्न थाल्छन्, ती ठाउँहरूबाट सुरु गरेर जुन बढी तार्किक देखिन्छ।

केहीले nginx लगहरू विश्लेषण गर्छन्, जबकि अरूले ढिलो डाटाबेस प्रश्नहरूको विश्लेषण गर्छन्।

निस्सन्देह, पिनबा अनावश्यक हुनेछैन, तर त्यहाँ धेरै कारणहरू छन् किन प्रत्येक परियोजनामा ​​यो छैन।

र पहिलो कारण स्थापना छ।

Pinba को कार्यान्वयनबाट केहि प्रकारको "निकास" प्राप्त गर्नको लागि, अन्तिम मिनेटको लागि मात्र होइन, तर लामो समय (दिनदेखि महिनाहरू) मा पनि मेट्रिकहरू हेर्न धेरै वांछनीय छ।

यसको लागि तपाईलाई आवश्यक छ:

• php को लागी विस्तार स्थापना गर्नुहोस् (र तपाइँ nginx को लागी एक मोड्युल चाहानुहुन्छ)
• mysql को लागि विस्तार कम्पाइल गर्नुहोस्
• पिनबोर्ड स्थापना गर्नुहोस् र क्रोन कन्फिगर गर्नुहोस्

Pinba को बारे मा जानकारी को सानो मात्रा को कारण, धेरै मान्छे को धारणा छ कि यो केवल PHP5 मा काम गर्दछ र लामो समय सम्म विगत को कुरा भएको छ, तर हामी पछि देख्नेछौं, यो मामला होइन।

पहिलो चरण सरल छ, तपाईले गर्नु पर्ने भनेको आदेश चलाउनु हो:

apt install php-pinba

यो विस्तार php 7.3 सम्म र सहित भण्डारहरूमा उपलब्ध छ र तपाईंले केहि कम्पाइल गर्न आवश्यक छैन।

स्थापना आदेश कार्यान्वयन गरेपछि, हामीले तुरुन्तै कार्य विस्तार प्राप्त गर्छौं जसले प्रत्येक स्क्रिप्ट (चलिरहेको समय, मेमोरी, आदि) को ढाँचामा मेट्रिक्स सङ्कलन र पठाउँछ। प्रोटोबफ 127.0.0.1:30002 मा udp मार्फत।

अहिलेसम्म कसैले पनि यी UDP प्याकेटहरू समातेको वा प्रशोधन गरेको छैन, तर यसले तपाईंको PHP स्क्रिप्टहरूको गति वा स्थिरतालाई कुनै पनि हिसाबले नकारात्मक असर गर्दैन।

हाल सम्म, यी UDP प्याकेटहरू समात्न र प्रशोधन गर्न सक्ने एक मात्र अनुप्रयोग थियो pinba_engine। वर्णन"सरल र संक्षिप्त" स्थापनाले कहिल्यै पढ्ने इच्छालाई निरुत्साहित गर्छ र यसलाई फेरि खोल्छ। निर्भरताहरूको किलोमिटर-लामो सूचीहरूले प्याकेजहरूको नामहरू र कार्यक्रमहरूको नामहरू र तिनीहरूको स्थापनाको साथ व्यक्तिगत पृष्ठहरूमा लिङ्कहरू समावेश गर्दछ, र तिनीहरूको अन्य निर्भरताहरूमा आफ्नै लिङ्कहरू छन्। यो बकवासको सामना गर्ने समय वा इच्छा कसैसँग छैन।

स्थापना प्रक्रिया pinba2 गरेनन् विशेष गरी सजिलो.

सायद कुनै दिन यो एक वा दुई आदेशहरू संग pinba10 स्थापना गर्न सम्भव हुनेछ र यो कसरी गर्ने भनेर बुझ्न सामग्रीको गुच्छा पढ्नु पर्दैन, तर अहिलेको लागि यो मामला होइन।

यदि तपाइँ pinba_engine स्थापना गर्नुहुन्छ भने, यो केवल आधा युद्ध हो। आखिर, बिना पिनबोर्ड तपाईंले आफैलाई अन्तिम केही मिनेटको डेटामा सीमित गर्नुपर्नेछ, वा तपाईंले डेटा आफैंलाई एकत्रित, भण्डारण र कल्पना गर्नुपर्नेछ। यो राम्रो छ कि पिनबोर्ड प्रयोग गर्न एकदम सरल छ स्थापना.

यस्तो देखिन्छ, किन यस्तो पीडा हुन्छ यदि php बाट सबै मेट्रिकहरू पहिले नै प्रोटोबफ ढाँचामा udp पोर्टमा पठाइएको छ र तपाईलाई आवश्यक छ एउटा अनुप्रयोग लेख्नु हो जसले तिनीहरूलाई समातेर कुनै प्रकारको भण्डारणमा राख्छ? स्पष्ट रूपमा, ती विकासकर्ताहरू जसले यो विचार लिएका थिए तुरुन्तै आफ्नै विचारहरू लेख्न बसे, जसमध्ये केही GitHub मा समाप्त भयो।

निम्न चार ओपन सोर्स प्रोजेक्टहरूको एक सिंहावलोकन हो जसले भण्डारणमा मेट्रिक्स बचत गर्दछ, जसबाट यो डाटा सजिलै पुन: प्राप्त गर्न सकिन्छ र भिजुअलाइज गर्न सकिन्छ, उदाहरणका लागि, ग्राफाना प्रयोग गरेर।

olegfedoseev/pinba-server (नोभेम्बर 2017)

udp सर्भर अन गो जसले मेट्रिकहरू OpenTSDB मा बचत गर्छ। सायद यदि तपाइँ पहिले नै तपाइँको परियोजना मा OpenTSDB प्रयोग गर्दै हुनुहुन्छ भने, तब यो समाधान तपाइँलाई उपयुक्त हुनेछ, अन्यथा म यसलाई पास गर्न सिफारिस गर्दछु।

olegfedoseev/pinba-influxdb (जुन २०१८)

udp सर्भर अन गो, उही बाट habrowser, जसले यस पटक InfluxDB मा मेट्रिक्स भण्डार गर्दछ। धेरै परियोजनाहरूले पहिले नै निगरानीको लागि InfluxDB प्रयोग गर्दै छन्, त्यसैले यो समाधान तिनीहरूको लागि उपयुक्त हुन सक्छ।

प्रो:

• InfluxDB यसलाई अनुमति दिन्छ प्राप्त मेट्रिक्स जम्मा गर्नुहोस्, र निर्दिष्ट समय पछि मूल मेटाउनुहोस्।

Cons:

• यो समाधानले टाइमरहरूमा जानकारी बचत गर्दैन।
• InfluxDB ले साइट पृष्ठ ठेगानाहरूलाई ट्यागको रूपमा भण्डार गर्नेछ र यदि तपाईंसँग धेरै अनौंठो पृष्ठ ठेगानाहरू छन् भने, यसले नेतृत्व गर्नेछ। बढेको खपत अनियमित पहुँच मेमोरी। एक निश्चित क्षण देखि उहाँले "सम्झनालाई पागल जस्तै खान थाल्छ«। (स्रोत)

क्लिकहाउस-निन्जा/प्रोटोन (जनवरी २०१९)

udp सर्भर अन गो, जसले क्लिकहाउसमा मेट्रिक्स बचत गर्छ। यो मेरो साथीको समाधान हो। योसँग परिचित भएपछि मैले निर्णय गरें कि यो पिनबु र क्लिकहाउसलाई लिने समय हो।

प्रो:

• क्लिकहाउस त्यस्ता कार्यहरूका लागि उपयुक्त छ; यसले तपाईंलाई डेटा कम्प्रेस गर्न अनुमति दिन्छ ताकि तपाईं सबै कच्चा डाटा एकत्रीकरण बिना पनि भण्डारण गर्न सक्नुहुन्छ।
• यदि आवश्यक छ भने, तपाईं सजिलै नतिजा मेट्रिक्स एकत्रित गर्न सक्नुहुन्छ
• Grafana को लागि तयार टेम्प्लेट
• टाइमरमा जानकारी बचत गर्दछ

Cons:

• घातक दोष
• त्यहाँ कुनै कन्फिगर छैन जसमा तपाइँ डाटाबेस र तालिकाहरूको नाम, सर्भरको ठेगाना र पोर्ट कन्फिगर गर्न सक्नुहुन्छ।
• कच्चा डाटा भण्डारण गर्दा, पृष्ठ र डोमेन ठेगानाहरू भण्डारण गर्न सहायक शब्दकोश तालिका प्रयोग गरिन्छ, जसले पछिका प्रश्नहरूलाई जटिल बनाउँछ।
• पहिलो माइनसबाट पछ्याउने अन्य साना चीजहरू

pinba-सर्भर/pinba-सर्भर (अप्रिल २०१९)

php मा udp सर्भर, जसले ClickHouse मा मेट्रिक्स बचत गर्दछ। यो मेरो समाधान हो, जुन पिनबा, क्लिकहाउस र प्रोटोबफलाई चिन्ने परिणाम हो। जब मैले यो सम्पूर्ण गुच्छालाई क्रमबद्ध गर्दै थिएँ, मैले "अवधारणाको प्रमाण" लेखें, जुन मेरो लागि अप्रत्याशित रूपमा, महत्त्वपूर्ण स्रोतहरू (30 एमबी RAM र आठ प्रोसेसर कोर मध्ये 1% भन्दा कम) खपत भएन, त्यसैले मैले। जनतासँग साझा गर्ने निर्णय गरियो।

फाइदाहरू अघिल्लो समाधान जस्तै हुन्, मैले मूल pinba_engine बाट सामान्य नामहरू पनि प्रयोग गरें। मैले एउटा कन्फिगरेसन पनि थपेको छु जसले तपाईंलाई विभिन्न तालिकाहरूमा मेट्रिकहरू बचत गर्न एकैचोटि धेरै पिनबेस सर्भर उदाहरणहरू सुरू गर्न अनुमति दिन्छ - यो उपयोगी छ यदि तपाईं php बाट मात्र नभई nginx बाट पनि डाटा सङ्कलन गर्न चाहनुहुन्छ भने।
बेफाइदाहरू - "घातक दोष" र ती साना चीजहरू जुन तपाईंलाई व्यक्तिगत रूपमा उपयुक्त हुँदैन, तर मेरो समाधान "चप्पल जस्तो सरल" हो र कोडको लगभग 100 लाइनहरू समावेश गर्दछ, त्यसैले कुनै पनि PHP विकासकर्ताले आफूलाई मन नपर्ने कुराहरू परिवर्तन गर्न सक्छ। केही मिनेटमा।

कसरी यो काम गर्दछ

UDP पोर्ट 30002 सुनिएको छ। सबै आगमन प्याकेटहरू प्रोटोबफ योजना अनुसार डिकोड गरी जम्मा गरिएका छन्। एक मिनेटमा, एउटा प्याकेट क्लिकहाउसमा pinba.requests तालिकामा घुसाइन्छ। (सबै प्यारामिटरहरू कन्फिगर गरिएका छन् कन्फिगरेसन)

क्लिकहाउसको बारेमा थोरै

क्लिकहाउसले विभिन्न डाटा भण्डारण इन्जिनहरूलाई समर्थन गर्दछ। सबै भन्दा साधारण प्रयोग एक MergeTree हो।

यदि कुनै बिन्दुमा तपाईंले सबै समयको लागि एकत्रित डाटा भण्डारण गर्ने निर्णय गर्नुभयो भने, र अन्तिमको लागि मात्र कच्चा डाटा, त्यसपछि तपाईंले समूहीकरणको साथ एक भौतिक दृश्य सिर्जना गर्न सक्नुहुन्छ, र समय-समयमा मुख्य pinba.requests तालिका सफा गर्न सक्नुहुन्छ, जबसम्म सबै डाटा मा रहनेछ। भौतिक दृश्य। यसबाहेक, pinba.requests तालिका सिर्जना गर्दा, तपाईंले "इन्जिन = Null" निर्दिष्ट गर्न सक्नुहुन्छ, त्यसपछि कच्चा डाटा डिस्कमा सुरक्षित हुनेछैन, र एकै समयमा यो अझै पनि भौतिक दृश्यमा समाप्त हुनेछ र एकत्रित रूपमा बचत हुनेछ। । म यो योजना nginx मेट्रिक्सको लागि प्रयोग गर्छु, किनकि nginx मा मसँग php भन्दा 50 गुणा बढी अनुरोधहरू छन्।

त्यसोभए, तपाईं लामो बाटो आइपुग्नु भएको छ र म तपाईंलाई आधा बाटो छोड्न चाहन्न, त्यसोभए मेरो समाधानको स्थापना र कन्फिगरेसनको विस्तृत विवरण र तपाईंलाई आवश्यक पर्ने सबै कुराहरू, साथै एक भन्दा बढी जहाजको कारण भएका समस्याहरू छन्। दुर्घटना हुनु। सम्पूर्ण स्थापना प्रक्रिया Ubuntu 18.04 LTS र Centos 7 को लागि वर्णन गरिएको छ; प्रक्रिया अन्य वितरण र संस्करणहरूमा थोरै फरक हुन सक्छ।

सेटिङ

मैले सबै आवश्यक आदेशहरू राखें डकरफाइल निर्देशनहरूको पुन: उत्पादन क्षमतालाई सहज बनाउन। केवल हानिहरू तल वर्णन गरिनेछ।

php-pinba

स्थापना पछि, सुनिश्चित गर्नुहोस् कि /etc/php/7.2/fpm/conf.d/20-pinba.ini फाइलमा तपाईंले सबै विकल्पहरू अनकमेन्ट गर्नुभएको छ। केही वितरणहरूमा (जस्तै सेन्टोस) तिनीहरू टिप्पणी गर्न सकिन्छ।

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

क्लिकहाउस

स्थापनाको क्रममा, क्लिकहाउसले तपाईंलाई पूर्वनिर्धारित प्रयोगकर्ताको लागि पासवर्ड सेट गर्न सोध्नेछ। पूर्वनिर्धारित रूपमा, यो प्रयोगकर्ता सबै आईपीहरूबाट पहुँचयोग्य छ, त्यसैले यदि तपाइँसँग तपाइँको सर्भरमा फायरवाल छैन भने, यसको लागि पासवर्ड सेट गर्न निश्चित हुनुहोस्। यो /etc/clickhouse-server/users.xml फाइलमा स्थापना पछि पनि गर्न सकिन्छ।

यो पनि ध्यान दिन लायक छ कि क्लिकहाउसले 9000 सहित धेरै पोर्टहरू प्रयोग गर्दछ। यो पोर्ट केही वितरणहरूमा php-fpm को लागि पनि प्रयोग गरिन्छ (उदाहरणका लागि, centos)। यदि तपाइँ पहिले नै यो पोर्ट प्रयोग गर्नुहुन्छ भने, तपाइँ यसलाई /etc/clickhouse-server/config.xml फाइलमा अर्कोमा परिवर्तन गर्न सक्नुहुन्छ।

क्लिकहाउस प्लगइनको साथ ग्राफाना

Grafana स्थापना गरेपछि, लगइन प्रशासक र पासवर्ड प्रशासक प्रयोग गर्नुहोस्। जब तपाइँ पहिलो पटक लग इन गर्नुहुन्छ, Grafana ले तपाइँलाई नयाँ पासवर्ड सेट गर्न सोध्नेछ।

अर्को, "+" -> आयात मेनुमा जानुहोस् र आयातको लागि ड्यासबोर्ड नम्बर संकेत गर्नुहोस् 10011। मैले यो ड्यासबोर्ड तयार गरी अपलोड गरेको छु ताकि तपाईंले यसलाई फेरि आफैं गर्न नपरोस्।

Grafana तेस्रो-पक्ष प्लगइन मार्फत क्लिकहाउससँग काम गर्न समर्थन गर्दछ, तर Grafana सँग तेस्रो-पक्ष प्लगइनहरूको लागि अलर्ट छैन (त्यहाँ धेरै वर्षदेखि यसको लागि टिकट छ)।

pinba-सर्भर

प्रोटोबफ र libevent स्थापना वैकल्पिक छ, तर pinba-सर्भर प्रदर्शन सुधार गर्दछ। यदि तपाईंले /opt बाहेक अर्को फोल्डरमा pinba-server स्थापना गर्नुभयो भने, तपाईंले पनि सच्याउनु पर्नेछ systemd लिपि फाइल।

nginx को लागि pinba मोड्युल

मोड्युल कम्पाइल गर्नको लागि, तपाइँलाई तपाइँको सर्भरमा पहिले नै स्थापना गरिएको nginx को समान संस्करणको स्रोत कोडहरू चाहिन्छ, साथै उही संकलन विकल्पहरू, अन्यथा निर्माण सफल हुनेछ, तर मोड्युल जडान गर्दा, त्रुटि फ्याँकिनेछ। "मोड्युल बाइनरी उपयुक्त छैन।" संकलन विकल्पहरू nginx -V आदेश प्रयोग गरेर हेर्न सकिन्छ

जीवन ह्याक्स

मेरा सबै साइटहरू https मा मात्र काम गर्छन्। स्कीमा क्षेत्र अर्थहीन हुन्छ, त्यसैले म यसलाई वेब/कन्सोल अलग गर्न प्रयोग गर्छु।

मैले प्रयोग गर्ने वेबबाट पहुँचयोग्य लिपिहरूमा:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

र कन्सोल स्क्रिप्टहरूमा (उदाहरणका लागि, क्रोन लिपिहरू):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

Grafana मा मेरो ड्यासबोर्डमा अलग-अलग तथ्याङ्कहरू हेर्नको लागि वेब/कन्सोल स्विच छ।

तपाईं आफ्नो ट्यागहरू Pinba मा पनि पठाउन सक्नुहुन्छ, उदाहरणका लागि:

pinba_tag_set('country', $countryCode);

यति नै।

कृपया लेख तलको सर्वेक्षणको जवाफ दिनुहोस्।

सामान्य रूपमा, म तपाईंलाई चेतावनी दिन्छु कि म Habr र सामाजिक सञ्जालहरूमा व्यक्तिगत सन्देशहरू मार्फत सल्लाह वा मद्दत गर्दिन।

Github मा टिकट सिर्जना गर्नुहोस्।

साथै लाईक गरेर साथ दिनु होला अंग्रेजी संस्करण यो लेख reddit मा.

दर्ता भएका प्रयोगकर्ताहरूले मात्र सर्वेक्षणमा भाग लिन सक्छन्। साइन इन गर्नुहोस्कृपया

तपाइँ सर्भरमा कुन OS प्रयोग गर्दै हुनुहुन्छ?

• Ubuntu

• CentOS

• Debian

• Gentoo

• रातो टोपी

• फेडोरा

• OpenSUSE

• सुसे

• युनिक्स

• Windows

• अन्य

114 प्रयोगकर्ताहरूले मतदान गरे। 11 प्रयोगकर्ताहरू रोकिए।

तपाइँ सर्भरमा php को कुन संस्करण प्रयोग गर्दै हुनुहुन्छ?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• अन्य

105 प्रयोगकर्ताहरूले मतदान गरे। 17 प्रयोगकर्ताहरू रोकिए।

के तपाईंले कहिल्यै पिनबा प्रयोग गर्नुभएको छ?

• हो

• होइन, तर म चाहन्छु

• होइन र म चाहन्न

• होइन र उनको बारेमा सुनेको छैन

100 प्रयोगकर्ताहरूले मतदान गरे। 14 प्रयोगकर्ताहरू रोकिए।

पिनबा सर्भरको कुन संस्करण तपाईं प्रयास गर्न चाहनुहुन्छ?

• pinba_engine (mysql इन्जिन)

• pinba2 (mysql इन्जिन)

• पिनबोर्ड (php + mysql)

• olegfedoseev/pinba-server (go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-server/pinba-server (go + clickhouse)

• pinba-server/pinba-server (php + clickhouse)

• म आफै लेख्छु

• अन्य

39 प्रयोगकर्ताहरूले मतदान गरे। 47 प्रयोगकर्ताहरू रोकिए।

स्रोत: www.habr.com