PHP სკრიპტების სტატისტიკა და მონიტორინგი რეალურ დროში. ClickHouse და Grafana ეხმარებიან პინბას

ამ სტატიაში მე გეტყვით, თუ როგორ გამოიყენოთ pinba clickhouse-ით და grafana-ით pinba_engine-ისა და pinboard-ის ნაცვლად.

PHP პროექტზე, pinba არის ალბათ ერთადერთი საიმედო გზა იმის გასაგებად, თუ რა ხდება შესრულებასთან დაკავშირებით. მართალია, პინბა ჩვეულებრივ ხორციელდება მხოლოდ მაშინ, როდესაც პრობლემები უკვე შეინიშნება და გაუგებარია "სად გათხრა".

ხშირად არავის არ აქვს წარმოდგენა წამში/წუთში რამდენჯერ იძახება ესა თუ ის სკრიპტი და იწყებენ ოპტიმიზაციას „შეხებით“, დაწყებული იმ ადგილებიდან, რომლებიც უფრო ლოგიკური ჩანს.

ზოგი აანალიზებს nginx ჟურნალებს, ზოგი კი აანალიზებს მონაცემთა ბაზის შეკითხვებს.

რა თქმა უნდა, pinba არ იქნება ზედმეტი, მაგრამ არსებობს რამდენიმე მიზეზი, რის გამოც ყველა პროექტს არ აქვს იგი.

და პირველი მიზეზი არის ინსტალაცია.

იმისათვის, რომ მეტ-ნაკლებად მივიღოთ რაიმე სახის „გამონაბოლქვი“ Pinba-ს განხორციელებიდან, ძალიან სასურველია მეტრიკის ნახვა არა მხოლოდ ბოლო წუთებში, არამედ დიდი ხნის განმავლობაში (დღიდან თვეებამდე).

ამისათვის საჭიროა:

• დააინსტალირეთ გაფართოება php-სთვის (და შეიძლება დაგჭირდეთ მოდული nginx-ისთვის)
• შეადგინეთ გაფართოება mysql-სთვის
• დააინსტალირეთ pinboard და დააკონფიგურირეთ cron

Pinba-ს შესახებ მცირე ინფორმაციის გამო, ბევრს რჩება შთაბეჭდილება, რომ ის მხოლოდ PHP5-ზე მუშაობდა და დიდი ხანია წარსულს ჩაბარდა, მაგრამ როგორც მოგვიანებით ვნახავთ, ეს ასე არ არის.

პირველი ნაბიჯი არის უმარტივესი, ყველაფერი რაც თქვენ უნდა გააკეთოთ არის ბრძანების გაშვება:

apt install php-pinba

ეს გაფართოება ხელმისაწვდომია php 7.3-მდე და მათ შორის საცავებში და არაფრის შედგენა არ გჭირდებათ.

ინსტალაციის ბრძანების შესრულების შემდეგ, ჩვენ დაუყოვნებლივ ვიღებთ სამუშაო გაფართოებას, რომელიც აგროვებს და აგზავნის მეტრიკას თითოეული სკრიპტისთვის (გაშვების დრო, მეხსიერება და ა.შ.) ფორმატში. პროტობუფი udp-ის საშუალებით 127.0.0.1:30002-მდე.

ჯერჯერობით არავის დაუჭერია ან დამუშავებული ეს UDP პაკეტები, მაგრამ ეს არანაირად არ მოქმედებს თქვენი PHP სკრიპტების სიჩქარეზე ან სტაბილურობაზე.

ბოლო დრომდე, ერთადერთი აპლიკაცია, რომელსაც შეეძლო ამ UDP პაკეტების დაჭერა და დამუშავება იყო pinba_ძრავი. აღწერა"მარტივი და ლაკონური”ინსტალაცია ხელს უშლის წაკითხვის და კიდევ ერთხელ ჩაღრმავების სურვილს. დამოკიდებულებების კილომეტრიანი სიები შეიცავს როგორც პაკეტების სახელებს, ასევე პროგრამების სახელებს და ცალკეულ გვერდებს მათი ინსტალაციის ბმულებს, და მათ აქვთ საკუთარი ბმულები სხვა დამოკიდებულებებთან. არავის აქვს დრო და სურვილი, გაუმკლავდეს ამ სისულელეს.

ინსტალაციის პროცესი pinba2 არა განსაკუთრებით ადვილია.

შესაძლოა, ოდესმე შესაძლებელი გახდეს pinba10-ის დაყენება ერთი ან ორი ბრძანებით და არ დაგჭირდეთ მასალების წაკითხვა იმის გასაგებად, თუ როგორ უნდა გააკეთოთ ეს, მაგრამ ახლა ეს ასე არ არის.

თუ თქვენ დააინსტალირეთ pinba_engine, მაშინ ეს მხოლოდ ბრძოლის ნახევარია. ყოველივე ამის შემდეგ, გარეშე pinboard თქვენ მოგიწევთ შემოიფარგლოთ მხოლოდ ბოლო რამდენიმე წუთის მონაცემებით, ან თქვენ მოგიწევთ მონაცემების გაერთიანება, შენახვა და ვიზუალიზაცია. კარგია, რომ pinboard საკმაოდ მარტივი გამოსაყენებელია ინსტალაცია.

როგორც ჩანს, რატომ არის ასეთი ტანჯვა, თუ php-დან ყველა მეტრიკა უკვე იგზავნება udp პორტში პროტობუფის ფორმატში და ყველაფერი რაც თქვენ გჭირდებათ, არის აპლიკაციის დაწერა, რომელიც დაიჭერს მათ და მოათავსებს მათ რაიმე სახის საცავში? როგორც ჩანს, ის დეველოპერები, რომლებსაც ეს იდეა მოუვიდათ, მაშინვე დასხდნენ საკუთარი იდეების დასაწერად, რომელთაგან ზოგიერთი დასრულდა GitHub-ზე.

ქვემოთ მოცემულია ოთხი ღია კოდის პროექტის მიმოხილვა, რომლებიც ინახავს მეტრიკას საცავში, საიდანაც ამ მონაცემების ადვილად მოძიება და ვიზუალიზაცია შესაძლებელია, მაგალითად, grafana-ს გამოყენებით.

ოლეგფედოსევი/პინბა-სერვერი (2017 წლის ნოემბერი)

udp სერვერი მიდის, რომელიც ინახავს მეტრიკას OpenTSDB-ში. შესაძლოა, თუ უკვე იყენებთ OpenTSDB-ს თქვენს პროექტში, მაშინ ეს გამოსავალი მოგეწონებათ, წინააღმდეგ შემთხვევაში გირჩევთ მის გავლას.

olegfedoseev/pinba-influxdb (2018 წლის ივნისი)

udp სერვერი მიდის, იმავედან ბრაუზერი, რომელიც ამჯერად ინახავს მეტრიკას InfluxDB-ში. ბევრი პროექტი უკვე იყენებს InfluxDB-ს მონიტორინგისთვის, ამიტომ ეს გამოსავალი შეიძლება იყოს მათთვის სრულყოფილი.

დადებითი:

• InfluxDB საშუალებას აძლევს შეაგროვეთ მიღებული მეტრიკა და წაშალეთ ორიგინალი მითითებული დროის შემდეგ.

Cons:

• ეს გამოსავალი არ ინახავს ინფორმაციას ტაიმერებზე.
• InfluxDB შეინახავს საიტის გვერდის მისამართებს ტეგებად და თუ თქვენ გაქვთ ბევრი უნიკალური გვერდის მისამართი, ეს გამოიწვევს გაზრდილი მოხმარება შემთხვევითი წვდომის მეხსიერება. გარკვეული მომენტიდან ის "გიჟივით დაიწყებს მეხსიერების ჭამას« (წყარო)

ClickHouse-Ninja/Proton (2019 წლის იანვარი)

udp სერვერი მიდის, რომელიც ინახავს მეტრიკას ClickHouse-ში. ეს ჩემი მეგობრის გამოსავალია. მისი გაცნობის შემდეგ გადავწყვიტე, რომ დრო იყო პინბუსა და კლიქჰაუსზე გადამეღო.

დადებითი:

• Clickhouse იდეალურია ასეთი ამოცანებისთვის; ის საშუალებას გაძლევთ შეკუმშოთ მონაცემები იმდენად, რომ შეძლებთ შეინახოთ ყველა ნედლეული მონაცემი აგრეგაციის გარეშეც კი.
• საჭიროების შემთხვევაში, თქვენ შეგიძლიათ მარტივად შეაგროვოთ მიღებული მეტრიკა
• მზა შაბლონი გრაპანისთვის
• ინახავს ინფორმაციას ტაიმერებზე

Cons:

• საბედისწერო ნაკლი
• არ არსებობს კონფიგურაცია, რომელშიც შეგიძლიათ დააკონფიგურიროთ მონაცემთა ბაზის და ცხრილების სახელი, სერვერის მისამართი და პორტი.
• ნედლეული მონაცემების შენახვისას, დამხმარე ლექსიკონის ცხრილი გამოიყენება გვერდისა და დომენის მისამართების შესანახად, რაც ართულებს შემდგომ შეკითხვებს
• სხვა წვრილმანები, რაც მოჰყვება პირველ მინუსს

pinba-server/pinba-server (2019 წლის აპრილი)

udp სერვერი php-ში, რომელიც ინახავს მეტრიკას ClickHouse-ში. ეს არის ჩემი გამოსავალი, რომელიც არის pinba-ს, ClickHouse-ის და protobuf-ის გაცნობის შედეგი. მთელი ამ ჯგუფის დალაგებისას დავწერე „კონცეფციის მტკიცებულება“, რომელიც, ჩემთვის მოულოდნელად, არ მოიხმარდა მნიშვნელოვან რესურსებს (30 მბ ოპერატიული მეხსიერება და 1%-ზე ნაკლები პროცესორის რვა ბირთვიდან), ამიტომ მე გადაწყვიტა საზოგადოებისთვის გაეზიარებინა.

უპირატესობები იგივეა, რაც წინა გადაწყვეტა, მე ასევე გამოვიყენე ჩვეულებრივი სახელები ორიგინალური pinba_engine-დან. მე ასევე დავამატე კონფიგურაცია, რომელიც საშუალებას გაძლევთ ერთდროულად გაუშვათ რამდენიმე pinbase სერვერის ინსტანცია, რათა შეინახოთ მეტრიკა სხვადასხვა ცხრილებში - ეს სასარგებლოა, თუ გსურთ მონაცემების შეგროვება არა მხოლოდ php-დან, არამედ nginx-დან.
ნაკლოვანებები - "საბედისწერო ხარვეზი" და ის წვრილმანი, რომელიც არ მოგწონს პირადად, მაგრამ ჩემი გამოსავალი არის "ჩუსტივით მარტივი" და შედგება მხოლოდ დაახლოებით 100 სტრიქონული კოდისგან, ასე რომ, ნებისმიერ PHP დეველოპერს შეუძლია შეცვალოს ის, რაც არ მოსწონს. რამდენიმე წუთში.

პრინციპი ოპერაციის

მოსმენილია UDP პორტი 30002. ყველა შემომავალი პაკეტი დეკოდირდება პროტობუფის სქემის მიხედვით და გროვდება. წუთში ერთხელ, პაკეტი ჩასმულია clickhouse-ში pinba.requests ცხრილში. (ყველა პარამეტრი კონფიგურირებულია კონფიგურაცია)

ცოტა რამ clickhouse-ის შესახებ

Clickhouse მხარს უჭერს მონაცემთა შენახვის სხვადასხვა ძრავებს. ყველაზე ხშირად გამოყენებული არის MergeTree.

თუ რაღაც მომენტში გადაწყვეტთ მთლიანი მონაცემების შენახვას ყველა დროის განმავლობაში, ხოლო ნედლი მონაცემები მხოლოდ ბოლოსთვის, მაშინ შეგიძლიათ შექმნათ მატერიალიზებული ხედი დაჯგუფებით და პერიოდულად გაასუფთავოთ მთავარი pinba.requests ცხრილი, ხოლო ყველა მონაცემი დარჩება ცხრილში. მატერიალიზებული ხედვა. უფრო მეტიც, pinba.requests ცხრილის შექმნისას შეგიძლიათ მიუთითოთ „engine = Null“, მაშინ ნედლეული მონაცემები საერთოდ არ შეინახება დისკზე და ამავე დროს კვლავ მოხვდება მატერიალიზებულ ხედში და შეინახება აგრეგირებული. . მე ვიყენებ ამ სქემას nginx მეტრიკებისთვის, რადგან nginx-ზე 50-ჯერ მეტი მოთხოვნა მაქვს, ვიდრე php-ზე.

ასე რომ, თქვენ გრძელი გზა გაიარეთ და მე არ მინდა თქვენი ნახევრად დატოვება, ასე რომ, ქვემოთ მოცემულია ჩემი გადაწყვეტის ინსტალაციისა და კონფიგურაციის დეტალური აღწერა და ყველაფერი რაც თქვენ გჭირდებათ, ისევე როგორც ხარვეზები, რამაც გამოიწვია ერთზე მეტი გემი. დაეჯახა. ინსტალაციის მთელი პროცესი აღწერილია Ubuntu 18.04 LTS-ისთვის და Centos 7-ისთვის; პროცესი შეიძლება ოდნავ განსხვავდებოდეს სხვა დისტრიბუციებსა და ვერსიებზე.

დაყენების

ჩავდე ყველა საჭირო ბრძანება dockerfile ინსტრუქციების განმეორებადობის გასაადვილებლად. მხოლოდ ხაფანგები იქნება აღწერილი ქვემოთ.

php-pinba

ინსტალაციის შემდეგ, დარწმუნდით, რომ /etc/php/7.2/fpm/conf.d/20-pinba.ini ფაილში თქვენ გაუქმებული გაქვთ ყველა ვარიანტი. ზოგიერთ დისტრიბუციაზე (მაგ. centos) ისინი შეიძლება იყოს კომენტარები.

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

clickhouse

ინსტალაციის დროს, clickhouse მოგთხოვთ დააყენოთ პაროლი ნაგულისხმევი მომხმარებლისთვის. ნაგულისხმევად, ეს მომხმარებელი ხელმისაწვდომია ყველა IP-დან, ასე რომ, თუ თქვენს სერვერზე არ გაქვთ firewall, დარწმუნდით, რომ დააყენეთ მას პაროლი. ეს ასევე შეიძლება გაკეთდეს /etc/clickhouse-server/users.xml ფაილში ინსტალაციის შემდეგ.

ასევე აღსანიშნავია, რომ clickhouse იყენებს რამდენიმე პორტს, მათ შორის 9000. ეს პორტი ასევე გამოიყენება php-fpm-ისთვის ზოგიერთ დისტრიბუციაში (მაგალითად, centos). თუ თქვენ უკვე იყენებთ ამ პორტს, შეგიძლიათ შეცვალოთ იგი სხვაში /etc/clickhouse-server/config.xml ფაილში.

grafana clickhouse მოდულით

Grafana-ს ინსტალაციის შემდეგ გამოიყენეთ შესვლის ადმინისტრატორი და პაროლის ადმინისტრატორი. როდესაც შეხვალთ პირველად, Grafana მოგთხოვთ ახალი პაროლის დაყენებას.

შემდეგი, გადადით "+" -> იმპორტის მენიუში და მიუთითეთ დაფის ნომერი იმპორტისთვის 10011. მე მოვამზადე და ავტვირთე ეს დაფა, რომ აღარ მოგიწიოთ ამის გაკეთება.

Grafana მხარს უჭერს clickhouse-თან მუშაობას მესამე მხარის მოდულის საშუალებით, მაგრამ Grafana-ს არ აქვს გაფრთხილებები მესამე მხარის დანამატებისთვის (ამის ბილეთი რამდენიმე წელია არსებობს).

პინბა-სერვერი

პროტობუფის და ლიბევენტის დაყენება არჩევითია, მაგრამ აუმჯობესებს pinba-სერვერის მუშაობას. თუ pinba-სერვერს დააინსტალირებთ სხვა საქაღალდეში, გარდა /opt, მაშინ ასევე დაგჭირდებათ შესწორება სისტემური სკრიპტი ფაილი

pinba მოდული nginx-ისთვის

მოდულის კომპილაციისთვის საჭიროა nginx-ის იგივე ვერსიის საწყის კოდები, რომელიც უკვე დაინსტალირებულია თქვენს სერვერზე, ისევე როგორც იგივე კომპილაციის ვარიანტები, წინააღმდეგ შემთხვევაში აწყობა წარმატებული იქნება, მაგრამ მოდულის დაკავშირებისას გამოვა შეცდომა, რომ "მოდული არ არის ორობითი თავსებადი." კომპილაციის პარამეტრების ნახვა შესაძლებელია nginx -V ბრძანების გამოყენებით

სიცოცხლე მიდის

ყველა ჩემი საიტი მუშაობს მხოლოდ https-ზე. სქემის ველი უაზრო ხდება, ამიტომ ვიყენებ მას ვებ/კონსოლის განცალკევებისთვის.

სკრიპტებში, რომლებიც ხელმისაწვდომია ვებიდან, მე ვიყენებ:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

და კონსოლის სკრიპტებში (მაგალითად, cron სკრიპტებში):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

Grafana-ში ჩემს დაფაზე არის ვებ/კონსოლის გადამრთველი სტატისტიკის ცალკე სანახავად.

თქვენ ასევე შეგიძლიათ გაგზავნოთ თქვენი ტეგები Pinba-ზე, მაგალითად:

pinba_tag_set('country', $countryCode);

ეს ყველაფერი.

გთხოვთ უპასუხოთ სტატიის ქვემოთ მოცემულ გამოკითხვებს.

ჩვეულებისამებრ, გაფრთხილებთ, რომ არ ვურჩევ და არ ვეხმარები პირადი შეტყობინებებით ჰაბრზე და სოციალურ ქსელებში.

შექმენით ბილეთი Github-ზე.

ასევე გთხოვთ მხარი დაუჭირეთ ლაიქებით ინგლისური ვერსია ამ მუხლის რედიტზე.

გამოკითხვაში მონაწილეობა შეუძლიათ მხოლოდ დარეგისტრირებულ მომხმარებლებს. Შებრძანდითგთხოვთ

რომელ OS-ს იყენებთ სერვერზე?

• Ubuntu

• CentOS

• Debian

• Gentoo

• Red Hat

• Fedora

• OpenSUSE

• სუე

• Unix

• Windows

• სხვა

მისცა ხმა 114 მომხმარებელმა. 11-მა მომხმარებელმა თავი შეიკავა.

php-ის რომელ ვერსიას იყენებთ სერვერზე?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• სხვა

მისცა ხმა 105 მომხმარებელმა. 17-მა მომხმარებელმა თავი შეიკავა.

ოდესმე გიყენიათ pinba?

• დიახ

• არა, მაგრამ მე მინდა

• არა და არ მინდა

• არა და არ მსმენია მის შესახებ

მისცა ხმა 100 მომხმარებელმა. 14-მა მომხმარებელმა თავი შეიკავა.

Pinba სერვერის რომელი ვერსია გსურთ სცადოთ?

• pinba_engine (mysql ძრავა)

• pinba2 (mysql ძრავა)

• pinboard (php + mysql)

• olegfedoseev/pinba-სერვერი (go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-server/pinba-server (go + clickhouse)

• pinba-server/pinba-server (php + clickhouse)

• მე თვითონ დავწერ ჩემსას

• სხვა

მისცა ხმა 39 მომხმარებელმა. 47-მა მომხმარებელმა თავი შეიკავა.

წყარო: www.habr.com