Statistika ja PHP skriptide jälgimine reaalajas. ClickHouse ja Grafana tulevad Pinba'le appi.

Selles artiklis räägin, kuidas kasutada pinbat koos ClickHouse'i ja Grafana'ga, asendades pinba_engine'i ja pinboardi.

PHP-projektis on pinba tõenäoliselt ainus usaldusväärne viis mõista, mis toimub jõudlusega. Tõsi, tavaliselt rakendatakse pinbat ainult siis, kui juba on probleeme ja ei ole selge, kust alustada.

Sageli ei tea keegi, kui sageli kutsutakse kindlat skripti esile sekundis/minuutis ning optimiseerimine algab „katseliselt”, alustades tundlikest kohtadest.

Mõni analüüsib nginx'i logisid, kuid teine jälgib aeglaseid päringuid andmebaasis.

Muidugi, pinba ei oleks liialdatud, kuid on mitmeid põhjuseid, miks see ei ole kaugeltki igas projektis.

Esimene põhjus on installimine.

Kuna pinba juurutamisest mingi „tõhususe” saamiseks on väga soovitav näha näitajaid mitte ainult viimase minuti jooksul, vaid ka pikema aja jooksul (päevadest kuudeni).

Selleks on vajalik:

• paigaldada php jaoks laiendus (ja võib-olla soovite nginx'i moodulit)
• kompileerida mysql'i jaoks laiendus
• paigaldada pinboard ja seadistada cron

Kuna piiratud teavet Pinba kohta, on paljudel jäänud mulje, et see töötas ainult php5 all ja jäi ammu aegunuks, kuid nagu me järgnevalt näeme – see ei ole tõsi.

Esimene samm on kõige lihtsam, peate lihtsalt käivitama järgmise käsu:

apt install php-pinba

Tegemist on täiustatud laiendusega, mis on saadaval kuni php 7.3 sisse arvatud ja te ei pea midagi kompileerima.

Pärast paigaldamiskäsku saame kohe töötava laienduse, mis kogub ja saadab iga skripti metrikat (täitmise aeg, mälu jms) formaadis protobuf UDP-le aadressile 127.0.0.1:30002.

Praegu keegi neid UDP-pakette ei püüa ega töötle, kuid see ei mõjuta teie PHP-skriptide kiirus ega stabiilsust.

Kuni hiljuti oli ainus rakendus, mis suutis neid UDP-pakette püüda ja töödelda, pinba_engine. Kirjeldus „lihtne ja sisutihe» installimine tekitab soovi seda enam mitte lugeda ega süveneda. Kilomeetrite pikkustes sõltuvuste nimekirjades on nii paketide nimed kui ka programmide nimed ning lingid nende eraldi lehtedele koos installatsioonidega, ja neil on omakorda lingid teistele sõltuvustele. Sellega tegelemiseks ei jätku kellelgi aega ega soovi.

Installimisprotsess pinba2 ei muutunud eriti lihtsamaks.

Võimalik, et kunagi saab pinba10 installida ühe või kahe käsuga, lugemata tohutut materjali, et aru saada, kuidas seda teha, kuid praegu ei ole see nii.

Kui te ikkagi installisite pinba_engine'i, siis see on alles pool tööst. Ilma pinboard peate piirduma ainult viimase mõne minuti andmetega või koguma, salvestama ja visualiseerima andmeid ise. Hea, et pinboard'i installimine on piisavalt lihtne. installimine.

Tundub, miks peaksime seetõttu kannatama, kui kõik PHP meetrikad juba saadetakse UDP-porti Protobuf formaadis ja ainus, mis on vajalik, on kirjutada rakendus, mis neid püüab ja salvestab mõnda ladustamisruumi? Ilmselt need arendajad, kellele see mõte tuli, asusid kohe kirjutama oma versioone, millest osa jõudis GitHubi.

Järgnevalt on ülevaade neljast avatud lähtekoodiga projektist, mis salvestavad meetrikad ladustamisruumidesse, millest need andmed on lihtne välja võtta ja visualiseerida, näiteks Grafana abil.

olegfedoseev/pinba-server (november 2017)

UDP server Go keeles, mis salvestab meetrikad OpenTSDB-sse. Kui OpenTSDB-d juba teie projektis kasutatakse, siis võib see lahendus teile sobida, muul juhul soovitan mööda minna.

olegfedoseev/pinba-influxdb (juuni 2018)

UDP server Go keeles, sama Habrayuzeri, mis seekord salvestab meetrikad InfluxDB-sse. Paljudes projektides kasutatakse juba praegu InfluxDB-d jälgimiseks, seega võib see lahendus neile hästi sobida.

Plussid:

• InfluxDB lubab koondada saadud meetrikad, ja originaal kustutada määratud aja jooksul.

Miinused:

• see lahendus ei salvesta teavet ajataimerite kohta.
• InfluxDB salvestab veebilehtede aadresse siltidena ning kui teil on palju unikaalseid lehe aadresse, võib see viia suurema mälukasutuse. Teatud hetkel ta "hakkab mälus ruumi võtma nagu hull.«. (allikas)

ClickHouse-Ninja/Proton (jaanuar 2019)

udp server go-s, mis salvestab metrikaid ClickHouse'i. See lahendus on minu sõbra oma. Just pärast sellega tutvumist otsustasin, et on aeg pühenduda pinbale ja ClickHouse'ile.

Plussid:

• ClickHouse sobib selliste ülesannete jaoks ideaalselt, see võimaldab andmeid nii kokku suruda, et saate salvestada kõik toored andmed isegi ilma agregatsioonideta.
• Kui on vajadus, saate kergesti saadud meetrikaid agregatsiooni alla viia.
• Valmis šabloon Grafanale.
• Salvestab teavet ajas

Miinused:

• Fataaniline puudus
• Puudub konfigureerimise fail, kus oleks võimalik seadistada andmebaasi ja tabelite nimed, serveri aadress ja port.
• Toores andmete salvestamisel kasutatakse abiteabelt sõnastikku veebilehtede ja domeenide aadresside salvestamiseks, mis muudab edasised päringud keeruliseks.
• Muud pisiasjad, mis tulenevad esimesest miinusest.

pinba-server/pinba-server (aprill 2019)

PHP-l põhinev UDP server, mis salvestab mõõdikud ClickHouse'i. See on minu lahendus, mis on tekkinud tutvumisest pinba, ClickHouse'i ja protobuf'iga. Kui ma sellega tegeledes proovin, siis kirjutasin "proof of concept", mis üllatas mind, kuna ei kasutanud märkimisväärseid ressursse (30 MB RAM'i ja vähem kui 1% üheksast protsessorituumast), seetõttu otsustasin selle avalikkusega jagada.

Plussid — samad, mis eelnevas lahenduses, ja olen kasutanud tuttavaid nimetusi originaalsest pinba_engine'ist. Samuti olen lisanud konfi, mis võimaldab käivitada mitu pinba serveri instantsi korraga, et salvestada mõõdikud erinevatesse tabelitesse — see on kasulik, kui soovite koguda andmeid mitte ainult PHP-st, vaid ka Nginx'ist.
Miinused — "fatiline puudus" ning väikesed detailid, mis ei pruugi teid rahuldada, kuid minu lahendus on "lihtne nagu toss" ja koosneb vaid umbes 100 koodireast, nii et iga PHP arendaja saab mõne minutiga muuta seda, mis ei meeldi.

Tööprintsiip

Kuuldub udp-port 30002. Kõik sissetulevad paketid dekodeeritakse vastavalt protobuf-skeemile ja kogutakse. Iga minuti järel tehakse klikhausse ühe partii sisestamine tabelisse pinba.requests. (kõik parameetrid on seadistatavad konfiguratsioonis)

Veidi klikhausest

Clickhouse toetab erinevaid andmete salvestamise mootorite. Kõige sagedamini kasutatav on MergeTree.

Kui te mingil hetkel otsustate hoida kogutud andmeid igavesti ja toorsed andmed ainult viimase aja jaoks, siis saate luua materialiseeritud vaate grupiga ning puhastada põhitahti pinba.requests regulaarselt, samas kui kõik andmed jäävad materialiseeritud vaatesse. Veelgi enam, kui loote tabeli pinba.requests, saate määrata „engine = Null”, siis toored andmed ei salvestata üldse kettale, kuid need jõuavad ikkagi materialiseeritud vaatesse ja salvestatakse kogutuna. Sellist skeemi kasutan nginx'i mõõdikute jaoks, kuna nginx'il on mul 50 korda rohkem päringuid kui php-l.

Nii, olete läinud pika tee ja ma ei tahaks teid pooleli jätta, seega järgneb üksikasjalik juhend minu lahenduse installimisest ja seadistamisest, samuti kõik, mis teile vajalik, ning takistused, mille pärast mitte ükski laev ei purunenud. Kogu installimisprotsess on kirjeldatud Ubuntu 18.04 LTS ja CentOS 7 jaoks, teistel distributsioonidel ja versioonidel võib protsess veidi erineda.

Installeerimine

Kõik vajalikud käsud olen kokku pannud Dockerfile juhiste kordamise hõlbustamiseks. Allpool on ainult takistused, millega võib kokku puutuda.

php-pinba

Pärast installimist veenduge, et failis /etc/php/7.2/fpm/conf.d/20-pinba.ini on kõik valikud avatud. Mõnes distributsioonis (näiteks CentOS) võivad need olla suletud.

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

clickhouse

Installimise ajal küsib ClickHouse teilt parooli seadmist default kasutajale. Vaikimisi on see kasutaja kergesti ligipääsetav kõigilt IP-delt, seega kui teil ei ole serveris tulemüüri, seadke kindlasti parool. Seda on võimalik teha ka pärast installimist failis /etc/clickhouse-server/users.xml.

Tasub tähele panna, et clickhouse kasutab mitmeid porte, sealhulgas 9000. Seda porti kasutatakse mõnedes distributsioonides (näiteks CentOS) ka php-fpm-iks. Kui see port on juba kasutusel, saate selle config.xml failis teiseks muuta.

grafana plugina jaoks clickhouse'ile

Pärast grafana installimist kasutage kasutajanime admin ja parooli admin. Esmakordsel sisenemisel palub grafana teil määrata uus parool.

Seejärel läheme menüüsse „+” -> import ja näitame importimiseks dashboardi numbrit. 10011. Olen selle dashboardi teie jaoks ette valmistanud ja üles laadinud, et te ei peaks seda uuesti ise tegema.

Grafana toetab clickhouse'iga töötamist kolmanda osapoole plugina kaudu, kuid kolmanda osapoole pluginatega ei tööta grafana häiret teavitused (pilet selle kohta on juba mitu aastat ootel).

pinba-server

Protobufi ja libeventi paigaldamine ei ole kohustuslik, kuid parandab pinba-serveri jõudlust. Kui installite pinba-serveri kausta, mis on erinev /opt, tuleb teil ka systemd skripti failis muudatusi teha. systemd skript faili.

pinba-modul nginx'ile

Mooduli kompileerimiseks on vajalikud sama versiooniga nginx-i allikafailid, mis on juba teie serveris, samuti samad kompileerimisvalikud, muidu läbib kogumine edukalt, kuid mooduli ühendamisel ilmneb tõrge, et "moodul on binaarselt ühilduv". Kompileerimisvalikuid saab vaadata käsu nginx -V abil.

Elu nipid

Kõik minu saidid töötavad ainult https-režiimis. Schema väli kaotab oma tähenduse, seetõttu kasutan seda web/console lahutamiseks.

Veebis saadaval olevates skriptides kasutan:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

Ja konsoolis (näiteks cron-skriptides):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

Minu Grafana armatuurlaud sisaldab web/console lülitit statistika eraldi vaatamiseks.

Lisaks saab Pinbasse saata oma silte, näiteks:

pinba_tag_set('country', $countryCode);

Sellega on kõik.

Palun vastake artikli alla pandud küsimustele.

Traditsiooniliselt hoiatab, et ma ei anna nõu ega aita läbi Habra ja sotsiaalmeedia isiklikes sõnumites.

Esitage pilet GitHubis.

Samuti on palve toetada meeldimistega ingliskeelset versiooniga selle artikli Redditis.

Ainult registreeritud kasutajad saavad küsitluses osaleda. Logige sisse, palun.

Millist operatsioonisüsteemi serveris kasutate?

• Ubuntu

• CentOS

• Debian

• Gentoo

• Red Hat

• Fedora

• OpenSUSE

• SuSE

• Unix

• Windows

• muu

Hääletas 114 kasutajat. 11 kasutajat jäi erapooletuks.

Millist php versiooni te serveris kasutate?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• muu

Hääletas 105 kasutajat. 17 kasutajat jäi erapooletuks.

Kas olete kunagi pinbat kasutanud?

• jah

• ei, aga tahaksin

• ei ja ei tahaks

• ei ja ei ole sellest kuulnud

Hääletas 100 kasutajat. 14 kasutajat jäi erapooletuks.

Millist pinba serveri versiooni sooviksite proovida?

• pinba_engine (mysql engine)

• pinba2 (mysql engine)

• pinboard (php + mysql)

• olegfedoseev/pinba-server (go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-server/pinba-server (go + clickhouse)

• pinba-server/pinba-server (php + clickhouse)

• kirjutan enda omi

• muu

Hääletas 39 kasutajat. 47 kasutajat jäi erapooletuks.

Allikas: habr.com