Statistika ja PHP skriptide jälgimine reaalajas. ClickHouse ja Grafana aitavad Pinbat

Selles artiklis räägin, kuidas kasutada pinbat koos clickhouse'i ja grafanaga pinba_engine'i ja pinboard'i asemel.

PHP-projekti puhul on pinba võib-olla ainus usaldusväärne viis mõista, mis toimub jõudlusega. Tõsi, pinba integreeritakse tavaliselt alles siis, kui probleemid juba esinevad ja pole selge, kust alustada.

Tihti pole kellelgi aimugi, kui mitu korda sekundis/minutit kutsutakse teatud skripti, ja optimiseerimine algab 'kätte tunde' järgi alates kohtadest, mis tunduvad loogilisemad.

Mõned analüüsivad nginx'i logisid, teised aeglaseid päringuid andmebaasis.

Muidugi pole pinba üleliigne, kuid on mitmeid põhjuseid, miks seda ei leita igalt poolt projektist.

Esimene põhjus on installatsioon.

Kuna soovitakse pinbalt mingisugust 'tagasivoolu' saada, on väga soovitatav näha mõõdikuid mitte ainult viimase minuti jooksul, vaid ka pikema aja jooksul (päevadest kuudeni).

Selleks on vaja:

• paigaldada php jaoks laiendus (võib-olla soovite nginx'i moodulit)
• kompileerida mysql'i laiendus
• paigaldada pinboard ja seadistada cron

Selle vähese teabe tõttu pinba kohta on paljudel mulje, et see töötas vaid php5-l ja on juba ammu minevikus, aga nagu me hiljem näeme — see ei ole nii.

Esimene samm on kõige lihtsam, tuleb ainult käivitada käsk:

apt install php-pinba

Reposiitides on see laiendus saadaval kuni php 7.3-ni, ja te ei pea midagi kompileerima.

Pärast installimiskäsku saame juba töötava laienduse, mis kogub ja saadab iga skripti mõõdikud (täitmise aeg, mälu jne) formaadis protobuf udp kaudu aadressil 127.0.0.1:30002.

Need udp-paketid pole veel keegi kinni püüdnud ega töödelnud, kuid see ei mõjuta teie php-skripti töötamise kiirus ega stabiilsust.

Kuni hiljuti oli ainus rakendus, mis suutis neid udp-pakette kinni püüda ja töödelda, ainult pinba_engine. 'lihtne ja selge' installatsiooni kirjeldus tapab igasuguse soovi seda kunagi lugeda ja aru saada. Kilomeetrite pikkustes sõltuvusloetledes on nii pakettide nimetused kui ka programmide nimed ja lingid eraldi lehtedele nende installimiseks, ja neil on omakorda lingid teistele sõltuvustele. Sellega tegelemiseks ei ole kellelgi aega ega soovi.

Installimisprotsess pinba2 ei muutunud eriti kergem.

Võib-olla on kunagi pinba10 võimalik paigaldada ühe või kahe käsuga ning lugeda läbi hulk materjali, et aru saada, kuidas seda teha, kuid hetkel pole see nii.

Kui te siiski installisite pinba_engine'i, siis on see vaid pool tööst. Sest ilma pinboard peate piirduma andmetega vaid viimase paari minuti jooksul või ise andmeid koguma, salvestama ja visualiseerima. Hea on see, et pinboard on piisavalt lihtne paigaldamiseks.

Tundub, et miks peaks kannatama, kui kõik php mõõdikud juba tulevad udp-porti protobuf formaadis ja kõik, mis on vajalik, on kirjutada rakendus, mis need kinni püüab ja mingi salvestusse kogub? Ilmselt need arendajad, kellel tuli see mõte pähe, asusid kohe kirjutama oma lahendusi, millest osa jõudis githubi.

Järgnevalt on ülevaade neljast avatud lähtekoodiga projektist, mis salvestavad mõõdikud salvestusse, kust on neid lihtne kätte saada ja visualiseerida, näiteks graafana kaudu.

olegfedoseev/pinba-server (november 2017)

udp server go-s, mis salvestab mõõdikud OpenTSDB-sse. Kui OpenTSDB-d juba teie projektis kasutatakse, siis võib see lahendus teile sobida, muidu soovitan mööda minna.

olegfedoseev/pinba-influxdb (juuni 2018)

udp server go-s, sama habrajuuser, kes seekord salvestab mõõdikud InfluxDB-s. Paljudes projektides kasutatakse juba praegu InfluxDB-d, seega võib see lahendus neile suurepäraselt sobida.

Plussid:

• InfluxDB kaugelt sulgeda vahekaarte, mis on avatud teistel seadmetel. koguda saadud mõõdikud ja originaal kustutada määratud aja möödudes.

Miinused:

• see lahendus ei salvesta teavet ajas.
• InfluxDB salvestab veebilehtede aadresse siltidena ja kui teil on palju ainulaadseid aadresse, siis see toob kaasa suurenenud kulu mälu. Teatud hetkel ta "hakkab mälu sööma nagu hull«. (allikas)

ClickHouse-Ninja/Proton (jaanuar 2019)

udp server go-s, mis salvestab mõõdikud ClickHouse-sse. See on minu sõbra lahendus. Just pärast selle tutvumist otsustasin, et on aeg hakata pinbu ja clickhouse'iga tegelema.

Plussid:

• clickhouse sobib selliste ülesannete jaoks ideaalselt, see võimaldab andmeid tihendada nii, et saate hoida kõik toored andmed isegi ilma agregatsioonideta
• vajadusel saate kerge vaevaga koguda saadud mõõdikud
• valmis mall graafana jaoks
• salvestab teavet ajas

Miinused:

• fatali puudus
• puudu on konfiguratsioon, kus saaks seadistada andmebaasi ja tabelite nimetused, serveri aadress ja port.
• ilmub, et talletades tooreid andmeid, kasutatakse abikatalooge lehtede ja domeenide aadresside talletamiseks, mis hiljem raskendab päringute tegemist
• muud pisiasjad, mis tulenevad esimesest miinusest

pinba-server/pinba-server (aprill 2019)

php põhine udp server, mis salvestab näitajaid ClickHouse'i. See on minu lahendus, mis on tulenenud tutvusest pinba, ClickHouse ja protobuf'iga. Kui ma kogu selle sideme kallal töötasin, kirjutasin "proof of concept", mis üllatuslikult ei tarbinud märkimisväärseid ressursse (30 mb operatiivmälu ja vähem kui 1% üht kümmest protsessorituumast), mistõttu otsustasin selle avalikkusega jagada.

Plussid — samad, mis eelneval lahendusel, kasutasin ka originaalsest pinba_engine'ist tuttavaid nimetusi. Veelgi olen lisanud konfi, mis võimaldab käivitada mitu pinba serveri instantsi, et näitajaid salvestada erinevatesse tabelitesse — see on kasulik, kui soovite koguda andmeid mitte ainult php-st, vaid ka nginx-ist.
Miinused — "fatali puudus" ja muud pisiasjad, mis teid isiklikult ei rahulda, kuid minu lahendus on "lihtne nagu suss" ja koosneb vaid umbes 100 koodireast, nii et iga php arendaja võib mõne minutiga muuta seda, mis talle ei meeldi.

Töö принцип

kuulatakse udp-porti 30002. Kõik sisenevad paketid dekodeeritakse vastavalt protobuf skeemile ja agregatakse. Iga minuti järel tehakse kippi tabela pinba.requests. (kõiki parameetreid saab seadistada konfis)

Veidi ClickHouse'ist

Clickhouse toetab erinevaid andmete talletamise mootorit. Kõige rohkem kasutatav on MergeTree.

Kui otsustate mingil hetkel salvestada agreggeeritud andmeid kogu aja jooksul ja tooreid ainult viimase aja jaoks, siis saate luua materialized view koos grupeerimisega ning peamist tabelit pinba.requests perioodiliselt puhastada, samas kui kõik andmed jäävad materialized view'sse. Veelgi enam, kui loote tabeli pinba.requests, võite määrata "engine = Null", siis toored andmed ei salvestata üldse kõvakettale, kuid need jõuavad ikkagi materialized view'sse ja salvestatakse agreggeerituna. Sellist skeemi kasutan nginx-i näitajate jaoks, kuna nginx-is on mul 50 korda rohkem päringuid kui php-s.

Nii, olete juba pika tee läbinud ja ma ei sooviks teid poolele teele jätta, seega järgnevalt on põhjalik kirjeldus minu lahenduse paigaldamisest ja seadistamisest ning kõigest, mis teil vajalik on, samuti kõikidest ohukohtadest, millega on korduvalt kokku puututud. Kogu paigaldusprotsess on kirjeldatud Ubuntu 18.04 LTS ja Centos 7 jaoks, teistel distributsioonidel ja versioonidel võib protsess veidi erineda.

Paigaldamine

Kõik vajalikud käsud olen kokku kogunud Dockerfile õpetuste jälgitavuse lihtsustamiseks. Allpool kirjeldatakse vaid ohukohti.

php-pinba

Pärast paigaldamist veenduge, et failis /etc/php/7.2/fpm/conf.d/20-pinba.ini oleksid kõik valikud kommenteeritud välja. Mõnes distributsioonis (näiteks centos) võivad need olla kommenteeritud.

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

clickhouse

Paigaldamise ajal palub clickhouse teil määrata parooli kasutajale default. Vaikimisi on see kasutaja kergesti ligipääsetav kõigilt ip-delt, seega kui teil pole serveris tulemüüri, siis määrake kindlasti parool. Seda saab teha ka pärast paigaldamist failis /etc/clickhouse-server/users.xml.

Samuti tasub tähele panna, et clickhouse kasutab mitmeid porte, sealhulgas 9000. Seda püsiühendust kasutatakse samuti php-fpm mõnes distributsioonis (näiteks centos). Kui see port on juba hõivatud, siis saate selle faili /etc/clickhouse-server/config.xml muutmisel teise porti vahetada.

grafana koos clickhouse'i plugina

Pärast grafana paigaldamist kasutage sisselogimiseks admin kasutajat ja parooli admin. Esmakordsel sisselogimisel palub grafana teil seada uus parool.

Seejärel minge menüüsse „+” -> import ja määrake impordi jaoks armatuurlaua number 10011. Selle armatuurlaua olen ette valmistanud ja üles laadinud, et te ei peaks seda ise uuesti tegema.

Grafana toetab koos töötamist clickhouse'iga kolmanda osapoole plugina kaudu, kuid kolmanda osapoole pluginatel ei tööta grafana häiresüsteem (pilet selle kohta on juba mitu aastat ootel).

pinba-server

protobuf ja libevent paigaldamine ei ole kohustuslik, kuid see parandab pinba-serveri tulemuslikkust. Kui installite pinba-serveri kausta, mis ei ole /opt, peate samuti muutma systemd skripti faili.

pinba-modul nginx-ile

Mooduli kompileerimiseks on vajalikud samad nginx-i lähtekoodid, mis teil serveris juba on, samuti samad kompileerimisvalikud; muidu toimub kogumine edukalt, kuid mooduli aktiveerimisel kuvatakse viga, et "moodul on binaarselt ühilduv". Kompileerimisvõimalusi saab vaadata käsu nginx -V abil.

Elu näpunäited

Mul töötavad kõik saidid ainult https-i peal. Schema väli muutub mõttetuks, seetõttu kasutan seda veebi/konsoli eristamiseks.

Veebis kergesti saadaval olevates skriptides kasutan:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

Konsolites (näiteks cron-skriptides):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

Minu Grafana armatuurlaud on varustatud web/konsoli statistika eristamise lülitiga.

Samuti saab pinbale edastada oma silte, näiteks:

pinba_tag_set('country', $countryCode);

Sellega on kõik.

Palun vastake artikli all olevatele küsitlustele.

Traditsiooniliselt hoiatatud, et ma ei nõusta ega aita isiklike sõnumite kaudu Habr ja sotsiaalmeedias.

Avage pilet GitHubis.

Samuti palun toetage like'idega ingliskeelset versiooni selle artikli Redditis.

Ainult registreeritud kasutajad saavad küsitluses osaleda. Logige sisse, palun.

Millist operatsioonisüsteemi kasutate serveris?

• Ubuntu

• CentOS

• Debian

• Gentoo

• Red Hat

• Fedora

• OpenSUSE

• SuSE

• Unix

• Windows

• muid

Hääletas 114 kasutajat. Tasusid 11 kasutajat.

Millist PHP versiooni kasutate serveris?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• muid

Hääletas 105 kasutajat. Tasusid 17 kasutajat.

Kas olete kunagi pinbat kasutanud?

• jah

• ei, aga sooviksin

• ei ja ei sooviks

• ei ja ei ole kuulnud sellest

Hääletas 100 kasutajat. Tasusid 14 kasutajat.

Millist pinba-serveri versiooni sooviksite proovida?

• pinba_engine (mysql engine)

• pinba2 (mysql engine)

• pinboard (php + mysql)

• olegfedoseev/pinba-server (go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-server/pinba-server (go + clickhouse)

• pinba-server/pinba-server (php + clickhouse)

• kirjutan oma enda

• muid

Hääletas 39 kasutajat. Tasusid 47 kasutajat.

Allikas: habr.com