Statistik och övervakning av PHP-skript i realtid. ClickHouse och Grafana hjälper Pinba.

I denna artikel kommer jag att berätta hur man använder Pinba tillsammans med ClickHouse och Grafana istället för Pinba Engine och Pinboard.

På PHP-projektet är Pinba troligen det enda pålitliga sättet att förstå vad som händer med prestandan. Problemet är att Pinba oftast implementeras först när problem redan observeras och det är oklart "vart man ska gräva".

Ofta har ingen en aning om hur många gånger per sekund/minut ett visst skript anropas och man börjar optimera "på känsla", startande med de platser som verkar logiska.

Någon analyserar Nginx-loggar, och någon annan långsamma frågor i databasen.

Självklart skulle Pinba vara till nytta, men det finns flera anledningar till varför den inte finns på varje projekt.

Och den första anledningen är installationen.

För att på något sätt få ut något "resultat" från implementeringen av Pinba är det väldigt önskvärt att se mätvärden inte bara för de senaste minuterna, utan också över en längre tidsperiod (från dagar till månader).

För detta behöver man:

• installera en extension för PHP (och kanske vill du ha en modul för Nginx)
• kompilera en extension för MySQL
• installera Pinboard och konfigurera cron

På grund av den begränsade informationen om Pinba har många fått intrycket att den endast fungerade på PHP5 och länge har varit passé, men som vi kommer att se senare - så är det inte.

Första steget är det enklaste, bara att köra kommandot:

apt install php-pinba

I repositoryn finns denna extension fram till och med PHP 7.3, och du behöver inte kompilera något.

Efter att ha kört installationskommandot får vi genast en fungerande extension som samlar och skickar mätvärden för varje skript (körtid, minne, osv.) i formatet protobuf via UDP på 127.0.0.1:30002.

Dessa UDP-paket fångas för närvarande inte av någon och bearbetas inte, men detta påverkar inte hastigheten eller stabiliteten för dina PHP-skript.

Tills nyligen fanns det endast en applikation som kunde fånga och bearbeta dessa UDP-paket, Pinba Engine. Beskrivningen är "enkel och kortfattad» installationer avskräcker lusten att någonsin läsa och sätta sig in i detta igen. I de kilometriska listorna av beroenden finns både paketnamn och programnamn samt länkar till separata sidor för deras installation, och de har sina egna länkar till andra beroenden. Ingen har varken tid eller lust att ta sig an det här.

Installationsprocess pinba2 blev inte särskilt enklare.

Kanske kommer pinba10 någon gång kunna installeras med ett par kommandon utan att behöva läsa en massa material för att förstå hur man gör, men så är det inte än.

Om du ändå har installerat pinba_engine, så är det bara hälften av jobbet. För utan pinboard måste du nöja dig med data som bara sträcker sig några minuter tillbaka eller samla, spara och visualisera data själv. Tur att pinboard är ganska enkel att installation.

Det verkar som överflödigt lidande när alla metrikvärden från php redan skickas över udp-porten i protobuf-format och allt som behövs är att skriva en applikation som fångar dem och lagrar dem i något förråd? Tyvärr verkar det som att de utvecklare som haft den tanken direkt satte igång med att skriva sina egna lösningar, varav en del hamnat på GitHub.

Här följer en översikt av fyra öppen källkod-projekt som sparar metrikvärden i databaser, från vilka dessa data lätt kan nås och visualiseras, till exempel med hjälp av grafana.

olegfedoseev/pinba-server (november 2017)

udp-server i Go som sparar metrikvärden i OpenTSDB. Om du redan använder OpenTSDB i ditt projekt, kan den här lösningen passa, annars rekommenderar jag att du går förbi.

olegfedoseev/pinba-influxdb (juni 2018)

udp-server i Go, från samma habrauzer, som denna gång sparar metrikvärden i InfluxDB. Många projekt använder redan InfluxDB för övervakning, så för dem kan den här lösningen passa bra.

Fördelar:

• InfluxDB möjliggör aggreggera de mottagna metrikvärdena och radera originalet efter en viss tidsperiod.

Nackdelar:

• denna lösning sparar inte information om timers.
• InfluxDB kommer att spara webbsidans adresser som taggar och om du har många unika webbadresser, kommer det att leda till ökat minnesutnyttjande. Från en viss punkt kommer det " att börja sluka minne som ingen annankälla«. (ClickHouse-Ninja/Proton)

(januari 2019) (januari 2019)

En UDP-server på Go som sparar mätdata i ClickHouse. Det här är en lösning från min vän. Det var först efter att jag lärde mig om den som jag bestämde mig för att ta tag i Pinba och ClickHouse.

Fördelar:

• ClickHouse är perfekt för sådana uppgifter, den gör det möjligt att komprimera data så mycket att du kan lagra all rådata även utan aggregeringar.
• Om det behövs kan du enkelt aggregera de mottagna mätdata.
• En färdig mall för Grafana.
• Sparar information enligt timers.

Nackdelar:

• En fatal brist.
• Det finns ingen konfiguration där du kan ställa in databasens namn och tabeller, adressen och porten för servern.
• Vid lagring av rådata används en hjälptabell för att lagra adresser till sidor och domäner, vilket komplicerar efterföljande förfrågningar.
• Andra småsaker som följer av den första nackdelen.

pinba-server/pinba-server. (april 2019).

En UDP-server på PHP som sparar mätdata i ClickHouse. Det här är min lösning, resultatet av att jag bekantade mig med Pinba, ClickHouse och Protobuf. Medan jag sorterade ut hela den här kopplingen skrev jag en "proof of concept", som oväntat för mig inte krävde betydande resurser (30 MB RAM och mindre än 1% av en av åtta processorkärnor), så jag bestämde mig för att dela med mig till allmänheten.

Fördelar — samma som med den föregående lösningen, och jag använde även de vanliga namnen från den ursprungliga pinba_engine. Dessutom lade jag till en konfiguration som gör att du kan starta flera instanser av Pinba-servern samtidigt för att spara mätdata i olika tabeller — detta är användbart om du vill samla in data inte bara från PHP utan även från Nginx.
Nackdelar — "fatal brist" och de småsaker som kanske inte passar just dig, men min lösning är "enkel som en toffel" och består av ungefär 100 rader kod, så alla PHP-utvecklare kan på ett par minuter ändra det som de inte gillar.

Arbetsprincip.

UDP-port 30002 lyssnas på. Alla inkommande paket avkodas enligt Protobuf-schemat och aggregeras. En gång i minuten görs en insättning av en bunt i ClickHouse i tabellen pinba.requests. (alla parametrar kan konfigureras i konfigurationen.)

Lite om ClickHouse.

ClickHouse stöder olika datalagringsmotorer. Den vanligaste är MergeTree.

Om du bestämmer dig för att lagra aggregerade data för alltid och rådata endast för den senaste tiden, kan du skapa en materialiserad vy med gruppering, och periodiskt rensa huvudtabellen pinba.requests, medan alla data förblir i den materialiserade vyn. Dessutom, när du skapar tabellen pinba.requests kan du ange "engine = Null", så sparas rådata inte på disk, men de kommer fortfarande att gå in i den materialiserade vyn och sparas aggregerade. Jag använder ett sådant schema för nginx-metrik, eftersom jag har 50 gånger fler begärningar på nginx än på php.

Så, ni har kommit en lång väg och jag vill inte lämna er halvvägs, så här kommer en detaljerad beskrivning av installationen och konfigurationen av min lösning och allt ni behöver, samt de fallgropar som många har stött på. Hela installationsprocessen är beskriven för Ubuntu 18.04 LTS och Centos 7, på andra distributioner och versioner kan processen variera något.

Installation

Alla nödvändiga kommandon har jag samlat i Dockerfile för att underlätta reproducerbarheten av instruktionerna. Nedan beskrivs endast fallgroparna.

php-pinba

Efter installationen, se till att alla alternativ är avkommenterade i filen /etc/php/7.2/fpm/conf.d/20-pinba.ini. I vissa distributioner (till exempel centos) kan de vara kommenterade.

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

clickhouse

Under installationen kommer clickhouse att be dig att ange ett lösenord för användaren default. Som standard är denna användare tillgänglig från alla ip-adresser, så om du inte har en brandvägg på servern, se till att ställa in ett lösenord för honom. Detta kan också göras efter installationen i filen /etc/clickhouse-server/users.xml.

Det är också värt att notera att clickhouse använder flera portar, inklusive 9000. Denna port används också för php-fpm i vissa distributioner (till exempel centos). Om denna port redan används kan du ändra den i filen /etc/clickhouse-server/config.xml.

grafana med plugin för clickhouse

Efter installationen av grafana, använd inloggningen admin och lösenordet admin. Vid första inloggningen kommer grafana att be dig ställa in ett nytt lösenord.

Gå sedan till menyn «+» -> importera och ange numret på instrumentpanelen för import 10011. Denna instrumentpanel har jag förberett och laddat upp så att ni inte behöver göra den själva igen.

Grafana stödjer arbete med ClickHouse genom en tredjepartsplugin, men för tredjepartsplugins fungerar inte larm (biljetten har legat öppen i flera år).

pinba-server

Installation av protobuf och libevent är inte obligatorisk, men förbättrar prestanda för pinba-server. Om du installerar pinba-server i en annan mapp än /opt, måste du också justera systemd-skript filen.

pinba-modul för nginx

För att kompilera modulen behövs källkoden i samma version av nginx som redan är installerad på din server, samt samma kompilationsalternativ, annars kommer sammanställningen att lyckas men modulens anslutning resultera i ett felmeddelande om att "modulen är binärt inkompatibel". Kompilationsalternativen kan ses med kommandot nginx -V.

Livsstips

Jag har alla mina webbplatser som arbetar endast via https. Fältet schema blir meningslöst, så jag använder det för att separera web/console.

I de skript som är tillgängliga från webben använder jag:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

Och i konsolskrift (t.ex. cron-skript):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

I min dashboard i Grafana finns det en omkopplare för web/console för att se statistik separat.

Du kan också skicka dina egna taggar i Pinba, till exempel:

pinba_tag_set('country', $countryCode);

Detta är allt.

Jag ber vänligen att svara på enkäterna under artikeln.

Jag varnar traditionellt för att jag inte ger konsultationer och inte hjälper via privata meddelanden på Habré eller sociala nätverk.

Öppna en biljett på GitHub.

Jag ber också att stödja med gilla-markeringar den engelska versionen denna artikel på Reddit.

Endast registrerade användare kan delta i omröstningen. Logga in, tack.

Vilket operativsystem använder du på servern?

• Ubuntu

• CentOS

• Debian

• Gentoo

• Red Hat

• Fedora

• OpenSUSE

• SuSE

• Unix

• Windows

• annat

114 användare röstat. 11 användare avstod.

Vilken version av PHP använder du på servern?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• annat

105 användare röstat. 17 användare avstod.

Har du någonsin använt Pinba?

• ja

• nej, men jag skulle vilja

• nej och jag skulle inte vilja

• nej och jag har inte hört talas om det

100 användare röstat. 14 användare avstod.

Vilken version av Pinba-server skulle du vilja testa?

• pinba_engine (mysql-motor)

• pinba2 (mysql-motor)

• pinboard (php + mysql)

• olegfedoseev/pinba-server (go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-server/pinba-server (go + ClickHouse)

• pinba-server/pinba-server (php + ClickHouse)

• jag skriver min egen

• annat

39 användare röstat. 47 användare avstod.

Källa: habr.com