{"id":32322,"date":"2019-10-31T21:46:21","date_gmt":"2019-10-31T18:46:21","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk\/"},"modified":"2019-10-31T21:46:21","modified_gmt":"2019-10-31T18:46:21","slug":"kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk","title":{"rendered":"Hur vi byggde \u00f6vervakning med Prometheus, Clickhouse och ELK","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Jag heter Anton Baderyn. Jag arbetar p\u00e5 Center for High Technologies och \u00e4gnar mig \u00e5t systemadministration. F\u00f6r en m\u00e5nad sedan avslutades v\u00e5r f\u00f6retagskonferens d\u00e4r vi delade med oss av v\u00e5ra erfarenheter med IT-gemenskapen i v\u00e5r stad. Jag pratade om \u00f6vervakning av webbapplikationer. Materialet var avsett f\u00f6r junior- eller medelniv\u00e5, som \u00e4nnu inte har byggt upp denna process fr\u00e5n grunden.<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

Stolpen som ligger till grund f\u00f6r varje \u00f6vervakningssystem \u00e4r att l\u00f6sa aff\u00e4rens problem. \u00d6vervakning f\u00f6r \u00f6vervakningens skull intresserar ingen. Vad vill aff\u00e4ren? Att allt ska fungera snabbt och utan fel. Aff\u00e4ren vill ha proaktivitet, s\u00e5 att vi sj\u00e4lva kan identifiera problem i tj\u00e4nstens drift och snabbt \u00e5tg\u00e4rda dem. Detta \u00e4r i grunden de uppgifter jag har l\u00f6st under hela f\u00f6rra \u00e5ret i projektet f\u00f6r en av v\u00e5ra kunder.<\/p>\n

<\/a><\/noindex><\/p>\n

Om projektet<\/h2>\n

<\/p>\n

Projektet \u00e4r ett av de st\u00f6rsta lojalitetsprogrammen i landet. Vi hj\u00e4lper detaljhandelskedjor att \u00f6ka f\u00f6rs\u00e4ljningsfrekvensen genom olika marknadsf\u00f6ringsverktyg som bonuskort. Totalt ing\u00e5r 14 applikationer i projektet som arbetar p\u00e5 tio servrar.<\/p>\n

<\/p>\n

Vid genomf\u00f6rande av intervjuer har jag flera g\u00e5nger observerat att administrat\u00f6rer inte alltid n\u00e4rmar sig \u00f6vervakningen av webbapplikationer p\u00e5 r\u00e4tt s\u00e4tt: fortfarande \u00e4r det m\u00e5nga som stannar vid operativsystemets metrik och s\u00e4llan \u00f6vervakar tj\u00e4nster.<\/p>\n

<\/p>\n

I mitt fall vilade systemet f\u00f6r kundens \u00f6vervakning tidigare p\u00e5 Icinga. Den l\u00f6ste inte de angivna problemen. Ofta rapporterade kunden sj\u00e4lva problem till oss och vi hade oftast inte tillr\u00e4ckligt med data f\u00f6r att komma till rotorsaken.<\/p>\n

<\/p>\n

Dessutom fanns det en tydlig f\u00f6rst\u00e5else f\u00f6r meningsl\u00f6sheten i hennes vidare utveckling. Jag tror att de som \u00e4r bekanta med Icinga f\u00f6rst\u00e5r mig. S\u00e5 vi beslutade att helt omarbeta systemet f\u00f6r \u00f6vervakning av webbapplikationer i projektet.<\/p>\n

<\/p>\n

Prometheus<\/h2>\n

<\/p>\n

Vi valde Prometheus baserat p\u00e5 tre huvudindikatorer:<\/p>\n

<\/p>\n

    \n
  1. Ett stort antal tillg\u00e4ngliga metrik. I v\u00e5rt fall \u00e4r de 60 000. Naturligtvis b\u00f6r det p\u00e5pekas att majoriteten av dem knappt anv\u00e4nds (troligen omkring 95%). \u00c5 andra sidan \u00e4r de alla relativt billiga. F\u00f6r oss \u00e4r detta den andra extremen j\u00e4mf\u00f6rt med det tidigare anv\u00e4nda Icinga. I den var till\u00e4gg av metrik en s\u00e4rskild pl\u00e5ga: de befintliga kostade dyrt (det r\u00e4cker att titta p\u00e5 k\u00e4llkoden f\u00f6r vilket plugin som helst). Varje plugin var ett skript i Bash eller Python, vars k\u00f6rning inte \u00e4r billig i fr\u00e5ga om resursanv\u00e4ndning.<\/li>\n
  2. Detta system konsumerar relativt f\u00e5 resurser. F\u00f6r alla v\u00e5ra metrik r\u00e4cker 600 MB RAM, 15% av en k\u00e4rna och ett par dussin IOPS. Naturligtvis m\u00e5ste export\u00f6rer av metrik k\u00f6ras, men de \u00e4r alla skrivna i Go och skiljer sig inte heller i resurskrav. Jag tror inte att detta \u00e4r ett problem i dagens l\u00e4ge. <\/li>\n
  3. Ger m\u00f6jlighet till \u00f6verg\u00e5ng till Kubernetes. Med tanke p\u00e5 kundens planer \u00e4r valet uppenbart. <\/li>\n<\/ol>\n

    <\/p>\n

    ELK<\/h2>\n

    <\/p>\n

    Tidigare samlade vi inte och bearbetade inte loggar. Nackdelarna \u00e4r uppenbara f\u00f6r alla. Vi valde ELK eftersom vi redan hade erfarenhet av att arbeta med detta system. Vi lagrar endast applikationsloggar d\u00e4r. De viktigaste urvalskriterierna var fulltexts\u00f6kning och dess hastighet.<\/p>\n

    <\/p>\n

    Clickhouse<\/h2>\n

    <\/p>\n

    Ursprungligen f\u00f6ll valet p\u00e5 InfluxDB. Vi ins\u00e5g behovet av att samla loggar fr\u00e5n Nginx, statistik fr\u00e5n pg_stat_statements, lagra historiska data fr\u00e5n Prometheus. Influx f\u00f6ll inte i smaken, eftersom det d\u00e5 och d\u00e5 b\u00f6rjade konsumera stora m\u00e4ngder minne och kraschade. Dessutom ville vi gruppera f\u00f6rfr\u00e5gningar efter remote_addr, men gruppering i denna databas var endast m\u00f6jlig efter taggar. Taggar \u00e4r dyra (minne), och deras antal \u00e4r begr\u00e4nsat.<\/p>\n

    <\/p>\n

    Vi b\u00f6rjade s\u00f6kandet p\u00e5 nytt. Vi beh\u00f6vde en analytisk databas med minimal resursanv\u00e4ndning, helst med data komprimering p\u00e5 disken.<\/p>\n

    <\/p>\n

    Clickhouse uppfyller alla dessa kriterier, och vi har inte \u00e5ngrat v\u00e5rt val en enda g\u00e5ng. Vi skriver inte in n\u00e5gra exceptionellt stora datam\u00e4ngder (antalet ins\u00e4ttningar \u00e4r bara cirka fem tusen per minut).<\/p>\n

    <\/p>\n

    NewRelic<\/h2>\n

    <\/p>\n

    NewRelic har historiskt varit med oss, eftersom det var kundens val. Vi anv\u00e4nder det som APM.<\/p>\n

    <\/p>\n

    Zabbix<\/h2>\n

    <\/p>\n

    Vi anv\u00e4nder Zabbix uteslutande f\u00f6r att \u00f6vervaka Black Box av olika API.<\/p>\n

    <\/p>\n

    Best\u00e4mning av \u00f6vervakningsmetod<\/h2>\n

    <\/p>\n

    Vi ville dekomponera uppgiften och p\u00e5 s\u00e5 s\u00e4tt systematisera tillv\u00e4gag\u00e5ngss\u00e4ttet f\u00f6r \u00f6vervakning.<\/p>\n

    <\/p>\n

    F\u00f6r detta har jag delat v\u00e5rt system i f\u00f6ljande niv\u00e5er:<\/p>\n

    <\/p>\n