{"id":32322,"date":"2019-10-31T21:46:21","date_gmt":"2019-10-31T18:46:21","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk\/"},"modified":"2019-10-31T21:46:21","modified_gmt":"2019-10-31T18:46:21","slug":"kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk","title":{"rendered":"Wie wir das Monitoring mit Prometheus, Clickhouse und ELK aufgebaut haben","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ich hei\u00dfe Anton Baderin. Ich arbeite im Zentrum f\u00fcr Hochtechnologie und bin f\u00fcr Systemadministration zust\u00e4ndig. Vor einem Monat fand unsere Firmenkonferenz statt, auf der wir unsere Erfahrungen mit der IT-Community unserer Stadt teilten. Ich sprach \u00fcber das Monitoring von Webanwendungen. Das Material war f\u00fcr Junior- oder Middle-Level gedacht, die diesen Prozess nicht von Grund auf neu aufgebaut haben.<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

Der Grundpfeiler, auf dem jede Monitoring-L\u00f6sung basiert, sind die Anforderungen des Gesch\u00e4fts. Monitoring nur um des Monitorings willen interessiert niemanden. Was will das Gesch\u00e4ft? Dass alles schnell und fehlerfrei funktioniert. Das Gesch\u00e4ft verlangt Proaktivit\u00e4t, dass wir selbst Probleme im Betrieb des Dienstes erkennen und sie so schnell wie m\u00f6glich beheben. Das sind im Wesentlichen die Aufgaben, die ich im vergangenen Jahr im Projekt eines unserer Kunden gel\u00f6st habe.<\/p>\n

<\/a><\/noindex><\/p>\n

\u00dcber das Projekt<\/h2>\n

<\/p>\n

Das Projekt ist eines der gr\u00f6\u00dften Loyalit\u00e4tsprogramme im Land. Wir helfen Einzelhandelsketten, die Verkaufsfrequenz durch verschiedene Marketinginstrumente wie Bonuskarten zu steigern. Insgesamt umfasst das Projekt 14 Anwendungen, die auf zehn Servern laufen.<\/p>\n

<\/p>\n

W\u00e4hrend ich Interviews f\u00fchrte, habe ich mehrmals bemerkt, dass Administratoren nicht immer richtig an das Monitoring von Webanwendungen herangehen: Viele beschr\u00e4nken sich nach wie vor auf die Kennzahlen des Betriebssystems und \u00fcberwachen sporadisch die Dienste.<\/p>\n

<\/p>\n

In meinem Fall basierte das Monitoring-System des Kunden zuvor auf Icinga. Es konnte die oben genannten Aufgaben nicht l\u00f6sen. Oft informierte der Kunde selbst uns \u00fcber Probleme, und nicht selten fehlten uns einfach die Daten, um die Ursache herauszufinden.<\/p>\n

<\/p>\n

Dar\u00fcber hinaus war das klare Verst\u00e4ndnis der Aussichtslosigkeit ihrer weiteren Entwicklung vorhanden. Ich denke, diejenigen, die mit Icinga vertraut sind, werden mich verstehen. Also haben wir beschlossen, das Monitoring-System f\u00fcr Webanwendungen im Projekt vollst\u00e4ndig neu zu \u00fcberarbeiten.<\/p>\n

<\/p>\n

Prometheus<\/h2>\n

<\/p>\n

Wir w\u00e4hlten Prometheus basierend auf drei Hauptkriterien:<\/p>\n

<\/p>\n

    \n
  1. Eine enorme Anzahl verf\u00fcgbarer Metriken. In unserem Fall sind es 60.000. Nat\u00fcrlich ist zu beachten, dass die \u00fcberwiegende Mehrheit von ihnen nicht verwendet wird (wahrscheinlich etwa 95 %). Auf der anderen Seite sind sie alle relativ g\u00fcnstig. Diese andere Extreme ist im Vergleich zu dem zuvor verwendeten Icinga. Dort war das Hinzuf\u00fcgen von Metriken besonders schmerzhaft: Die vorhandenen waren teuer (man muss sich nur den Quellcode eines beliebigen Plugins ansehen). Jedes Plugin war ein Bash- oder Python-Skript, dessen Ausf\u00fchrung ressourcenintensiv war.<\/li>\n
  2. Dieses System verbraucht relativ wenig Ressourcen. F\u00fcr all unsere Metriken reichen 600 MB RAM, 15 % eines Kerns und ein paar Dutzend IOPS. Nat\u00fcrlich m\u00fcssen Metrik-Exporter gestartet werden, aber alle sind in Go geschrieben und sind ebenfalls nicht ressourcenhungrig. Ich glaube nicht, dass dies in der heutigen Zeit ein Problem ist. <\/li>\n
  3. Erm\u00f6glicht den \u00dcbergang zu Kubernetes. Angesichts der Pl\u00e4ne des Auftraggebers ist die Wahl offensichtlich. <\/li>\n<\/ol>\n

    <\/p>\n

    ELK<\/h2>\n

    <\/p>\n

    Fr\u00fcher haben wir keine Protokolle gesammelt und verarbeitet. Die Nachteile sind allen klar. Wir haben uns f\u00fcr ELK entschieden, da wir bereits Erfahrung mit diesem System hatten. Wir speichern dort nur die Protokolle der Anwendungen. Die Hauptkriterien f\u00fcr die Auswahl waren Volltextsuchen und deren Geschwindigkeit.<\/p>\n

    <\/p>\n

    Clickhouse<\/h2>\n

    <\/p>\n

    Urspr\u00fcnglich fiel die Wahl auf InfluxDB. Wir waren uns der Notwendigkeit bewusst, Protokolle von Nginx zu sammeln, Statistiken aus pg_stat_statements zu erfassen und historische Daten von Prometheus zu speichern. Influx hat uns nicht gefallen, da es gelegentlich viel Speicher verbrauchte und abst\u00fcrzte. Au\u00dferdem wollten wir Anfragen nach remote_addr gruppieren, aber die Gruppierung in diesem DBMS ist nur nach Tags m\u00f6glich. Tags sind teuer (Speicher), ihre Anzahl ist bedingt begrenzt.<\/p>\n

    <\/p>\n

    Wir haben die Suche neu begonnen. Wir ben\u00f6tigten eine analytische Basis mit minimalem Ressourcenverbrauch, vorzugsweise mit Datensicherung auf der Festplatte.<\/p>\n

    <\/p>\n

    Clickhouse erf\u00fcllt all diese Kriterien, und wir haben die Wahl niemals bereut. Wir schreiben keine herausragenden Datenmengen hinein (die Anzahl der Einf\u00fcgungen betr\u00e4gt nur etwa f\u00fcnf Tausend pro Minute).<\/p>\n

    <\/p>\n

    NewRelic<\/h2>\n

    <\/p>\n

    NewRelic war historisch gesehen immer bei uns, da es die Wahl des Auftraggebers war. Es wird bei uns als APM eingesetzt.<\/p>\n

    <\/p>\n

    Zabbix<\/h2>\n

    <\/p>\n

    Wir verwenden Zabbix ausschlie\u00dflich zur \u00dcberwachung von Black Box verschiedener APIs.<\/p>\n

    <\/p>\n

    Definition des \u00dcberwachungsansatzes<\/h2>\n

    <\/p>\n

    Wir wollten die Aufgabe dekonstruiert und dadurch den Ansatz zur \u00dcberwachung systematisieren.<\/p>\n

    <\/p>\n

    Daf\u00fcr habe ich unser System in folgende Ebenen unterteilt:<\/p>\n

    <\/p>\n