{"id":32353,"date":"2019-10-31T21:46:32","date_gmt":"2019-10-31T18:46:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting\/"},"modified":"2019-10-31T21:46:32","modified_gmt":"2019-10-31T18:46:32","slug":"monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","title":{"rendered":"\u00dcberwachung der Leistungsf\u00e4higkeit von PostgreSQL-Anfragen. Teil 1 \u2014 Berichterstattung","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Der Ingenieur \u2013 abgeleitet aus dem Lateinischen \u2013 ist inspiriert.
\nEin Ingenieur kann alles. (c) R. Diesel.
\nEpisoden.<\/i>
\n\"\u00dcberwachung
\nOder die Geschichte dar\u00fcber, warum ein Datenbankadministrator seine Programmiervergangenheit nicht vergessen sollte. <\/i><\/p>\n

Vorwort<\/h2>\n

\nAlle Namen sind ge\u00e4ndert. Alle \u00c4hnlichkeiten sind rein zuf\u00e4llig. Der Inhalt stellt ausschlie\u00dflich die pers\u00f6nliche Meinung des Autors dar.<\/p>\n

Haftungsausschluss:<\/b> In der geplanten Artikelreihe wird es keine detaillierte und genaue Beschreibung der verwendeten Tabellen und Skripte geben. Das Material kann nicht sofort 'AS IS' verwendet werden.
\nErstens aufgrund des gro\u00dfen Umfangs des Materials,
\nzweitens aufgrund der Anpassung an die Produktionsdatenbank des tats\u00e4chlichen Kunden.
\nDaher werden in den Artikeln nur Ideen und Beschreibungen in allgemeinster Form dargestellt.
\nM\u00f6glicherweise wird das System in der Zukunft den Status erreichen, auf GitHub ver\u00f6ffentlicht zu werden, vielleicht auch nicht. Die Zeit wird es zeigen.<\/i><\/p><\/blockquote>\n

\nDer Beginn der Geschichte \u2013 \u201eErinnerst du dich, wie alles begann?<\/a><\/noindex>\u00bb.
\nWas daraus geworden ist, sehr allgemein \u2013 \u201eSynthese als eine Methode zur Leistungssteigerung von PostgreSQL<\/a><\/noindex>\u00bb<\/p>\n

Warum ist das alles f\u00fcr mich wichtig?<\/h2>\n

\nNun, erstens, um selbst nicht zu vergessen und in der Rente an die glorreichen Tage zur\u00fcckzudenken.
\nUnd zweitens, um das Geschriebene zu systematisieren. Denn ich selbst beginne manchmal, mich zu verwirren und einzelne Teile zu vergessen. <\/p>\n

Und das Wichtigste: Vielleicht kann es jemandem n\u00fctzlich sein und helfen, das Rad nicht neu zu erfinden und keine Fehler zu sammeln. Mit anderen Worten, verbessern Sie Ihr Karma (nicht das von Habr). Denn das Wertvollste in dieser Welt sind Ideen. Es geht darum, die richtige Idee zu finden. Die Umsetzung dieser Idee in die Realit\u00e4t ist dann schon eine rein technische Angelegenheit.<\/p>\n

Lassen Sie uns also langsam beginnen...<\/p>\n

Aufgabenstellung.<\/h2>\n

<\/p>\n

Folgendes habe ich: <\/h3>\n

\nDatenbank PostgreSQL (10.5), gemischte Arbeitslast (OLTP+DSS), mittel bis gering belastet, gehostet in der AWS-Cloud.
\nMonitoring der Datenbank ist nicht vorhanden, das Monitoring der Infrastruktur erfolgt durch die standardm\u00e4\u00dfigen AWS-Tools in minimaler Konfiguration.<\/p>\n

Anforderungen:<\/h3>\n

\nLeistung und Zustand der Datenbank \u00fcberwachen, Informationen sammeln und zur Optimierung schwerer Datenbankabfragen bereitstellen.
\n<\/a><\/noindex><\/p>\n

Kurze Einleitung oder Analyse m\u00f6glicher L\u00f6sungsans\u00e4tze<\/h2>\n

\nZun\u00e4chst versuchen wir, die L\u00f6sungsans\u00e4tze aus der Sicht eines Vergleichs der Vor- und Nachteile f\u00fcr den Ingenieur zu analysieren, w\u00e4hrend sich das Management um Nutzen und Verluste k\u00fcmmert, was deren Aufgabe gem\u00e4\u00df der Stellenbeschreibung ist.<\/p>\n

Option 1 - \u201eWorking on demand\u201c<\/h3>\n

\nWir lassen alles wie es ist. Wenn der Kunde mit der Funktionsweise oder der Leistung der Datenbank oder Anwendung unzufrieden ist, wird er die DBA-Ingenieure per E-Mail benachrichtigen oder ein Ticket im Ticketsystem erstellen.
\nDer Ingenieur, der die Benachrichtigung erh\u00e4lt, wird das Problem analysieren, eine L\u00f6sung vorschlagen oder das Problem auf die lange Bank schieben, in der Hoffnung, dass sich alles von selbst regelt, und ohnehin bald wieder vergessen wird.
\nS\u00fc\u00dfgeb\u00e4ck und Leckereien, blaue Flecken und Beulen<\/b>S\u00fc\u00dfgeb\u00e4ck und Leckereien:<\/b>
\n1. Es ist nichts \u00fcberfl\u00fcssiges zu tun.
\n2. Es gibt immer die M\u00f6glichkeit, sich herauszureden und faul zu sein.
\n3. Eine Menge Zeit, die man nach eigenem Ermessen verbringen kann.
\nBlaue Flecken und Beulen:<\/b>
\n1. Fr\u00fch oder sp\u00e4t wird der Kunde \u00fcber den Sinn des Lebens und die universelle Gerechtigkeit in dieser Welt nachdenken und sich erneut die Frage stellen \u2013 wof\u00fcr zahle ich ihnen mein Geld? Die Konsequenz ist immer die gleiche \u2013 die Frage ist nur, wann der Kunde sich langweilt und auf Wiedersehen winkt. Dann wird die Futterquelle leer sein. Das ist traurig.
\n2. Die Entwicklung des Ingenieurs \u2013 null.
\n3. Schwierigkeiten bei der Planung von Arbeit und Belastung. <\/p>\n

Option 2 - \u201aWir tanzen mit Trommeln, verkaufen und schuhen\u2018.<\/h3>\n

\nPunkt 1<\/b>-Warum brauchen wir ein Monitoring-System? Wir erhalten alles \u00fcber Anfragen. Wir starten eine Vielzahl von Anfragen an das Datenw\u00f6rterbuch und dynamische Darstellungen, aktivieren verschiedene Z\u00e4hler und fassen alles in Tabellen zusammen, analysieren in regelm\u00e4\u00dfigen Abst\u00e4nden diese Listen und Tabellen. Am Ende haben wir h\u00fcbsche oder weniger h\u00fcbsche Grafiken, Tabellen, Berichte. Das Wichtigste ist, dass wir von allem mehr haben.
\nPunkt2<\/b>-Wir generieren Aktivit\u00e4t \u2013 analysieren das Ganze.
\nPunkt3<\/b>-Wir erstellen ein Dokument, das wir einfach \u201eWie wir die Datenbank einrichten\u201c nennen.
\nPunkt4<\/b>-Der Kunde betrachtet all diese gro\u00dfartigen Grafiken und Zahlen und glaubt naiv: Jetzt wird alles funktionieren, bald. Und er gibt bereitwillig seine finanziellen Mittel aus. Das Management ist ebenfalls \u00fcberzeugt \u2013 unsere Ingenieure sind echte Experten. Die Auslastung ist auf dem Maximum.
\nPunkt5<\/b>-Punkt 1 regelm\u00e4\u00dfig wiederholen.
\nS\u00fc\u00dfgeb\u00e4ck und Leckereien, blaue Flecken und Beulen<\/b>S\u00fc\u00dfgeb\u00e4ck und Leckereien: <\/b>
\n1. Das Leben der Manager und Ingenieure ist einfach, vorhersehbar und voller Aktivit\u00e4t. Alles summt, alle sind besch\u00e4ftigt.
\n2. Das Leben eines Kunden ist ebenfalls nicht schlecht \u2013 er ist sich immer sicher, dass man nur ein wenig Geduld haben muss, und alles wird gut. Wenn es nicht funktioniert, naja, das ist die ungerechte Welt, in der n\u00e4chsten Leben wird es besser.
\nBlaue Flecken und Beulen:<\/b>
\n1. Fr\u00fcher oder sp\u00e4ter wird es einen agilen Anbieter f\u00fcr \u00e4hnliche Dienstleistungen geben, der das Gleiche etwas g\u00fcnstiger macht. Wenn das Ergebnis dasselbe ist, warum also mehr bezahlen? Das f\u00fchrt wieder zum Verschwinden der Einnahmequelle.
\n2. Das ist langweilig. So langweilig wie jede bedeutungslose Aktivit\u00e4t.
\n3. Wie im vorherigen Fall \u2013 es gibt keine Entwicklung. Aber f\u00fcr Ingenieure ist es ein Nachteil, dass man im Gegensatz zur ersten Variante hier st\u00e4ndig die Datenbanken aktualisieren muss. Und das kostet Zeit. Zeit, die man sinnvoll f\u00fcr sich selbst nutzen k\u00f6nnte. Denn wenn man sich nicht um sich selbst k\u00fcmmert, k\u00fcmmert sich auch niemand um einen.<\/p>\n

Option 3 \u2013 Man muss das Rad nicht neu erfinden, man sollte es kaufen und fahren.<\/h3>\n

\nIngenieure anderer Firmen essen nicht umsonst Pizza und trinken dazu Bier (ach, die guten alten Zeiten in St. Petersburg der 90er). Lass uns die \u00dcberwachungssysteme nutzen, die gemacht, getestet und funktionierend sind, und die grunds\u00e4tzlich Nutzen bringen (zumindest f\u00fcr ihre Sch\u00f6pfer).
\nS\u00fc\u00dfgeb\u00e4ck und Leckereien, blaue Flecken und Beulen<\/b>S\u00fc\u00dfgeb\u00e4ck und Leckereien:<\/b>
\n1. Verschwendet keine Zeit mit dem Erfinden von Dingen, die bereits erfunden wurden. Nutzt, was vorhanden ist.
\n2. \u00dcberwachungssysteme werden nicht von Dummk\u00f6pfen entworfen, und sie sind auf jeden Fall n\u00fctzlich.
\n3. Funktionierende \u00dcberwachungssysteme liefern in der Regel n\u00fctzliche gefilterte Informationen.
\nBlaue Flecken und Beulen:<\/b>
\n1. In diesem Fall ist der Ingenieur kein Ingenieur, sondern lediglich ein Benutzer eines fremden Produkts. Oder ein Nutzer.
\n2. Der Kunde muss davon \u00fcberzeugt werden, etwas zu kaufen, mit dem er sich grunds\u00e4tzlich nicht auskennt und auch nicht sollte; au\u00dferdem ist das Jahresbudget genehmigt und wird sich nicht \u00e4ndern. Dann muss ein separates Ressource bereitgestellt und f\u00fcr das spezifische System konfiguriert werden. Zuerst muss man bezahlen, bezahlen und nochmals bezahlen. Und der Kunde ist knauserig. Das ist die Norm in dieser Welt.<\/p>\n

Was sollen wir tun, Tschernyschewski? Deine Frage ist sehr passend. (c)<\/h2>\n

\nIn diesem konkreten Fall und der gegebenen Situation k\u00f6nnen wir es ein wenig anders machen \u2014 lass uns unser eigenes \u00dcberwachungssystem erstellen. <\/b>
\n\"\u00dcberwachung
\nDas ist zwar nicht im vollen Sinne des Wortes ein System, das w\u00e4re zu hochtrabend und \u00fcberheblich, aber es kann helfen, die Aufgabe zu erleichtern und mehr Informationen zum L\u00f6sen von Leistungsproblemen zu sammeln. Damit man nicht in die Situation kommt: \u201eGeh dorthin, wo ich nicht wei\u00df, wo, finde das, was ich nicht kenne\u201c.<\/p>\n

Welche Vor- und Nachteile hat diese Option?<\/h4>\n

Vorteile:<\/b>
\n1. Es ist interessant. Zumindest interessanter als st\u00e4ndiges \u201eDatafile verkleinern, Tablespace \u00e4ndern usw.\u201c.
\n2. Es sind neue F\u00e4higkeiten und neue Entwicklungen. Die langfristig irgendwann die verdienten Belohnungen und Erfolge bringen werden.
\nNachteile:<\/b>
\n1. Man wird arbeiten m\u00fcssen. Viel arbeiten.
\n2. Man wird regelm\u00e4\u00dfig den Sinn und die Perspektiven der gesamten Aktivit\u00e4ten erkl\u00e4ren m\u00fcssen.
\n3. Man muss irgendwo Abstriche machen, denn die einzige Ressource, die einem Ingenieur zur Verf\u00fcgung steht, ist die Zeit, und die ist im Universum begrenzt.
\n4. Das Schlimmste und Unangenehmste<\/b> ist, dass am Ende etwas herauskommen kann, das weder Maus noch Frosch, sondern ein unbekanntes Wesen ist.<\/p>\n

Wer nicht riskiert, trinkt keinen Champagner.<\/b>
\nUnd jetzt beginnt das Interessanteste.<\/p>\n

Die allgemeine Idee \u2013 schematisch<\/h2>\n

\n\"\u00dcberwachung
\n(Die Abbildung stammt aus einem Artikel.<\/i> \u00abSynthese als eine Methode zur Leistungssteigerung von PostgreSQL<\/a><\/noindex>\u00bb)<\/p>\n

Erkl\u00e4rung:<\/p>\n