{"id":32353,"date":"2019-10-31T21:46:32","date_gmt":"2019-10-31T18:46:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting\/"},"modified":"2019-10-31T21:46:32","modified_gmt":"2019-10-31T18:46:32","slug":"monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","title":{"rendered":"\u00dcberwachung der Leistungsf\u00e4higkeit von PostgreSQL-Abfragen. Teil 1 - Reporting","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ingenieur - \u00fcbersetzt aus dem Lateinischen - inspiriert.
\nEin Ingenieur kann alles. (c) R.Diesel.
\nEpigrafen.<\/i>
\n\"\u00dcberwachung
\nOder die Geschichte dar\u00fcber, warum ein Datenbankadministrator an seine Programmiervergangenheit denken sollte. <\/i><\/p>\n

Vorwort<\/h2>\n

\nAlle Namen wurden ge\u00e4ndert. Zuf\u00e4llige \u00dcbereinstimmungen. Das Material stellt ausschlie\u00dflich die pers\u00f6nliche Meinung des Autors dar.<\/p>\n

Haftungsausschluss f\u00fcr Garantien:<\/b> In dem geplanten Artikelzyklus wird es keine detaillierte und pr\u00e4zise Beschreibung der verwendeten Tabellen und Skripte geben. Materialien k\u00f6nnen nicht sofort \"AS IS\" verwendet werden.
\nErstens aufgrund des gro\u00dfen Materialumfangs,
\nzweitens aufgrund der Anpassung an die Produktionsdatenbank eines realen Kunden.
\nDeshalb werden in den Artikeln nur Ideen und Beschreibungen in den allgemeinsten Z\u00fcgen dargestellt.
\nVielleicht wird das System in Zukunft auf das Niveau eines Uploads auf GitHub wachsen, vielleicht auch nicht. Die Zeit wird es zeigen.<\/i><\/p><\/blockquote>\n

\nDer Beginn der Geschichte - \"Erinnerst du dich, wie alles begann<\/a><\/noindex>\u00bb.
\nWas dabei herauskam, in groben Z\u00fcgen - \"\ud83e\udd47Wir begr\u00fc\u00dfen den Service von Cloudflare an den Adressen 1.1.1.1 und 1.0.0.1, oder \"das Angebot \u00f6ffentlicher DNS ist gewachsen!\" | ProHoster<\/a><\/noindex>\u00bb<\/p>\n

Warum brauche ich das alles?<\/h2>\n

\nNun, erstens, um selbst nicht zu vergessen, wenn ich im Ruhestand an die glorreichen Zeiten zur\u00fcckdenke.
\nZweitens, um das Geschriebene zu systematisieren. Denn selbst ich fange manchmal an, mich in einzelnen Teilen zu verwirren und zu vergessen. <\/p>\n

Und das Wichtigste ist - vielleicht k\u00f6nnte es jemandem n\u00fctzlich sein und helfen, das Rad nicht neu zu erfinden und keine Fehler zu machen. Mit anderen Worten, seine Karma zu verbessern (nicht das von Habr). Denn das Wertvollste in dieser Welt sind Ideen. Das Wichtigste ist, die Idee zu finden. Die Idee in die Realit\u00e4t umzusetzen, das ist bereits eine rein technische Frage.<\/p>\n

Also, fangen wir langsam an...<\/p>\n

Die Aufgabenstellung.<\/h2>\n

<\/p>\n

Verf\u00fcgbar: <\/h3>\n

\nPostgreSQL-Datenbank (10.5), gemischte Lastart (OLTP+DSS), mittlere bis geringe Belastung, in der AWS-Cloud gehostet.
\nDie Datenbank\u00fcberwachung fehlt, die Infrastruktur\u00fcberwachung erfolgt mit den standardm\u00e4\u00dfigen AWS-Tools in minimaler Konfiguration.<\/p>\n

Erforderlich:<\/h3>\n

\nDie Leistung und den Zustand der Datenbank \u00fcberwachen, Informationen zur Optimierung von schweren Abfragen zur Verf\u00fcgung haben.
\n<\/a><\/noindex><\/p>\n

Kurze Einleitung oder Analyse der L\u00f6sungsm\u00f6glichkeiten<\/h2>\n

\nZun\u00e4chst versuchen wir, die L\u00f6sungsm\u00f6glichkeiten aus der Sicht eines vergleichenden Nutzen- und Nachteilanalyses f\u00fcr den Ingenieur zu betrachten, w\u00e4hrend das Management sich um Nutzen und Verluste k\u00fcmmern kann, wie es im Stellenplan vorgesehen ist.<\/p>\n

Option 1 - \"On-Demand-Arbeiten\"<\/h3>\n

\nWir lassen alles wie es ist. Wenn der Auftraggeber mit der Funktionsweise oder Leistung der Datenbank oder Anwendung unzufrieden ist, wird er die DBA-Ingenieure per E-Mail benachrichtigen oder einen Vorfall im Ticketsystem erstellen.
\nDer Ingenieur, der die Benachrichtigung erh\u00e4lt, wird das Problem analysieren, eine L\u00f6sung vorschlagen oder das Problem auf die lange Bank schieben, in der Hoffnung, dass sich alles von selbst l\u00f6st, und ohnehin wird alles bald vergessen sein.
\nPfeffern\u00fcsse und Krapfen, blaue Flecken und Beulen<\/b>Pfeffern\u00fcsse und Krapfen:<\/b>
\n1. Es ist nicht notwendig, etwas \u00dcberfl\u00fcssiges zu tun.
\n2. Es gibt immer die M\u00f6glichkeit, sich herauszuwinden und sich zu dr\u00fccken.
\n3. Eine Menge Zeit, die man nach eigenem Ermessen verschwenden kann.
\nBlaue Flecken und Beulen:<\/b>
\n1. Fr\u00fcher oder sp\u00e4ter wird der Auftraggeber \u00fcber die Essenz der Existenz und die universelle Gerechtigkeit in dieser Welt nachdenken und sich erneut die Frage stellen \u2013 wof\u00fcr bezahle ich ihnen mein Geld? Die Konsequenz ist immer gleich \u2013 die Frage ist nur, wann der Auftraggeber gelangweilt wird und auf Wiedersehen winkt. Und die Futterstelle wird leer sein. Das ist traurig.
\n2. Die Entwicklung des Ingenieurs \u2013 Null.
\n3. Schwierigkeiten bei der Planung der Arbeit und der Auslastung. <\/p>\n

Option 2 \u2013 \u201eWir tanzen mit Trommeln, verkaufen und kleiden ein.\u201c<\/h3>\n

\nPunkt 1<\/b>- Warum brauchen wir ein \u00dcberwachungssystem? Wir werden alles \u00fcber Anfragen erhalten. Eine ganze Reihe von Anfragen an das Datenlexikon und dynamische Ansichten starten, verschiedene Z\u00e4hler aktivieren, alles in Tabellen zusammenfassen, und gelegentlich sozusagen Listen und Tabellen analysieren. In der Folge erhalten wir sch\u00f6ne oder weniger sch\u00f6ne Grafiken, Tabellen, Berichte. Das Wichtigste ist, dass es mehr und mehr gibt.
\nPunkt 2<\/b>- Wir generieren Aktivit\u00e4t \u2013 analysieren all das.
\nPunkt 3<\/b>- Wir bereiten ein Dokument vor, nennen es einfach \u2013 \u201eWie wir die Datenbank einrichten\u201c.
\nPunkt 4<\/b>- Der Auftraggeber, der all diese Pracht von Grafiken und Zahlen sieht, ist in den kindlichen naiven \u00dcberzeugung, dass jetzt alles bei uns bald funktionieren wird. Und er gibt leicht und schmerzlos seine Geldressourcen aus. Das Management ist ebenfalls \u00fcberzeugt \u2013 unsere Ingenieure arbeiten gro\u00dfartig. Die Auslastung auf dem Maximum.
\nPunkt 5<\/b>- Punkt 1 regelm\u00e4\u00dfig wiederholen.
\nPfeffern\u00fcsse und Krapfen, blaue Flecken und Beulen<\/b>Pfeffern\u00fcsse und Krapfen: <\/b>
\n1. Das Leben der Manager und Ingenieure ist einfach, vorhersehbar und voller Aktivit\u00e4t. Alles summt, alle sind besch\u00e4ftigt.
\n2. Das Leben des Auftraggebers ist auch nicht schlecht \u2013 er ist sich immer sicher, dass es nur ein bisschen Geduld braucht und alles sich regeln wird. Klappt es nicht, na ja, was soll\u2019s \u2013 diese Welt ist ungerecht, im n\u00e4chsten Leben wird es besser.
\nBlaue Flecken und Beulen:<\/b>
\n1. Fr\u00fcher oder sp\u00e4ter wird es einen schnelleren Anbieter f\u00fcr einen \u00e4hnlichen Service geben, der das Gleiche ein bisschen g\u00fcnstiger macht. Und wenn das Ergebnis dasselbe ist, warum mehr bezahlen? Das wird wiederum zur Abwanderung f\u00fchren.
\n2. Es ist langweilig. So langweilig wie jede wenig sinnvolle Aktivit\u00e4t.
\n3. Wie im vorherigen Fall gibt es keine Entwicklung. Aber f\u00fcr den Ingenieur ist der Nachteil, dass hier im Unterschied zur ersten Option st\u00e4ndig eine Datenbasis generiert werden muss. Und das kostet Zeit. Die man f\u00fcr sich selbst sinnvoll nutzen k\u00f6nnte. Denn wenn man sich nicht selbst um sich k\u00fcmmert, interessiert es niemanden.<\/p>\n

Option 3 - Man muss nicht das Rad neu erfinden, man sollte es kaufen und fahren.<\/h3>\n

\nDie Ingenieure anderer Unternehmen essen nicht ohne Grund Pizza mit Bier (ah, die guten Zeiten in St. Petersburg in den 90ern). Lassen Sie uns \u00dcberwachungssysteme nutzen, die entwickelt, abgestimmt und einsatzbereit sind und tats\u00e4chlich einen Nutzen bringen (mindestens f\u00fcr ihre Entwickler).
\nPfeffern\u00fcsse und Krapfen, blaue Flecken und Beulen<\/b>Pfeffern\u00fcsse und Krapfen:<\/b>
\n1. Man muss keine Zeit mit dem Erfinden von Dingen verschwenden, die bereits erfunden sind. Nimm und nutze sie.
\n2. \u00dcberwachungssysteme werden nicht von Dummk\u00f6pfen entwickelt, und sie sind nat\u00fcrlich n\u00fctzlich.
\n3. Funktionierende \u00dcberwachungssysteme liefern in der Regel n\u00fctzliche gefilterte Informationen.
\nBlaue Flecken und Beulen:<\/b>
\n1. Der Ingenieur ist in diesem Fall kein Ingenieur, sondern lediglich ein Nutzer eines fremden Produkts. Oder ein User.
\n2. Der Kunde muss davon \u00fcberzeugt werden, etwas zu kaufen, wovon er im Grunde genommen keine Ahnung hat, und das sollte er auch nicht, und das Budget f\u00fcr das Jahr ist genehmigt und wird sich nicht \u00e4ndern. Dann muss man separate Ressourcen bereitstellen und diese auf das spezifische System einrichten. Das bedeutet, zuerst muss man bezahlen, zahlen und noch einmal zahlen. Und der Kunde ist geizig. Das ist die Norm in diesem Leben.<\/p>\n

Was tun - Tschernyschewski? Deine Frage ist durchaus berechtigt. (c)<\/h2>\n

\nIn diesem konkreten Fall und der entstandenen Situation kann man es ein bisschen anders angehen - Lassen Sie uns unser eigenes \u00dcberwachungssystem erstellen. <\/b>
\n\"\u00dcberwachung
\nNun, nicht wirklich ein System im vollen Sinne des Wortes, das w\u00e4re zu hochtrabend und \u00fcberheblich gesagt, aber dennoch sich selbst die Aufgabe erleichtern und mehr Informationen zur L\u00f6sung von Leistungsproblemen sammeln. Um nicht in die Situation zu kommen - \"geh dorthin, wo du nicht wei\u00dft, und finde das, was du nicht wei\u00dft.\"<\/p>\n

Was sind die Vor- und Nachteile dieser Option:<\/h4>\n

Vorteile:<\/b>
\n1. Es ist interessant. Nun, mindestens interessanter als die st\u00e4ndigen \"shrink datafile, alter tablespace, usw.\"
\n2. Das sind neue F\u00e4higkeiten und neue Entwicklungen. Was perspektivisch fr\u00fcher oder sp\u00e4ter geb\u00fchrende Belohnungen und Leckereien bringen wird.
\nNachteile:<\/b>
\n1. Man wird arbeiten m\u00fcssen. Viel arbeiten.
\n2. Man wird regelm\u00e4\u00dfig den Sinn und die Perspektiven der gesamten Aktivit\u00e4ten erkl\u00e4ren m\u00fcssen.
\n3. Auf etwas wird man ein Opfer bringen m\u00fcssen, denn die einzige verf\u00fcgbare Ressource f\u00fcr den Ingenieur \u2013 die Zeit \u2013 ist im Universum begrenzt.
\n4. Das Schlimmste und Unangenehmste<\/b> \u2014 k\u00f6nnte ein Ergebnis hervorrufen, das wie \u201eweder ein M\u00e4uschen noch ein Frosch, sondern ein unbekanntes Tier\u201c aussieht.<\/p>\n

Wer nicht wagt, der nicht gewinnt.<\/b>
\nSo \u2014 jetzt beginnt das Interessanteste.<\/p>\n

Die allgemeine Idee \u2014 schematisch<\/h2>\n

\n\"\u00dcberwachung
\n(Die Abbildung stammt aus einem Artikel<\/i> \u00ab\ud83e\udd47Wir begr\u00fc\u00dfen den Service von Cloudflare an den Adressen 1.1.1.1 und 1.0.0.1, oder \"das Angebot \u00f6ffentlicher DNS ist gewachsen!\" | ProHoster<\/a><\/noindex>\u00bb)<\/p>\n

Erl\u00e4uterung:<\/p>\n