{"id":32353,"date":"2019-10-31T21:46:32","date_gmt":"2019-10-31T18:46:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting\/"},"modified":"2019-10-31T21:46:32","modified_gmt":"2019-10-31T18:46:32","slug":"monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","title":{"rendered":"Monitorowanie wydajno\u015bci zapyta\u0144 PostgreSQL. Cz\u0119\u015b\u0107 1 \u2014 raportowanie","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

In\u017cynier \u2014 t\u0142umacz\u0105c z \u0142aciny \u2014 jest natchniony.
\nIn\u017cynier potrafi wszystko. (c) R.Dizel.
\nEpigrafy.<\/i>
\n\"Monitorowanie
\nLub historia o tym, dlaczego administrator baz danych powinien przypomina\u0107 sobie swoje programistyczne przesz\u0142o\u015b\u0107. <\/i><\/p>\n

Wst\u0119p<\/h2>\n

\nWszystkie imiona zosta\u0142y zmienione. Zbiegi okoliczno\u015bci s\u0105 przypadkowe. Materia\u0142 przedstawia wy\u0142\u0105cznie osobiste zdanie autora.<\/p>\n

Zastrze\u017cenie dotycz\u0105ce gwarancji:<\/b> w planowanym cyklu artyku\u0142\u00f3w nie b\u0119dzie szczeg\u00f3\u0142owego i dok\u0142adnego opisu u\u017cywanych tabel i skrypt\u00f3w. Materia\u0142y nie b\u0119d\u0105 mog\u0142y by\u0107 od razu u\u017cyte \"TAK JAK S\u0104\".
\nPo pierwsze, z powodu du\u017cej obj\u0119to\u015bci materia\u0142u,
\npo drugie, z powodu dostosowania do produkcyjnej bazy rzeczywistego klienta.
\nDlatego w artyku\u0142ach b\u0119d\u0105 podane tylko pomys\u0142y i opisy w najbardziej og\u00f3lnym uj\u0119ciu.
\nMo\u017ce w przysz\u0142o\u015bci system osi\u0105gnie poziom publikacji na GitHubie, a mo\u017ce i nie. Czas poka\u017ce.<\/i><\/p><\/blockquote>\n

\nPocz\u0105tek historii \u2013 \u201eCzy pami\u0119tasz, jak to wszystko si\u0119 zacz\u0119\u0142o?<\/a><\/noindex>\u00bb.
\nCo powsta\u0142o w wyniku, w najbardziej og\u00f3lnych zarysach \u2013 \u201eSynteza jako jedna z metod poprawy wydajno\u015bci PostgreSQL<\/a><\/noindex>\u00bb<\/p>\n

Po co mi to wszystko?<\/h2>\n

\nNo, po pierwsze, aby samemu nie zapomnie\u0107, wspominaj\u0105c na emeryturze dawne, chwalebne dni.
\nPo drugie, aby usystematyzowa\u0107 to, co napisa\u0142em. Bowiem ju\u017c sam, czasami, zaczynam si\u0119 myli\u0107 i zapomina\u0107 o poszczeg\u00f3lnych cz\u0119\u015bciach. <\/p>\n

No i najwa\u017cniejsze \u2014 nagle mo\u017ce to komu\u015b si\u0119 przyda i pomo\u017ce nie wynajdywa\u0107 na nowo ko\u0142a ani nie zbiera\u0107 \u0142opat. Innymi s\u0142owy, poprawi\u0107 swoj\u0105 karm\u0119 (nie hubrowsk\u0105). Bo najcenniejsze w tym \u015bwiecie to idee. Najwa\u017cniejsze to znale\u017a\u0107 pomys\u0142. A zrealizowa\u0107 pomys\u0142 w rzeczywisto\u015bci to ju\u017c kwestia czysto techniczna.<\/p>\n

Tak wi\u0119c, zaczynamy, powoli...<\/p>\n

Postawienie zadania.<\/h2>\n

<\/p>\n

Mamy: <\/h3>\n

\nBaza danych PostgreSQL (10.5), mieszany typ obci\u0105\u017cenia (OLTP+DSS), \u015brednie-niskie obci\u0105\u017cenie, umieszczona w chmurze AWS.
\nMonitoring bazy danych nie istnieje, monitoring infrastruktury przedstawiony jest w postaci standardowych narz\u0119dzi AWS w minimalnej konfiguracji.<\/p>\n

Wymagane:<\/h3>\n

\nMonitorowanie wydajno\u015bci i stanu bazy danych, znajdowanie i posiadanie pocz\u0105tkowych informacji do optymalizacji ci\u0119\u017ckich zapyta\u0144 do bazy danych.
\n<\/a><\/noindex><\/p>\n

Kr\u00f3tka przedmowa lub analiza opcji rozwi\u0105zania<\/h2>\n

\nNa pocz\u0105tek spr\u00f3bujemy przeanalizowa\u0107 mo\u017cliwo\u015bci rozwi\u0105zania zadania z punktu widzenia analizy por\u00f3wnawczej korzy\u015bci i niedogodno\u015bci dla in\u017cyniera, a korzy\u015bciami i stratami w zarz\u0105dzaniu niech zajm\u0105 si\u0119 ci, kt\u00f3rzy s\u0105 do tego wyznaczeni zgodnie z etatem.<\/p>\n

Opcja 1 \u2013 \"Praca na \u017c\u0105danie\"<\/h3>\n

\nZostawiamy wszystko jak jest. Je\u015bli zleceniodawca ma jakie\u015b zastrze\u017cenia co do funkcjonowania, wydajno\u015bci bazy danych lub aplikacji, powiadomi in\u017cynier\u00f3w DBA za pomoc\u0105 e-maila lub tworz\u0105c incydent w systemie zg\u0142osze\u0144.
\nIn\u017cynier, otrzymawszy powiadomienie, zajmie si\u0119 problemem, zaproponuje rozwi\u0105zanie lub od\u0142o\u017cy spraw\u0119 na p\u00f3\u017aniej, maj\u0105c nadziej\u0119, \u017ce sama si\u0119 rozwi\u0105\u017ce, a i tak wkr\u00f3tce wszystko zostanie zapomniane.
\nPierniki i p\u0105czki, siniaki i guzki<\/b>Pierniki i p\u0105czki:<\/b>
\n1. Nie ma potrzeby robi\u0107 nic zb\u0119dnego
\n2. Zawsze mo\u017cna si\u0119 wykr\u0119ci\u0107 i odpu\u015bci\u0107.
\n3. Mn\u00f3stwo czasu, kt\u00f3ry mo\u017cna wykorzysta\u0107 wed\u0142ug w\u0142asnego uznania.
\nSiniaki i guzki:<\/b>
\n1. Pr\u0119dzej czy p\u00f3\u017aniej zleceniodawca zacznie si\u0119 zastanawia\u0107 nad istot\u0105 bytu i kosmiczn\u0105 sprawiedliwo\u015bci\u0105 w tym \u015bwiecie i po raz kolejny zada sobie pytanie \u2014 za co p\u0142ac\u0119 im swoje pieni\u0105dze? Skutek zawsze jest ten sam \u2014 chodzi tylko o to, kiedy zleceniodawca si\u0119 znudzi i machnie r\u0119k\u0105 na po\u017cegnanie. A \u017c\u0142\u00f3b si\u0119 opr\u00f3\u017cni. To smutne.
\n2. Rozw\u00f3j in\u017cyniera \u2014 zero.
\n3. Trudno\u015bci w planowaniu pracy i obci\u0105\u017cenia <\/p>\n

Opcja 2 - \u201eTa\u0144czymy z b\u0119bnem, wciskamy i obuwamy\u201d<\/h3>\n

\nPunkt 1<\/b>-Po co nam system monitorowania, b\u0119dziemy wszystko dostawa\u0107 poprzez zapytania. Uruchamiamy mn\u00f3stwo r\u00f3\u017cnych zapyta\u0144 do s\u0142ownika danych i dynamicznych widok\u00f3w, w\u0142\u0105czamy r\u00f3\u017cne liczniki, zestawiamy wszystko w tabelach, okresowo analizujemy listy i tabele. W rezultacie mamy \u0142adne lub mniej \u0142adne wykresy, tabele, raporty. Wa\u017cne, \u017ceby by\u0142o jak najwi\u0119cej.
\nPunkt 2<\/b>-Generujemy aktywno\u015b\u0107 - uruchamiamy analiz\u0119 tego wszystkiego.
\nPunkt 3<\/b>-Przygotowujemy jaki\u015b dokument, nazywamy go po prostu - \u201ejak mamy urz\u0105dzi\u0107 baz\u0119 danych\u201d.
\nPunkt 4<\/b>-Zleceniodawca, widz\u0105c to wszystko wspania\u0142o\u015b\u0107 wykres\u00f3w i liczb jest w dzieci\u0119cej naiwnej pewno\u015bci \u2014 oto teraz wszystko zacznie dzia\u0142a\u0107, wkr\u00f3tce. I \u0142atwo i bezbole\u015bnie rozstaje si\u0119 ze swoimi zasobami finansowymi. Zarz\u0105d r\u00f3wnie\u017c jest pewien \u2014 in\u017cynierowie u nas pracuj\u0105 na pe\u0142nych obrotach. Obci\u0105\u017cenie na maksymalnym poziomie.
\nPunkt 5<\/b>-Regularnie powt\u00f3rzy\u0107 Punkt 1.
\nPierniki i p\u0105czki, siniaki i guzki<\/b>Pierniki i p\u0105czki: <\/b>
\n1. \u017bycie mened\u017cer\u00f3w i in\u017cynier\u00f3w \u2014 proste, przewidywalne i pe\u0142ne aktywno\u015bci. Wszystko brz\u0119czy, wszyscy zaj\u0119ci.
\n2. \u017bycie zleceniodawcy te\u017c nie jest z\u0142e \u2014 zawsze jest pewny, \u017ce wystarczy troch\u0119 poczeka\u0107 i wszystko si\u0119 u\u0142o\u017cy. Nie uk\u0142ada si\u0119, no co\u017c \u2014 \u015bwiat jest niesprawiedliwy, w nast\u0119pnym \u017cyciu si\u0119 uda.
\nSiniaki i guzki:<\/b>
\n1. Pr\u0119dzej czy p\u00f3\u017aniej znajdzie si\u0119 szybszy dostawca podobnej us\u0142ugi, kt\u00f3ry zrobi to samo, ale za nieco ni\u017csz\u0105 cen\u0119. A je\u015bli wynik jest ten sam, to po co p\u0142aci\u0107 wi\u0119cej? To znowu doprowadzi do znikni\u0119cia \u017ar\u00f3d\u0142a dochodu.
\n2. To nudne. Jak ka\u017cda ma\u0142o sensowna aktywno\u015b\u0107.
\n3. Jak w poprzedniej wersji \u2014 brak jakiegokolwiek rozwoju. Ale dla in\u017cyniera minusem jest to, \u017ce w przeciwie\u0144stwie do pierwszej opcji, tutaj trzeba nieustannie generowa\u0107 baz\u0119 danych. A to zajmuje czas. Kt\u00f3ry mo\u017cna wykorzysta\u0107 dla siebie. Bo je\u015bli sam o siebie nie zadbasz, nikt si\u0119 o ciebie nie troszczy.<\/p>\n

Opcja 3 \u2014 nie trzeba wymy\u015bla\u0107 ko\u0142a na nowo, wystarczy je kupi\u0107 i je\u017adzi\u0107.<\/h3>\n

\nIn\u017cynierowie z innych firm nie bez powodu jedz\u0105 pizz\u0119 popijaj\u0105c piwem (ach, wspania\u0142e czasy w Petersburgu lat 90.). U\u017cyjmy system\u00f3w monitoruj\u0105cych, kt\u00f3re s\u0105 ju\u017c stworzone, dopracowane i dzia\u0142aj\u0105, i przynosz\u0105 korzy\u015bci (przynajmniej ich tw\u00f3rcom).
\nPierniki i p\u0105czki, siniaki i guzki<\/b>Pierniki i p\u0105czki:<\/b>
\n1. Nie trzeba traci\u0107 czasu na wymy\u015blanie czego\u015b, co ju\u017c zosta\u0142o wymy\u015blone. We\u017a i korzystaj.
\n2. Systemy monitorowania nie s\u0105 pisan\u0105 przez idiot\u00f3w i na pewno s\u0105 u\u017cyteczne.
\n3. Dzia\u0142aj\u0105ce systemy monitorowania zazwyczaj dostarczaj\u0105 przydatne, przefiltrowane informacje.
\nSiniaki i guzki:<\/b>
\n1. In\u017cynier w tej sytuacji nie jest in\u017cynierem, a jedynie u\u017cytkownikiem cudzej produkcji. Albo u\u017cytkownikiem.
\n2. Klienta trzeba przekona\u0107 do konieczno\u015bci zakupu czego\u015b, w co w og\u00f3le nie chce si\u0119 zag\u0142\u0119bia\u0107, a nie powinien. Bud\u017cet na rok zosta\u0142 zatwierdzony i si\u0119 nie zmieni. Nast\u0119pnie trzeba przypisa\u0107 osobny zas\u00f3b, skonfigurowa\u0107 pod konkretny system. Tzn. najpierw trzeba p\u0142aci\u0107, p\u0142aci\u0107 i jeszcze raz p\u0142aci\u0107. A klient jest sk\u0105py. To norma \u017cycia.<\/p>\n

Co zrobi\u0107 - Czernyszewski? Twoje pytanie jest bardzo zasadne. (c)<\/h2>\n

\nW tej konkretnej sytuacji mo\u017cna post\u0105pi\u0107 troch\u0119 inaczej \u2014 a mo\u017ce zr\u00f3bmy nasz w\u0142asny system monitorowania. <\/b>
\n\"Monitorowanie
\nNo nie system oczywi\u015bcie, w pe\u0142nym tego s\u0142owa znaczeniu, to zbyt patetyczne i zuchwa\u0142e, ale przynajmniej w jaki\u015b spos\u00f3b u\u0142atwmy sobie zadanie i zbierzmy jak najwi\u0119cej informacji do rozwi\u0105zania incydent\u00f3w wydajno\u015bci. \u017beby nie znale\u017a\u0107 si\u0119 w sytuacji \u2014 \"id\u017a tam, nie wiem gdzie, znajd\u017a to, nie wiem co\".<\/p>\n

Jakie s\u0105 plusy i minusy tej opcji:<\/h4>\n

Zalety:<\/b>
\n1. To ciekawe. Przynajmniej ciekawsze ni\u017c ci\u0105g\u0142e \u201eshrink datafile, alter tablespace, itp.\u201d
\n2. To nowe umiej\u0119tno\u015bci i nowe mo\u017cliwo\u015bci rozwoju. Co w przysz\u0142o\u015bci da zas\u0142u\u017cone nagrody i przyjemno\u015bci.
\nWady:<\/b>
\n1. B\u0119dzie trzeba pracowa\u0107. Pracowa\u0107 du\u017co.
\n2. B\u0119dzie trzeba regularnie wyja\u015bnia\u0107 sens i mo\u017cliwo\u015bci ca\u0142ej aktywno\u015bci.
\n3. Czego\u015b b\u0119dzie trzeba si\u0119 wyrzec, poniewa\u017c jedynym zasobem dost\u0119pnym in\u017cynierowi \u2013 czasem \u2013 jest ograniczony przez Wszech\u015bwiat.
\n4. Najgorsze i najbardziej nieprzyjemne<\/b> \u2013 w wyniku mo\u017ce powsta\u0107 co\u015b w rodzaju \"Nie mysz, nie \u017caba, a nieznane zwierz\u0105tko\".<\/p>\n

Kto nie ryzykuje, ten nie pije szampana.<\/b>
\nI tak \u2013 zaczyna si\u0119 to, co najciekawsze.<\/p>\n

Og\u00f3lna idea \u2013 schematycznie<\/h2>\n

\n\"Monitorowanie
\n(Ilustracja pochodzi z artyku\u0142u<\/i> \u00abSynteza jako jedna z metod poprawy wydajno\u015bci PostgreSQL<\/a><\/noindex>\u00bb)<\/p>\n

Wyja\u015bnienie:<\/p>\n