{"id":32353,"date":"2019-10-31T21:46:32","date_gmt":"2019-10-31T18:46:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting\/"},"modified":"2019-10-31T21:46:32","modified_gmt":"2019-10-31T18:46:32","slug":"monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","title":{"rendered":"Overv\u00e5king av ytelsen til PostgreSQL-foresp\u00f8rselene. Del 1 \u2014 rapportering","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ingeni\u00f8r \u2014 oversatt fra latin \u2014 inspirert.
\nIngeni\u00f8r kan gj\u00f8re alt. (c) R.Dizel.
\nEpigrafene.<\/i>
\n\"Overv\u00e5king
\nEller historien om hvorfor databaseadministratoren b\u00f8r huske sin programmeringsfortid. <\/i><\/p>\n

Forord<\/h2>\n

\nAlle navn er endret. Sammenfall er tilfeldig. Materialet representerer utelukkende forfatterens personlige mening.<\/p>\n

Ansvarsfraskrivelse:<\/b> det vil ikke v\u00e6re detaljert og presis beskrivelse av brukte tabeller og skript i den planlagte artikkelserien. Materialene kan ikke brukes \u00abSOM DET ER\u00bb.
\nF\u00f8rst og fremst p\u00e5 grunn av det store volumet av materiale,
\nfor det andre p\u00e5 grunn av tilpasningen til produksjonsdatabasen til den virkelige kunden.
\nDerfor vil artiklene bare inneholde ideer og beskrivelser i mest generelle termer.
\nKanskje systemet i fremtiden vil n\u00e5 niv\u00e5et for publisering p\u00e5 GitHub, eller kanskje ikke. Tiden vil vise.<\/i><\/p><\/blockquote>\n

\nBegynnelsen p\u00e5 historien- \u00abHusker du hvordan alt begynte<\/a><\/noindex>\u00bb.
\nHva som kom ut av det, i de mest generelle trekkene- \u00abSyntese som en av metodene for \u00e5 forbedre ytelsen til PostgreSQL<\/a><\/noindex>\u00bb<\/p>\n

Hvorfor trenger jeg alt dette?<\/h2>\n

\nVel, f\u00f8rst og fremst for \u00e5 ikke glemme det selv, n\u00e5r jeg ser tilbake p\u00e5 mine glade dager i pensjon.
\nFor det andre for \u00e5 systematisere det som er skrevet. For noen ganger begynner jeg selv \u00e5 bli forvirret og glemme enkelte deler. <\/p>\n

Og viktigst av alt \u2014 kanskje noen kan dra nytte av det og unng\u00e5 \u00e5 oppfinne hjulet p\u00e5 nytt og samle rake. Med andre ord, forbedre sin karma (ikke Habr-karm). For det mest verdifulle i denne verden er ideene. Det viktigste er \u00e5 finne ideen. \u00c5 realisere ideen i virkelighet er allerede et rent teknisk sp\u00f8rsm\u00e5l.<\/p>\n

S\u00e5, la oss begynne, gradvis...<\/p>\n

Problemstillingen.<\/h2>\n

<\/p>\n

Det er: <\/h3>\n

\nPostgreSQL-database (10.5), blandet type last (OLTP+DSS), middels-lav belastning, plassert i AWS-skyen.
\nDatabaseoverv\u00e5king er frav\u00e6rende, overv\u00e5king av infrastrukturen presenteres i form av standardverkt\u00f8y fra AWS i minimal konfigurasjon.<\/p>\n

Kreves:<\/h3>\n

\n\u00c5 overv\u00e5ke ytelse og tilstand p\u00e5 databasen, finne og ha utgangspunkt for optimalisering av tunge sp\u00f8rringer til databasen.
\n<\/a><\/noindex><\/p>\n

Kort innledning eller analyse av l\u00f8sningsalternativer<\/h2>\n

\nFor \u00e5 begynne vil vi pr\u00f8ve \u00e5 unders\u00f8ke l\u00f8sningsalternativene fra et sammenlignende analyseperspektiv av fordeler og ulemper for ingeni\u00f8ren, mens nytte og tap for ledelsen f\u00e5r h\u00e5ndtere de som er p\u00e5lagt \u00e5 gj\u00f8re det if\u00f8lge stillingsbeskrivelsen.<\/p>\n

Alternativ 1- \u00abWorking on demand\u00bb<\/h3>\n

\nVi lar alt st\u00e5 som det er. Hvis kunden ikke er forn\u00f8yd med noe i funksjonaliteten, ytelsen til databasen eller applikasjonen, vil han informere DBA-ingeni\u00f8rene via e-post eller ved \u00e5 opprette en hendelse i billettsystemet.
\nIngeni\u00f8ren, som f\u00e5r varslingen, vil unders\u00f8ke problemet, foresl\u00e5 en l\u00f8sning eller skyve problemet til side, i h\u00e5p om at det ordner seg av seg selv og at det snart vil bli glemt.
\nPepperkaker og boller, bl\u00e5merker og hjernerystelser<\/b>Pepperkaker og boller:<\/b>
\n1. Det er ikke n\u00f8dvendig \u00e5 gj\u00f8re noe overfl\u00f8dig.
\n2. Det er alltid en mulighet til \u00e5 slippe unna og ta det med ro.
\n3. Masse tid som kan brukes etter eget skj\u00f8nn.
\nBl\u00e5merker og hjernerystelser:<\/b>
\n1. F\u00f8r eller senere vil kunden tenke over livets mening og universets rettferdighet i denne verden og igjen stille seg sp\u00f8rsm\u00e5let \u2013 hva betaler jeg dem pengene mine for? Konsekvensene er alltid de samme \u2013 sp\u00f8rsm\u00e5let er bare n\u00e5r kunden blir lei og vinker farvel. Og sm\u00f8ringen blir tom. Det er trist.
\n2. Ingeni\u00f8rens utvikling \u2013 null.
\n3. Vanskeligheter med planlegging av arbeid og belastning. <\/p>\n

Alternativ 2 - \u00abVi danser med tamburiner, lurer dem og f\u00e5r dem til \u00e5 kj\u00f8pe\u00bb<\/h3>\n

\nPunkt 1<\/b>- Hvorfor trenger vi et overv\u00e5kingssystem, vi vil f\u00e5 alt gjennom foresp\u00f8rslene. Vi starter en mengde foresp\u00f8rsel til datakatalogen og dynamiske fremstillinger, aktiverer forskjellige tellere, samler alt i tabeller, analyserer lister og tabeller med jevne mellomrom. Resultatet er pen eller ikke s\u00e5 pen grafikk, tabeller, rapporter. Det viktigste er at det blir mer, mer.
\nPunkt 2<\/b>- Generer aktivitet \u2013 analyserer alt dette.
\nPunkt 3<\/b>- Forbereder et dokument og kaller dette dokumentet ganske enkelt \u2013 \u00abhvordan vi organiserer databasen\u00bb.
\nPunkt 4<\/b>- Kunden, som ser all denne prakten av grafer og tall, er i en barnslig naiv tro \u2013 n\u00e5 vil alt fungere, snart. Og han gir lett og smertefritt fra seg sine penger. Ledelsen er ogs\u00e5 sikker \u2013 ingeni\u00f8rene v\u00e5re jobber p\u00e5 spreng. Belastningen er p\u00e5 maks.
\nPunkt 5<\/b>- Gjenta Punkt 1 regelmessig.
\nPepperkaker og boller, bl\u00e5merker og hjernerystelser<\/b>Pepperkaker og boller: <\/b>
\n1. Livet til ledere og ingeni\u00f8rer er enkelt, forutsigbart og fullt av aktivitet. Alt surrer, alle er opptatt.
\n2. Livet til kunden er ogs\u00e5 greit - han er alltid sikker p\u00e5 at han bare m\u00e5 vente litt til, og alt blir bra. Det blir ikke bra, vel, hva skal jeg si \u2013 verden er urettferdig, kanskje i neste liv vil det g\u00e5 bedre.
\nBl\u00e5merker og hjernerystelser:<\/b>
\n1. Snart eller senere vil det dukke opp en mer effektiv leverand\u00f8r av en lignende tjeneste, som gj\u00f8r det samme, men litt billigere. Og hvis resultatet er det samme, hvorfor betale mer? Dette vil igjen f\u00f8re til at inntektene forsvinner.
\n2. Det er kjedelig. Akkurat som enhver meningsl\u00f8s aktivitet er kjedelig.
\n3. Som i det forrige alternativet \u2014 ingen utvikling. Men for ingeni\u00f8ren er ulempe at man her m\u00e5 generere en database kontinuerlig. Og det tar tid. Tid som kan brukes bedre p\u00e5 en selv, for ingen vil ta vare p\u00e5 deg, det er det ingen som bryr seg om.<\/p>\n

Alternativ 3 - Du trenger ikke \u00e5 finne opp hjulet p\u00e5 nytt, kj\u00f8p det og bruk det.<\/h3>\n

\nIngeni\u00f8rer i andre selskaper spiser ikke pizza med \u00f8l uten grunn (ah, de gode tidene i St. Petersburg p\u00e5 90-tallet). La oss bruke overv\u00e5kingssystemer som er laget, gjort klar og fungerer, og som tross alt bringer nytte (i det minste til skaperne).
\nPepperkaker og boller, bl\u00e5merker og hjernerystelser<\/b>Pepperkaker og boller:<\/b>
\n1. Du trenger ikke \u00e5 bruke tid p\u00e5 \u00e5 finne p\u00e5 noe som allerede er oppfunnet. Ta det og bruk det.
\n2. Overv\u00e5kingssystemer er ikke laget av idioter, og de er selvf\u00f8lgelig nyttige.
\n3. Arbeidende overv\u00e5kingssystemer gir vanligvis nyttig filtrert informasjon.
\nBl\u00e5merker og hjernerystelser:<\/b>
\n1. Ingeni\u00f8ren i dette tilfellet er ikke en ingeni\u00f8r, men bare en bruker av et annet produkt. Eller en bruker.
\n2. Kunden m\u00e5 overbevises om n\u00f8dvendigheten av \u00e5 kj\u00f8pe noe han egentlig ikke vil sette seg inn i, og i tillegg er budsjettet for \u00e5ret fastsatt og vil ikke endres. Deretter m\u00e5 man allokere separate ressurser, konfigurere for et bestemt system. Det vil si at man f\u00f8rst m\u00e5 betale, betale og betale igjen. Og kunden er hjemmesnekret. Det er normalen i dette livet.<\/p>\n

Hva skal man gj\u00f8re - Tsjernysevskij? Ditt sp\u00f8rsm\u00e5l er veldig relevant. (c)<\/h2>\n

\nI dette spesifikke tilfellet og den oppst\u00e5tte situasjonen kan man gj\u00f8re det litt annerledes \u2014 la oss lage v\u00e5rt eget overv\u00e5kingssystem. <\/b>
\n\"Overv\u00e5king
\nVel, ikke et system i ordets forstand, det ville v\u00e6re en overdrivelse og selvgodhet, men i det minste finne en m\u00e5te \u00e5 lette oppgaven p\u00e5 og samle mer informasjon for \u00e5 l\u00f8se ytelseshendelser. Slik at man ikke havner i situasjonen \u2014 \u00abg\u00e5 dit jeg ikke vet hvor, finn det jeg ikke vet hva\u00bb.<\/p>\n

Hva er fordelene og ulempene med dette alternativet:<\/h4>\n

Fordeler:<\/b>
\n1. Det er interessant. I hvert fall mer interessant enn konstante \u00abshrink datafile, alter tablespace, etc.\u00bb
\n2. Dette er nye ferdigheter og ny utvikling. Noe som p\u00e5 sikt vil gi velfortjente bel\u00f8nninger og fordeler.
\nUlemper:<\/b>
\n1. Du m\u00e5 jobbe. Jobbe mye.
\n2. Du m\u00e5 regelmessig forklare meningen og perspektivene av all aktiviteten.
\n3. Du m\u00e5 ofre noe, for den eneste tilgjengelige ressursen for ingeni\u00f8ren \u2013 tid \u2013 er begrenset av universet.
\n4. Det mest skremmende og ubehagelige<\/b> \u2013 kan resultatet bli noe som \u00abIkke mus, ikke frosk, men en ukjent skapning\u00bb.<\/p>\n

Den som ikke tar risiko, f\u00e5r ikke champagne.<\/b>
\nS\u00e5 \u2014 begynner det mest interessante.<\/p>\n

Den overordnede ideen \u2014 skjematisk<\/h2>\n

\n\"Overv\u00e5king
\n(Illustrasjonen er hentet fra artikkelen<\/i> \u00abSyntese som en av metodene for \u00e5 forbedre ytelsen til PostgreSQL<\/a><\/noindex>\u00bb)<\/p>\n

Forklaring:<\/p>\n