{"id":32353,"date":"2019-10-31T21:46:32","date_gmt":"2019-10-31T18:46:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting\/"},"modified":"2019-10-31T21:46:32","modified_gmt":"2019-10-31T18:46:32","slug":"monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","title":{"rendered":"Overv\u00e5gning af PostgreSQL foresp\u00f8rgselsydelse. Del 1 - rapportering","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ingeni\u00f8r - oversat fra latin - inspireret.
\nIngeni\u00f8ren kan alt. (c) R. Diesel.
\nEpigrafen.<\/i>
\n\"Overv\u00e5gning
\nEller historien om, hvorfor databaseadministratoren skal huske sin programm\u00f8rfortid. <\/i><\/p>\n

Forord<\/h2>\n

\nAlle navne er \u00e6ndret. Sammenfald er tilf\u00e6ldige. Materialet pr\u00e6senterer udelukkende forfatterens personlige mening.<\/p>\n

Fraskrivelse af garantier:<\/b> i den planlagte artikelcyklus vil der ikke v\u00e6re detaljerede og n\u00f8jagtige beskrivelser af de anvendte tabeller og scripts. Materialerne kan ikke umiddelbart bruges \"AS IS\".
\nFor det f\u00f8rste p\u00e5 grund af det store materialeomfang,
\nfor det andet p\u00e5 grund af tilpasningen til den virkelige kundes produktionsdatabase.
\nDerfor vil artiklerne kun indeholde ideer og beskrivelser i meget generelle termer.
\nDet kan v\u00e6re, at systemet i fremtiden vokser til niveauet for at blive lagt op p\u00e5 GitHub, eller m\u00e5ske ikke. Tiden vil vise.<\/i><\/p><\/blockquote>\n

\nBegyndelsen p\u00e5 historien - \"Husker du, hvordan det hele begyndte<\/a><\/noindex>\u00bb.
\nHvad der kom ud af det, i meget generelle tr\u00e6k - \"Syntese som en metode til at forbedre ydeevnen af PostgreSQL.<\/a><\/noindex>\u00bb<\/p>\n

Hvorfor skal jeg alt dette?<\/h2>\n

\nFor det f\u00f8rste for at huske det selv, mens jeg holder op med at arbejde og mindes de gode gamle dage.
\nFor det andet for at systematisere det skrevne. For jeg begynder selv nogle gange at blive forvirret og glemme enkelte dele. <\/p>\n

Og vigtigst af alt - m\u00e5ske kan det v\u00e6re til hj\u00e6lp for nogen og forhindre dem i at opfinde hjulet forfra og samle skrald. Med andre ord, forbedre sin karma (ikke den, der findes p\u00e5 Habr). For det mest v\u00e6rdifulde i denne verden er id\u00e9er. Det vigtigste er at finde id\u00e9en. At realisere id\u00e9en i virkeligheden er allerede et rent teknisk sp\u00f8rgsm\u00e5l.<\/p>\n

S\u00e5 lad os begynde, stille og roligt...<\/p>\n

Problemstilling.<\/h2>\n

<\/p>\n

Der er: <\/h3>\n

\nPostgreSQL database (10.5), hybrid belastningstype (OLTP + DSS), median-lav belastning, placeret i AWS cloud.
\nDatabaseoverv\u00e5gning mangler, infrastruktur overv\u00e5gning er repr\u00e6senteret i form af standard AWS-v\u00e6rkt\u00f8jer i minimal konfiguration.<\/p>\n

P\u00e5kr\u00e6vet:<\/h3>\n

\nAt overv\u00e5ge ydeevnen og tilstanden af databasen, finde og have grundl\u00e6ggende oplysninger til optimering af tunge foresp\u00f8rgsler til databasen.
\n<\/a><\/noindex><\/p>\n

Kort forord eller analyse af l\u00f8sningsmuligheder<\/h2>\n

\nLad os f\u00f8rst fors\u00f8ge at analysere l\u00f8sningsmulighederne ud fra et komparativt synspunkt af fordele og ulemper for ingeni\u00f8ren, mens fordelene og tabene for ledelsen m\u00e5 h\u00e5ndteres af dem, der er ansvarlige if\u00f8lge organisationens skema.<\/p>\n

Mulighed 1 - \"Working on demand\"<\/h3>\n

\nVi lader alt v\u00e6re som det er. Hvis kunden er utilfreds med noget i funktionaliteten eller ydeevnen af databasen eller applikationen, informerer han DBAs ingeni\u00f8rer via e-mail eller opretter en h\u00e6ndelse i ticket-systemet.
\nIngeni\u00f8ren, der modtager notifikationen, unders\u00f8ger problemet, foresl\u00e5r en l\u00f8sning eller l\u00e6gger problemet p\u00e5 hylden, i h\u00e5bet om at det l\u00f8ser sig selv, og om lidt bliver alt glemt.
\nSm\u00e5kager og donuts, bl\u00e5 m\u00e6rker og buler<\/b>Sm\u00e5kager og donuts:<\/b>
\n1. Man skal ikke g\u00f8re noget overfl\u00f8digt.
\n2. Der er altid mulighed for at slippe af sted med det.
\n3. En masse tid, som man kan bruge, som man vil.
\nBl\u00e5 m\u00e6rker og buler:<\/b>
\n1. F\u00f8r eller siden vil kunden t\u00e6nke over livets essens og universets retf\u00e6rdighed i denne verden og igen stille sig selv sp\u00f8rgsm\u00e5let - hvorfor betaler jeg dem mine penge? Konsekvenserne er altid de samme - sp\u00f8rgsm\u00e5let er kun, hvorn\u00e5r kunden bliver tr\u00e6t og vinker farvel. Og foderbr\u00f8nden vil v\u00e6re tom. Det er trist.
\n2. Ingeni\u00f8rens udvikling - nul.
\n3. Problemer med planl\u00e6gning af arbejde og belastning <\/p>\n

Variant 2 - 'Danser med trommerne, s\u00e6lger og skuffer.'<\/h3>\n

\nPunkt 1<\/b>-Hvorfor har vi et overv\u00e5gningssystem, vi vil modtage alting via foresp\u00f8rgsler. Vi starter en masse forskellige foresp\u00f8rgsler til datakataloget og dynamiske visninger, t\u00e6nder for forskellige t\u00e6llere, samler alt i tabeller, analyserer periodisk lister og tabeller. Resultatet er smukke eller mindre smukke grafer, tabeller, rapporter. Det vigtigste er, at der er s\u00e5 meget som muligt.
\nPunkt 2<\/b>-Vi genererer aktivitet - starter analysen af det hele.
\nPunkt 3<\/b>-Vi forbereder et eller andet dokument, kalder dette dokument blot - 'hvordan vi organiserer databasen.'
\nPunkt 4<\/b>-Kunden, som ser dette pragt af grafer og tal, er i en barnlig naiv tro - nu vil alt fungerer, snart. Og han skiller sig let og smertefrit af med sine penge. Ledelsen er ogs\u00e5 overbevist - ingeni\u00f8rerne arbejder fantastisk. Belastningen er p\u00e5 maksimum.
\nPunkt 5<\/b>-Gentag regelm\u00e6ssigt Punkt 1.
\nSm\u00e5kager og donuts, bl\u00e5 m\u00e6rker og buler<\/b>Sm\u00e5kager og donuts: <\/b>
\n1. Livet for ledere og ingeni\u00f8rer er enkelt, forudsigeligt og fyldt med aktivitet. Alt suser, alle er optaget.
\n2. Livet for kunden er ogs\u00e5 rimeligt - han er altid sikker p\u00e5, at han bare skal have lidt t\u00e5lmodighed, s\u00e5 l\u00f8ser alt sig. Det l\u00f8ser sig ikke, n\u00e5, hvad skal man g\u00f8re - det er en uretf\u00e6rdig verden, n\u00e6ste liv - mon ikke han er heldigere.
\nBl\u00e5 m\u00e6rker og buler:<\/b>
\n1. F\u00f8r eller siden vil der blive fundet en mere effektiv leverand\u00f8r af tilsvarende tjenester, som tilbyder det samme, men til en lavere pris. Og hvis resultatet er det samme, hvorfor betale mere? Dette vil igen f\u00f8re til, at f\u00f8dekilden forsvinder.
\n2. Det er kedeligt. Ligesom enhver meningsl\u00f8s aktivitet.
\n3. Som i den tidligere mulighed \u2014 der er ingen udvikling. Men for ingeni\u00f8ren er ulempe, at man i mods\u00e6tning til den f\u00f8rste mulighed konstant skal generere dokumentation. Og det tager tid. Tid, der kunne bruges til noget nyttigt for en selv. For hvis man ikke tager sig af sig selv, er alle ligeglade.<\/p>\n

Mulighed 3 - Man skal ikke opfinde cyklen p\u00e5 ny, man skal k\u00f8be den og k\u00f8re p\u00e5 den.<\/h3>\n

\nIngeni\u00f8rer fra andre selskaber spiser ikke for ingenting pizza med \u00f8l (ah, de gode tider i Sankt Petersborg i 90'erne). Lad os bruge overv\u00e5gningssystemer, der er lavet, testet og fungerer, og som faktisk bringer brugbarhed (i det mindste for dem, der har lavet dem).
\nSm\u00e5kager og donuts, bl\u00e5 m\u00e6rker og buler<\/b>Sm\u00e5kager og donuts:<\/b>
\n1. Man skal ikke spilde tid p\u00e5 at finde p\u00e5 det, der allerede er opfundet. Tag det og brug det.
\n2. Overv\u00e5gningssystemer skrives ikke af idioter, og de er selvf\u00f8lgelig nyttige.
\n3. Funktionelle overv\u00e5gningssystemer giver som regel brugbar filtreret information.
\nBl\u00e5 m\u00e6rker og buler:<\/b>
\n1. Ingeni\u00f8ren er i dette tilf\u00e6lde ikke en ingeni\u00f8r, men blot en bruger af et andres produkt. Eller en bruger.
\n2. Kunden skal overtales til at k\u00f8be noget, som han i grunden ikke \u00f8nsker at forst\u00e5, og som han heller ikke burde og overhovedet er budgettet godkendt for \u00e5ret, og det vil ikke \u00e6ndre sig. S\u00e5 skal man afs\u00e6tte separate ressourcer og konfigurere til et specifikt system. Dvs. f\u00f8rst skal man betale, betale og betale igen. Men kunden er n\u00e6rig. Det er normen i dette liv.<\/p>\n

Hvad skal man s\u00e5 g\u00f8re - Tjernysjov? Dit sp\u00f8rgsm\u00e5l er yderst relevant. (c)<\/h2>\n

\nI dette konkrete tilf\u00e6lde og i den aktuelle situation kan man g\u00f8re det lidt anderledes \u2014 lad os lave vores eget overv\u00e5gningssystem. <\/b>
\n\"Overv\u00e5gning
\nN\u00e5, ikke et system i ordets fulde forstand, det ville v\u00e6re for dramatisk og selvbevidst, men vi kan i det mindste lette opgaven og indsamle flere oplysninger til at l\u00f8se problemer med ydeevnen. S\u00e5 man ikke havner i situationen - \"g\u00e5 derhen, jeg ved ikke hvor, find det, jeg ved ikke hvad\".<\/p>\n

Hvad er fordele og ulemper ved denne mulighed:<\/h4>\n

Fordele:<\/b>
\n1. Det er interessant. I det mindste mere interessant end konstant at \"shrink datafile, alter tablespace, etc.\"
\n2. Dette er nye f\u00e6rdigheder og ny udvikling. Hvad der p\u00e5 sigt, f\u00f8r eller senere, vil give fortjente bel\u00f8nninger og muligheder.
\nUlemper:<\/b>
\n1. Du m\u00e5 arbejde. Arbejde meget.
\n2. Du skal regelm\u00e6ssigt forklare meningen og perspektiverne for hele aktiviteten.
\n3. Du m\u00e5 give afkald p\u00e5 noget, da den eneste ressource, som ingeni\u00f8ren har adgang til - tid - er begr\u00e6nset af universet.
\n4. Det mest skr\u00e6mmende og ubehagelige<\/b> \u2014 kan i sidste ende resultere i noget som \"Ikke en mus, ikke en fr\u00f8, men et ukendt v\u00e6sen.\"<\/p>\n

Den, der ikke risikerer, f\u00e5r ikke champagne.<\/b>
\nS\u00e5 \u2014 det mest interessante begynder.<\/p>\n

Den overordnede id\u00e9 \u2014 skematisk<\/h2>\n

\n\"Overv\u00e5gning
\n(Illustrationen er taget fra artiklen<\/i> \u00abSyntese som en metode til at forbedre ydeevnen af PostgreSQL.<\/a><\/noindex>\u00bb)<\/p>\n

Forklaring:<\/p>\n