{"id":32353,"date":"2019-10-31T21:46:32","date_gmt":"2019-10-31T18:46:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting\/"},"modified":"2019-10-31T21:46:32","modified_gmt":"2019-10-31T18:46:32","slug":"monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","title":{"rendered":"Surveillance des performances des requ\u00eates PostgreSQL. Partie 1 \u2014 rapport","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ing\u00e9nieur \u2014 du latin, cela signifie inspir\u00e9.
\nL'ing\u00e9nieur peut tout faire. (c) R.Diesel.
\n\u00c9pigraphes.<\/i>
\n\"Surveillance
\nOu l'histoire de la raison pour laquelle un administrateur de base de donn\u00e9es devrait se souvenir de son pass\u00e9 de programmeur. <\/i><\/p>\n

Pr\u00e9face<\/h2>\n

\nTous les noms ont \u00e9t\u00e9 modifi\u00e9s. Les co\u00efncidences sont fortuites. Le mat\u00e9riel repr\u00e9sente uniquement l'opinion personnelle de l'auteur.<\/p>\n

Avertissement sur les garanties :<\/b> Il n'y aura pas de description d\u00e9taill\u00e9e et pr\u00e9cise des tables et scripts utilis\u00e9s dans le cycle d'articles pr\u00e9vu. Les mat\u00e9riaux ne pourront pas \u00eatre utilis\u00e9s imm\u00e9diatement 'EN L'\u00c9TAT'.
\nTout d'abord, en raison du volume important de mat\u00e9riel,
\ndeuxi\u00e8mement, en raison de l'ad\u00e9quation avec la base de production du client r\u00e9el.
\nC'est pourquoi les articles ne pr\u00e9senteront que des id\u00e9es et des descriptions de mani\u00e8re tr\u00e8s g\u00e9n\u00e9rale.
\nPeut-\u00eatre qu'\u00e0 l'avenir, le syst\u00e8me \u00e9voluera vers le partage sur GitHub, ou peut-\u00eatre pas. Le temps le dira.<\/i><\/p><\/blockquote>\n

\nD\u00e9but de l'histoire - \u00abTu te souviens comment tout a commenc\u00e9 ?<\/a><\/noindex>\u00bb.
\nCe qui en est sorti, en termes tr\u00e8s g\u00e9n\u00e9raux - \u00abLa synth\u00e8se comme l'une des m\u00e9thodes d'am\u00e9lioration de la performance de PostgreSQL<\/a><\/noindex>\u00bb<\/p>\n

Pourquoi tout cela m'int\u00e9resse-t-il ?<\/h2>\n

\nEh bien, d'abord pour ne pas oublier, en me rappelant les bons jours \u00e0 la retraite.
\nDeuxi\u00e8mement, pour syst\u00e9matiser ce qui a \u00e9t\u00e9 \u00e9crit. Car parfois, je commence moi-m\u00eame \u00e0 me perdre et \u00e0 oublier certaines parties. <\/p>\n

Et surtout, qui sait, cela pourrait \u00eatre utile \u00e0 quelqu'un et l'aider \u00e0 ne pas r\u00e9inventer la roue ou \u00e0 ne pas se manger les doigts. En d'autres termes, am\u00e9liorer son karma (pas au sens Habr). Car, ce qui est le plus pr\u00e9cieux dans ce monde, ce sont les id\u00e9es. L'essentiel est de trouver une id\u00e9e. La concr\u00e9tiser est une question purement technique.<\/p>\n

Alors, commen\u00e7ons doucement\u2026<\/p>\n

\u00c9nonc\u00e9 du probl\u00e8me.<\/h2>\n

<\/p>\n

Il y a : <\/h3>\n

\nBase de donn\u00e9es PostgreSQL (10.5), de type de charge mixte (OLTP+DSS), de charge moyenne \u00e0 faible, situ\u00e9e dans le cloud AWS.
\nLa surveillance de la base de donn\u00e9es est absente, la surveillance de l'infrastructure est assur\u00e9e par les outils standards d'AWS dans une configuration minimale.<\/p>\n

Exigences :<\/h3>\n

\nSurveiller les performances et l'\u00e9tat de la base de donn\u00e9es, trouver et disposer d'informations initiales pour optimiser les requ\u00eates lourdes \u00e0 la base de donn\u00e9es.
\n<\/a><\/noindex><\/p>\n

Introduction ou analyse des options de solution<\/h2>\n

\nPour commencer, essayons d'examiner les options de solution du point de vue d'une analyse comparative des avantages et des d\u00e9sagr\u00e9ments pour l'ing\u00e9nieur, tandis que les b\u00e9n\u00e9fices et les pertes pour la direction peuvent \u00eatre trait\u00e9s par ceux qui sont responsables selon l'organigramme.<\/p>\n

Option 1 - \u00abTravailler \u00e0 la demande\u00bb<\/h3>\n

\nNous laissons tout comme c'est. Si le client n'est pas satisfait de la performance de la base de donn\u00e9es ou de l'application, il informera les ing\u00e9nieurs DBA par e-mail ou en cr\u00e9ant un incident dans le syst\u00e8me de tickets.
\nL'ing\u00e9nieur, apr\u00e8s avoir re\u00e7u l'alerte, se penchera sur le probl\u00e8me, proposera une solution ou reportera le probl\u00e8me, esp\u00e9rant que tout se r\u00e9soudra de lui-m\u00eame, et de toute fa\u00e7on, tout sera bient\u00f4t oubli\u00e9.
\nG\u00e2teaux et beignets, bleus et bosses<\/b>G\u00e2teaux et beignets :<\/b>
\n1. Il n'est pas n\u00e9cessaire de faire quoi que ce soit de superflu.
\n2. Il y a toujours la possibilit\u00e9 de se d\u00e9filer et de feinter.
\n3. Une montagne de temps que l'on peut utiliser \u00e0 sa guise.
\nBleus et bosses :<\/b>
\n1. T\u00f4t ou tard, le client se posera des questions sur la nature de l'existence et la justice universelle dans ce monde, et se demandera encore : pourquoi paye-t-il de l'argent ? Les cons\u00e9quences sont toujours les m\u00eames \u2014 la seule question est quand le client s'ennuiera et se r\u00e9signera \u00e0 dire au revoir. Et le gagne-pain se videra. C'est triste.
\n2. Le d\u00e9veloppement de l'ing\u00e9nieur \u2014 z\u00e9ro.
\n3. Difficult\u00e9s dans la planification du travail et de la charge. <\/p>\n

Option 2 - \u00abOn danse avec des tambourins, on vend et on chausse.\u00bb<\/h3>\n

\nPoint 1<\/b>-Pourquoi avons-nous besoin d'un syst\u00e8me de surveillance, nous traiterons toutes les demandes. Nous ex\u00e9cutons une multitude de demandes vers le dictionnaire de donn\u00e9es et les vues dynamiques, activons divers compteurs, compilons tout dans des tableaux, et analysons p\u00e9riodiquement les listes et tableaux. En fin de compte, nous avons de beaux graphiques ou pas tr\u00e8s beaux, des tableaux, des rapports. L'essentiel est d'avoir toujours plus.
\nPoint 2<\/b>-Nous g\u00e9n\u00e9rons de l'activit\u00e9 \u2014 nous lan\u00e7ons l'analyse de tout cela.
\nPoint 3<\/b>-Nous pr\u00e9parons un document, que nous appelons simplement \u2014 \u00abcomment organiser notre base de donn\u00e9es\u00bb.
\nPoint 4<\/b>-Le client, voyant toute cette magnificence de graphiques et de chiffres, est dans une na\u00efve confiance enfantine \u2014 voil\u00e0, maintenant tout va fonctionner, bient\u00f4t. Et il se s\u00e9pare facilement et sans douleur de ses ressources financi\u00e8res. La direction est aussi convaincue \u2014 nos ing\u00e9nieurs travaillent d'arrache-pied. La charge est \u00e0 son maximum.
\nPoint 5<\/b>-R\u00e9p\u00e9ter r\u00e9guli\u00e8rement le Point 1.
\nG\u00e2teaux et beignets, bleus et bosses<\/b>G\u00e2teaux et beignets : <\/b>
\n1. La vie des managers et des ing\u00e9nieurs est simple, pr\u00e9visible et pleine d'activit\u00e9. Tout bourdonne, tout le monde est occup\u00e9.
\n2. La vie du client n'est pas mal non plus \u2014 il est toujours s\u00fbr qu'il suffit de patienter un peu et tout se mettra en place. \u00c7a ne s'arrange pas, eh bien, que faire \u2014 c'est un monde injuste, peut-\u00eatre dans une prochaine vie \u2014 il aura de la chance.
\nBleus et bosses :<\/b>
\n1. T\u00f4t ou tard, il y aura un fournisseur plus rapide offrant un service similaire, qui fera la m\u00eame chose, mais \u00e0 un prix l\u00e9g\u00e8rement inf\u00e9rieur. Et si le r\u00e9sultat est le m\u00eame, pourquoi payer plus ? Ce qui, encore une fois, entra\u00eenera la disparition de cette source de revenus.
\n2. C'est ennuyeux. Tout aussi ennuyeux que n'importe quelle activit\u00e9 peu significative.
\n3. Comme dans l'option pr\u00e9c\u00e9dente, il n'y a pas de d\u00e9veloppement. Mais pour un ing\u00e9nieur, un inconv\u00e9nient est que, contrairement \u00e0 la premi\u00e8re option, ici il faut constamment g\u00e9n\u00e9rer des bases de donn\u00e9es d'informations. Et cela prend du temps. Un temps qui pourrait \u00eatre utilis\u00e9 de mani\u00e8re b\u00e9n\u00e9fique pour soi-m\u00eame. Car si on ne prend pas soin de soi, personne ne le fera.<\/p>\n

Option 3 - Il n'est pas n\u00e9cessaire de r\u00e9inventer la roue, il faut l'acheter et rouler.<\/h3>\n

\nLes ing\u00e9nieurs d'autres entreprises ne mangent pas de pizza en buvant de la bi\u00e8re pour rien (ah, les bons vieux temps de Saint-P\u00e9tersbourg des ann\u00e9es 90). Utilisons des syst\u00e8mes de surveillance qui sont d\u00e9j\u00e0 con\u00e7us, test\u00e9s et fonctionnent, et qui apportent en fait un b\u00e9n\u00e9fice (au moins \u00e0 leurs cr\u00e9ateurs).
\nG\u00e2teaux et beignets, bleus et bosses<\/b>G\u00e2teaux et beignets :<\/b>
\n1. Il n'est pas n\u00e9cessaire de perdre du temps \u00e0 cr\u00e9er ce qui a d\u00e9j\u00e0 \u00e9t\u00e9 cr\u00e9\u00e9. Prenez et utilisez.
\n2. Les syst\u00e8mes de surveillance ne sont pas con\u00e7us par des idiots et ils sont bien s\u00fbr utiles.
\n3. Les syst\u00e8mes de surveillance fonctionnels fournissent g\u00e9n\u00e9ralement des informations filtr\u00e9es pertinentes.
\nBleus et bosses :<\/b>
\n1. Dans ce cas particulier, l'ing\u00e9nieur n'est pas un ing\u00e9nieur, mais simplement un utilisateur d'un produit d'autrui. Ou un utilisateur.
\n2. Il faut convaincre le client de la n\u00e9cessit\u00e9 d'acheter quelque chose qu'il ne veut, en r\u00e9alit\u00e9, pas comprendre ni devoir ; et en plus, le budget annuel a \u00e9t\u00e9 approuv\u00e9 et ne changera pas. Ensuite, il faut allouer des ressources distinctes et configurer pour un syst\u00e8me particulier. Donc, d'abord il faut payer, payer et encore payer. Et le client est avare. C'est la norme de cette vie.<\/p>\n

Que faire - Tchernychevski ? Ta question est tout \u00e0 fait pertinente. (c)<\/h2>\n

\nDans ce cas pr\u00e9cis et la situation actuelle, on peut agir un peu diff\u00e9remment \u2014 et pourquoi ne pas cr\u00e9er notre propre syst\u00e8me de surveillance. <\/b>
\n\"Surveillance
\nEh bien, pas vraiment un syst\u00e8me au sens plein du terme, c'est trop ambitieux et pr\u00e9somptueux, mais au moins simplifier la t\u00e2che et recueillir plus d'informations pour r\u00e9soudre les incidents de performance. Afin de ne pas se retrouver dans une situation o\u00f9 il faut dire : \u00ab Va l\u00e0 o\u00f9 je ne sais pas o\u00f9, trouve ce que je ne sais pas quoi \u00bb.<\/p>\n

Quels sont les avantages et les inconv\u00e9nients de cette option :<\/h4>\n

Avantages :<\/b>
\n1. C'est int\u00e9ressant. Enfin, au moins plus int\u00e9ressant que les incessantes \u00ab shrink datafile, alter tablespace, etc. \u00bb
\n2. Ce sont de nouvelles comp\u00e9tences et un nouveau d\u00e9veloppement. Cela donnera t\u00f4t ou tard des r\u00e9compenses bien m\u00e9rit\u00e9es.
\nInconv\u00e9nients :<\/b>
\n1. Il faudra travailler. Travailler beaucoup.
\n2. Il faudra r\u00e9guli\u00e8rement expliquer le sens et les perspectives de toute l'activit\u00e9.
\n3. Il faudra c\u00e9der \u00e0 quelque chose, car la seule ressource dont dispose l'ing\u00e9nieur \u2014 le temps \u2014 est limit\u00e9e par l'univers.
\n4. Ce qui est le plus terrible et le plus d\u00e9sagr\u00e9able<\/b> \u2014 c'est qu'on peut finir par obtenir quelque chose comme \u00ab Ni souriceau, ni grenouille, mais une b\u00eate inconnue \u00bb.<\/p>\n

Qui ne risque rien n'a rien.<\/b>
\nAlors \u2014 le plus int\u00e9ressant commence.<\/p>\n

L'id\u00e9e g\u00e9n\u00e9rale \u2014 sch\u00e9matiquement<\/h2>\n

\n\"Surveillance
\n(L'illustration est tir\u00e9e de l'article<\/i> \u00abLa synth\u00e8se comme l'une des m\u00e9thodes d'am\u00e9lioration de la performance de PostgreSQL<\/a><\/noindex>\u00bb)<\/p>\n

Explication :<\/p>\n