{"id":32353,"date":"2019-10-31T21:46:32","date_gmt":"2019-10-31T18:46:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting\/"},"modified":"2019-10-31T21:46:32","modified_gmt":"2019-10-31T18:46:32","slug":"monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/monitoring-proizvoditelnosti-zaprosov-postgresql-chast-1-reporting","title":{"rendered":"Monitoramento de desempenho de consultas PostgreSQL. Parte 1 - Reportagem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Engenheiro \u2014 em latim \u2014 inspirado.
\nO engenheiro pode tudo. (c) R.Diesel.
\nEp\u00edgrafes.<\/i>
\n\"Monitoramento
\nOu a hist\u00f3ria sobre por que o administrador de banco de dados deve lembrar de seu passado como programador. <\/i><\/p>\n

Pref\u00e1cio<\/h2>\n

\nTodos os nomes foram alterados. Qualquer semelhan\u00e7a \u00e9 mera coincid\u00eancia. O material representa exclusivamente a opini\u00e3o pessoal do autor.<\/p>\n

Isen\u00e7\u00e3o de garantias:<\/b> no planejado ciclo de artigos n\u00e3o haver\u00e1 descri\u00e7\u00e3o detalhada e precisa das tabelas e scripts utilizados. Os materiais n\u00e3o podem ser usados imediatamente \"AS IS\".
\nPrimeiro, devido ao grande volume do material,
\nem segundo lugar, devido \u00e0 adequa\u00e7\u00e3o com a base de produ\u00e7\u00e3o do cliente real.
\nPortanto, nos artigos ser\u00e3o apresentados apenas ideias e descri\u00e7\u00f5es de forma geral.
\nTalvez no futuro o sistema evolua para o n\u00edvel de publica\u00e7\u00e3o no GitHub, ou talvez n\u00e3o. O tempo dir\u00e1.<\/i><\/p><\/blockquote>\n

\nO in\u00edcio da hist\u00f3ria \u2014 \"Voc\u00ea se lembra de como tudo come\u00e7ou<\/a><\/noindex>\u00bb.
\nO que resultou, de maneira geral \u2014 \"S\u00edntese como um dos m\u00e9todos para melhorar o desempenho do PostgreSQL<\/a><\/noindex>\u00bb<\/p>\n

Por que tudo isso para mim?<\/h2>\n

\nBem, primeiro, para n\u00e3o esquecer, relembrando na aposentadoria os gloriosos dias.
\nEm segundo lugar, para sistematizar o que foi escrito. Porque j\u00e1, \u00e0s vezes, come\u00e7o a me confundir e esquecer partes espec\u00edficas. <\/p>\n

E o mais importante \u2014 talvez isso possa ser \u00fatil para algu\u00e9m e ajudar a n\u00e3o reinventar a roda e n\u00e3o pisar em um garfo. Em outras palavras, melhorar seu karma (n\u00e3o o de Habr). Porque a coisa mais valiosa neste mundo s\u00e3o as ideias. O principal \u00e9 encontrar a ideia. E realizar a ideia na realidade j\u00e1 \u00e9 uma quest\u00e3o puramente t\u00e9cnica.<\/p>\n

Ent\u00e3o, vamos come\u00e7ar, devagar...<\/p>\n

Defini\u00e7\u00e3o do problema.<\/h2>\n

<\/p>\n

Temos: <\/h3>\n

\nBanco de dados PostgreSQL (10.5), de carga mista (OLTP+DSS), de m\u00e9dia-baixa carga, situado na nuvem AWS.
\nA monitoriza\u00e7\u00e3o do banco de dados est\u00e1 ausente, a monitoriza\u00e7\u00e3o da infraestrutura \u00e9 feita por meio dos recursos padr\u00e3o da AWS na configura\u00e7\u00e3o m\u00ednima.<\/p>\n

\u00c9 necess\u00e1rio:<\/h3>\n

\nMonitorar o desempenho e o estado do banco de dados, encontrar e ter informa\u00e7\u00f5es iniciais para otimizar consultas pesadas ao BD.
\n<\/a><\/noindex><\/p>\n

Uma breve introdu\u00e7\u00e3o ou an\u00e1lise das op\u00e7\u00f5es de solu\u00e7\u00e3o<\/h2>\n

\nPara come\u00e7ar, vamos tentar analisar as op\u00e7\u00f5es de solu\u00e7\u00e3o do problema do ponto de vista de uma an\u00e1lise comparativa de benef\u00edcios e inconvenientes para o engenheiro, enquanto os benef\u00edcios e preju\u00edzos da gest\u00e3o ficam a cargo de quem \u00e9 respons\u00e1vel de acordo com os quadros.<\/p>\n

Op\u00e7\u00e3o 1 \u2014 \"Trabalhando sob demanda\"<\/h3>\n

\nDeixamos tudo como est\u00e1. Se o cliente n\u00e3o estiver satisfeito com algo na funcionalidade, desempenho do banco de dados ou do aplicativo, ele informar\u00e1 os engenheiros de DBA por e-mail ou criando um incidente no sistema de tickets.
\nO engenheiro, ao receber a notifica\u00e7\u00e3o, vai analisar o problema, sugerir uma solu\u00e7\u00e3o ou adiar a quest\u00e3o, esperando que tudo se resolva por si s\u00f3, e de qualquer forma, tudo logo ser\u00e1 esquecido.
\nBiscoitos e p\u00e3ezinhos, hematomas e incha\u00e7os<\/b>Biscoitos e p\u00e3ezinhos:<\/b>
\n1. N\u00e3o \u00e9 necess\u00e1rio fazer nada em excesso
\n2. Sempre h\u00e1 uma oportunidade de se esquivar e relaxar.
\n3. Um monte de tempo que pode ser gastado \u00e0 vontade.
\nHematomas e incha\u00e7os:<\/b>
\n1. Mais cedo ou mais tarde, o cliente refletir\u00e1 sobre a ess\u00eancia da exist\u00eancia e a justi\u00e7a universal neste mundo e mais uma vez se perguntar\u00e1 - por que estou pagando por isso? A consequ\u00eancia \u00e9 sempre a mesma \u2014 a \u00fanica quest\u00e3o \u00e9 quando o cliente ficar\u00e1 entediado e se despedir\u00e1. E a alimenta\u00e7\u00e3o se esvaziar\u00e1. Isso \u00e9 triste.
\n2. Desenvolvimento do engenheiro \u2014 zero.
\n3. Dificuldades no planejamento do trabalho e carga de servi\u00e7o <\/p>\n

Op\u00e7\u00e3o 2 - 'Dan\u00e7amos com tambores, vendemos e cal\u00e7amos'<\/h3>\n

\nPonto 1<\/b>-Por que precisamos de um sistema de monitoramento? Vamos receber tudo atrav\u00e9s de solicita\u00e7\u00f5es. Executamos um monte de solicita\u00e7\u00f5es para o dicion\u00e1rio de dados e visualiza\u00e7\u00f5es din\u00e2micas, ativamos v\u00e1rios contadores, reunimos tudo em tabelas, periodicamente analisamos listas e tabelas. No resultado, temos gr\u00e1ficos bonitos ou nem t\u00e3o bonitos, tabelas, relat\u00f3rios. O principal \u00e9 ter mais, mais.
\nPonto 2<\/b>-Geramos atividade \u2014 iniciamos a an\u00e1lise de tudo isso.
\nPonto 3<\/b>-Preparar um documento, que chamamos simplesmente de \u2014 'como organizar nosso banco de dados'.
\nPonto 4<\/b>-O cliente, ao ver toda essa maravilha de gr\u00e1ficos e n\u00fameros, fica numa ingenuidade infantil acreditando \u2014 agora sim, tudo vai funcionar em breve. E, de forma f\u00e1cil e indolor, se despede de seus recursos financeiros. A gest\u00e3o tamb\u00e9m est\u00e1 confiante \u2014 os engenheiros est\u00e3o trabalhando duro. Carga no m\u00e1ximo.
\nPonto 5<\/b>-Repetir regularmente o Ponto 1.
\nBiscoitos e p\u00e3ezinhos, hematomas e incha\u00e7os<\/b>Biscoitos e p\u00e3ezinhos: <\/b>
\n1. A vida dos gerentes e engenheiros \u00e9 simples, previs\u00edvel e cheia de atividades. Tudo zumbindo, todos ocupados.
\n2. A vida do cliente tamb\u00e9m n\u00e3o \u00e9 ruim \u2014 ele sempre acredita que precisa apenas esperar um pouco e tudo se resolver\u00e1. N\u00e3o se resolve, bem, o que fazer \u2014 o mundo \u00e9 injusto, na pr\u00f3xima vida \u2014 ter\u00e1 sorte.
\nHematomas e incha\u00e7os:<\/b>
\n1. Tarde ou cedo, surgir\u00e1 um fornecedor mais \u00e1gil oferecendo o mesmo servi\u00e7o, mas um pouco mais barato. E se o resultado for o mesmo, por que pagar mais? Isso, novamente, levar\u00e1 ao desaparecimento da fonte de renda.
\n2. Isto \u00e9 entediante. Assim como qualquer atividade sem sentido.
\n3. Assim como na op\u00e7\u00e3o anterior, n\u00e3o h\u00e1 desenvolvimento algum. Mas para o engenheiro, a desvantagem \u00e9 que, ao contr\u00e1rio da primeira op\u00e7\u00e3o, aqui \u00e9 necess\u00e1rio gerar constantemente a Base de Dados de Invent\u00e1rio. E isso consome tempo, que poderia ser usado para o pr\u00f3prio benef\u00edcio. Afinal, se voc\u00ea n\u00e3o cuidar de si mesmo, ningu\u00e9m se importar\u00e1 com voc\u00ea.<\/p>\n

Op\u00e7\u00e3o 3 - N\u00e3o \u00e9 preciso reinventar a roda, \u00e9 preciso compr\u00e1-la e utilizar.<\/h3>\n

\nEngenheiros de outras empresas n\u00e3o comem pizza com cerveja \u00e0 toa (ah, os gloriosos tempos de S\u00e3o Petersburgo nos anos 90). Vamos usar sistemas de monitoramento que j\u00e1 foram desenvolvidos, ajustados e que funcionam, e que, na verdade, trazem benef\u00edcios (pelo menos para seus criadores).
\nBiscoitos e p\u00e3ezinhos, hematomas e incha\u00e7os<\/b>Biscoitos e p\u00e3ezinhos:<\/b>
\n1. N\u00e3o \u00e9 preciso perder tempo inventando o que j\u00e1 foi inventado. Pegue e use.
\n2. Sistemas de monitoramento n\u00e3o s\u00e3o feitos por tolos e, com certeza, s\u00e3o \u00fateis.
\n3. Sistemas de monitoramento que est\u00e3o em funcionamento geralmente oferecem informa\u00e7\u00f5es \u00fateis e filtradas.
\nHematomas e incha\u00e7os:<\/b>
\n1. O engenheiro, nesse caso, n\u00e3o \u00e9 um engenheiro, mas apenas um usu\u00e1rio de um produto alheio. Ou um usu\u00e1rio.
\n2. \u00c9 preciso convencer o cliente da necessidade de comprar algo que, na verdade, ele n\u00e3o quer entender, nem deve, e o or\u00e7amento do ano j\u00e1 est\u00e1 aprovado e n\u00e3o vai mudar. Depois, \u00e9 necess\u00e1rio alocar um recurso separado e ajustar para um sistema espec\u00edfico. Ou seja, primeiro ter\u00e1 que pagar, pagar e pagar de novo. E o cliente \u00e9 avarento. Essa \u00e9 a norma da vida.<\/p>\n

O que fazer - Turgenev? Sua pergunta \u00e9 bastante pertinente. (c)<\/h2>\n

\nNessa situa\u00e7\u00e3o espec\u00edfica, \u00e9 poss\u00edvel agir de uma forma ligeiramente diferente - vamos fazer nosso pr\u00f3prio sistema de monitoramento. <\/b>
\n\"Monitoramento
\nEmbora n\u00e3o um sistema exatamente, no sentido completo da palavra, isso seria um tanto exagerado e presun\u00e7oso, mas ao menos ser\u00e1 uma forma de facilitar nossa tarefa e coletar mais informa\u00e7\u00f5es para resolver incidentes de desempenho. Para n\u00e3o nos encontrarmos na situa\u00e7\u00e3o - \"v\u00e1 para onde voc\u00ea n\u00e3o sabe, encontre o que n\u00e3o sabe\".<\/p>\n

Quais s\u00e3o os pr\u00f3s e contras dessa op\u00e7\u00e3o:<\/h4>\n

Acesso direto aos sistemas de cabos transpac\u00edficos. Ping m\u00ednimo para a China, Jap\u00e3o, Austr\u00e1lia e costa oeste dos EUA.<\/b>
\n1. Isso \u00e9 interessante. Pelo menos \u00e9 mais interessante do que as constantes \"shrink datafile, alter tablespace, etc.\"
\n2. Estas s\u00e3o novas habilidades e um novo desenvolvimento. O que, a longo prazo, dar\u00e1 as recompensas merecidas.
\nPontos negativos:<\/b>
\n1. Ser\u00e1 necess\u00e1rio trabalhar. Trabalhar muito.
\n2. Ser\u00e1 necess\u00e1rio explicar regularmente o sentido e as perspectivas de toda a atividade.
\n3. Ser\u00e1 preciso abrir m\u00e3o de algo, j\u00e1 que o \u00fanico recurso dispon\u00edvel para o engenheiro \u2014 o tempo \u2014 \u00e9 limitado pelo Universo.
\n4. O mais assustador e desagrad\u00e1vel<\/b> \u2014 \u00e9 que no final pode resultar em algo como 'Nem um ratinho, nem um sapo, mas uma criatura desconhecida'.<\/p>\n

Quem n\u00e3o arrisca, n\u00e3o toma champanhe.<\/b>
\nAssim \u2014 come\u00e7a a parte mais interessante.<\/p>\n

A ideia geral \u2014 esquematicamente<\/h2>\n

\n\"Monitoramento
\n(A ilustra\u00e7\u00e3o foi retirada de um artigo<\/i> \u00abS\u00edntese como um dos m\u00e9todos para melhorar o desempenho do PostgreSQL<\/a><\/noindex>\u00bb)<\/p>\n

Explica\u00e7\u00e3o:<\/p>\n