{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester de grandes e pequenos dados: tend\u00eancias, teoria, minha hist\u00f3ria","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ol\u00e1 a todos, meu nome \u00e9 Alexander e sou engenheiro de Qualidade de Dados, respons\u00e1vel por verificar a qualidade dos dados. Neste artigo, falarei sobre como cheguei a isso e por que, em 2020, essa \u00e1rea de teste se tornou uma grande tend\u00eancia. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Tend\u00eancia Global <\/h2>\n

\nO mundo de hoje est\u00e1 passando por uma nova revolu\u00e7\u00e3o tecnol\u00f3gica, um dos aspectos da qual \u00e9 o uso de dados acumulados por diversas empresas para impulsionar suas vendas, lucros e marketing. Acredita-se que a posse de bons dados (de qualidade), bem como c\u00e9rebros habilidosos que possam transform\u00e1-los em dinheiro (processamento correto, visualiza\u00e7\u00e3o, constru\u00e7\u00e3o de modelos de machine learning, etc.), se tornaram a chave para o sucesso de muitos. Se h\u00e1 15-20 anos a coleta e monetiza\u00e7\u00e3o de dados eram dominadas principalmente por grandes empresas, hoje isso \u00e9 uma preocupa\u00e7\u00e3o de praticamente todas as empresas sensatas. <\/p>\n

Com isso, h\u00e1 alguns anos, todos os portais dedicados \u00e0 busca de empregos em todo o mundo come\u00e7aram a ser inundados com vagas para Data Scientists, pois todos acreditavam que, ao contratar tal especialista, poderiam construir um supermodelo de machine learning, prever o futuro e dar um \"salto qu\u00e2ntico\" para a empresa. Com o tempo, as pessoas perceberam que essa abordagem quase nunca funciona, j\u00e1 que nem todos os dados que chegam a esses especialistas s\u00e3o adequados para o treinamento de modelos. <\/p>\n

E come\u00e7aram as solicita\u00e7\u00f5es dos Cientistas de Dados: \"Vamos comprar mais dados desses e daqueles...\", \"Estamos com falta de dados...\", \"Precisamos de mais alguns dados e de prefer\u00eancia de qualidade...\". Com base nessas solicita\u00e7\u00f5es, v\u00e1rias intera\u00e7\u00f5es come\u00e7aram a se formar entre as empresas que possu\u00edam diferentes conjuntos de dados. Naturalmente, isso exigiu uma organiza\u00e7\u00e3o t\u00e9cnica desse processo \u2014 conectar-se \u00e0 fonte de dados, extrair os dados, verificar se foram carregados na \u00edntegra, etc. O n\u00famero desses processos come\u00e7ou a crescer, e hoje temos uma enorme necessidade de especialistas de outro tipo \u2014 Engenheiros de Qualidade de Dados \u2014 aqueles que monitoram o fluxo de dados no sistema (data pipelines), a qualidade dos dados na entrada e na sa\u00edda, e fazem avalia\u00e7\u00f5es sobre sua sufici\u00eancia, integridade e outras caracter\u00edsticas. <\/p>\n

A tend\u00eancia de engenheiros de Data Quality chegou at\u00e9 n\u00f3s dos Estados Unidos, onde, no auge da era capitalista turbulenta, ningu\u00e9m est\u00e1 disposto a perder a batalha pelos dados. Abaixo, apresento capturas de tela de dois dos sites de busca de empregos mais populares nos Estados Unidos: www.monster.com<\/a><\/noindex> e www.dice.com<\/a><\/noindex> \u2014 nos quais est\u00e3o exibidos os dados referentes ao estado em 17 de mar\u00e7o de 2020 sobre o n\u00famero de vagas dispon\u00edveis, com base nas palavras-chave: Data Quality e Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21.416 vagas
\nData Quality \u2013 41.104 vagas<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 vagas
\nData Quality \u2013 2.020 vagas<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\n\u00c9 evidente que essas profiss\u00f5es de forma alguma competem entre si. As capturas de tela servem apenas para ilustrar a situa\u00e7\u00e3o atual do mercado de trabalho em rela\u00e7\u00e3o \u00e0 demanda por engenheiros de Data Quality, que no momento s\u00e3o muito mais solicitados do que Data Scientists. <\/p>\n

Em junho de 2019, a EPAM, em resposta \u00e0s necessidades do moderno mercado de TI, separou o Data Quality como uma pr\u00e1tica independente. Os engenheiros de Data Quality, em seu dia a dia, gerenciam dados, verificam seu comportamento em novas condi\u00e7\u00f5es e sistemas, e controlam a relev\u00e2ncia, a sufici\u00eancia e a atualidade dos dados. No entanto, em um sentido pr\u00e1tico, os engenheiros de Data Quality dedicam de fato um pouco de tempo aos testes funcionais cl\u00e1ssicos, MAS<\/u> isso depende muito do projeto (um exemplo irei apresentar a seguir). <\/p>\n

As responsabilidades de um engenheiro de Data Quality n\u00e3o se limitam apenas a checagens manuais\/autom\u00e1ticas de rotina sobre \"nulls, contagens e somas\" em tabelas de banco de dados, mas requerem um profundo entendimento das necessidades comerciais do cliente e, consequentemente, a habilidade de transformar os dados dispon\u00edveis em informa\u00e7\u00f5es comerciais \u00fateis. <\/p>\n

Teoria de Data Quality<\/h2>\n

\n\"Tester<\/p>\n

Para podermos imaginar mais claramente o papel de um engenheiro desse tipo, vamos entender o que \u00e9 Data Quality na teoria. <\/p>\n

Data Quality<\/b> \u2014 um dos est\u00e1gios de Data Management (um mundo inteiro que deixaremos para voc\u00ea explorar por conta pr\u00f3pria) e respons\u00e1vel pela an\u00e1lise dos dados de acordo com os seguintes crit\u00e9rios: <\/p>\n

\"Tester
\nAcho que n\u00e3o \u00e9 necess\u00e1rio decifrar cada um dos pontos (que na teoria s\u00e3o chamados de 'data dimensions'), pois est\u00e3o bem descritos na imagem. Mas o pr\u00f3prio processo de teste n\u00e3o implica a c\u00f3pia rigorosa dessas caracter\u00edsticas em casos de teste e sua verifica\u00e7\u00e3o. Na Qualidade de Dados, assim como em qualquer outro tipo de teste, \u00e9 necess\u00e1rio, antes de tudo, partir dos requisitos de qualidade de dados, acordados com os participantes do projeto que tomam decis\u00f5es de neg\u00f3cios. <\/p>\n

<\/p>\n

Dependendo do projeto, o engenheiro de Qualidade de Dados pode desempenhar diferentes fun\u00e7\u00f5es: desde um simples testador automatizado com uma avalia\u00e7\u00e3o superficial da qualidade dos dados at\u00e9 uma pessoa que realiza um profundo perfilamento desses dados com base nas caracter\u00edsticas mencionadas anteriormente. <\/p><\/blockquote>\n

Uma descri\u00e7\u00e3o muito detalhada dos processos de Gest\u00e3o de Dados, Qualidade de Dados e afins est\u00e1 bem descrita no livro intitulado \u2018DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u2019<\/i>. Recomendo muito este livro como uma introdu\u00e7\u00e3o a este tema (voc\u00ea encontrar\u00e1 o link no final do artigo).<\/p>\n

Minha hist\u00f3ria<\/h2>\n

\nNa ind\u00fastria de TI, passei de testador Junior em empresas de produtos at\u00e9 Engenheiro de Qualidade de Dados Lead na EPAM. J\u00e1 ap\u00f3s cerca de dois anos trabalhando como testador, tive a firme convic\u00e7\u00e3o de que fazia todos os tipos de testes: regress\u00e3o, funcional, estresse, estabilidade, seguran\u00e7a, UI, entre outros \u2014 e experimentei uma grande quantidade de ferramentas de teste, trabalhando em tr\u00eas linguagens de programa\u00e7\u00e3o: Java, Scala, Python. <\/p>\n

<\/p>\n

Olhando para tr\u00e1s, entendo por que meu conjunto de habilidades profissionais se tornou t\u00e3o diversificado \u2014 participei de projetos relacionados ao trabalho com dados, grandes e pequenos. Isso me levou a um mundo de in\u00fameras ferramentas e oportunidades de crescimento.<\/p><\/blockquote>\n

Para avaliar a diversidade de ferramentas e oportunidades de adquirir novos conhecimentos e habilidades, basta dar uma olhada na imagem abaixo, que mostra as mais populares no mundo de 'Data & AI'.<\/p>\n

\"Tester
\nEste tipo de ilustra\u00e7\u00e3o \u00e9 criada anualmente por um dos conhecidos capitalistas de risco, Matt Turck, que vem da \u00e1rea de desenvolvimento de software. Aqui est\u00e1 link<\/a><\/noindex> o link para o blog dele e a firma de capital de risco<\/a><\/noindex>, onde ele atua como parceiro. <\/p>\n

Cresci profissionalmente especialmente r\u00e1pido quando fui o \u00fanico testador no projeto, ou pelo menos no in\u00edcio do projeto. \u00c9 exatamente nesse momento que voc\u00ea assume a responsabilidade por todo o processo de teste, e n\u00e3o tem a op\u00e7\u00e3o de recuar, apenas seguir em frente. No come\u00e7o, isso era intimidante, mas agora vejo claramente todas as vantagens desse desafio: <\/p>\n