{"id":34083,"date":"2019-10-31T21:56:19","date_gmt":"2019-10-31T18:56:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\/"},"modified":"2019-10-31T21:56:19","modified_gmt":"2019-10-31T18:56:19","slug":"kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","title":{"rendered":"Quem s\u00e3o os engenheiros de dados e como se tornam um?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>E mais uma vez ol\u00e1! O t\u00edtulo do artigo fala por si. \u00c0s v\u00e9speras do in\u00edcio do curso <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/a4Uj\/\">\u00abEngenheiro de Dados\u00bb<\/a><\/noindex> vamos explorar quem s\u00e3o realmente os engenheiros de dados. O artigo cont\u00e9m muitos links \u00fateis. Boa leitura.<\/p>\n<p><img decoding=\"async\" alt=\"Quem s\u00e3o os engenheiros de dados e como se tornam um?\" src=\"\/wp-content\/uploads\/2019\/05\/5f831df35ab1292adafca20f937ed22d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>Um guia simples sobre como surfar na onda da Engenharia de Dados e n\u00e3o ser arrastado para o fundo.<\/i><\/p>\n<p>A impress\u00e3o que se tem \u00e9 que hoje em dia todos querem se tornar cientistas de dados (Data Scientists). Mas e quanto \u00e0 Engenharia de Dados? <i>Em ess\u00eancia, \u00e9 uma esp\u00e9cie de hibridiza\u00e7\u00e3o entre analistas de dados e cientistas de dados; o engenheiro de dados geralmente \u00e9 respons\u00e1vel por gerenciar fluxos de trabalho, pipelines de processamento e processos ETL.<\/i>Devido \u00e0 import\u00e2ncia dessas fun\u00e7\u00f5es, atualmente esse \u00e9 mais um jarg\u00e3o profissional popular que continua a ganhar destaque.<\/p>\n<p>Altos sal\u00e1rios e enorme demanda s\u00e3o apenas uma parte do que torna esse trabalho extremamente atraente! Se voc\u00ea quer se juntar aos her\u00f3is, nunca \u00e9 tarde para come\u00e7ar a aprender. Neste post, reuni todas as informa\u00e7\u00f5es necess\u00e1rias para ajud\u00e1-lo a dar os primeiros passos.<\/p>\n<p>Ent\u00e3o, vamos come\u00e7ar!<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><b>O que \u00e9 Engenharia de Dados?<\/b><\/p>\n<p>Para ser sincero, n\u00e3o h\u00e1 explica\u00e7\u00e3o melhor do que esta:<\/p>\n<blockquote><p><i>\"Um cientista pode descobrir uma nova estrela, mas n\u00e3o pode cri\u00e1-la. Ele ter\u00e1 que pedir a um engenheiro para fazer isso por ele.\"<\/i><\/p>\n<p>\u2013 Gordon Lindsay Glegg<\/p><\/blockquote>\n<p>Assim, o papel do engenheiro de dados \u00e9 bastante significativo.<\/p>\n<p>Como o nome sugere, a engenharia de dados est\u00e1 relacionada a dados, especificamente \u00e0 sua entrega, armazenamento e processamento. Consequentemente, a principal tarefa dos engenheiros \u00e9 garantir uma infraestrutura confi\u00e1vel para os dados. Se olharmos para a hierarquia de necessidades da IA, a engenharia de dados ocupa os primeiros 2-3 est\u00e1gios: <b>coleta, movimenta\u00e7\u00e3o e armazenamento, prepara\u00e7\u00e3o de dados<\/b>.<\/p>\n<p><img decoding=\"async\" alt=\"Quem s\u00e3o os engenheiros de dados e como se tornam um?\" src=\"\/wp-content\/uploads\/2019\/05\/377481f2f52a4ed771508a450678afd0.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<b>O que faz um engenheiro de dados?<\/b><\/p>\n<p>Com o surgimento de grandes dados, a \u00e1rea de responsabilidade mudou drasticamente. Se antes esses especialistas escreviam grandes consultas SQL e transferiam dados usando ferramentas como Informatica ETL, Pentaho ETL, Talend, agora as exig\u00eancias para engenheiros de dados aumentaram.<\/p>\n<p>A maioria das empresas com vagas abertas para a posi\u00e7\u00e3o de engenheiro de dados exige os seguintes requisitos:<\/p>\n<ul>\n<li>Excelente conhecimento de SQL e Python.<\/li>\n<li>Experi\u00eancia com plataformas de nuvem, especialmente Amazon Web Services.<\/li>\n<li>Conhecimento preferencial de Java\/Scala.<\/li>\n<li>Uma boa compreens\u00e3o de bancos de dados SQL e NoSQL (modelagem de dados, armazenamento de dados).<\/li>\n<\/ul>\n<p>Tenha em mente que isso \u00e9 apenas o essencial. A partir desta lista, pode-se inferir que os engenheiros de dados s\u00e3o especialistas em desenvolvimento de software e backend.<br \/>\nPor exemplo, se uma empresa come\u00e7a a gerar um grande volume de dados de diferentes fontes, sua tarefa como engenheiro de dados \u00e9 organizar a coleta de informa\u00e7\u00f5es, seu processamento e armazenamento.<\/p>\n<p>A lista de ferramentas usadas nesse caso pode variar; tudo depende do volume desses dados, da velocidade de sua entrada e da heterogeneidade. A maioria das empresas, na verdade, n\u00e3o lida com big data, portanto, como um reposit\u00f3rio centralizado, o chamado data warehouse pode usar um banco de dados SQL (PostgreSQL, MySQL, etc.) com um pequeno conjunto de scripts que direcionam os dados para o armazenamento.<\/p>\n<p>Gigantes de TI como Google, Amazon, Facebook ou Dropbox t\u00eam requisitos mais elevados: conhecimento em Python, Java ou Scala.<\/p>\n<ul>\n<li>Experi\u00eancia com big data: Hadoop, Spark, Kafka.<\/li>\n<li>Conhecimento de algoritmos e estruturas de dados.<\/li>\n<li>Compreens\u00e3o dos fundamentos de sistemas distribu\u00eddos.<\/li>\n<li>Experi\u00eancia com ferramentas de visualiza\u00e7\u00e3o de dados, como Tableau ou ElasticSearch, ser\u00e1 um grande diferencial.<\/li>\n<\/ul>\n<p>Ou seja, h\u00e1 um claro desvio em dire\u00e7\u00e3o ao big data, especialmente em seu processamento sob alta carga. Essas empresas t\u00eam requisitos elevados para a resili\u00eancia do sistema.<\/p>\n<p><b>Engenheiros de dados vs. cientistas de dados<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Quem s\u00e3o os engenheiros de dados e como se tornam um?\" src=\"\/wp-content\/uploads\/2019\/05\/f01dd66863fcc0a89ab0b763d208a863.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Ok, essa foi uma compara\u00e7\u00e3o simples e divertida (nada pessoal), mas na verdade tudo \u00e9 muito mais complexo.<\/i><\/p>\n<p>Primeiro, voc\u00ea deve saber que existe uma quantidade significativa de incerteza na defini\u00e7\u00e3o dos pap\u00e9is e habilidades de um cientista de dados e de um engenheiro de dados. Ou seja, voc\u00ea pode ficar facilmente confuso sobre quais habilidades s\u00e3o realmente necess\u00e1rias para um engenheiro de dados bem-sucedido. Claro, h\u00e1 certas habilidades que se sobrep\u00f5em a ambos os pap\u00e9is. Mas tamb\u00e9m existe uma s\u00e9rie de habilidades diametralmente opostas.<\/p>\n<p>A ci\u00eancia de dados \u00e9 um assunto s\u00e9rio, mas estamos caminhando para um mundo de ci\u00eancia de dados funcional, onde os praticantes s\u00e3o capazes de fazer sua pr\u00f3pria an\u00e1lise. Para envolver pipelines de dados e estruturas de dados integradas, voc\u00ea precisa de engenheiros de dados, n\u00e3o de cientistas.<\/p>\n<p><b>Um engenheiro de dados \u00e9 mais procurado do que um cientista de dados?<\/b><\/p>\n<blockquote><p><i> \u2014 Sim, porque antes de voc\u00ea poder fazer um bolo de cenoura, voc\u00ea precisa primeiro coletar, limpar e estocar as cenouras!<\/i><\/p><\/blockquote>\n<p>Um engenheiro de dados entende de programa\u00e7\u00e3o melhor do que qualquer cientista de dados, mas quando se trata de estat\u00edsticas, \u00e9 exatamente o oposto.<\/p>\n<p>Mas aqui est\u00e1 a vantagem do engenheiro de dados:<\/p>\n<p>sem ele\/ela, o valor de um modelo-prot\u00f3tipo, que frequentemente consiste em um fragmento de c\u00f3digo de p\u00e9ssima qualidade em um arquivo Python, fornecido por um cientista de dados e que de alguma forma gera resultados, tende a se aproximar de zero.<\/p>\n<p>Sem um engenheiro de dados, esse c\u00f3digo nunca se tornar\u00e1 um projeto, e nenhum problema de neg\u00f3cios ser\u00e1 resolvido de forma eficaz. O engenheiro de dados tenta transformar tudo isso em um produto.<\/p>\n<p><b>Conceitos b\u00e1sicos que um engenheiro de dados deve saber<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Quem s\u00e3o os engenheiros de dados e como se tornam um?\" src=\"\/wp-content\/uploads\/2019\/05\/f724004e5a30a0c021c4377d66985d16.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEnt\u00e3o, se este trabalho desperta sua luz e voc\u00ea est\u00e1 cheio de entusiasmo \u2014 voc\u00ea \u00e9 capaz de aprender isso, pode dominar todas as habilidades necess\u00e1rias e se tornar uma verdadeira estrela do rock na \u00e1rea de desenvolvimento de dados. E sim, voc\u00ea pode fazer isso mesmo sem habilidades de programa\u00e7\u00e3o ou outros conhecimentos t\u00e9cnicos. \u00c9 dif\u00edcil, mas poss\u00edvel!<\/p>\n<p><b>Quais s\u00e3o os primeiros passos?<\/b><\/p>\n<blockquote><p><i>Voc\u00ea deve ter uma vis\u00e3o geral de como as coisas funcionam.<\/i><\/p><\/blockquote>\n<p>Em primeiro lugar, Engenharia de Dados refere-se \u00e0 Ci\u00eancia da Computa\u00e7\u00e3o. Especificamente \u2014 voc\u00ea precisa entender algoritmos eficientes e estruturas de dados. Em segundo lugar, j\u00e1 que os engenheiros de dados trabalham com dados, \u00e9 necess\u00e1rio entender os princ\u00edpios de funcionamento de bancos de dados e as estruturas subjacentes.<\/p>\n<p>Por exemplo, bancos de dados SQL comuns baseados em B-tree t\u00eam como base a estrutura de dados B-Tree, assim como, em reposit\u00f3rios distribu\u00eddos modernos, LSM-Tree e outras modifica\u00e7\u00f5es de tabelas hash.<\/p>\n<p><i>* Esses passos s\u00e3o baseados em um artigo incr\u00edvel <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@adil_45422\">Adil Khashtamov<\/a><\/noindex>. Portanto, se voc\u00ea fala russo, apoie este autor e leia <noindex><a rel=\"nofollow\" href=\"https:\/\/khashtamov.com\/ru\/data-engineer\/\">seu post<\/a><\/noindex>.<\/i><\/p>\n<p><b>1. Algoritmos e estruturas de dados<\/b><\/p>\n<p>Usar a estrutura de dados correta pode melhorar significativamente o desempenho do algoritmo. Idealmente, todos n\u00f3s dever\u00edamos estudar estruturas de dados e algoritmos em nossas escolas, mas isso raramente \u00e9 abordado. De qualquer forma, nunca \u00e9 tarde para se familiarizar.<br \/>\nEnt\u00e3o, aqui est\u00e3o meus cursos gratuitos favoritos para aprender estruturas de dados e algoritmos:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.udemy.com\/introduction-to-data-structures\/?ranMID=39197&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-fcVI3mDcwPC4Q5dpzDABSg&amp;LSNPUBID=JVFxdTr9V80\">Do simples ao complexo: Estruturas de Dados (Udemy)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part1?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;siteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmos, Parte I (Coursera)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part2?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;siteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmos, Parte II (Coursera)<\/a><\/noindex>\n <\/li>\n<\/ul>\n<p>Al\u00e9m disso, n\u00e3o se esque\u00e7a do trabalho cl\u00e1ssico sobre algoritmos de Thomas Cormen \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0262033844\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0262033844&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=74742875db503b1a899ca35159749067\">Introdu\u00e7\u00e3o a algoritmos<\/a><\/noindex>. \u00c9 o guia perfeito quando voc\u00ea precisa refrescar sua mem\u00f3ria.<\/p>\n<ul>\n<li>Para aprimorar suas habilidades, utilize <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/algorithms\/\">Leetcode<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>Voc\u00ea tamb\u00e9m pode mergulhar no mundo de bancos de dados com v\u00eddeos incr\u00edveis da Universidade Carnegie Mellon no Youtube:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXjYutVzTeAds8xUt1rcmyT7x\">Introdu\u00e7\u00e3o a sistemas de bancos de dados<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXja7K1hjZ01UTVDnGQdx5v5U\">Sistemas avan\u00e7ados de bancos de dados<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>2. Aprendendo SQL<\/b><\/p>\n<p>Toda a nossa vida s\u00e3o dados. E para extrair esses dados de um banco de dados, voc\u00ea precisa 'conversar' com eles em uma mesma l\u00edngua.<\/p>\n<p>SQL (Structured Query Language \u2014 Linguagem de Consulta Estruturada) \u00e9 a linguagem de comunica\u00e7\u00e3o na \u00e1rea de dados. N\u00e3o importa o que algu\u00e9m diga, SQL nasceu, vive e viver\u00e1 por muito tempo.<\/p>\n<p>Se voc\u00ea est\u00e1 h\u00e1 muito tempo na \u00e1rea de desenvolvimento, provavelmente percebeu que rumores sobre a morte iminente do SQL aparecem periodicamente. A linguagem foi desenvolvida no in\u00edcio dos anos 70 e ainda \u00e9 extremamente popular entre analistas, desenvolvedores e apenas entusiastas.<br \/>\nSem conhecimento de SQL na engenharia de dados, voc\u00ea n\u00e3o far\u00e1 nada, pois inevitavelmente ter\u00e1 que criar consultas para extrair dados. Todos os modernos reposit\u00f3rios de grandes dados suportam SQL:<\/p>\n<ul>\n<li>Amazon Redshift<\/li>\n<li>HP Vertica<\/li>\n<li>Oracle<\/li>\n<li>SQL Server<\/li>\n<\/ul>\n<p>\u2026 e muitos outros.<\/p>\n<p>Para analisar grandes volumes de dados armazenados em sistemas distribu\u00eddos, como o HDFS, foram inventados mecanismos SQL: Apache Hive, Impala, etc. Veja, ele n\u00e3o vai a lugar algum.<\/p>\n<p>Como aprender SQL? Simples, pratique.<\/p>\n<p>Para isso, eu recomendaria o excelente guia, que por sinal \u00e9 gratuito, de <noindex><a rel=\"nofollow\" href=\"https:\/\/mode.com\/sql-tutorial\/introduction-to-sql\/\">Mode Analytics<\/a><\/noindex>.<\/p>\n<ol>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/intermediate-sql\/\">N\u00edvel intermedi\u00e1rio de SQL<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/joining-data-in-postgresql\">Uni\u00e3o de dados em SQL<\/a><\/noindex><\/li>\n<\/ol>\n<p>Um diferencial desses cursos \u00e9 a presen\u00e7a de um ambiente interativo, onde voc\u00ea pode escrever e executar consultas SQL diretamente no navegador. O recurso <noindex><a rel=\"nofollow\" href=\"https:\/\/modern-sql.com\/\">Modern SQL<\/a><\/noindex> n\u00e3o ser\u00e1 demais. E voc\u00ea pode aplicar esses conhecimentos em <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/database\/\">tarefas do Leetcode<\/a><\/noindex> na se\u00e7\u00e3o de Bancos de Dados.<\/p>\n<p><b>3. Programa\u00e7\u00e3o em Python e Java\/Scala<\/b><\/p>\n<p>Por que estudar a linguagem de programa\u00e7\u00e3o Python, j\u00e1 escrevi no artigo <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/datadriveninvestor\/python-vs-r-choosing-the-best-tool-for-ai-ml-data-science-7e0c2295e243\">Python vs R. Escolhendo a melhor ferramenta para AI, ML e Data Science<\/a><\/noindex>. Quanto a Java e Scala, a maioria das ferramentas para armazenamento e processamento de grandes volumes de dados \u00e9 escrita nessas linguagens. Por exemplo:<\/p>\n<ul>\n<li>Apache Kafka (Scala)<\/li>\n<li>Hadoop, HDFS (Java)<\/li>\n<li>Apache Spark (Scala)<\/li>\n<li>Apache Cassandra (Java)<\/li>\n<li>HBase (Java)<\/li>\n<li>Apache Hive (Java)<\/li>\n<\/ul>\n<p>Para entender como essas ferramentas funcionam, voc\u00ea precisa conhecer as linguagens nas quais foram escritas. A abordagem funcional do Scala permite resolver de maneira eficaz tarefas de processamento paralelo de dados. Python, infelizmente, n\u00e3o pode se gabar de velocidade e processamento paralelo. De modo geral, o conhecimento de v\u00e1rias linguagens e paradigmas de programa\u00e7\u00e3o influencia positivamente a amplitude de abordagens para resolver problemas.<\/p>\n<p>Para se aprofundar na linguagem Scala, voc\u00ea pode ler <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0981531687\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0981531687&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=69314619f1e546e3921eb97c72cf4850\">Programa\u00e7\u00e3o em Scala<\/a><\/noindex> do autor da linguagem. Al\u00e9m disso, a empresa Twitter publicou um bom guia introdut\u00f3rio \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/twitter.github.io\/scala_school\/\">Scala School<\/a><\/noindex>.<\/p>\n<p>No que diz respeito ao Python, eu considero <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491946008\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491946008&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=8a663e966770c24874e323133cc7a005\">Fluent Python<\/a><\/noindex> o melhor livro de n\u00edvel intermedi\u00e1rio.<\/p>\n<p><b>4. Ferramentas para trabalhar com grandes dados<\/b><\/p>\n<p>Aqui est\u00e1 uma lista das ferramentas mais populares no mundo dos grandes dados:<\/p>\n<ul>\n<li>Apache Spark<\/li>\n<li>Apache Kafka<\/li>\n<li>Apache Hadoop (HDFS, HBase, Hive)<\/li>\n<li>Apache Cassandra<\/li>\n<\/ul>\n<p>Mais informa\u00e7\u00f5es sobre a constru\u00e7\u00e3o de grandes blocos de dados podem ser encontradas neste incr\u00edvel <noindex><a rel=\"nofollow\" href=\"http:\/\/xyz.insightdataengineering.com\/blog\/pipeline_map\/\">ambiente interativo<\/a><\/noindex>. As ferramentas mais populares s\u00e3o Spark e Kafka. Definitivamente vale a pena estud\u00e1-las, e \u00e9 recomend\u00e1vel entender como funcionam internamente. Jay Kreps (co-autor do Kafka) publicou em 2013 uma obra monumental <noindex><a rel=\"nofollow\" href=\"https:\/\/engineering.linkedin.com\/distributed-systems\/log-what-every-software-engineer-should-know-about-real-time-datas-unifying\">The Log: O que todo desenvolvedor de software deve saber sobre a abstra\u00e7\u00e3o de agrega\u00e7\u00e3o de dados em tempo real<\/a><\/noindex>, a prop\u00f3sito, as ideias principais deste Talmud foram usadas para criar o Apache Kafka.<\/p>\n<ul>\n<li>Uma introdu\u00e7\u00e3o ao Hadoop pode ser <noindex><a rel=\"nofollow\" href=\"https:\/\/data-flair.training\/blogs\/hadoop-tutorials-home\/\">O guia completo para aprender Hadoop (gratuito)<\/a><\/noindex>.<\/li>\n<li>O guia mais completo sobre Apache Spark para mim \u00e9 \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491912219\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491912219&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=5b206424060cfc80a33d13b05c0bfee2\">Spark: guia completo<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>5. Plataformas de nuvem<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Quem s\u00e3o os engenheiros de dados e como se tornam um?\" src=\"\/wp-content\/uploads\/2019\/05\/cc435bc9f9b91ec87d1cf7a591cf84a2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nO conhecimento de pelo menos uma plataforma de nuvem est\u00e1 na lista de requisitos b\u00e1sicos para candidatos a engenheiro de dados. Os empregadores preferem o Amazon Web Services, em segundo lugar est\u00e1 a plataforma de nuvem do Google, e em terceiro lugar, o Microsoft Azure.<\/p>\n<p>Voc\u00ea deve ter uma boa familiaridade com Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.<\/p>\n<p><b>6. Sistemas distribu\u00eddos<\/b><\/p>\n<p>Trabalhar com grandes dados implica a exist\u00eancia de clusters de computadores que operam de forma independente, com comunica\u00e7\u00e3o entre eles sendo feita atrav\u00e9s de rede. Quanto maior o cluster, maior a probabilidade de falha de seus n\u00f3s membros. Para se tornar um especialista em dados, \u00e9 necess\u00e1rio entender os problemas e as solu\u00e7\u00f5es existentes para sistemas distribu\u00eddos. Esta \u00e1rea \u00e9 antiga e complexa.<\/p>\n<p>Andrew Tanenbaum \u00e9 considerado um pioneiro nesta \u00e1rea. Para aqueles que n\u00e3o t\u00eam medo da teoria, recomendo seu livro <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1543057381\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1543057381&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=721aedeb23c313bc46a92c134c5baafa\">\u00abSistemas Distribu\u00eddos\u00bb<\/a><\/noindex>, para iniciantes pode parecer dif\u00edcil, mas realmente ajudar\u00e1 a aprimorar suas habilidades.<\/p>\n<p>Eu considero <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1449373321\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1449373321&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=e7e0e096aa5761066245eb90965ac849\">\u00abProjeto de Aplica\u00e7\u00f5es com Uso Intensivo de Dados\u00bb de Martin Kleppmann<\/a><\/noindex> o melhor livro introdut\u00f3rio. Ali\u00e1s, Martin tem um \u00f3timo <noindex><a rel=\"nofollow\" href=\"https:\/\/martin.kleppmann.com\/\">blog<\/a><\/noindex>. Seu trabalho ajudar\u00e1 a sistematizar o conhecimento sobre como construir a infraestrutura moderna para armazenamento e processamento de grandes volumes de dados.<br \/>\nPara aqueles que gostam de assistir a v\u00eddeos, h\u00e1 um curso no Youtube <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=w8KFPWkK0bI&amp;list=PLawkBQ15NDEkDJ5IyLIJUTZ1rRM9YQq6N&amp;index=2&amp;t=0s\">Sistemas Computacionais Distribu\u00eddos<\/a><\/noindex>.<\/p>\n<p><b>7. Pipelines de Dados<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Quem s\u00e3o os engenheiros de dados e como se tornam um?\" src=\"\/wp-content\/uploads\/2019\/05\/cf1c8e2baad0cc79c0b8c3707741353a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPipelines de dados s\u00e3o algo sem o qual voc\u00ea n\u00e3o pode viver como engenheiro de dados.<\/p>\n<p>A maior parte do tempo, o engenheiro de dados constr\u00f3i o chamado pipeline de dados, ou seja, cria um processo para transportar dados de um lugar para outro. Isso pode envolver cen\u00e1rios de usu\u00e1rios que v\u00e3o para APIs de servi\u00e7os externos ou fazem consultas SQL, complementam os dados e os colocam em um armaz\u00e9m centralizado (data warehouse) ou em um reposit\u00f3rio de dados n\u00e3o estruturados (data lake).<\/p>\n<p><b>Em resumo: a lista de verifica\u00e7\u00e3o principal para um engenheiro de dados<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Quem s\u00e3o os engenheiros de dados e como se tornam um?\" src=\"\/wp-content\/uploads\/2019\/05\/de0eca662b2246e63901afb89c9f255f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPara resumir, \u00e9 necess\u00e1rio ter uma boa compreens\u00e3o do seguinte:<\/p>\n<ul>\n<li>Sistemas de Informa\u00e7\u00e3o;<\/li>\n<li>Desenvolvimento de Software (Agile, DevOps, T\u00e9cnicas de Design, SOA);<\/li>\n<li>Sistemas Distribu\u00eddos e Programa\u00e7\u00e3o Paralela;<\/li>\n<li>Fundamentos de Bancos de Dados \u2014 planejamento, design, opera\u00e7\u00e3o e solu\u00e7\u00e3o de problemas;<\/li>\n<li>Projeto de Experimentos \u2014 testes A\/B para valida\u00e7\u00e3o de conceitos, determina\u00e7\u00e3o da confiabilidade, desempenho dos sistemas, al\u00e9m de desenvolver caminhos robustos para fornecer boas solu\u00e7\u00f5es oportunamente.<\/li>\n<\/ul>\n<p>Esses s\u00e3o apenas alguns requisitos para se tornar um engenheiro de dados, ent\u00e3o estude e familiarize-se com sistemas de dados, sistemas de informa\u00e7\u00e3o, entrega cont\u00ednua\/implementa\u00e7\u00e3o\/integra\u00e7\u00e3o, linguagens de programa\u00e7\u00e3o e outros t\u00f3picos de ci\u00eancia da computa\u00e7\u00e3o (nem em todas as \u00e1reas de assunto).<\/p>\n<p><b>E, por fim, algo muito importante que eu quero dizer.<\/b><\/p>\n<blockquote><p><i><b>O caminho para se tornar um Engenheiro de Dados n\u00e3o \u00e9 t\u00e3o simples quanto parece. Ele n\u00e3o perdoa, frustra e voc\u00ea deve estar preparado para isso. Alguns momentos nesta jornada podem fazer voc\u00ea querer desistir. Mas \u00e9 um verdadeiro esfor\u00e7o e um processo de aprendizado.<\/b><\/i><\/p><\/blockquote>\n<p>Apenas n\u00e3o o embeleze desde o in\u00edcio. O essencial da jornada \u00e9 aprender o m\u00e1ximo poss\u00edvel e estar preparado para novos desafios.<br \/>\nAqui est\u00e1 uma \u00f3tima imagem que encontrei, que ilustra bem esse ponto:<\/p>\n<p><img decoding=\"async\" alt=\"Quem s\u00e3o os engenheiros de dados e como se tornam um?\" src=\"\/wp-content\/uploads\/2019\/05\/9cc8db9011e5f54717d7e9f31f915523.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nE sim, n\u00e3o se esque\u00e7a de evitar o burnout e descansar. Isso tamb\u00e9m \u00e9 muito importante. Boa sorte!<\/p>\n<p>O que voc\u00ea achou do artigo, amigos? Convidamos voc\u00ea para um <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/RCuj\/\">webinar gratuito<\/a><\/noindex>, que acontecer\u00e1 ainda hoje \u00e0s 20h. Durante o webinar, discutiremos como construir um sistema de processamento de dados eficaz e escal\u00e1vel para uma pequena empresa ou startup com o m\u00ednimo de gastos. Como pr\u00e1tica, conheceremos as ferramentas de processamento de dados do Google Cloud. At\u00e9 l\u00e1!<br \/>\n<br \/>Fonte: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/452670\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0442\u043e \u0436\u0435 \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a. \u041f\u0440\u0438\u044f\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0432\u043e\u043b\u043d\u0443 Data Engineering \u0438 \u043d\u0435 \u0434\u0430\u0442\u044c \u0435\u0439 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u0432\u0430\u0441 \u0432 \u043f\u0443\u0447\u0438\u043d\u0443. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0432 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25729,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34083","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"pt_PT\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Quem s\u00e3o os engenheiros de dados e como se tornam um? | ProHoster","description":"E mais uma vez, ol\u00e1! O t\u00edtulo do artigo diz por si s\u00f3.","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster","og:description":"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.","og:url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:56:19+00:00","article:modified_time":"2019-10-31T18:56:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34083","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:49:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:28:35","updated":"2026-01-21 17:49:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/34083","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=34083"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/34083\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media\/25729"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=34083"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=34083"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=34083"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}