{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Precisamos de um lago de dados? E o que fazer com um armaz\u00e9m de dados?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Este artigo \u00e9 uma tradu\u00e7\u00e3o do meu artigo no medium \u2014 Introdu\u00e7\u00e3o ao Lago de Dados<\/a><\/noindex>, que acabou se tornando bastante popular, provavelmente devido \u00e0 sua simplicidade. Portanto, resolvi escrev\u00ea-lo em russo e acrescentar um pouco para que uma pessoa comum, que n\u00e3o \u00e9 especialista em dados, entendesse o que \u00e9 um armaz\u00e9m de dados (DW), o que \u00e9 um lago de dados (Data Lake) e como eles coexistem. <\/p>\n

Por que quis escrever sobre lago de dados? Trabalho com dados e an\u00e1lise h\u00e1 mais de 10 anos, e atualmente estou trabalhando com big data na Amazon Alexa AI em Cambridge, que fica perto de Boston, embora eu more em Victoria, na ilha de Vancouver, e frequentemente esteja em Boston, Seattle e Vancouver, e \u00e0s vezes at\u00e9 em Moscovo, onde falo em confer\u00eancias. Tamb\u00e9m escrevo de vez em quando, mas principalmente em ingl\u00eas, e j\u00e1 escrevi v\u00e1rios livros<\/a><\/noindex>, al\u00e9m de sentir a necessidade de compartilhar tend\u00eancias de an\u00e1lise da Am\u00e9rica do Norte, e \u00e0s vezes escrevo no Telegram<\/a><\/noindex>.<\/p>\n

Sempre trabalhei com armaz\u00e9ns de dados, e desde 2015 comecei a trabalhar intensamente com Amazon Web Services, e de modo geral, passei para a an\u00e1lise em nuvem (AWS, Azure, GCP). Observei a evolu\u00e7\u00e3o das solu\u00e7\u00f5es de an\u00e1lise desde 2007 e at\u00e9 trabalhei em um fornecedor de armaz\u00e9ns de dados, a Teradata, implementando-a no Sberbank, foi nesse momento que surgiu o Big Data com Hadoop. Todos come\u00e7aram a dizer que a era dos armaz\u00e9ns havia acabado e agora tudo era sobre Hadoop, e depois come\u00e7aram a falar sobre Data Lake, novamente afirmando que o armaz\u00e9m de dados realmente chegara ao fim. Mas, felizmente (ou talvez infelizes para aqueles que ganhavam muito dinheiro configurando Hadoop), o armaz\u00e9m de dados n\u00e3o desapareceu.
\n<\/a><\/noindex>
\nNeste artigo, vamos explorar o que \u00e9 um lago de dados. O artigo \u00e9 destinado a pessoas com pouca ou nenhuma experi\u00eancia com armaz\u00e9ns de dados.<\/p>\n

\"Precisamos
\n
\nNa imagem est\u00e1 o lago Bled, um dos meus lagos favoritos, embora eu tenha estado l\u00e1 apenas uma vez, mas me lembro dele para a vida toda. Mas vamos falar sobre outro tipo de lago \u2014 o lago de dados. Talvez muitos de voc\u00eas j\u00e1 tenham ouvido esse termo v\u00e1rias vezes, mas mais uma defini\u00e7\u00e3o n\u00e3o far\u00e1 mal a ningu\u00e9m.<\/p>\n

Antes de tudo, aqui est\u00e3o as defini\u00e7\u00f5es mais populares de Lago de Dados:<\/p>\n

\u00abum reposit\u00f3rio de arquivos de todos os tipos de dados brutos, que est\u00e3o dispon\u00edveis para an\u00e1lise por qualquer pessoa na organiza\u00e7\u00e3o\u00bb \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u00abSe voc\u00ea pensa que um data lake \u00e9 como uma garrafa de \u00e1gua \u2014 purificada, envasada e embalada para consumo conveniente, ent\u00e3o um data lake \u00e9 um enorme reservat\u00f3rio de \u00e1gua em seu estado natural. Os usu\u00e1rios podem pegar \u00e1gua para si, mergulhar em profundidade, explorar\u00bb \u2014 James Dixon. <\/p><\/blockquote>\n

Agora sabemos com certeza que um data lake se relaciona com an\u00e1lise, permitindo que armazenemos grandes volumes de dados em sua forma original e que tenhamos acesso conveniente a esses dados.<\/p>\n

Costumo simplificar as coisas. Se consigo explicar um termo complexo em palavras simples, significa que eu entendi como funciona e para que serve. Certo dia, eu estava mexendo no iPhone na galeria de fotos, e percebi que isso \u00e9 um verdadeiro data lake; at\u00e9 fiz um slide para confer\u00eancias:<\/p>\n

\"Precisamos
\n
\n\u00c9 bem simples. Tiramos uma foto com o telefone, a foto \u00e9 salva no telefone e pode ser armazenada no iCloud (armazenamento em nuvem). Al\u00e9m disso, o telefone coleta metadados da foto: o que est\u00e1 na imagem, geolocaliza\u00e7\u00e3o, hor\u00e1rio. Como resultado, podemos usar a interface do iPhone para encontrar nossa foto e ainda vemos m\u00e9tricas; por exemplo, quando busco fotos com a palavra fogo, encontro 3 fotos de uma fogueira. Para mim, isso funciona como uma ferramenta de Business Intelligence, que opera de maneira r\u00e1pida e eficaz. <\/p>\n

E claro, n\u00e3o podemos esquecer da seguran\u00e7a (autentica\u00e7\u00e3o e autoriza\u00e7\u00e3o); caso contr\u00e1rio, nossos dados podem facilmente se tornar acess\u00edveis publicamente. H\u00e1 muitas not\u00edcias sobre grandes corpora\u00e7\u00f5es e startups que tiveram dados expostos devido \u00e0 neglig\u00eancia dos desenvolvedores e \u00e0 falta de cumprimento de regras simples.<\/p>\n

At\u00e9 mesmo uma imagem simples nos ajuda a entender o que \u00e9 um data lake, suas diferen\u00e7as em rela\u00e7\u00e3o a um armazenamento de dados tradicional e seus principais elementos:<\/p>\n

    \n
  1. Carregamento de dados <\/b>(Ingestion) \u2014 um componente chave do data lake. Os dados podem ser armazenados de duas maneiras: batch (carregamento em intervalos) e streaming (fluxo de dados).<\/li>\n
  2. Armazenamento de arquivos<\/b> (Storage) \u2014 o componente principal do Data Lake. Precisamos que o armazenamento seja f\u00e1cil de escalar, extremamente confi\u00e1vel e de baixo custo. Por exemplo, no AWS \u00e9 o S3.<\/li>\n
  3. Cat\u00e1logo e Pesquisa<\/b> (Cat\u00e1logo e Pesquisa) \u2014 para evitarmos o Lago de Dados (que \u00e9 quando jogamos todos os dados em um s\u00f3 lugar e depois se torna imposs\u00edvel manipul\u00e1-los), precisamos criar uma camada de metadados para classificar os dados, para que os usu\u00e1rios possam facilmente encontrar as informa\u00e7\u00f5es necess\u00e1rias para an\u00e1lise. Al\u00e9m disso, solu\u00e7\u00f5es adicionais de busca, como o ElasticSearch, podem ser utilizadas. A busca ajuda os usu\u00e1rios a encontrarem os dados que precisam atrav\u00e9s de uma interface amig\u00e1vel.<\/li>\n
  4. Processamento<\/b> (Processo) \u2014 esta etapa \u00e9 respons\u00e1vel pelo processamento e transforma\u00e7\u00e3o dos dados. Podemos transformar dados, alterar suas estruturas, limpar e muito mais. <\/li>\n
  5. Seguran\u00e7a<\/b> (Seguran\u00e7a) \u2014 \u00e9 importante dedicar tempo ao design da seguran\u00e7a da solu\u00e7\u00e3o. Por exemplo, a criptografia de dados durante o armazenamento, processamento e carregamento. \u00c9 essencial utilizar m\u00e9todos de autentica\u00e7\u00e3o e autoriza\u00e7\u00e3o. Em resumo, uma ferramenta de auditoria \u00e9 necess\u00e1ria.<\/li>\n<\/ol>\n

    \nSob uma perspectiva pr\u00e1tica, podemos caracterizar um lago de dados por tr\u00eas atributos:<\/p>\n

      \n
    1. Colete e armazene qualquer coisa<\/b> \u2014 o lago de dados cont\u00e9m todos os dados, tanto dados brutos n\u00e3o processados de qualquer per\u00edodo quanto dados processados\/limpos.<\/li>\n
    2. An\u00e1lise profunda<\/b> \u2014 o lago de dados permite aos usu\u00e1rios explorar e analisar os dados.<\/li>\n
    3. Acesso flex\u00edvel<\/b> \u2014 o lago de dados proporciona acesso flex\u00edvel a diferentes dados e cen\u00e1rios diversos.<\/li>\n<\/ol>\n

      \nAgora podemos discutir a diferen\u00e7a entre um armaz\u00e9m de dados e um lago de dados. As pessoas geralmente costumam perguntar:<\/p>\n