Essas duas palavras da moda, relacionadas a Data Science, confundem muitas pessoas. Data Mining é frequentemente mal compreendido como extração e recuperação de dados, mas na verdade é muito mais complexo. Neste post, vamos esclarecer a questão e descobrir a diferença entre Data Mining e Data Extraction.
O que é Data Mining?
Data mining, também chamado de Descoberta de Conhecimento em Banco de Dados (KDD), é um método frequentemente utilizado para analisar grandes conjuntos de dados usando métodos estatísticos e matemáticos para encontrar padrões ocultos ou tendências e extrair valor deles.
O que pode ser feito com Data Mining?
Ao automatizar o processo, podem examinar bancos de dados e identificar padrões ocultos de forma eficaz. Para as empresas, o data mining é frequentemente utilizado para identificar padrões e relacionamentos nos dados, ajudando na tomada de decisões otimizadas nos negócios.
Exemplos de aplicação.
Após ganhar ampla adoção na década de 1990, empresas de uma variedade de indústrias, incluindo varejo, finanças, saúde, transporte, telecomunicações, comércio eletrônico, entre outras, começaram a usar métodos de data mining para extrair informações baseadas em dados. O data mining pode ajudar a segmentar clientes, detectar fraudes, prever vendas e muito mais.
- Segmentação de clientes
Ao analisar dados sobre clientes e identificar características dos clientes-alvo, as empresas podem agrupá-los em grupos separados e oferecer propostas específicas que atendam às suas necessidades. - Análise do cesto de mercado
Essa técnica baseia-se na teoria de que se você comprar um determinado grupo de produtos, é provável que compre outro grupo de produtos. Um exemplo famoso: quando pais compram fraldas para seus bebês, eles frequentemente compram cerveja junto com as fraldas. - Previsão de vendas
Isso pode parecer semelhante a uma análise de cesta de mercado, mas desta vez a análise de dados é utilizada para prever quando um comprador comprará novamente o produto no futuro. Por exemplo, um treinador compra um pote de proteína que deve durar 9 meses. A loja que vende essa proteína planeja lançar um novo em 9 meses para que o treinador a compre novamente. - Detecção de Fraude
A mineração de dados ajuda na construção de modelos para detecção de fraude. Coletando amostras de relatórios fraudulentos e verdadeiros, as empresas conseguem identificar quais transações são suspeitas. - Detecção de Padrões na Produção
Na indústria de transformação, a mineração de dados é usada para ajudar a projetar sistemas, identificando relações entre a arquitetura do produto, o perfil e as necessidades dos clientes. A mineração de dados também pode prever prazos de desenvolvimento de produtos e custos.
E esses são apenas alguns cenários de uso da mineração de dados.
Etapas da Mineração de Dados
A mineração de dados é um processo abrangente de coleta, seleção, limpeza, transformação e extração de dados para avaliar padrões e, em última análise, para extrair valor.
Geralmente, todo o processo de mineração de dados pode ser resumido em 7 etapas:
- Limpeza de Dados
No mundo real, os dados nem sempre são limpos e estruturados. Frequentemente, eles são ruidosos, incompletos e podem conter erros. Para garantir que o resultado da mineração de dados seja preciso, é necessário primeiro limpar os dados. Alguns métodos de limpeza incluem o preenchimento de valores ausentes, controle automático e manual, etc. - Integração de Dados
Esta é a etapa em que os dados de diferentes fontes são extraídos, combinados e integrados. As fontes podem incluir bancos de dados, arquivos de texto, planilhas, documentos, arrays de dados multidimensionais, internet e assim por diante. - Amostragem de Dados
Normalmente, nem todos os dados integrados são necessários na mineração de dados. A amostragem de dados é a etapa em que apenas os dados úteis são selecionados e extraídos de um grande banco de dados. - Transformação de Dados
Após a seleção dos dados, eles são transformados em formatos adequados para a mineração. Este processo envolve normalização, agregação, generalização, etc. - Análise Inteligente de Dados
Aqui começa a parte mais importante do data mining — a utilização de métodos inteligentes para encontrar padrões. O processo inclui regressão, classificação, previsão, agrupamento, estudos de associações e muito mais. - Avaliação do modelo
Essa etapa visa identificar padrões potencialmente úteis e de fácil compreensão, assim como padrões que comprovam hipóteses. - Representação do conhecimento
Na fase final, as informações obtidas são apresentadas de forma atrativa utilizando métodos de representação do conhecimento e visualização.
Desvantagens do Data Mining
- Grandes investimentos de tempo e trabalho
Como a mineração de dados é um processo longo e complexo, exige muito trabalho de pessoas produtivas e qualificadas. Especialistas em análise de dados podem utilizar poderosas ferramentas de mineração, mas precisam de profissionais para preparar os dados e entender os resultados. Como resultado, o processamento de todas as informações pode levar algum tempo. - Privacidade e segurança dos dados
Como data mining coleta informações sobre os clientes por meio de métodos de mercado, pode infringir a privacidade dos usuários. Além disso, hackers podem acessar dados armazenados em sistemas de mineração de dados. Isso representa uma ameaça à segurança dos dados dos clientes. Se os dados roubados forem utilizados inadequadamente, isso pode facilmente prejudicar outros.
Acima está uma breve introdução ao data mining. Como mencionei, data mining envolve o processo de coleta e integração de dados, que inclui o processo de extração de dados (data extraction). Nesse caso, pode-se afirmar com segurança que a extração de dados pode ser parte de um longo processo de data mining.
O que é Extração de Dados?
Conhecido também como "extração de dados da web" e "web scraping", este processo consiste em extrair dados de fontes de dados (geralmente não estruturadas ou mal estruturadas) para locais centralizados e organizá-los em um único lugar para armazenamento ou processamento posterior. Em particular, fontes de dados não estruturadas incluem páginas da web, e-mails, documentos, arquivos PDF, texto digitalizado, relatórios de mainframe, arquivos em fita, anúncios, etc. Os armazenamentos centralizados podem ser locais, na nuvem ou híbridos. É importante lembrar que a extração de dados não envolve processamento ou outra análise que pode ocorrer posteriormente.
O que pode ser feito com a extração de dados?
As metas de extração de dados são geralmente divididas em 3 categorias.
- Arquivamento
A extração de dados pode transformar dados de formatos físicos: livros, jornais, faturas em formatos digitais, como bancos de dados para armazenamento ou backup. - Mudança de formato de dados
Quando você deseja transferir dados do seu site atual para um novo, que está em desenvolvimento, você pode coletar dados do seu próprio site, extraindo-os. - Análise de dados
É comum realizar análises adicionais dos dados extraídos para obter insights sobre eles. Isso pode parecer semelhante à análise de dados em mineração de dados, mas tenha em mente que a análise de dados é o objetivo da extração, mas não parte dela. Além disso, os dados são analisados de forma diferente. Um exemplo: proprietários de lojas virtuais extraem informações sobre produtos de sites de comércio eletrônico, como a Amazon, para acompanhar as estratégias de concorrentes em tempo real. Assim como na mineração de dados, a extração de dados é um processo automatizado, que possui numerosas vantagens. Antes, as pessoas copiavam e colavam dados manualmente de um lugar para outro, o que levava muito tempo. A extração de dados acelera a coleta e aumenta significativamente a precisão dos dados extraídos.
Alguns exemplos de aplicação da extração de dados
Assim como a mineração de dados, a extração de dados é amplamente utilizada em diversas indústrias. Além do monitoramento de preços no comércio eletrônico, a extração de dados pode ajudar em pesquisas próprias, agregação de notícias, marketing, no setor imobiliário, em viagens e turismo, consultoria, finanças e muito mais.
- Geração de leads
As empresas podem extrair dados de diretórios como Yelp, Crunchbase, Yellowpages e gerar leads para o desenvolvimento de negócios. Você pode assistir ao vídeo abaixo para aprender como extrair dados do Yellowpages usando . - Agregação de conteúdo e notícias
Sites que agregam conteúdo podem receber fluxos regulares de dados de várias fontes e manter seus sites atualizados. - Análise de sentimentos
Após a extração de avaliações, comentários e feedbacks de redes sociais como Instagram e Twitter, os profissionais podem analisar as opiniões subjacentes e obter insights sobre como uma marca, produto ou fenômeno é percebido.
Etapas da extração de dados
A extração de dados é a primeira etapa do ETL (abreviação de Extrair, Transformar, Carregar) e do ELT (extrair, carregar e transformar). ETL e ELT são partes integrantes de uma estratégia completa de integração de dados. Em outras palavras, a extração de dados pode ser parte de sua extração.
Extrair, transformar, carregar
Enquanto a mineração de dados refere-se à obtenção de informações de grandes volumes de dados, a extração de dados é um processo muito mais curto e simples. Ele pode ser resumido em três etapas:
- Escolha da fonte de dados
Escolha a fonte da qual você deseja extrair dados, como um site. - Coleta de dados
Envie uma solicitação "GET" para o site e analise o documento HTML recebido usando linguagens de programação como Python, PHP, R, Ruby, entre outras. - Armazenamento de dados
Salve os dados em seu banco de dados local ou em armazenamento em nuvem para uso futuro. Se você é um programador experiente que deseja extrair dados, as etapas acima podem parecer simples. No entanto, se você não progride na programação, há um caminho curto - usar ferramentas de extração de dados, como . Ferramentas de extração de dados, assim como ferramentas de mineração de dados, foram desenvolvidas para economizar energia e tornar o processamento de dados simples para todos. Estas ferramentas são não apenas econômicas, mas também amigáveis para iniciantes. Elas permitem que os usuários coletem dados em poucos minutos, armazenem na nuvem e exportem em vários formatos: Excel, CSV, HTML, JSON ou em bancos de dados no site via API.
Desvantagens da Extração de Dados
- Falha no servidor
Ao extrair dados em grande escala, o servidor web do site de destino pode ficar sobrecarregado, o que pode levar à falha do servidor. Isso causará danos aos interesses do proprietário do site. - Banimento por IP
Quando um indivíduo coleta dados com muita frequência, os sites podem bloquear seu endereço IP. O recurso pode proibir completamente o endereço IP ou restringir o acesso, tornando os dados incompletos. Para extrair dados e evitar o bloqueio, é necessário fazê-lo a uma velocidade moderada e aplicar algumas técnicas de anti-bloqueio. - Problemas legais
A extração de dados da web entra em uma zona cinza quando se trata de legalidade. Grandes sites, como Linkedin e Facebook, afirmam claramente em seus termos de uso que qualquer extração automática de dados é proibida. Houve muitas ações judiciais entre empresas devido à atividade de bots.
Principais diferenças entre Mineração de Dados e Extração de Dados
- Mineração de dados também é chamada de descoberta de conhecimento em bancos de dados, extração de conhecimento, análise de dados/padrões, coleta de informações. A extração de dados é usada de forma intercambiável com extração de dados da web, varredura de páginas da web, coleta de dados, e assim por diante.
- Pesquisas em mineração de dados são principalmente baseadas em dados estruturados, enquanto na extração de dados, eles geralmente são extraídos de fontes não estruturadas ou mal estruturadas.
- O objetivo da mineração de dados é tornar os dados mais úteis para análise. A extração de dados é a coleta de dados em um só lugar, onde podem ser armazenados ou processados.
- A análise na mineração de dados é baseada em métodos matemáticos para identificar padrões ou tendências. A extração de dados é baseada em linguagens de programação ou ferramentas de extração de dados para contornar fontes.
- O objetivo da mineração de dados é encontrar fatos que anteriormente não eram conhecidos ou ignorados, enquanto a extração de dados lida com informações existentes.
- A mineração de dados é mais complexa e requer um investimento maior no treinamento de pessoas. A extração de dados, ao usar a ferramenta certa, pode ser extremamente simples e econômica.
Ajudamos iniciantes a não se perderem com os dados. Especificamente para os membros do Habr, criamos um código promocional HABR, que oferece um desconto adicional de 10% sobre o desconto indicado no banner.
Mais cursos
Artigos recomendados
Fonte: habr.com
