Imagem:
Para sites agregadores no comércio eletrônico, é extremamente importante manter a informação atualizada. Caso contrário, seu principal benefício desaparece – a possibilidade de ver os dados mais relevantes em um único lugar.
Para resolver essa tarefa, é necessário utilizar a técnica de web scraping. O conceito é que um software especial – um crawler – percorre os sites necessários de uma lista, extrai informações deles e as carrega no site agregador.
O problema é que muitas vezes os proprietários dos sites de onde os agregadores retiram os dados não querem facilitar tanto o acesso. Isso é compreensível – se as informações de preço em uma loja online aparecem em um site agregador e são mais altas do que as de concorrentes que também estão lá, o negócio perde compradores.
Métodos de combate ao scraping
Por isso, muitas vezes os proprietários desses sites se opõem ao scraping – ou seja, ao download de seus dados. Eles podem detectar as solicitações enviadas pelos bots crawlers através do endereço IP. Normalmente, esse software utiliza os chamados IPs de servidores, que são fáceis de identificar e bloquear.
Além disso, em vez de bloquear solicitações, outro método é frequentemente utilizado – informações irrelevantes são mostradas aos bots identificados. Por exemplo, os preços dos produtos são inflacionados ou diminuídos, ou suas descrições são alteradas.
Um exemplo comumente citado nesse contexto são os preços de passagens aéreas. De fato, companhias aéreas e agências de turismo podem mostrar resultados diferentes para os mesmos voos dependendo do endereço IP. Um caso real: a pesquisa de um voo de Miami para Londres na mesma data, a partir de um IP na Europa Oriental e na Ásia, retorna resultados diferentes.
No caso de um endereço IP na Europa Oriental, o preço aparece assim:
E para um endereço IP da Ásia, assim:
Como pode ser visto, o preço para o mesmo voo difere significativamente – a diferença é de $76, o que é realmente muito. Para um site agregador, não há nada pior do que isso – se informações incorretas forem apresentadas, os usuários não usarão o site. Além disso, se um determinado produto tem um preço em um agregador e, ao clicar no site do vendedor, esse preço muda – isso também afeta negativamente a reputação do projeto.
Solução: uso de proxies residenciais
Evitar problemas ao fazer scraping de dados para agregação pode ser feito usando proxies residenciais. IPs de servidor são fornecidos por provedores de hospedagem. Identificar a que provedor pertence um endereço é bem simples – cada IP tem um número ASN que contém essa informação.
Existem muitos serviços para analisar números ASN. Muitas vezes, eles são integrados a sistemas anti-bot que bloqueiam o acesso de crawlers ou adulteram os dados que são respondidos às suas solicitações.
Contornar esses sistemas é possível com endereços IP residenciais. Esses IPs são fornecidos por provedores de internet a proprietários de imóveis, com as devidas marcações em todos os bancos de dados relacionados. Existem serviços especializados de proxies residenciais que permitem usar esses endereços residentes. – é exatamente esse tipo de serviço.
As solicitações que crawlers de sites agregadores enviam através de IPs residenciais parecem vir de usuários comuns de uma determinada região. E visitantes comuns não são bloqueados – no caso de lojas virtuais, isso representa clientes em potencial.
Assim, o uso de proxies rotacionados da Infatica permite que sites agregadores obtenham dados garantidamente precisos e evitem bloqueios e dificuldades com scraping.
Outros artigos sobre o uso de proxies residenciais para negócios:
Fonte: habr.com
