{"id":37302,"date":"2019-10-31T22:16:52","date_gmt":"2019-10-31T19:16:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi\/"},"modified":"2019-10-31T22:16:52","modified_gmt":"2019-10-31T19:16:52","slug":"kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-reshit-problemy-sajtov-agregatorov-s-pomoshhyu-rezidentnyh-proksi","title":{"rendered":"Como resolver problemas de sites agregadores com proxies residenciais","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Como<\/a><\/noindex><\/p>\n

Imagem: Pexels<\/a><\/noindex><\/i><\/p>\n

Para sites agregadores no com\u00e9rcio eletr\u00f4nico, \u00e9 extremamente importante manter a informa\u00e7\u00e3o atualizada. Caso contr\u00e1rio, seu principal benef\u00edcio desaparece \u2013 a possibilidade de ver os dados mais relevantes em um \u00fanico lugar. <\/p>\n

Para resolver essa tarefa, \u00e9 necess\u00e1rio utilizar a t\u00e9cnica de web scraping. O conceito \u00e9 que um software especial \u2013 um crawler \u2013 percorre os sites necess\u00e1rios de uma lista, extrai informa\u00e7\u00f5es deles e as carrega no site agregador.<\/p>\n

O problema \u00e9 que muitas vezes os propriet\u00e1rios dos sites de onde os agregadores retiram os dados n\u00e3o querem facilitar tanto o acesso. Isso \u00e9 compreens\u00edvel \u2013 se as informa\u00e7\u00f5es de pre\u00e7o em uma loja online aparecem em um site agregador e s\u00e3o mais altas do que as de concorrentes que tamb\u00e9m est\u00e3o l\u00e1, o neg\u00f3cio perde compradores. <\/a><\/noindex><\/p>\n

M\u00e9todos de combate ao scraping<\/h2>\n

\nPor isso, muitas vezes os propriet\u00e1rios desses sites se op\u00f5em ao scraping \u2013 ou seja, ao download de seus dados. Eles podem detectar as solicita\u00e7\u00f5es enviadas pelos bots crawlers atrav\u00e9s do endere\u00e7o IP. Normalmente, esse software utiliza os chamados IPs de servidores, que s\u00e3o f\u00e1ceis de identificar e bloquear.<\/p>\n

Al\u00e9m disso, em vez de bloquear solicita\u00e7\u00f5es, outro m\u00e9todo \u00e9 frequentemente utilizado \u2013 informa\u00e7\u00f5es irrelevantes s\u00e3o mostradas aos bots identificados. Por exemplo, os pre\u00e7os dos produtos s\u00e3o inflacionados ou diminu\u00eddos, ou suas descri\u00e7\u00f5es s\u00e3o alteradas.<\/p>\n

Um exemplo comumente citado nesse contexto s\u00e3o os pre\u00e7os de passagens a\u00e9reas. De fato, companhias a\u00e9reas e ag\u00eancias de turismo podem mostrar resultados diferentes para os mesmos voos dependendo do endere\u00e7o IP. Um caso real: a pesquisa de um voo de Miami para Londres na mesma data, a partir de um IP na Europa Oriental e na \u00c1sia, retorna resultados diferentes. <\/p>\n

No caso de um endere\u00e7o IP na Europa Oriental, o pre\u00e7o aparece assim:<\/p>\n

\"Como
\n
\nE para um endere\u00e7o IP da \u00c1sia, assim:<\/p>\n

\"Como
\n
\nComo pode ser visto, o pre\u00e7o para o mesmo voo difere significativamente \u2013 a diferen\u00e7a \u00e9 de $76, o que \u00e9 realmente muito. Para um site agregador, n\u00e3o h\u00e1 nada pior do que isso \u2013 se informa\u00e7\u00f5es incorretas forem apresentadas, os usu\u00e1rios n\u00e3o usar\u00e3o o site. Al\u00e9m disso, se um determinado produto tem um pre\u00e7o em um agregador e, ao clicar no site do vendedor, esse pre\u00e7o muda \u2013 isso tamb\u00e9m afeta negativamente a reputa\u00e7\u00e3o do projeto.<\/p>\n

Solu\u00e7\u00e3o: uso de proxies residenciais<\/h2>\n

\nEvitar problemas ao fazer scraping de dados para agrega\u00e7\u00e3o pode ser feito usando proxies residenciais. IPs de servidor s\u00e3o fornecidos por provedores de hospedagem. Identificar a que provedor pertence um endere\u00e7o \u00e9 bem simples \u2013 cada IP tem um n\u00famero ASN que cont\u00e9m essa informa\u00e7\u00e3o.<\/p>\n

Existem muitos servi\u00e7os para analisar n\u00fameros ASN. Muitas vezes, eles s\u00e3o integrados a sistemas anti-bot que bloqueiam o acesso de crawlers ou adulteram os dados que s\u00e3o respondidos \u00e0s suas solicita\u00e7\u00f5es. <\/p>\n

Contornar esses sistemas \u00e9 poss\u00edvel com endere\u00e7os IP residenciais. Esses IPs s\u00e3o fornecidos por provedores de internet a propriet\u00e1rios de im\u00f3veis, com as devidas marca\u00e7\u00f5es em todos os bancos de dados relacionados. Existem servi\u00e7os especializados de proxies residenciais que permitem usar esses endere\u00e7os residentes. Infatica<\/a><\/noindex> \u2013 \u00e9 exatamente esse tipo de servi\u00e7o.<\/p>\n

As solicita\u00e7\u00f5es que crawlers de sites agregadores enviam atrav\u00e9s de IPs residenciais parecem vir de usu\u00e1rios comuns de uma determinada regi\u00e3o. E visitantes comuns n\u00e3o s\u00e3o bloqueados \u2013 no caso de lojas virtuais, isso representa clientes em potencial.<\/p>\n

Assim, o uso de proxies rotacionados da Infatica permite que sites agregadores obtenham dados garantidamente precisos e evitem bloqueios e dificuldades com scraping. <\/p>\n

Outros artigos sobre o uso de proxies residenciais para neg\u00f3cios:
\n<\/h2>\n

<\/p>\n