Imagen:
Para los sitios agregadores en el ámbito del comercio electrónico, es crucial mantener información actualizada. De lo contrario, se pierde su principal ventaja: la capacidad de ver los datos más relevantes en un solo lugar.
Para abordar esta tarea, es necesario utilizar la técnica de web scraping. Su esencia radica en crear un software especial, un crawler, que recorre los sitios necesarios de una lista, extrae información de ellos y la carga en el sitio agregador.
El problema es que a menudo los propietarios de los sitios de los cuales los agregadores obtienen datos no quieren ofrecerles acceso tan fácilmente. Esto se puede entender: si la información del precio en una tienda en línea aparece en el sitio agregador y es más alta que la de los competidores allí presentes, el negocio perderá compradores.
Métodos de contrarrestar el scraping
Por lo tanto, a menudo los propietarios de dichos sitios toman medidas contra el scraping, es decir, la descarga de sus datos. Pueden identificar las solicitudes que envían los bots crawlers por dirección IP. Normalmente, este software utiliza lo que se conoce como IPs de servidor, que son fáciles de detectar y bloquear.
Además, en lugar de bloquear las solicitudes, a menudo se usa otro método: a los bots identificados se les muestra información no relevante. Por ejemplo, se pueden inflar o reducir los precios de los productos o modificar sus descripciones.
Un ejemplo que se menciona frecuentemente en este contexto son los precios de los boletos de avión. De hecho, es bastante común que las aerolíneas y las agencias de viajes muestren diferentes resultados para los mismos vuelos dependiendo de la dirección IP. Un caso real: buscar un vuelo de Miami a Londres en la misma fecha desde una IP en Europa del Este y Asia devuelve diferentes resultados.
En el caso de la dirección IP en Europa del Este, el precio se ve así:
Y para la dirección IP de Asia así:
Como se puede ver, el precio para el mismo vuelo varía significativamente — la diferencia es de $76, que realmente es mucho. Para un sitio agregador, no hay nada peor que esto; si se presenta información incorrecta, los usuarios no lo usarán. Además, si en el agregador hay un precio para un producto y al hacer clic en el sitio del vendedor cambia, esto también afecta negativamente la reputación del proyecto.
Solución: uso de proxies residenciales
Evitar problemas al realizar scraping de datos para su agregación se puede lograr mediante el uso de proxies residenciales. Las IPs de servidor son proporcionadas por los proveedores de hosting. Identificar si una dirección pertenece al pool de un proveedor específico es bastante sencillo: cada IP tiene un número ASN, en el que se contiene esta información.
Existen numerosos servicios para analizar números ASN. A menudo se integran con sistemas anti-bots que bloquean el acceso a los crawlers o manipulan los datos devueltos en respuesta a sus solicitudes.
Los proxies residenciales ayudan a eludir tales sistemas. Estas IPs son otorgadas por proveedores de internet a los propietarios de viviendas, con las respectivas anotaciones en todas las bases de datos relacionadas. Hay servicios específicos de proxies residenciales que permiten utilizar direcciones residenciales. – ese es precisamente un servicio.
Las solicitudes que los crawlers de sitios agregadores envían desde IPs residenciales parecen provenir de usuarios comunes de una región específica. Y los visitantes ordinarios no son bloqueados; en el caso de tiendas en línea, son clientes potenciales.
Como resultado, el uso de proxies rotativos de Infatica permite a los sitios agregadores obtener datos garantizados y precisos, evitando bloqueos y dificultades con el scraping.
Otros artículos sobre el uso de proxies residenciales para negocios:
Fuente: habr.com
