Immagine:
Per i siti aggregatori nell'e-commerce, è fondamentale mantenere informazioni aggiornate. In caso contrario, svanisce il loro principale vantaggio: la possibilità di visualizzare i dati più rilevanti in un unico luogo.
Per affrontare questa sfida, è necessario utilizzare la tecnica del web scraping. Il suo scopo è creare un software speciale, un crawler, che visita i siti della lista, estrae informazioni da essi e le carica sul sito aggregatore.
Il problema è che spesso i proprietari dei siti da cui gli aggregatori estraggono dati non desiderano concedere facilmente l'accesso. Questo è comprensibile: se le informazioni sui prezzi di un negozio online appaiono su un sito aggregatore e risultano superiori a quelle dei concorrenti presenti, l'azienda perderà acquirenti.
Metodi di contrasto allo scraping
Pertanto, i proprietari di tali siti spesso si oppongono allo scraping, ovvero al download dei propri dati. Possono rilevare le richieste inviate dai bot crawler tramite l'indirizzo IP. Solitamente, questo software utilizza cosiddetti IP server, facilmente identificabili e bloccabili.
Inoltre, invece di bloccare le richieste, viene spesso utilizzato un altro metodo: ai bot identificati viene mostrata informazione non pertinente. Ad esempio, possono essere gonfiati o abbassati i prezzi dei prodotti o modificate le loro descrizioni.
Un esempio frequentemente citato in questo contesto sono i prezzi dei biglietti aerei. Infatti, spesso le compagnie aeree e le agenzie di viaggio possono mostrare risultati diversi per gli stessi voli a seconda dell'indirizzo IP. Un caso reale: cercando un volo da Miami a Londra nella stessa data con un indirizzo IP dell'Europa orientale e dell'Asia si ottengono risultati diversi.
Nel caso di un indirizzo IP nell'Europa orientale, il prezzo appare così:
E per un indirizzo IP dall'Asia così:
Come si può vedere, il prezzo per lo stesso volo differisce notevolmente – la differenza è di $76, che è davvero tanto. Non c'è niente di peggio per un sito di aggregazione – se presenta informazioni errate, gli utenti smetteranno di utilizzarlo. Inoltre, se su un aggregatore un prodotto ha un prezzo e, passando al sito del venditore, cambia – questo influisce negativamente anche sulla reputazione del progetto.
Soluzione: utilizzo di proxy residenziali
Per evitare problemi durante lo scraping dei dati per la loro aggregazione, è possibile utilizzare proxy residenziali. Gli IP server sono forniti dai provider di hosting. Identificare l'appartenenza di un indirizzo a un determinato pool di provider è piuttosto semplice: ogni IP ha un numero ASN che contiene queste informazioni.
Ci sono molti servizi per analizzare i numeri ASN. Spesso si integrano con sistemi anti-bot che bloccano l'accesso ai crawler o alterano i dati restituiti in risposta alle loro richieste.
Per aggirare tali sistemi, aiutano gli indirizzi IP residenziali. Questi IP sono forniti dagli ISP ai proprietari di abitazioni, con le relative annotazioni in tutti i database collegati. Esistono servizi specializzati di proxy residenziali che consentono di utilizzare indirizzi residenziali. – proprio un servizio del genere.
Le richieste inviate dai crawler dei siti aggregatori con IP residenziali sembrano provenire da normali utenti di una determinata regione. Gli utenti normali non vengono bloccati: nel caso dei negozi online, ciò significa potenziali clienti.
Pertanto, l'uso di proxy rotativi da Infatica consente ai siti aggregatori di ottenere dati accurati garantiti ed evitare blocchi e difficoltà di scraping.
Altri articoli sul tema dell'uso dei proxy residenziali per le aziende:
Fonte: habr.com
