Immagine:
Per i siti aggregatori nel settore dell'e-commerce, è estremamente importante mantenere informazioni aggiornate. In caso contrario, svanisce il loro principale vantaggio: la possibilità di visualizzare i dati più rilevanti in un unico luogo.
Per affrontare questa sfida, è necessario utilizzare la tecnica del web scraping. Il suo scopo è quello di creare un software speciale - un crawler - che visita i siti necessari dall'elenco, estrae le informazioni e le carica sul sito aggregatore.
Il problema è che spesso i proprietari dei siti da cui gli aggregatori prelevano i dati non vogliono affatto concedere l'accesso così facilmente. Questo è comprensibile: se le informazioni sui prezzi in un negozio online compaiono su un sito aggregatore e risultano superiori a quelle dei concorrenti presenti lì, l'azienda perderà clienti.
Metodi di contrapposizione allo scraping
Spesso, quindi, i proprietari di tali siti ostacolano lo scraping - cioè il download dei propri dati. Possono identificare le richieste inviate dai bot crawler tramite l'indirizzo IP. Di solito, questo tipo di software utilizza così detti IP server che sono facili da individuare e bloccare.
Inoltre, invece di bloccare le richieste, spesso viene utilizzato un altro metodo: ai bot identificati vengono mostrate informazioni irrilevanti. Ad esempio, i prezzi dei prodotti possono essere gonfiati o ridotti o le loro descrizioni possono essere modificate.
Un esempio frequentemente citato in questo contesto sono i prezzi dei biglietti aerei. Infatti, molto spesso le compagnie aeree e le agenzie viaggi possono mostrare risultati diversi per gli stessi voli a seconda dell'indirizzo IP. Un caso reale: la ricerca di un volo da Miami a Londra per la stessa data con un indirizzo IP dell'Europa dell'Est e dell'Asia restituisce risultati diversi.
Nel caso di un indirizzo IP dell'Europa dell'Est, il prezzo appare così:
E per un indirizzo IP dall'Asia appare così:
Come si può vedere, il prezzo per lo stesso volo differisce notevolmente: la differenza è di $76, che è davvero molto. Non c'è niente di peggio per un sito aggregatore: se su di esso viene presentata un'informazione errata, gli utenti smetteranno di utilizzarlo. Inoltre, se su un aggregatore un prodotto ha un prezzo, mentre passando al sito del venditore cambia, questo influisce negativamente sulla reputazione del progetto.
Soluzione: utilizzo di proxy residenziali
Evitare problemi durante lo scraping dei dati per l'aggregazione può essere fatto utilizzando proxy residenziali. Gli IP server sono forniti dai provider di hosting. Identificare l'appartenenza di un indirizzo a un pool di un provider specifico è piuttosto semplice: ogni IP ha un numero ASN che contiene queste informazioni.
Ci sono molti servizi per analizzare i numeri ASN. Spesso si integrano con sistemi anti-bot che bloccano l'accesso ai crawler o alterano i dati restituiti in risposta alle loro richieste.
I proxy residenziali aiutano a superare tali sistemi. Questi IP sono rilasciati dai fornitori di servizi Internet ai proprietari di abitazioni, con le relative annotazioni in tutti i database correlati. Ci sono servizi speciali di proxy residenziali che permettono di utilizzare indirizzi residenziali. – è proprio questo il servizio.
Le richieste che i crawler dei siti aggregatori inviano da IP residenziali sembrano provenire da utenti normali di una certa regione. E nessuno blocca i visitatori normali: nel caso degli e-commerce, si tratta di potenziali clienti.
Di conseguenza, l'uso di proxy rotanti da Infatica consente ai siti aggregatori di ottenere dati garantiti e precisi, evitando blocchi e difficoltà di parsing.
Altri articoli riguardanti l'uso di proxy residenziali per le aziende:
Fonte: habr.com
