Python - помощник в намирането на евтини самолетни билети за тези, които обичат да пътуват

Авторът на статията, чийто превод публикуваме днес, казва, че целта й е да говори за разработването на уеб скрепер в Python, използващ Selenium, който търси цени на самолетни билети. При търсене на билети се използват гъвкави дати (+- 3 дни спрямо посочените дати). Скреперът запазва резултатите от търсенето във файл на Excel и изпраща на лицето, което е извършило търсенето, имейл с обобщение на това, което е намерил. Целта на този проект е да помогне на пътниците да намерят най-добрите сделки.

Ако, докато разбирате материала, се чувствате изгубени, погледнете това статия.

Какво ще търсим?

Вие сте свободни да използвате системата, описана тук, както желаете. Например, използвах го, за да търся обиколки през уикенда и билети до родния ми град. Ако сериозно искате да намерите печеливши билети, можете да стартирате скрипта на сървъра (просто сървър, за 130 рубли на месец, е доста подходящ за това) и се уверете, че работи веднъж или два пъти на ден. Резултатите от търсенето ще ви бъдат изпратени по имейл. Освен това препоръчвам да настроите всичко така, че скриптът да записва Excel файл с резултати от търсенето в папка Dropbox, което ще ви позволи да преглеждате такива файлове от всяко място и по всяко време.

Все още не съм намерил тарифи с грешки, но мисля, че е възможно

При търсене, както вече споменахме, се използва „гъвкава дата“, скриптът намира оферти, които са в рамките на три дни от дадените дати. Въпреки че при стартиране на скрипта той търси оферти само в една посока, лесно е да го модифицирате, така че да може да събира данни за няколко посоки на полета. С негова помощ можете дори да търсите грешни тарифи; такива находки могат да бъдат много интересни.

Защо ви е необходим друг уеб скрепер?

Когато за първи път започнах да се занимавам с уеб скрапинг, честно казано не се интересувах особено от това. Исках да правя повече проекти в областта на прогнозното моделиране, финансовия анализ и евентуално в областта на анализа на емоционалното оцветяване на текстовете. Но се оказа, че е много интересно да разберем как да създадем програма, която събира данни от уебсайтове. Докато навлизах в тази тема, разбрах, че уеб скрапирането е „двигателят“ на Интернет.

Може би смятате, че това е твърде смело твърдение. Но помислете, че Google започна с уеб скрепер, който Лари Пейдж създаде с помощта на Java и Python. Роботите на Google изследват интернет, опитвайки се да предоставят на своите потребители най-добрите отговори на техните въпроси. Уеб скрейпингът има безкрайни приложения и дори ако се интересувате от нещо друго в Data Science, ще ви трябват някои умения за скрапинг, за да получите данните, които трябва да анализирате.

Намерих някои от използваните тук техники за чудесни книгата за уеб скрапинг, който наскоро придобих. Съдържа много прости примери и идеи за практическо приложение на наученото. Освен това има много интересна глава за заобикаляне на проверките на reCaptcha. Това беше новина за мен, тъй като дори не знаех, че има специални инструменти и дори цели услуги за решаване на подобни проблеми.

Обичате ли да пътувате?!

На простия и доста безобиден въпрос, поставен в заглавието на този раздел, често можете да чуете положителен отговор, придружен от няколко истории от пътуванията на човека, на когото е зададен. Повечето от нас биха се съгласили, че пътуването е чудесен начин да се потопите в нова културна среда и да разширите хоризонтите си. Но ако попитате някого дали обича да търси самолетни билети, сигурен съм, че отговорът няма да е толкова положителен. В интерес на истината Python ни идва на помощ тук.

Първата задача, която трябва да решим по пътя към създаването на система за търсене на информация за самолетни билети, ще бъде изборът на подходяща платформа, от която ще вземем информация. Решаването на този проблем не ми беше лесно, но в крайна сметка избрах услугата Каяк. Опитах услугите на Momondo, Skyscanner, Expedia и няколко други, но механизмите за защита на роботите на тези ресурси бяха непроницаеми. След няколко опита, по време на които трябваше да се справя със светофари, пешеходни преходи и велосипеди, опитвайки се да убедя системите, че съм човек, реших, че Kayak е най-подходящият за мен, въпреки факта, че дори ако се зареждат твърде много страници в кратки срокове, започват и проверки. Успях да накарам бота да изпраща заявки към сайта на интервали от 4 до 6 часа и всичко работи добре. От време на време възникват трудности при работа с Kayak, но ако започнат да ви досаждат с проверки, тогава трябва или да се справите с тях ръчно и след това да стартирате бота, или да изчакате няколко часа и проверките трябва да спрат. Ако е необходимо, можете лесно да адаптирате кода за друга платформа и ако го направите, можете да съобщите за това в коментарите.

Ако тепърва започвате с уеб скрапинга и не знаете защо някои уебсайтове се борят с него, тогава преди да започнете първия си проект в тази област, направете си услуга и потърсете в Google думите „етикет за уеб скрапинг“ . Вашите експерименти може да приключат по-рано, отколкото си мислите, ако правите уеб скрапинг неразумно.

Първи стъпки

Ето общ преглед на това, което ще се случи в нашия код за уеб скрепер:

• Импортирайте необходимите библиотеки.
• Отваряне на раздел на Google Chrome.
• Извикайте функция, която стартира бота, като му предава градовете и датите, които ще се използват при търсене на билети.
• Тази функция взема първите резултати от търсенето, сортирани по най-добри, и щраква върху бутон, за да зареди още резултати.
• Друга функция събира данни от цялата страница и връща рамка с данни.
• Двете предходни стъпки се извършват чрез типове сортиране по цена на билет (евтин) и по скорост на полета (най-бърз).
• На потребителя на скрипта се изпраща имейл, съдържащ обобщена информация за цените на билетите (най-евтините билети и средната цена), а рамка с данни с информация, сортирана по трите горепосочени индикатора, се записва като Excel файл.
• Всички горепосочени действия се извършват в цикъл след определен период от време.

Трябва да се отбележи, че всеки Selenium проект започва с уеб драйвер. използвам Chromedriver, работя с Google Chrome, но има и други опции. PhantomJS и Firefox също са популярни. След като изтеглите драйвера, трябва да го поставите в съответната папка и това завършва подготовката за използването му. Първите редове на нашия скрипт отварят нов раздел на Chrome.

Имайте предвид, че в моята история не се опитвам да отворя нови хоризонти за намиране на страхотни оферти за самолетни билети. Има много по-модерни методи за търсене на такива оферти. Просто искам да предложа на читателите на този материал прост, но практичен начин за решаване на този проблем.

Ето кода, за който говорихме по-горе.

from time import sleep, strftime
from random import randint
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import smtplib
from email.mime.multipart import MIMEMultipart

# Используйте тут ваш путь к chromedriver!
chromedriver_path = 'C:/{YOUR PATH HERE}/chromedriver_win32/chromedriver.exe'

driver = webdriver.Chrome(executable_path=chromedriver_path) # Этой командой открывается окно Chrome
sleep(2)

В началото на кода можете да видите командите за импортиране на пакети, които се използват в нашия проект. Така, randint използва се, за да накара бота да „заспи“ за произволен брой секунди, преди да започне нова операция за търсене. Обикновено нито един бот не може без това. Ако стартирате горния код, ще се отвори прозорец на Chrome, който ботът ще използва за работа със сайтове.

Нека направим малък експеримент и отворим уебсайта kayak.com в отделен прозорец. Ще изберем града, от който ще летим, и града, до който искаме да стигнем, както и датите на полета. Когато избирате дати, уверете се, че използвате диапазона от +-3 дни. Написах кода, като взех предвид това, което сайтът произвежда в отговор на такива заявки. Ако, например, трябва да търсите билети само за определени дати, тогава има голяма вероятност да промените кода на бота. Когато говоря за кода, предоставям подходящи обяснения, но ако се чувствате объркани, уведомете ме.

Сега щракнете върху бутона за търсене и погледнете връзката в адресната лента. Трябва да е подобна на връзката, която използвам в примера по-долу, където е декларирана променливата kayak, който съхранява URL адреса и се използва методът get уеб драйвер. След като щракнете върху бутона за търсене, резултатите трябва да се появят на страницата.

Когато използвах командата get повече от два или три пъти в рамките на няколко минути бях помолен да завърша проверката с помощта на reCaptcha. Можете да преминете тази проверка ръчно и да продължите да експериментирате, докато системата реши да изпълни нова проверка. Когато тествах скрипта, изглеждаше, че първата сесия на търсене винаги протича гладко, така че ако искате да експериментирате с кода, ще трябва само периодично да проверявате ръчно и да оставяте кода да работи, като използвате дълги интервали между сесиите за търсене. И ако се замислите, човек едва ли ще се нуждае от информация за цените на билетите, получена на 10-минутни интервали между операциите за търсене.

Работа със страница чрез XPath

И така, отворихме прозорец и заредихме сайта. За да получим ценообразуване и друга информация, трябва да използваме XPath технология или CSS селектори. Реших да се придържам към XPath и не чувствах нужда да използвам CSS селектори, но е напълно възможно да се работи по този начин. Навигирането из страница с помощта на XPath може да бъде трудно и дори ако използвате техниките, които описах в това статия, включваща копиране на съответните идентификатори от кода на страницата, разбрах, че това всъщност не е оптималният начин за достъп до необходимите елементи. Между другото, в това Книгата предоставя отлично описание на основите на работа със страници с помощта на XPath и CSS селектори. Ето как изглежда съответният метод на уеб драйвер.

Така че, нека продължим да работим върху бота. Нека използваме възможностите на програмата, за да изберем най-евтините билети. В следващото изображение кодът за селектор на XPath е маркиран в червено. За да видите кода, трябва да щракнете с десния бутон върху елемента на страницата, който ви интересува и да изберете командата Inspect от появилото се меню. Тази команда може да бъде извикана за различни елементи на страницата, чийто код ще бъде показан и маркиран в програмата за преглед на кодове.

Вижте кода на страницата

За да намеря потвърждение на разсъжденията си за недостатъците на копирането на селектори от код, обърнете внимание на следните характеристики.

Ето какво получавате, когато копирате кода:

//*[@id="wtKI-price_aTab"]/div[1]/div/div/div[1]/div/span/span

За да копирате нещо подобно, трябва да щракнете с десния бутон върху частта от кода, която ви интересува и да изберете командата Копиране > Копиране на XPath от менюто, което се появява.

Ето какво използвах, за да дефинирам бутона Най-евтиният:

cheap_results = ‘//a[@data-code = "price"]’

Копиране на команда > Копиране на XPath

Съвсем очевидно е, че вторият вариант изглежда много по-прост. Когато се използва, той търси елемент a, който има атрибута data-code, равен price. При използване на първата опция се търси елементът id което е равно на wtKI-price_aTab, а пътят на XPath до елемента изглежда така /div[1]/div/div/div[1]/div/span/span. XPath заявка като тази към страница ще свърши работа, но само веднъж. Мога да кажа точно сега id ще се промени при следващото зареждане на страницата. Последователност на знаци wtKI се променя динамично при всяко зареждане на страницата, така че кодът, който го използва, ще бъде безполезен след следващото презареждане на страницата. Така че отделете малко време, за да разберете XPath. Това знание ще ви служи добре.

Все пак трябва да се отбележи, че копирането на XPath селектори може да бъде полезно при работа с доста прости сайтове и ако се чувствате комфортно с това, няма нищо лошо в това.

Сега нека помислим какво да направите, ако трябва да получите всички резултати от търсенето в няколко реда, в списък. Много просто. Всеки резултат е вътре в обект с клас resultWrapper. Зареждането на всички резултати може да се извърши в цикъл, подобен на показания по-долу.

Трябва да се отбележи, че ако разбирате горното, тогава трябва лесно да разберете по-голямата част от кода, който ще анализираме. Докато този код се изпълнява, ние получаваме достъп до това, от което се нуждаем (всъщност елементът, в който е обвит резултатът), използвайки някакъв вид механизъм за определяне на пътя (XPath). Това се прави, за да получите текста на елемента и да го поставите в обект, от който могат да се четат данни (първо използван flight_containers, тогава - flights_list).

Първите три реда се показват и можем ясно да видим всичко, от което се нуждаем. Имаме обаче по-интересни начини за получаване на информация. Трябва да вземем данни от всеки елемент поотделно.

Захващай се за работа!

Най-лесният начин да напишете функция е да заредите допълнителни резултати, така че оттам ще започнем. Бих искал да максимизирам броя на полетите, за които програмата получава информация, без да предизвиква съмнения в услугата, която води до проверка, затова щраквам върху бутона Зареждане на още резултати веднъж при всяко показване на страницата. В този код трябва да обърнете внимание на блока try, който добавих, защото понякога бутонът не се зарежда правилно. Ако и вие срещнете това, коментирайте извикванията на тази функция в кода на функцията start_kayak, които ще разгледаме по-долу.

# Загрузка большего количества результатов для того, чтобы максимизировать объём собираемых данных
def load_more():
    try:
        more_results = '//a[@class = "moreButton"]'
        driver.find_element_by_xpath(more_results).click()
        # Вывод этих заметок в ходе работы программы помогает мне быстро выяснить то, чем она занята
        print('sleeping.....')
        sleep(randint(45,60))
    except:
        pass

Сега, след дълъг анализ на тази функция (понякога мога да се увлека), ние сме готови да декларираме функция, която ще изтрие страницата.

Вече събрах повечето от необходимото в следната функция, наречена page_scrape. Понякога върнатите данни за пътя се комбинират, така че използвам прост метод, за да ги разделя. Например, когато използвам променливи за първи път section_a_list и section_b_list. Нашата функция връща рамка с данни flights_df, това ни позволява да разделим резултатите, получени от различни методи за сортиране на данни и по-късно да ги комбинираме.

def page_scrape():
    """This function takes care of the scraping part"""
    
    xp_sections = '//*[@class="section duration"]'
    sections = driver.find_elements_by_xpath(xp_sections)
    sections_list = [value.text for value in sections]
    section_a_list = sections_list[::2] # так мы разделяем информацию о двух полётах
    section_b_list = sections_list[1::2]
    
    # Если вы наткнулись на reCaptcha, вам может понадобиться что-то предпринять.
    # О том, что что-то пошло не так, вы узнаете исходя из того, что вышеприведённые списки пусты
    # это выражение if позволяет завершить работу программы или сделать ещё что-нибудь
    # тут можно приостановить работу, что позволит вам пройти проверку и продолжить скрапинг
    # я использую тут SystemExit так как хочу протестировать всё с самого начала
    if section_a_list == []:
        raise SystemExit
    
    # Я буду использовать букву A для уходящих рейсов и B для прибывающих
    a_duration = []
    a_section_names = []
    for n in section_a_list:
        # Получаем время
        a_section_names.append(''.join(n.split()[2:5]))
        a_duration.append(''.join(n.split()[0:2]))
    b_duration = []
    b_section_names = []
    for n in section_b_list:
        # Получаем время
        b_section_names.append(''.join(n.split()[2:5]))
        b_duration.append(''.join(n.split()[0:2]))

    xp_dates = '//div[@class="section date"]'
    dates = driver.find_elements_by_xpath(xp_dates)
    dates_list = [value.text for value in dates]
    a_date_list = dates_list[::2]
    b_date_list = dates_list[1::2]
    # Получаем день недели
    a_day = [value.split()[0] for value in a_date_list]
    a_weekday = [value.split()[1] for value in a_date_list]
    b_day = [value.split()[0] for value in b_date_list]
    b_weekday = [value.split()[1] for value in b_date_list]
    
    # Получаем цены
    xp_prices = '//a[@class="booking-link"]/span[@class="price option-text"]'
    prices = driver.find_elements_by_xpath(xp_prices)
    prices_list = [price.text.replace('$','') for price in prices if price.text != '']
    prices_list = list(map(int, prices_list))

    # stops - это большой список, в котором первый фрагмент пути находится по чётному индексу, а второй - по нечётному
    xp_stops = '//div[@class="section stops"]/div[1]'
    stops = driver.find_elements_by_xpath(xp_stops)
    stops_list = [stop.text[0].replace('n','0') for stop in stops]
    a_stop_list = stops_list[::2]
    b_stop_list = stops_list[1::2]

    xp_stops_cities = '//div[@class="section stops"]/div[2]'
    stops_cities = driver.find_elements_by_xpath(xp_stops_cities)
    stops_cities_list = [stop.text for stop in stops_cities]
    a_stop_name_list = stops_cities_list[::2]
    b_stop_name_list = stops_cities_list[1::2]
    
    # сведения о компании-перевозчике, время отправления и прибытия для обоих рейсов
    xp_schedule = '//div[@class="section times"]'
    schedules = driver.find_elements_by_xpath(xp_schedule)
    hours_list = []
    carrier_list = []
    for schedule in schedules:
        hours_list.append(schedule.text.split('n')[0])
        carrier_list.append(schedule.text.split('n')[1])
    # разделяем сведения о времени и о перевозчиках между рейсами a и b
    a_hours = hours_list[::2]
    a_carrier = carrier_list[1::2]
    b_hours = hours_list[::2]
    b_carrier = carrier_list[1::2]

    
    cols = (['Out Day', 'Out Time', 'Out Weekday', 'Out Airline', 'Out Cities', 'Out Duration', 'Out Stops', 'Out Stop Cities',
            'Return Day', 'Return Time', 'Return Weekday', 'Return Airline', 'Return Cities', 'Return Duration', 'Return Stops', 'Return Stop Cities',
            'Price'])

    flights_df = pd.DataFrame({'Out Day': a_day,
                               'Out Weekday': a_weekday,
                               'Out Duration': a_duration,
                               'Out Cities': a_section_names,
                               'Return Day': b_day,
                               'Return Weekday': b_weekday,
                               'Return Duration': b_duration,
                               'Return Cities': b_section_names,
                               'Out Stops': a_stop_list,
                               'Out Stop Cities': a_stop_name_list,
                               'Return Stops': b_stop_list,
                               'Return Stop Cities': b_stop_name_list,
                               'Out Time': a_hours,
                               'Out Airline': a_carrier,
                               'Return Time': b_hours,
                               'Return Airline': b_carrier,                           
                               'Price': prices_list})[cols]
    
    flights_df['timestamp'] = strftime("%Y%m%d-%H%M") # время сбора данных
    return flights_df

Опитах се да именувам променливите, така че кодът да бъде разбираем. Не забравяйте, че променливите, започващи с a принадлежат към първия етап от пътя и b - към втория. Да преминем към следващата функция.

Поддържащи механизми

Вече имаме функция, която ни позволява да зареждаме допълнителни резултати от търсенето и функция за обработка на тези резултати. Тази статия можеше да свърши тук, тъй като тези две функции предоставят всичко необходимо за изтриване на страници, които можете да отворите сами. Но все още не сме разгледали някои от спомагателните механизми, обсъдени по-горе. Например, това е кодът за изпращане на имейли и някои други неща. Всичко това може да се намери във функцията start_kayak, които сега ще разгледаме.

За да работи тази функция, имате нужда от информация за градове и дати. Използвайки тази информация, той формира връзка в променлива kayak, който се използва, за да ви отведе до страница, която ще съдържа резултати от търсенето, сортирани по най-доброто им съвпадение със заявката. След първата скрапинг сесия ще работим с цените в таблицата в горната част на страницата. А именно, ще намерим минималната цена на билета и средната цена. Всичко това, заедно с прогнозата, издадена от сайта, ще бъде изпратено по имейл. На страницата съответната таблица трябва да е в горния ляв ъгъл. Между другото, работата с тази таблица може да доведе до грешка при търсене с точни дати, тъй като в този случай таблицата не се показва на страницата.

def start_kayak(city_from, city_to, date_start, date_end):
    """City codes - it's the IATA codes!
    Date format -  YYYY-MM-DD"""
    
    kayak = ('https://www.kayak.com/flights/' + city_from + '-' + city_to +
             '/' + date_start + '-flexible/' + date_end + '-flexible?sort=bestflight_a')
    driver.get(kayak)
    sleep(randint(8,10))
    
    # иногда появляется всплывающее окно, для проверки на это и его закрытия можно воспользоваться блоком try
    try:
        xp_popup_close = '//button[contains(@id,"dialog-close") and contains(@class,"Button-No-Standard-Style close ")]'
        driver.find_elements_by_xpath(xp_popup_close)[5].click()
    except Exception as e:
        pass
    sleep(randint(60,95))
    print('loading more.....')
    
#     load_more()
    
    print('starting first scrape.....')
    df_flights_best = page_scrape()
    df_flights_best['sort'] = 'best'
    sleep(randint(60,80))
    
    # Возьмём самую низкую цену из таблицы, расположенной в верхней части страницы
    matrix = driver.find_elements_by_xpath('//*[contains(@id,"FlexMatrixCell")]')
    matrix_prices = [price.text.replace('$','') for price in matrix]
    matrix_prices = list(map(int, matrix_prices))
    matrix_min = min(matrix_prices)
    matrix_avg = sum(matrix_prices)/len(matrix_prices)
    
    print('switching to cheapest results.....')
    cheap_results = '//a[@data-code = "price"]'
    driver.find_element_by_xpath(cheap_results).click()
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting second scrape.....')
    df_flights_cheap = page_scrape()
    df_flights_cheap['sort'] = 'cheap'
    sleep(randint(60,80))
    
    print('switching to quickest results.....')
    quick_results = '//a[@data-code = "duration"]'
    driver.find_element_by_xpath(quick_results).click()  
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting third scrape.....')
    df_flights_fast = page_scrape()
    df_flights_fast['sort'] = 'fast'
    sleep(randint(60,80))
    
    # Сохранение нового фрейма в Excel-файл, имя которого отражает города и даты
    final_df = df_flights_cheap.append(df_flights_best).append(df_flights_fast)
    final_df.to_excel('search_backups//{}_flights_{}-{}_from_{}_to_{}.xlsx'.format(strftime("%Y%m%d-%H%M"),
                                                                                   city_from, city_to, 
                                                                                   date_start, date_end), index=False)
    print('saved df.....')
    
    # Можно следить за тем, как прогноз, выдаваемый сайтом, соотносится с реальностью
    xp_loading = '//div[contains(@id,"advice")]'
    loading = driver.find_element_by_xpath(xp_loading).text
    xp_prediction = '//span[@class="info-text"]'
    prediction = driver.find_element_by_xpath(xp_prediction).text
    print(loading+'n'+prediction)
    
    # иногда в переменной loading оказывается эта строка, которая, позже, вызывает проблемы с отправкой письма
    # если это прозошло - меняем её на "Not Sure"
    weird = '¯_(ツ)_/¯'
    if loading == weird:
        loading = 'Not sure'
    
    username = '[email protected]'
    password = 'YOUR PASSWORD'

    server = smtplib.SMTP('smtp.outlook.com', 587)
    server.ehlo()
    server.starttls()
    server.login(username, password)
    msg = ('Subject: Flight Scrapernn
Cheapest Flight: {}nAverage Price: {}nnRecommendation: {}nnEnd of message'.format(matrix_min, matrix_avg, (loading+'n'+prediction)))
    message = MIMEMultipart()
    message['From'] = '[email protected]'
    message['to'] = '[email protected]'
    server.sendmail('[email protected]', '[email protected]', msg)
    print('sent email.....')

Тествах този скрипт с помощта на акаунт в Outlook (hotmail.com). Не съм го тествал да работи правилно с Gmail акаунт, тази имейл система е доста популярна, но има много възможни опции. Ако използвате акаунт в Hotmail, тогава за да работи всичко, просто трябва да въведете данните си в кода.

Ако искате да разберете какво точно се прави в конкретни секции от кода за тази функция, можете да ги копирате и да експериментирате с тях. Експериментирането с кода е единственият начин да го разберете наистина.

Готова система

Сега, след като направихме всичко, за което говорихме, можем да създадем прост цикъл, който извиква нашите функции. Скриптът изисква данни от потребителя за градове и дати. Когато тествате с постоянно рестартиране на скрипта, едва ли ще искате да въвеждате тези данни ръчно всеки път, така че съответните редове, за времето на тестване, могат да бъдат коментирани, като се разкоментират тези под тях, в които данните, необходими на скриптът е твърдо кодиран.

city_from = input('From which city? ')
city_to = input('Where to? ')
date_start = input('Search around which departure date? Please use YYYY-MM-DD format only ')
date_end = input('Return when? Please use YYYY-MM-DD format only ')

# city_from = 'LIS'
# city_to = 'SIN'
# date_start = '2019-08-21'
# date_end = '2019-09-07'

for n in range(0,5):
    start_kayak(city_from, city_to, date_start, date_end)
    print('iteration {} was complete @ {}'.format(n, strftime("%Y%m%d-%H%M")))
    
    # Ждём 4 часа
    sleep(60*60*4)
    print('sleep finished.....')

Ето как изглежда тестовото изпълнение на скрипта.

Тестово изпълнение на скрипта

Резултати от

Ако сте стигнали дотук, поздравления! Вече имате работещ уеб скрепер, въпреки че вече виждам много начини за подобряването му. Например, може да се интегрира с Twilio, така че да изпраща текстови съобщения вместо имейли. Можете да използвате VPN или нещо друго, за да получавате едновременно резултати от няколко сървъра. Има и периодично възникващ проблем с проверката на потребителя на сайта дали е човек, но и този проблем може да бъде решен. Във всеки случай, сега имате база, която можете да разширите, ако желаете. Например, уверете се, че Excel файл е изпратен на потребителя като прикачен файл към имейл.

В анкетата могат да участват само регистрирани потребители. Впиши се, Моля те.

Използвате ли технологии за уеб скрапинг?

• Да

• Не

8 потребители гласуваха. 1 потребител се въздържа.

Източник: www.habr.com