Python - 여행을 좋아하는 사람들을 위해 저렴한 항공권을 찾는 도우미

오늘 우리가 번역한 기사의 저자는 그 목표가 항공권 가격을 검색하는 Selenium을 사용하여 Python으로 웹 스크레이퍼를 개발하는 것에 대해 이야기하는 것이라고 말합니다. 티켓 검색 시 유동적인 날짜를 사용합니다(지정된 날짜를 기준으로 +- 3일). 스크래퍼는 검색 결과를 Excel 파일에 저장하고 검색을 실행한 사람에게 찾은 내용의 요약이 포함된 이메일을 보냅니다. 이 프로젝트의 목표는 여행자가 최고의 상품을 찾을 수 있도록 돕는 것입니다.

자료를 이해하다가 헤매는 느낌이 든다면, 이 조.

우리는 무엇을 찾고 있습니까?

여기에 설명된 시스템을 원하는 대로 자유롭게 사용할 수 있습니다. 예를 들어 주말 여행이나 고향 티켓을 검색하는 데 사용했습니다. 수익성 있는 티켓을 찾는 것이 중요하다면 서버에서 스크립트를 실행할 수 있습니다(간단함). 서버, 한 달에 130 루블의 경우 매우 적합합니다.) 하루에 한두 번 실행되는지 확인하십시오. 검색결과는 이메일로 전송됩니다. 또한 스크립트가 검색 결과와 함께 Excel 파일을 Dropbox 폴더에 저장하여 언제 어디서나 이러한 파일을 볼 수 있도록 모든 것을 설정하는 것이 좋습니다.

아직 오류가 있는 관세를 찾지 못했는데 가능할 것 같아요

이미 언급한 대로 검색 시 "유연한 날짜"가 사용되며 스크립트는 지정된 날짜로부터 XNUMX일 이내의 제안을 찾습니다. 스크립트를 실행할 때 한 방향으로만 제안을 검색하지만 여러 비행 방향에 대한 데이터를 수집할 수 있도록 수정하기 쉽습니다. 도움을 받으면 잘못된 관세를 찾을 수도 있으며 이러한 발견은 매우 흥미로울 수 있습니다.

왜 다른 웹 스크레이퍼가 필요합니까?

처음 웹 스크래핑을 시작했을 때는 솔직히 별 관심이 없었습니다. 저는 예측 모델링, 재무 분석 분야, 그리고 가능하다면 텍스트의 감정적 색상 분석 분야에서 더 많은 프로젝트를 수행하고 싶었습니다. 하지만 웹사이트에서 데이터를 수집하는 프로그램을 만드는 방법을 알아내는 것은 매우 흥미로운 일이었습니다. 이 주제를 탐구하면서 저는 웹 스크래핑이 인터넷의 "엔진"이라는 것을 깨달았습니다.

너무 대담한 발언이라고 생각할 수도 있습니다. 하지만 Google이 Larry Page가 Java와 Python을 사용하여 만든 웹 스크레이퍼로 시작했다고 생각해 보세요. Google 로봇은 사용자에게 질문에 대한 최상의 답변을 제공하기 위해 인터넷을 탐색해 왔습니다. 웹 스크래핑은 용도가 무궁무진하며, 데이터 과학의 다른 분야에 관심이 있더라도 분석에 필요한 데이터를 얻으려면 스크래핑 기술이 필요합니다.

나는 여기에 사용된 몇 가지 기술을 훌륭한 방법으로 발견했습니다. 그 책 최근에 구입한 웹 스크래핑에 대해 알아보겠습니다. 여기에는 배운 내용을 실제로 적용할 수 있는 간단한 예와 아이디어가 많이 포함되어 있습니다. 또한 reCaptcha 검사를 우회하는 방법에 대한 매우 흥미로운 장이 있습니다. 그러한 문제를 해결하기 위한 특별한 도구와 전체 서비스가 있다는 사실조차 몰랐기 때문에 이것은 나에게 새로운 소식이었습니다.

여행을 좋아하시나요?!

이 섹션의 제목에 제시된 단순하고 다소 무해한 질문에 대해 질문을 받은 사람의 여행에서 얻은 몇 가지 이야기와 함께 긍정적인 대답을 자주 들을 수 있습니다. 우리 대부분은 여행이 새로운 문화 환경에 몰입하고 시야를 넓힐 수 있는 좋은 방법이라는 데 동의할 것입니다. 하지만 누군가에게 항공권 검색을 좋아하는지 묻는다면 그다지 긍정적인 대답은 아닐 것이라고 확신합니다. 사실, Python이 여기서 우리를 도와줍니다.

항공권 정보 검색 시스템을 구축하는 과정에서 우리가 해결해야 할 첫 번째 작업은 정보를 수집할 적합한 플랫폼을 선택하는 것입니다. 이 문제를 해결하는 것이 쉽지 않았지만 결국 카약 서비스를 선택했습니다. Momondo, Skyscanner, Expedia 등의 서비스를 사용해 보았지만 이러한 리소스에 대한 로봇 보호 메커니즘은 뚫을 수 없었습니다. 신호등, 횡단보도, 자전거를 다루며 내가 인간이라는 시스템을 확신시키려고 여러 번 시도한 끝에 너무 많은 페이지가 로드되어 있음에도 불구하고 Kayak이 나에게 가장 적합하다고 결정했습니다. 짧은 시간 안에 점검도 시작됩니다. 저는 봇이 4~6시간 간격으로 사이트에 요청을 보내도록 만들었고 모든 것이 잘 작동했습니다. 때때로 Kayak으로 작업할 때 어려움이 발생하지만 수표로 괴롭히기 시작하면 수동으로 처리한 다음 봇을 실행하거나 몇 시간 정도 기다리면 수표가 중지됩니다. 필요한 경우 다른 플랫폼에 맞게 코드를 쉽게 조정할 수 있으며, 그렇게 하는 경우 댓글로 신고할 수 있습니다.

웹 스크래핑을 막 시작했고 일부 웹사이트가 왜 어려움을 겪고 있는지 모른다면, 이 분야에서 첫 번째 프로젝트를 시작하기 전에 "웹 스크래핑 에티켓"이라는 단어를 Google에서 검색해 보세요. . 현명하지 않게 웹 스크래핑을 수행하면 실험이 생각보다 빨리 종료될 수 있습니다.

시작하기

웹 스크래퍼 코드에서 어떤 일이 발생하는지에 대한 일반적인 개요는 다음과 같습니다.

• 필요한 라이브러리를 가져옵니다.
• Google Chrome 탭을 엽니다.
• 봇을 시작하는 함수를 호출하여 티켓을 검색할 때 사용할 도시와 날짜를 전달합니다.
• 이 기능은 가장 좋은 항목으로 정렬된 첫 번째 검색 결과를 가져와서 버튼을 클릭하여 더 많은 결과를 로드합니다.
• 또 다른 함수는 전체 페이지에서 데이터를 수집하고 데이터 프레임을 반환합니다.
• 앞의 두 단계는 티켓 가격(저렴함)과 비행 속도(가장 빠름)별로 정렬 유형을 사용하여 수행됩니다.
• 스크립트 사용자에게는 티켓 가격 요약(최저 티켓 및 평균 가격)이 포함된 이메일이 전송되며, 위에서 언급한 XNUMX가지 지표별로 정렬된 정보가 포함된 데이터 프레임이 Excel 파일로 저장됩니다.
• 위의 모든 작업은 지정된 기간이 지나면 주기로 수행됩니다.

모든 Selenium 프로젝트는 웹 드라이버로 시작된다는 점에 유의해야 합니다. 나는 사용한다 크롬드라이버, 저는 Google Chrome으로 작업하지만 다른 옵션이 있습니다. PhantomJS와 Firefox도 인기가 있습니다. 드라이버를 다운로드한 후 해당 폴더에 넣어야 사용 준비가 완료됩니다. 스크립트의 첫 번째 줄은 새 Chrome 탭을 엽니다.

내 이야기에서 나는 저렴한 항공권을 찾기 위해 새로운 지평을 열려고 하는 것이 아니라는 점을 명심하십시오. 그러한 제안을 검색하는 훨씬 더 발전된 방법이 있습니다. 나는 이 자료를 읽는 독자들에게 이 문제를 해결할 수 있는 간단하면서도 실용적인 방법을 제공하고 싶습니다.

위에서 이야기한 코드는 다음과 같습니다.

from time import sleep, strftime
from random import randint
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import smtplib
from email.mime.multipart import MIMEMultipart

# Используйте тут ваш путь к chromedriver!
chromedriver_path = 'C:/{YOUR PATH HERE}/chromedriver_win32/chromedriver.exe'

driver = webdriver.Chrome(executable_path=chromedriver_path) # Этой командой открывается окно Chrome
sleep(2)

코드 시작 부분에서 프로젝트 전체에서 사용되는 패키지 가져오기 명령을 볼 수 있습니다. 그래서, randint 새로운 검색 작업을 시작하기 전에 임의의 초 동안 봇을 "잠들게" 만드는 데 사용됩니다. 일반적으로 이것이 없으면 단일 봇이 할 수 없습니다. 위 코드를 실행하면 봇이 사이트 작업에 사용할 Chrome 창이 열립니다.

약간의 실험을 해보고 별도의 창에서 kayak.com 웹사이트를 열어 보겠습니다. 우리는 비행할 도시, 도착할 도시, 비행 날짜를 선택합니다. 날짜를 선택할 때 +-3일 범위를 사용하는지 확인하세요. 나는 그러한 요청에 대한 응답으로 사이트가 생성하는 것을 고려하여 코드를 작성했습니다. 예를 들어 특정 날짜의 티켓만 검색해야 한다면 봇 코드를 수정해야 할 가능성이 높습니다. 코드에 대해 이야기할 때 적절한 설명을 해주고 있는데, 헷갈리시면 알려주세요.

이제 검색 버튼을 클릭하고 주소 표시줄에 있는 링크를 살펴보세요. 변수가 선언된 아래 예제에서 사용하는 링크와 유사해야 합니다. kayak, URL을 저장하고 메소드가 사용됩니다. get 웹 드라이버. 검색 버튼을 클릭하면 결과가 페이지에 나타납니다.

내가 명령을 사용했을 때 get 몇 분 안에 두세 번 이상 reCaptcha를 사용하여 인증을 완료하라는 요청을 받았습니다. 이 검사를 수동으로 통과하고 시스템이 새 검사를 실행하기로 결정할 때까지 실험을 계속할 수 있습니다. 스크립트를 테스트했을 때 첫 번째 검색 세션은 항상 순조롭게 진행된 것 같았으므로 코드를 실험하고 싶다면 검색 세션 사이에 긴 간격을 사용하여 주기적으로 수동으로 확인하고 코드를 실행하기만 하면 됩니다. 그리고 생각해 보면 검색 작업 사이에 10분 간격으로 받은 티켓 가격에 대한 정보가 사람에게 필요하지 않을 것입니다.

XPath를 사용하여 페이지 작업하기

그래서 우리는 창을 열고 사이트를 로드했습니다. 가격 및 기타 정보를 얻으려면 XPath 기술이나 CSS 선택기를 사용해야 합니다. 나는 XPath를 계속 사용하기로 결정했고 CSS 선택기를 사용할 필요성을 느끼지 못했지만 그런 식으로 작업하는 것은 꽤 가능합니다. XPath를 사용하여 페이지를 탐색하는 것은 까다로울 수 있으며, 제가 설명한 기술을 사용하더라도 이 페이지 코드에서 해당 식별자를 복사하는 것과 관련된 기사를 작성하면서 이것이 실제로 필요한 요소에 액세스하는 최적의 방법이 아니라는 것을 깨달았습니다. 그건 그렇고, 이 이 책은 XPath 및 CSS 선택기를 사용하여 페이지 작업의 기본 사항에 대한 훌륭한 설명을 제공합니다. 해당 웹 드라이버 방법은 다음과 같습니다.

이제 봇 작업을 계속해 보겠습니다. 프로그램의 기능을 활용하여 가장 저렴한 티켓을 선택해 봅시다. 다음 이미지에서는 XPath 선택기 코드가 빨간색으로 강조 표시되어 있습니다. 코드를 보려면 관심 있는 페이지 요소를 마우스 오른쪽 버튼으로 클릭하고 나타나는 메뉴에서 검사 명령을 선택해야 합니다. 이 명령은 다양한 페이지 요소에 대해 호출할 수 있으며 해당 요소의 코드는 코드 뷰어에 표시되고 강조 표시됩니다.

페이지 코드 보기

코드에서 선택기를 복사할 때의 단점에 대한 내 추론을 확인하려면 다음 기능에 주의하세요.

코드를 복사하면 다음과 같은 결과가 나옵니다.

//*[@id="wtKI-price_aTab"]/div[1]/div/div/div[1]/div/span/span

이와 같은 것을 복사하려면 관심 있는 코드 섹션을 마우스 오른쪽 버튼으로 클릭하고 나타나는 메뉴에서 복사 > XPath 복사 명령을 선택해야 합니다.

가장 저렴한 버튼을 정의하는 데 사용한 내용은 다음과 같습니다.

cheap_results = ‘//a[@data-code = "price"]’

복사 명령 > XPath 복사

두 번째 옵션이 훨씬 더 단순해 보인다는 것은 매우 분명합니다. 사용되면 속성이 있는 요소 a를 검색합니다. data-code, 동일 price. 첫 번째 옵션을 사용하면 요소가 검색됩니다. id 이는 다음과 같다 wtKI-price_aTab, 요소에 대한 XPath 경로는 다음과 같습니다. /div[1]/div/div/div[1]/div/span/span. 페이지에 대한 이와 같은 XPath 쿼리는 트릭을 수행하지만 한 번만 수행됩니다. 지금 당장은 그렇다고 말할 수 있다 id 다음에 페이지가 로드될 때 변경됩니다. 문자 순서 wtKI 페이지가 로드될 때마다 동적으로 변경되므로 이를 사용하는 코드는 다음 페이지를 다시 로드한 후에는 쓸모가 없게 됩니다. 따라서 XPath를 이해하는 데 시간을 투자하십시오. 이 지식은 당신에게 큰 도움이 될 것입니다.

그러나 XPath 선택기를 복사하는 것은 매우 간단한 사이트에서 작업할 때 유용할 수 있으며, 이에 익숙하다면 아무런 문제가 없습니다.

이제 모든 검색 결과를 목록 내에서 여러 줄로 가져와야 하는 경우 어떻게 해야 하는지 생각해 보겠습니다. 매우 간단합니다. 각 결과는 클래스가 있는 객체 내부에 있습니다. resultWrapper. 모든 결과 로드는 아래 표시된 것과 유사한 루프에서 수행할 수 있습니다.

위의 내용을 이해했다면 우리가 분석할 대부분의 코드를 쉽게 이해할 수 있을 것이라는 점에 유의하시기 바랍니다. 이 코드가 실행되면 일종의 경로 지정 메커니즘(XPath)을 사용하여 필요한 것(실제로 결과가 래핑되는 요소)에 액세스합니다. 이는 요소의 텍스트를 가져와 데이터를 읽을 수 있는 개체에 배치하기 위해 수행됩니다(처음 사용됨). flight_containers, 그 다음에 - flights_list).

처음 세 줄이 표시되며 필요한 모든 것을 명확하게 볼 수 있습니다. 그러나 정보를 얻는 더 흥미로운 방법이 있습니다. 각 요소에서 개별적으로 데이터를 가져와야 합니다.

일하러 가다!

함수를 작성하는 가장 쉬운 방법은 추가 결과를 로드하는 것이므로 여기서부터 시작하겠습니다. 검사로 이어지는 서비스에 대한 의혹을 제기하지 않고 프로그램이 정보를 받는 항공편 수를 최대화하고 싶어서 페이지가 표시될 때마다 결과 더보기 버튼을 한 번씩 클릭합니다. 이 코드에서는 블록에 주의해야 합니다. try, 가끔 버튼이 제대로 로드되지 않기 때문에 추가했습니다. 이 문제도 발생하면 함수 코드에서 이 함수에 대한 호출을 주석 처리하세요. start_kayak, 아래에서 살펴보겠습니다.

# Загрузка большего количества результатов для того, чтобы максимизировать объём собираемых данных
def load_more():
    try:
        more_results = '//a[@class = "moreButton"]'
        driver.find_element_by_xpath(more_results).click()
        # Вывод этих заметок в ходе работы программы помогает мне быстро выяснить то, чем она занята
        print('sleeping.....')
        sleep(randint(45,60))
    except:
        pass

이제 이 함수에 대한 오랜 분석을 마친 후(때때로 흥분할 수도 있음) 페이지를 긁어오는 함수를 선언할 준비가 되었습니다.

나는 이미 다음 함수에 필요한 대부분을 수집했습니다. page_scrape. 반환된 경로 데이터가 합쳐지는 경우가 있기 때문에 간단한 방법을 사용하여 분리합니다. 예를 들어 변수를 처음 사용할 때 section_a_list и section_b_list. 우리 함수는 데이터 프레임을 반환합니다. flights_df이를 통해 다양한 데이터 정렬 방법에서 얻은 결과를 분리하고 나중에 결합할 수 있습니다.

def page_scrape():
    """This function takes care of the scraping part"""
    
    xp_sections = '//*[@class="section duration"]'
    sections = driver.find_elements_by_xpath(xp_sections)
    sections_list = [value.text for value in sections]
    section_a_list = sections_list[::2] # так мы разделяем информацию о двух полётах
    section_b_list = sections_list[1::2]
    
    # Если вы наткнулись на reCaptcha, вам может понадобиться что-то предпринять.
    # О том, что что-то пошло не так, вы узнаете исходя из того, что вышеприведённые списки пусты
    # это выражение if позволяет завершить работу программы или сделать ещё что-нибудь
    # тут можно приостановить работу, что позволит вам пройти проверку и продолжить скрапинг
    # я использую тут SystemExit так как хочу протестировать всё с самого начала
    if section_a_list == []:
        raise SystemExit
    
    # Я буду использовать букву A для уходящих рейсов и B для прибывающих
    a_duration = []
    a_section_names = []
    for n in section_a_list:
        # Получаем время
        a_section_names.append(''.join(n.split()[2:5]))
        a_duration.append(''.join(n.split()[0:2]))
    b_duration = []
    b_section_names = []
    for n in section_b_list:
        # Получаем время
        b_section_names.append(''.join(n.split()[2:5]))
        b_duration.append(''.join(n.split()[0:2]))

    xp_dates = '//div[@class="section date"]'
    dates = driver.find_elements_by_xpath(xp_dates)
    dates_list = [value.text for value in dates]
    a_date_list = dates_list[::2]
    b_date_list = dates_list[1::2]
    # Получаем день недели
    a_day = [value.split()[0] for value in a_date_list]
    a_weekday = [value.split()[1] for value in a_date_list]
    b_day = [value.split()[0] for value in b_date_list]
    b_weekday = [value.split()[1] for value in b_date_list]
    
    # Получаем цены
    xp_prices = '//a[@class="booking-link"]/span[@class="price option-text"]'
    prices = driver.find_elements_by_xpath(xp_prices)
    prices_list = [price.text.replace('$','') for price in prices if price.text != '']
    prices_list = list(map(int, prices_list))

    # stops - это большой список, в котором первый фрагмент пути находится по чётному индексу, а второй - по нечётному
    xp_stops = '//div[@class="section stops"]/div[1]'
    stops = driver.find_elements_by_xpath(xp_stops)
    stops_list = [stop.text[0].replace('n','0') for stop in stops]
    a_stop_list = stops_list[::2]
    b_stop_list = stops_list[1::2]

    xp_stops_cities = '//div[@class="section stops"]/div[2]'
    stops_cities = driver.find_elements_by_xpath(xp_stops_cities)
    stops_cities_list = [stop.text for stop in stops_cities]
    a_stop_name_list = stops_cities_list[::2]
    b_stop_name_list = stops_cities_list[1::2]
    
    # сведения о компании-перевозчике, время отправления и прибытия для обоих рейсов
    xp_schedule = '//div[@class="section times"]'
    schedules = driver.find_elements_by_xpath(xp_schedule)
    hours_list = []
    carrier_list = []
    for schedule in schedules:
        hours_list.append(schedule.text.split('n')[0])
        carrier_list.append(schedule.text.split('n')[1])
    # разделяем сведения о времени и о перевозчиках между рейсами a и b
    a_hours = hours_list[::2]
    a_carrier = carrier_list[1::2]
    b_hours = hours_list[::2]
    b_carrier = carrier_list[1::2]

    
    cols = (['Out Day', 'Out Time', 'Out Weekday', 'Out Airline', 'Out Cities', 'Out Duration', 'Out Stops', 'Out Stop Cities',
            'Return Day', 'Return Time', 'Return Weekday', 'Return Airline', 'Return Cities', 'Return Duration', 'Return Stops', 'Return Stop Cities',
            'Price'])

    flights_df = pd.DataFrame({'Out Day': a_day,
                               'Out Weekday': a_weekday,
                               'Out Duration': a_duration,
                               'Out Cities': a_section_names,
                               'Return Day': b_day,
                               'Return Weekday': b_weekday,
                               'Return Duration': b_duration,
                               'Return Cities': b_section_names,
                               'Out Stops': a_stop_list,
                               'Out Stop Cities': a_stop_name_list,
                               'Return Stops': b_stop_list,
                               'Return Stop Cities': b_stop_name_list,
                               'Out Time': a_hours,
                               'Out Airline': a_carrier,
                               'Return Time': b_hours,
                               'Return Airline': b_carrier,                           
                               'Price': prices_list})[cols]
    
    flights_df['timestamp'] = strftime("%Y%m%d-%H%M") # время сбора данных
    return flights_df

코드를 이해하기 쉽도록 변수 이름을 지정하려고했습니다. 다음으로 시작하는 변수를 기억하세요. a 경로의 첫 번째 단계에 속하며, b - 두 번째. 다음 기능으로 넘어 갑시다.

지원 메커니즘

이제 추가 검색 결과를 로드할 수 있는 기능과 해당 결과를 처리하는 기능이 생겼습니다. 이 두 기능은 사용자가 직접 열 수 있는 페이지를 스크랩하는 데 필요한 모든 기능을 제공하므로 이 기사는 여기서 끝났을 수 있습니다. 그러나 우리는 위에서 논의한 보조 메커니즘 중 일부를 아직 고려하지 않았습니다. 예를 들어, 이것은 이메일 및 기타 사항을 보내는 코드입니다. 이 모든 것은 함수에서 찾을 수 있습니다 start_kayak, 이제 우리가 고려할 것입니다.

이 기능에는 도시와 날짜에 대한 정보가 필요합니다. 이 정보를 사용하여 변수에 링크를 형성합니다. kayak, 검색어와 가장 일치하는 항목을 기준으로 정렬된 검색 결과가 포함된 페이지로 이동하는 데 사용됩니다. 첫 번째 스크래핑 세션이 끝나면 페이지 상단의 표에 있는 가격을 사용하여 작업합니다. 즉, 최저 티켓 가격과 평균 가격을 구해보겠습니다. 이 모든 것은 사이트에서 발행한 예측과 함께 이메일로 전송됩니다. 페이지에서 해당 테이블은 왼쪽 상단에 있어야 합니다. 그런데 이 테이블을 사용하여 작업하면 정확한 날짜를 사용하여 검색할 때 오류가 발생할 수 있습니다. 이 경우 테이블이 페이지에 표시되지 않기 때문입니다.

def start_kayak(city_from, city_to, date_start, date_end):
    """City codes - it's the IATA codes!
    Date format -  YYYY-MM-DD"""
    
    kayak = ('https://www.kayak.com/flights/' + city_from + '-' + city_to +
             '/' + date_start + '-flexible/' + date_end + '-flexible?sort=bestflight_a')
    driver.get(kayak)
    sleep(randint(8,10))
    
    # иногда появляется всплывающее окно, для проверки на это и его закрытия можно воспользоваться блоком try
    try:
        xp_popup_close = '//button[contains(@id,"dialog-close") and contains(@class,"Button-No-Standard-Style close ")]'
        driver.find_elements_by_xpath(xp_popup_close)[5].click()
    except Exception as e:
        pass
    sleep(randint(60,95))
    print('loading more.....')
    
#     load_more()
    
    print('starting first scrape.....')
    df_flights_best = page_scrape()
    df_flights_best['sort'] = 'best'
    sleep(randint(60,80))
    
    # Возьмём самую низкую цену из таблицы, расположенной в верхней части страницы
    matrix = driver.find_elements_by_xpath('//*[contains(@id,"FlexMatrixCell")]')
    matrix_prices = [price.text.replace('$','') for price in matrix]
    matrix_prices = list(map(int, matrix_prices))
    matrix_min = min(matrix_prices)
    matrix_avg = sum(matrix_prices)/len(matrix_prices)
    
    print('switching to cheapest results.....')
    cheap_results = '//a[@data-code = "price"]'
    driver.find_element_by_xpath(cheap_results).click()
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting second scrape.....')
    df_flights_cheap = page_scrape()
    df_flights_cheap['sort'] = 'cheap'
    sleep(randint(60,80))
    
    print('switching to quickest results.....')
    quick_results = '//a[@data-code = "duration"]'
    driver.find_element_by_xpath(quick_results).click()  
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting third scrape.....')
    df_flights_fast = page_scrape()
    df_flights_fast['sort'] = 'fast'
    sleep(randint(60,80))
    
    # Сохранение нового фрейма в Excel-файл, имя которого отражает города и даты
    final_df = df_flights_cheap.append(df_flights_best).append(df_flights_fast)
    final_df.to_excel('search_backups//{}_flights_{}-{}_from_{}_to_{}.xlsx'.format(strftime("%Y%m%d-%H%M"),
                                                                                   city_from, city_to, 
                                                                                   date_start, date_end), index=False)
    print('saved df.....')
    
    # Можно следить за тем, как прогноз, выдаваемый сайтом, соотносится с реальностью
    xp_loading = '//div[contains(@id,"advice")]'
    loading = driver.find_element_by_xpath(xp_loading).text
    xp_prediction = '//span[@class="info-text"]'
    prediction = driver.find_element_by_xpath(xp_prediction).text
    print(loading+'n'+prediction)
    
    # иногда в переменной loading оказывается эта строка, которая, позже, вызывает проблемы с отправкой письма
    # если это прозошло - меняем её на "Not Sure"
    weird = '¯_(ツ)_/¯'
    if loading == weird:
        loading = 'Not sure'
    
    username = '[email protected]'
    password = 'YOUR PASSWORD'

    server = smtplib.SMTP('smtp.outlook.com', 587)
    server.ehlo()
    server.starttls()
    server.login(username, password)
    msg = ('Subject: Flight Scrapernn
Cheapest Flight: {}nAverage Price: {}nnRecommendation: {}nnEnd of message'.format(matrix_min, matrix_avg, (loading+'n'+prediction)))
    message = MIMEMultipart()
    message['From'] = '[email protected]'
    message['to'] = '[email protected]'
    server.sendmail('[email protected]', '[email protected]', msg)
    print('sent email.....')

저는 Outlook 계정(hotmail.com)을 사용하여 이 스크립트를 테스트했습니다. Gmail 계정에서 제대로 작동하는지 테스트하지 않았습니다. 이 이메일 시스템은 꽤 인기가 있지만 가능한 옵션이 많이 있습니다. Hotmail 계정을 사용하는 경우 모든 것이 작동하려면 코드에 데이터를 입력하기만 하면 됩니다.

이 함수에 대한 코드의 특정 섹션에서 정확히 수행되는 작업을 이해하려면 해당 코드를 복사하여 실험해 보세요. 코드를 실험해 보는 것이 코드를 진정으로 이해하는 유일한 방법입니다.

준비된 시스템

이제 우리가 이야기한 모든 작업을 완료했으므로 함수를 호출하는 간단한 루프를 만들 수 있습니다. 스크립트는 사용자에게 도시와 날짜에 대한 데이터를 요청합니다. 스크립트를 지속적으로 다시 시작하여 테스트할 때 매번 수동으로 이 데이터를 입력하고 싶지 않을 것이므로 테스트 시 해당 라인은 아래의 주석 처리를 제거하여 주석 처리할 수 있습니다. 스크립트가 하드코딩되어 있습니다.

city_from = input('From which city? ')
city_to = input('Where to? ')
date_start = input('Search around which departure date? Please use YYYY-MM-DD format only ')
date_end = input('Return when? Please use YYYY-MM-DD format only ')

# city_from = 'LIS'
# city_to = 'SIN'
# date_start = '2019-08-21'
# date_end = '2019-09-07'

for n in range(0,5):
    start_kayak(city_from, city_to, date_start, date_end)
    print('iteration {} was complete @ {}'.format(n, strftime("%Y%m%d-%H%M")))
    
    # Ждём 4 часа
    sleep(60*60*4)
    print('sleep finished.....')

이것이 스크립트의 테스트 실행 모습입니다.

스크립트 테스트 실행

결과

여기까지 완료하셨다면 축하드립니다! 이제 작동하는 웹 스크래퍼가 생겼습니다. 하지만 이미 이를 개선할 수 있는 여러 가지 방법이 있습니다. 예를 들어 Twilio와 통합하여 이메일 대신 문자 메시지를 보낼 수 있습니다. VPN 등을 사용하여 여러 서버에서 동시에 결과를 받을 수 있습니다. 사이트 사용자가 사람인지 확인하는 과정에서 주기적으로 문제가 발생하는 경우도 있는데, 이 문제 역시 해결 가능합니다. 어쨌든 이제 원할 경우 확장할 수 있는 기반이 생겼습니다. 예를 들어 Excel 파일이 이메일 첨부 파일로 사용자에게 전송되는지 확인하세요.

등록된 사용자만 설문 조사에 참여할 수 있습니다. 로그인제발

웹 스크래핑 기술을 사용하십니까?

• Да

• 아니

8명의 사용자가 투표했습니다. 1명의 사용자가 기권했습니다.

출처 : habr.com