Python - ຜູ້ຊ່ວຍໃນການຄົ້ນຫາປີ້ຍົນລາຄາຖືກສໍາລັບຜູ້ທີ່ຮັກການເດີນທາງ

ຜູ້ຂຽນຂອງບົດຄວາມ, ການແປທີ່ພວກເຮົາກໍາລັງເຜີຍແຜ່ໃນມື້ນີ້, ເວົ້າວ່າເປົ້າຫມາຍຂອງມັນແມ່ນເພື່ອເວົ້າກ່ຽວກັບການພັດທະນາເວັບ scraper ໃນ Python ໂດຍໃຊ້ Selenium, ເຊິ່ງຊອກຫາລາຄາປີ້ຍົນ. ເມື່ອຊອກຫາປີ້, ວັນທີທີ່ປ່ຽນແປງໄດ້ຖືກນໍາໃຊ້ (+- 3 ມື້ທຽບກັບວັນທີທີ່ລະບຸ). scraper ບັນທຶກຜົນການຄົ້ນຫາໃນໄຟລ໌ Excel ແລະສົ່ງຜູ້ທີ່ດໍາເນີນການຄົ້ນຫາອີເມລ໌ທີ່ມີບົດສະຫຼຸບຂອງສິ່ງທີ່ພວກເຂົາພົບ. ເປົ້າຫມາຍຂອງໂຄງການນີ້ແມ່ນເພື່ອຊ່ວຍໃຫ້ນັກທ່ອງທ່ຽວຊອກຫາຂໍ້ສະເຫນີທີ່ດີທີ່ສຸດ.

ຖ້າ, ໃນຂະນະທີ່ເຂົ້າໃຈວັດສະດຸ, ເຈົ້າຮູ້ສຶກສູນເສຍ, ກວດເບິ່ງ ນີ້ ບົດຄວາມ.

ເຮົາຈະຊອກຫາຫຍັງ?

ທ່ານ​ມີ​ອິດ​ສະ​ຫຼະ​ໃນ​ການ​ນໍາ​ໃຊ້​ລະ​ບົບ​ທີ່​ອະ​ທິ​ບາຍ​ໃນ​ທີ່​ນີ້​ຕາມ​ທີ່​ທ່ານ​ຕ້ອງ​ການ​. ຕົວຢ່າງ, ຂ້ອຍໃຊ້ມັນເພື່ອຊອກຫາການທ່ອງທ່ຽວທ້າຍອາທິດ ແລະປີ້ໄປບ້ານເກີດຂອງຂ້ອຍ. ຖ້າທ່ານຈິງຈັງກ່ຽວກັບການຊອກຫາປີ້ທີ່ມີກໍາໄລ, ທ່ານສາມາດດໍາເນີນການສະຄິບໃນເຄື່ອງແມ່ຂ່າຍ (ງ່າຍດາຍ server, ສໍາລັບ 130 rubles ຕໍ່ເດືອນ, ແມ່ນຂ້ອນຂ້າງເຫມາະສົມສໍາລັບການນີ້) ແລະໃຫ້ແນ່ໃຈວ່າມັນແລ່ນຫນຶ່ງຫຼືສອງຄັ້ງຕໍ່ມື້. ຜົນການຊອກຫາຈະຖືກສົ່ງໃຫ້ທ່ານທາງອີເມວ. ນອກຈາກນັ້ນ, ຂ້າພະເຈົ້າແນະນໍາໃຫ້ຕັ້ງຄ່າທຸກຢ່າງເພື່ອໃຫ້ສະຄິບບັນທຶກໄຟລ໌ Excel ດ້ວຍຜົນການຄົ້ນຫາໃນໂຟນເດີ Dropbox, ເຊິ່ງຈະຊ່ວຍໃຫ້ທ່ານສາມາດເບິ່ງໄຟລ໌ດັ່ງກ່າວຈາກທຸກບ່ອນແລະທຸກເວລາ.

ຂ້ອຍບໍ່ພົບອັດຕາພາສີທີ່ມີຄວາມຜິດພາດເທື່ອ, ແຕ່ຂ້ອຍຄິດວ່າມັນເປັນໄປໄດ້

ເມື່ອຄົ້ນຫາ, ດັ່ງທີ່ໄດ້ກ່າວມາແລ້ວ, "ວັນທີທີ່ມີຄວາມຍືດຫຍຸ່ນ" ຖືກນໍາໃຊ້; script ຊອກຫາຂໍ້ສະເຫນີທີ່ຢູ່ໃນສາມມື້ຂອງວັນທີທີ່ກໍານົດໄວ້. ເຖິງແມ່ນວ່າໃນເວລາທີ່ແລ່ນສະຄິບ, ມັນຊອກຫາການສະເຫນີໃນທິດທາງດຽວ, ມັນງ່າຍທີ່ຈະດັດແປງມັນເພື່ອໃຫ້ມັນສາມາດເກັບກໍາຂໍ້ມູນໃນຫຼາຍທິດທາງການບິນ. ດ້ວຍການຊ່ວຍເຫຼືອຂອງມັນ, ທ່ານຍັງສາມາດຊອກຫາອັດຕາພາສີທີ່ຜິດພາດ; ການຄົ້ນພົບດັ່ງກ່າວສາມາດເປັນສິ່ງທີ່ຫນ້າສົນໃຈຫຼາຍ.

ເປັນຫຍັງທ່ານຕ້ອງການເຄື່ອງຂູດເວັບອື່ນ?

ເມື່ອຂ້ອຍເລີ່ມຂູດເວັບທໍາອິດ, ຂ້ອຍຊື່ສັດບໍ່ສົນໃຈມັນໂດຍສະເພາະ. ຂ້າພະເຈົ້າຕ້ອງການຢາກເຮັດໂຄງການເພີ່ມເຕີມໃນພາກສະຫນາມຂອງການສ້າງແບບຈໍາລອງການຄາດເດົາ, ການວິເຄາະທາງດ້ານການເງິນ, ແລະ, ອາດຈະ, ໃນພາກສະຫນາມຂອງການວິເຄາະການໃສ່ສີຄວາມຮູ້ສຶກຂອງບົດເລື່ອງຕ່າງໆ. ແຕ່ມັນໄດ້ຫັນອອກວ່າມັນຫນ້າສົນໃຈຫຼາຍທີ່ຈະຄິດວິທີການສ້າງໂຄງການທີ່ເກັບກໍາຂໍ້ມູນຈາກເວັບໄຊທ໌ຕ່າງໆ. ໃນຂະນະທີ່ຂ້ອຍໄດ້ເຂົ້າໄປໃນຫົວຂໍ້ນີ້, ຂ້ອຍຮູ້ວ່າການຂູດເວັບແມ່ນ "ເຄື່ອງຈັກ" ຂອງອິນເຕີເນັດ.

ເຈົ້າອາດຄິດວ່ານີ້ເປັນຄຳເວົ້າທີ່ກ້າຫານເກີນໄປ. ແຕ່ພິຈາລະນາວ່າ Google ເລີ່ມຕົ້ນດ້ວຍເຄື່ອງຂູດເວັບທີ່ Larry Page ສ້າງໂດຍໃຊ້ Java ແລະ Python. ຫຸ່ນຍົນຂອງ Google ໄດ້ຄົ້ນຫາອິນເຕີເນັດ, ພະຍາຍາມໃຫ້ຄໍາຕອບທີ່ດີທີ່ສຸດສໍາລັບຄໍາຖາມຂອງພວກເຂົາໃຫ້ກັບຜູ້ໃຊ້. ການຂູດເວັບມີການນໍາໃຊ້ທີ່ບໍ່ມີທີ່ສິ້ນສຸດ, ແລະເຖິງແມ່ນວ່າທ່ານມີຄວາມສົນໃຈໃນສິ່ງອື່ນໃນ Data Science, ທ່ານຈະຕ້ອງມີທັກສະການຂູດບາງຢ່າງເພື່ອໃຫ້ໄດ້ຂໍ້ມູນທີ່ທ່ານຕ້ອງການວິເຄາະ.

ຂ້າ​ພະ​ເຈົ້າ​ໄດ້​ພົບ​ເຫັນ​ບາງ​ເຕັກ​ນິກ​ການ​ນໍາ​ໃຊ້​ທີ່​ນີ້​ໃນ​ສິ່ງ​ມະ​ຫັດ​ ປື້ມ ກ່ຽວກັບການຂູດເວັບ, ທີ່ຂ້ອຍໄດ້ມາບໍ່ດົນມານີ້. ມັນປະກອບດ້ວຍຕົວຢ່າງທີ່ງ່າຍດາຍຫຼາຍແລະແນວຄວາມຄິດສໍາລັບການປະຕິບັດຕົວຈິງຂອງສິ່ງທີ່ທ່ານໄດ້ຮຽນຮູ້. ນອກຈາກນັ້ນ, ມີບົດທີ່ຫນ້າສົນໃຈຫຼາຍກ່ຽວກັບການຂ້າມການກວດສອບ reCaptcha. ນີ້ມາເປັນຂ່າວສໍາລັບຂ້ອຍ, ເພາະວ່າຂ້ອຍບໍ່ຮູ້ວ່າມີເຄື່ອງມືພິເສດແລະແມ້ກະທັ້ງການບໍລິການທັງຫມົດສໍາລັບການແກ້ໄຂບັນຫາດັ່ງກ່າວ.

ເຈົ້າມັກເດີນທາງບໍ່?!

ຕໍ່ຄໍາຖາມທີ່ງ່າຍດາຍແລະບໍ່ເປັນອັນຕະລາຍທີ່ຕັ້ງຢູ່ໃນຫົວຂໍ້ຂອງພາກນີ້, ທ່ານມັກຈະສາມາດໄດ້ຍິນຄໍາຕອບໃນທາງບວກ, ພ້ອມກັບເລື່ອງສອງສາມເລື່ອງຈາກການເດີນທາງຂອງຜູ້ທີ່ຖືກຖາມ. ພວກ​ເຮົາ​ສ່ວນ​ໃຫຍ່​ເຫັນ​ດີ​ວ່າ​ການ​ເດີນ​ທາງ​ເປັນ​ວິ​ທີ​ທີ່​ດີ​ທີ່​ຈະ​ເອົາ​ໃຈ​ໃສ່​ໃນ​ສະ​ພາບ​ແວດ​ລ້ອມ​ວັດ​ທະ​ນະ​ທໍາ​ໃຫມ່​ແລະ​ເປີດ​ກວ້າງ​ຂອບ​ເຂດ​ຂອງ​ທ່ານ. ຢ່າງໃດກໍຕາມ, ຖ້າທ່ານຖາມບາງຄົນວ່າພວກເຂົາມັກຊອກຫາປີ້ເຮືອບິນ, ຂ້ອຍແນ່ໃຈວ່າຄໍາຕອບຈະບໍ່ເປັນບວກ. ໃນຄວາມເປັນຈິງ, Python ເຂົ້າມາຊ່ວຍເຫຼືອຂອງພວກເຮົາຢູ່ທີ່ນີ້.

ວຽກງານທໍາອິດທີ່ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ແກ້ໄຂກ່ຽວກັບວິທີການສ້າງລະບົບສໍາລັບການຊອກຫາຂໍ້ມູນກ່ຽວກັບປີ້ເຮືອບິນແມ່ນຈະເລືອກເອົາເວທີທີ່ເຫມາະສົມຈາກທີ່ພວກເຮົາຈະເອົາຂໍ້ມູນ. ການແກ້ໄຂບັນຫານີ້ບໍ່ແມ່ນເລື່ອງງ່າຍສໍາລັບຂ້ອຍ, ແຕ່ໃນທີ່ສຸດຂ້ອຍເລືອກບໍລິການ Kayak. ຂ້າພະເຈົ້າໄດ້ພະຍາຍາມບໍລິການຂອງ Momondo, Skyscanner, Expedia, ແລະອື່ນໆຈໍານວນຫນ້ອຍ, ແຕ່ກົນໄກການປົກປ້ອງຫຸ່ນຍົນໃນຊັບພະຍາກອນເຫຼົ່ານີ້ແມ່ນ impenetrable. ຫຼັງຈາກຄວາມພະຍາຍາມຫຼາຍໆຄັ້ງ, ໃນໄລຍະທີ່ຂ້ອຍຕ້ອງຈັດການກັບໄຟຈະລາຈອນ, ທາງຍ່າງທາງຂ້າມແລະລົດຖີບ, ພະຍາຍາມເຮັດໃຫ້ລະບົບຕ່າງໆທີ່ຂ້ອຍເປັນມະນຸດ, ຂ້ອຍໄດ້ຕັດສິນໃຈວ່າ Kayak ແມ່ນເຫມາະສົມທີ່ສຸດສໍາລັບຂ້ອຍ, ເຖິງແມ່ນວ່າຈະໂຫລດຫນ້າເວັບຫຼາຍເກີນໄປ. ໃນເວລາສັ້ນໆ, ແລະການກວດສອບຍັງເລີ່ມຕົ້ນ. ຂ້າພະເຈົ້າໄດ້ຈັດການເພື່ອເຮັດໃຫ້ bot ສົ່ງຄໍາຮ້ອງຂໍໄປຫາເວັບໄຊທ໌ໃນໄລຍະ 4 ຫາ 6 ຊົ່ວໂມງ, ແລະທຸກສິ່ງທຸກຢ່າງເຮັດວຽກໄດ້ດີ. ບາງຄັ້ງ, ຄວາມຫຍຸ້ງຍາກເກີດຂື້ນໃນເວລາທີ່ເຮັດວຽກກັບ Kayak, ແຕ່ຖ້າພວກເຂົາເລີ່ມຂົ່ມເຫັງທ່ານດ້ວຍການກວດສອບ, ຫຼັງຈາກນັ້ນທ່ານຈໍາເປັນຕ້ອງຈັດການກັບພວກມັນດ້ວຍຕົນເອງແລະຫຼັງຈາກນັ້ນເປີດ bot, ຫຼືລໍຖ້າສອງສາມຊົ່ວໂມງແລະການກວດສອບຄວນຢຸດເຊົາ. ຖ້າຈໍາເປັນ, ທ່ານສາມາດດັດແປງລະຫັດສໍາລັບເວທີອື່ນໄດ້ງ່າຍ, ແລະຖ້າທ່ານເຮັດແນວນັ້ນ, ທ່ານສາມາດລາຍງານມັນໃນຄໍາເຫັນ.

ຖ້າທ່ານພຽງແຕ່ເລີ່ມຕົ້ນກັບການຂູດເວັບແລະບໍ່ຮູ້ວ່າເປັນຫຍັງບາງເວັບໄຊທ໌ຕໍ່ສູ້ກັບມັນ, ຫຼັງຈາກນັ້ນກ່ອນທີ່ທ່ານຈະເລີ່ມຕົ້ນໂຄງການທໍາອິດຂອງທ່ານໃນພື້ນທີ່ນີ້, ຈົ່ງເຮັດຕົວທ່ານເອງແລະເຮັດການຄົ້ນຫາ Google ໃນຄໍາວ່າ "ມາລະຍາດ web scraping". . ການທົດລອງຂອງເຈົ້າອາດຈະສິ້ນສຸດໄວກວ່າທີ່ເຈົ້າຄິດ ຖ້າເຈົ້າເຮັດການຂູດເວັບໂດຍບໍ່ສະຫຼາດ.

ການເລີ່ມຕົ້ນ

ນີ້ແມ່ນພາບລວມທົ່ວໄປຂອງສິ່ງທີ່ຈະເກີດຂຶ້ນໃນລະຫັດ scraper ເວັບຂອງພວກເຮົາ:

• ນໍາເຂົ້າຫ້ອງສະຫມຸດທີ່ຕ້ອງການ.
• ກຳລັງເປີດແຖບ Google Chrome.
• ໂທຫາຟັງຊັນທີ່ເລີ່ມຕົ້ນ bot, ຜ່ານເມືອງແລະວັນທີທີ່ຈະໃຊ້ໃນເວລາທີ່ຊອກຫາຕົ໋ວ.
• ຟັງຊັນນີ້ເອົາຜົນການຄົ້ນຫາທໍາອິດ, ຈັດຮຽງຕາມທີ່ດີທີ່ສຸດ, ແລະຄລິກໃສ່ປຸ່ມເພື່ອໂຫລດຜົນໄດ້ຮັບເພີ່ມເຕີມ.
• ຟັງຊັນອື່ນເກັບກໍາຂໍ້ມູນຈາກຫນ້າທັງຫມົດແລະສົ່ງຄືນກອບຂໍ້ມູນ.
• ສອງຂັ້ນຕອນທີ່ຜ່ານມາແມ່ນປະຕິບັດໂດຍໃຊ້ປະເພດການຈັດຮຽງຕາມລາຄາປີ້ (ລາຄາຖືກ) ແລະໂດຍຄວາມໄວຖ້ຽວບິນ (ໄວທີ່ສຸດ).
• ຜູ້ໃຊ້ຂອງສະຄິບໄດ້ຖືກສົ່ງອີເມວທີ່ປະກອບດ້ວຍບົດສະຫຼຸບຂອງລາຄາປີ້ (ປີ້ທີ່ຖືກທີ່ສຸດແລະລາຄາສະເລ່ຍ), ແລະກອບຂໍ້ມູນທີ່ມີຂໍ້ມູນທີ່ຈັດຮຽງໂດຍສາມຕົວຊີ້ວັດທີ່ກ່າວມາຂ້າງເທິງຈະຖືກບັນທຶກເປັນໄຟລ໌ Excel.
• ການປະຕິບັດຂ້າງເທິງທັງຫມົດແມ່ນປະຕິບັດໃນຮອບວຽນຫຼັງຈາກໄລຍະເວລາທີ່ກໍານົດໄວ້.

ມັນຄວນຈະສັງເກດວ່າທຸກໆໂຄງການ Selenium ເລີ່ມຕົ້ນດ້ວຍຕົວຂັບເວັບ. ຂ້ອຍ​ໃຊ້ Chromedriver, ຂ້ອຍເຮັດວຽກກັບ Google Chrome, ແຕ່ມີທາງເລືອກອື່ນ. PhantomJS ແລະ Firefox ຍັງເປັນທີ່ນິຍົມ. ຫຼັງຈາກດາວໂຫຼດໄດເວີ, ທ່ານຈໍາເປັນຕ້ອງວາງມັນໄວ້ໃນໂຟນເດີທີ່ເຫມາະສົມ, ແລະນີ້ສໍາເລັດການກະກຽມສໍາລັບການນໍາໃຊ້ຂອງມັນ. ແຖວທຳອິດຂອງສະຄຣິບຂອງພວກເຮົາເປີດແຖບ Chrome ໃໝ່.

ຈົ່ງຈື່ໄວ້ວ່າໃນເລື່ອງຂອງຂ້ອຍຂ້ອຍບໍ່ໄດ້ພະຍາຍາມເປີດຂອບເຂດໃຫມ່ສໍາລັບການຊອກຫາຂໍ້ສະເຫນີທີ່ດີກ່ຽວກັບປີ້ຍົນ. ມີວິທີການທີ່ກ້າວຫນ້າທາງດ້ານຫຼາຍໃນການຊອກຫາການສະເຫນີດັ່ງກ່າວ. ຂ້າ​ພະ​ເຈົ້າ​ພຽງ​ແຕ່​ຕ້ອງ​ການ​ທີ່​ຈະ​ສະ​ເຫນີ​ໃຫ້​ຜູ້​ອ່ານ​ຂອງ​ເອ​ກະ​ສານ​ນີ້​ເປັນ​ວິ​ທີ​ທີ່​ງ່າຍ​ດາຍ​ແຕ່​ປະ​ຕິ​ບັດ​ເພື່ອ​ແກ້​ໄຂ​ບັນ​ຫາ​ນີ້​.

ນີ້ແມ່ນລະຫັດທີ່ພວກເຮົາເວົ້າຢູ່ຂ້າງເທິງ.

from time import sleep, strftime
from random import randint
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import smtplib
from email.mime.multipart import MIMEMultipart

# Используйте тут ваш путь к chromedriver!
chromedriver_path = 'C:/{YOUR PATH HERE}/chromedriver_win32/chromedriver.exe'

driver = webdriver.Chrome(executable_path=chromedriver_path) # Этой командой открывается окно Chrome
sleep(2)

ໃນຕອນເລີ່ມຕົ້ນຂອງລະຫັດທ່ານສາມາດເບິ່ງຄໍາສັ່ງນໍາເຂົ້າຊຸດທີ່ໃຊ້ໃນທົ່ວໂຄງການຂອງພວກເຮົາ. ດັ່ງນັ້ນ, randint ໃຊ້ເພື່ອເຮັດໃຫ້ bot "ນອນຫລັບ" ເປັນຈໍານວນວິນາທີກ່ອນທີ່ຈະເລີ່ມຕົ້ນການຄົ້ນຫາໃຫມ່. ປົກກະຕິແລ້ວ, ບໍ່ແມ່ນ bot ດຽວສາມາດເຮັດໄດ້ໂດຍບໍ່ມີການນີ້. ຖ້າທ່ານແລ່ນລະຫັດຂ້າງເທິງ, ປ່ອງຢ້ຽມ Chrome ຈະເປີດ, ເຊິ່ງ bot ຈະໃຊ້ເພື່ອເຮັດວຽກກັບເວັບໄຊທ໌ຕ່າງໆ.

ໃຫ້ເຮັດການທົດລອງເລັກນ້ອຍແລະເປີດເວັບໄຊທ໌ kayak.com ໃນປ່ອງຢ້ຽມແຍກຕ່າງຫາກ. ເຮົາ​ຈະ​ເລືອກ​ເອົາ​ເມືອງ​ທີ່​ເຮົາ​ຈະ​ບິນ, ແລະ​ເມືອງ​ທີ່​ເຮົາ​ຢາກ​ໄປ, ພ້ອມ​ທັງ​ວັນ​ທີ່​ບິນ. ເມື່ອເລືອກວັນທີ, ໃຫ້ແນ່ໃຈວ່າໄລຍະຂອງ +-3 ມື້ຖືກນໍາໃຊ້. ຂ້າພະເຈົ້າໄດ້ຂຽນລະຫັດຄໍານຶງເຖິງສິ່ງທີ່ເວັບໄຊທ໌ຜະລິດເພື່ອຕອບສະຫນອງຄໍາຮ້ອງຂໍດັ່ງກ່າວ. ຖ້າຕົວຢ່າງ, ທ່ານຈໍາເປັນຕ້ອງຊອກຫາຕົ໋ວພຽງແຕ່ສໍາລັບວັນທີທີ່ກໍານົດໄວ້, ຫຼັງຈາກນັ້ນມີຄວາມເປັນໄປໄດ້ສູງທີ່ທ່ານຈະຕ້ອງດັດແປງລະຫັດ bot. ເມື່ອຂ້ອຍເວົ້າກ່ຽວກັບລະຫັດ, ຂ້ອຍໃຫ້ຄໍາອະທິບາຍທີ່ເຫມາະສົມ, ແຕ່ຖ້າທ່ານຮູ້ສຶກສັບສົນ, ໃຫ້ຂ້ອຍຮູ້.

ໃນປັດຈຸບັນໃຫ້ຄລິກໃສ່ປຸ່ມຄົ້ນຫາແລະເບິ່ງການເຊື່ອມຕໍ່ໃນແຖບທີ່ຢູ່. ມັນຄວນຈະຄ້າຍຄືກັບການເຊື່ອມຕໍ່ທີ່ຂ້ອຍໃຊ້ໃນຕົວຢ່າງຂ້າງລຸ່ມນີ້ບ່ອນທີ່ຕົວແປຖືກປະກາດ kayak, ເຊິ່ງເກັບຮັກສາ URL, ແລະວິທີການຖືກນໍາໃຊ້ get ໄດເວີເວັບ. ຫຼັງຈາກກົດປຸ່ມຄົ້ນຫາ, ຜົນໄດ້ຮັບຄວນຈະປາກົດຢູ່ໃນຫນ້າ.

ເມື່ອຂ້ອຍໃຊ້ຄໍາສັ່ງ get ຫຼາຍກວ່າສອງຫຼືສາມເທື່ອພາຍໃນສອງສາມນາທີ, ຂ້ອຍໄດ້ຖືກຂໍໃຫ້ເຮັດສໍາເລັດການຢັ້ງຢືນໂດຍໃຊ້ reCaptcha. ທ່ານສາມາດຜ່ານການກວດສອບນີ້ດ້ວຍຕົນເອງແລະສືບຕໍ່ການທົດລອງຈົນກ່ວາລະບົບຕັດສິນໃຈທີ່ຈະດໍາເນີນການກວດສອບໃຫມ່. ເມື່ອຂ້ອຍທົດສອບສະຄິບ, ມັນເບິ່ງຄືວ່າກອງປະຊຸມຄົ້ນຫາທໍາອິດແມ່ນສະເຫມີໄປຢ່າງຄ່ອງແຄ້ວ, ດັ່ງນັ້ນຖ້າທ່ານຕ້ອງການທົດລອງລະຫັດ, ທ່ານພຽງແຕ່ຕ້ອງກວດເບິ່ງດ້ວຍຕົນເອງແລະປ່ອຍໃຫ້ລະຫັດເຮັດວຽກເປັນໄລຍະ, ໂດຍໃຊ້ໄລຍະຫ່າງລະຫວ່າງການຄົ້ນຫາ. ແລະ, ຖ້າທ່ານຄິດກ່ຽວກັບມັນ, ບຸກຄົນໃດຫນຶ່ງບໍ່ຫນ້າຈະຕ້ອງການຂໍ້ມູນກ່ຽວກັບລາຄາຕົ໋ວທີ່ໄດ້ຮັບໃນໄລຍະ 10 ນາທີລະຫວ່າງການດໍາເນີນງານຄົ້ນຫາ.

ເຮັດວຽກກັບຫນ້າໂດຍໃຊ້ XPath

ດັ່ງນັ້ນ, ພວກເຮົາໄດ້ເປີດປ່ອງຢ້ຽມແລະໂຫຼດເວັບໄຊທ໌. ເພື່ອໃຫ້ໄດ້ຮັບລາຄາແລະຂໍ້ມູນອື່ນໆ, ພວກເຮົາຈໍາເປັນຕ້ອງໃຊ້ເທກໂນໂລຍີ XPath ຫຼືຕົວເລືອກ CSS. ຂ້ອຍຕັດສິນໃຈຕິດກັບ XPath ແລະບໍ່ຮູ້ສຶກວ່າຕ້ອງໃຊ້ຕົວເລືອກ CSS, ແຕ່ມັນກໍ່ເປັນໄປໄດ້ຫຼາຍທີ່ຈະເຮັດວຽກແບບນັ້ນ. ການທ່ອງໄປຫາໜ້າໃດໜຶ່ງໂດຍໃຊ້ XPath ສາມາດເປັນເລື່ອງທີ່ຫຍຸ້ງຍາກ, ແລະເຖິງແມ່ນວ່າເຈົ້າຈະໃຊ້ເຕັກນິກທີ່ຂ້ອຍໄດ້ອະທິບາຍໄວ້ໃນ ນີ້ ບົດຄວາມ, ເຊິ່ງກ່ຽວຂ້ອງກັບການຄັດລອກຕົວກໍານົດທີ່ສອດຄ້ອງກັນຈາກລະຫັດຫນ້າ, ຂ້າພະເຈົ້າຮູ້ວ່ານີ້ແມ່ນ, ໃນຄວາມເປັນຈິງ, ບໍ່ແມ່ນວິທີທີ່ດີທີ່ສຸດທີ່ຈະເຂົ້າເຖິງອົງປະກອບທີ່ຈໍາເປັນ. ໂດຍວິທີທາງການ, ໃນ ນີ້ ປື້ມດັ່ງກ່າວໃຫ້ຄໍາອະທິບາຍທີ່ດີເລີດກ່ຽວກັບພື້ນຖານຂອງການເຮັດວຽກກັບຫນ້າເວັບຕ່າງໆໂດຍໃຊ້ຕົວເລືອກ XPath ແລະ CSS. ນີ້ແມ່ນສິ່ງທີ່ວິທີການຂັບເວັບໄຊຕ໌ທີ່ສອດຄ້ອງກັນເບິ່ງຄືວ່າ.

ດັ່ງນັ້ນ, ໃຫ້ສືບຕໍ່ເຮັດວຽກກ່ຽວກັບ bot. ໃຫ້ໃຊ້ຄວາມສາມາດຂອງໂປຣແກຣມເພື່ອເລືອກປີ້ລາຄາຖືກທີ່ສຸດ. ໃນຮູບຕໍ່ໄປນີ້, ລະຫັດເລືອກ XPath ຖືກເນັ້ນໃສ່ເປັນສີແດງ. ເພື່ອເບິ່ງລະຫັດ, ທ່ານຈໍາເປັນຕ້ອງຄລິກຂວາໃສ່ອົງປະກອບຫນ້າທີ່ທ່ານສົນໃຈແລະເລືອກຄໍາສັ່ງກວດກາຈາກເມນູທີ່ປາກົດ. ຄໍາສັ່ງນີ້ສາມາດຖືກເອີ້ນສໍາລັບອົງປະກອບຫນ້າທີ່ແຕກຕ່າງກັນ, ລະຫັດທີ່ຈະຖືກສະແດງແລະເນັ້ນໃສ່ໃນຕົວເບິ່ງລະຫັດ.

ເບິ່ງລະຫັດຫນ້າ

ເພື່ອຊອກຫາການຢືນຢັນເຫດຜົນຂອງຂ້ອຍກ່ຽວກັບຂໍ້ເສຍຂອງການຄັດລອກຕົວເລືອກຈາກລະຫັດ, ໃຫ້ເອົາໃຈໃສ່ກັບລັກສະນະຕໍ່ໄປນີ້.

ນີ້ແມ່ນສິ່ງທີ່ທ່ານໄດ້ຮັບເມື່ອທ່ານຄັດລອກລະຫັດ:

//*[@id="wtKI-price_aTab"]/div[1]/div/div/div[1]/div/span/span

ເພື່ອຄັດລອກບາງສິ່ງບາງຢ່າງເຊັ່ນນີ້, ທ່ານຈໍາເປັນຕ້ອງຄລິກຂວາໃສ່ສ່ວນຂອງລະຫັດທີ່ທ່ານສົນໃຈແລະເລືອກຄໍາສັ່ງ Copy> Copy XPath ຈາກເມນູທີ່ປາກົດ.

ນີ້ແມ່ນສິ່ງທີ່ຂ້ອຍໃຊ້ເພື່ອກໍານົດປຸ່ມທີ່ຖືກທີ່ສຸດ:

cheap_results = ‘//a[@data-code = "price"]’

ສຳເນົາຄຳສັ່ງ > ສຳເນົາ XPath

ມັນຂ້ອນຂ້າງຈະແຈ້ງວ່າທາງເລືອກທີສອງເບິ່ງງ່າຍດາຍຫຼາຍ. ເມື່ອນໍາໃຊ້, ມັນຈະຊອກຫາອົງປະກອບ a ທີ່ມີຄຸນລັກສະນະ data-codeເທົ່າ​ທຽມ​ກັນ​ກັບ price. ເມື່ອນໍາໃຊ້ທາງເລືອກທໍາອິດ, ອົງປະກອບແມ່ນຊອກຫາ id ເຊິ່ງເທົ່າກັບ wtKI-price_aTab, ແລະເສັ້ນທາງ XPath ໄປຫາອົງປະກອບເບິ່ງຄືວ່າ /div[1]/div/div/div[1]/div/span/span. ການສອບຖາມ XPath ແບບນີ້ໄປຫາຫນ້າຈະເຮັດ trick ໄດ້, ແຕ່ວ່າພຽງແຕ່ຄັ້ງດຽວ. ຂ້ອຍສາມາດເວົ້າໄດ້ໃນຕອນນີ້ id ຈະປ່ຽນແປງຄັ້ງຕໍ່ໄປທີ່ໜ້າຖືກໂຫລດ. ລຳດັບຕົວອັກສອນ wtKI ປ່ຽນແປງແບບໄດນາມິກທຸກຄັ້ງທີ່ຫນ້າເວັບຖືກໂຫລດ, ດັ່ງນັ້ນລະຫັດທີ່ໃຊ້ມັນຈະບໍ່ມີປະໂຫຍດຫຼັງຈາກການໂຫຼດຫນ້າຕໍ່ໄປ. ສະນັ້ນໃຊ້ເວລາບາງເວລາເພື່ອເຂົ້າໃຈ XPath. ຄວາມຮູ້ນີ້ຈະຮັບໃຊ້ເຈົ້າໄດ້ດີ.

ຢ່າງໃດກໍ່ຕາມ, ຄວນສັງເກດວ່າການຄັດລອກຕົວເລືອກ XPath ສາມາດເປັນປະໂຫຍດໃນເວລາທີ່ເຮັດວຽກກັບເວັບໄຊທ໌ທີ່ຂ້ອນຂ້າງງ່າຍດາຍ, ແລະຖ້າທ່ານມີຄວາມສະດວກສະບາຍໃນເລື່ອງນີ້, ບໍ່ມີຫຍັງຜິດພາດກັບມັນ.

ຕອນນີ້ໃຫ້ເຮົາຄິດກ່ຽວກັບສິ່ງທີ່ຕ້ອງເຮັດຖ້າທ່ານຕ້ອງການໃຫ້ຜົນໄດ້ຮັບຄົ້ນຫາທັງຫມົດໃນຫຼາຍເສັ້ນ, ພາຍໃນບັນຊີລາຍຊື່. ງ່າຍດາຍຫຼາຍ. ແຕ່ລະຜົນໄດ້ຮັບແມ່ນຢູ່ໃນວັດຖຸທີ່ມີຫ້ອງຮຽນ resultWrapper. ການໂຫຼດຜົນໄດ້ຮັບທັງຫມົດສາມາດເຮັດໄດ້ໃນ loop ທີ່ຄ້າຍຄືກັນກັບຫນຶ່ງທີ່ສະແດງຂ້າງລຸ່ມນີ້.

ມັນຄວນຈະສັງເກດວ່າຖ້າທ່ານເຂົ້າໃຈຂ້າງເທິງ, ຫຼັງຈາກນັ້ນທ່ານຄວນເຂົ້າໃຈລະຫັດສ່ວນໃຫຍ່ທີ່ພວກເຮົາຈະວິເຄາະໄດ້ງ່າຍ. ເມື່ອລະຫັດນີ້ດໍາເນີນການ, ພວກເຮົາເຂົ້າເຖິງສິ່ງທີ່ພວກເຮົາຕ້ອງການ (ໃນຄວາມເປັນຈິງ, ອົງປະກອບທີ່ຜົນໄດ້ຮັບຖືກຫໍ່) ໂດຍໃຊ້ບາງປະເພດຂອງກົນໄກການກໍານົດເສັ້ນທາງ (XPath). ນີ້ແມ່ນເຮັດເພື່ອໃຫ້ໄດ້ຂໍ້ຄວາມຂອງອົງປະກອບແລະວາງໄວ້ໃນວັດຖຸທີ່ຂໍ້ມູນສາມາດອ່ານໄດ້ (ໃຊ້ຄັ້ງທໍາອິດ. flight_containers, ແລ້ວ - flights_list).

ສາມເສັ້ນທໍາອິດຖືກສະແດງແລະພວກເຮົາເຫັນໄດ້ຊັດເຈນທຸກສິ່ງທີ່ພວກເຮົາຕ້ອງການ. ຢ່າງໃດກໍຕາມ, ພວກເຮົາມີວິທີທີ່ຫນ້າສົນໃຈຫຼາຍໃນການໄດ້ຮັບຂໍ້ມູນ. ພວກເຮົາຈໍາເປັນຕ້ອງເອົາຂໍ້ມູນຈາກແຕ່ລະອົງປະກອບແຍກຕ່າງຫາກ.

ໄປ​ເຮັດ​ວຽກ!

ວິທີທີ່ງ່າຍທີ່ສຸດທີ່ຈະຂຽນຫນ້າທີ່ແມ່ນການໂຫຼດຜົນໄດ້ຮັບເພີ່ມເຕີມ, ດັ່ງນັ້ນພວກເຮົາຈະເລີ່ມຕົ້ນ. ຂ້ອຍຕ້ອງການເພີ່ມຈໍານວນຖ້ຽວບິນທີ່ໂຄງການໄດ້ຮັບຂໍ້ມູນກ່ຽວກັບ, ໂດຍບໍ່ມີການເພີ່ມຄວາມສົງໃສໃນການບໍລິການທີ່ນໍາໄປສູ່ການກວດສອບ, ດັ່ງນັ້ນຂ້ອຍກົດປຸ່ມ Load more results one once each page is displayed. ໃນລະຫັດນີ້, ທ່ານຄວນເອົາໃຈໃສ່ກັບຕັນ try, ທີ່ຂ້າພະເຈົ້າໄດ້ເພີ່ມເພາະວ່າບາງຄັ້ງປຸ່ມບໍ່ໂຫລດຢ່າງຖືກຕ້ອງ. ຖ້າທ່ານພົບສິ່ງນີ້, ໃຫ້ຄໍາຄິດຄໍາເຫັນໂທຫາຟັງຊັນນີ້ໃນລະຫັດຟັງຊັນ start_kayak, ທີ່ພວກເຮົາຈະເບິ່ງຂ້າງລຸ່ມນີ້.

# Загрузка большего количества результатов для того, чтобы максимизировать объём собираемых данных
def load_more():
    try:
        more_results = '//a[@class = "moreButton"]'
        driver.find_element_by_xpath(more_results).click()
        # Вывод этих заметок в ходе работы программы помогает мне быстро выяснить то, чем она занята
        print('sleeping.....')
        sleep(randint(45,60))
    except:
        pass

ໃນປັດຈຸບັນ, ຫຼັງຈາກການວິເຄາະຍາວຂອງຫນ້າທີ່ນີ້ (ບາງຄັ້ງຂ້ອຍສາມາດປະຕິບັດໄດ້), ພວກເຮົາພ້ອມທີ່ຈະປະກາດຫນ້າທີ່ທີ່ຈະຂູດຫນ້າ.

ຂ້າພະເຈົ້າໄດ້ເກັບກໍາແລ້ວສ່ວນໃຫຍ່ຂອງສິ່ງທີ່ຈໍາເປັນໃນຫນ້າທີ່ຕໍ່ໄປນີ້ເອີ້ນວ່າ page_scrape. ບາງຄັ້ງຂໍ້ມູນເສັ້ນທາງທີ່ສົ່ງຄືນໄດ້ຖືກລວມເຂົ້າກັນ, ດັ່ງນັ້ນຂ້ອຍໃຊ້ວິທີງ່າຍໆເພື່ອແຍກມັນ. ຕົວຢ່າງ, ເມື່ອຂ້ອຍໃຊ້ຕົວແປເປັນຄັ້ງທໍາອິດ section_a_list и section_b_list. ຟັງຊັນຂອງພວກເຮົາສົ່ງຄືນກອບຂໍ້ມູນ flights_df, ນີ້ອະນຸຍາດໃຫ້ພວກເຮົາແຍກຜົນໄດ້ຮັບທີ່ໄດ້ຮັບຈາກວິທີການຈັດລຽງຂໍ້ມູນທີ່ແຕກຕ່າງກັນແລະຕໍ່ມາປະສົມປະສານໃຫ້ເຂົາເຈົ້າ.

def page_scrape():
    """This function takes care of the scraping part"""
    
    xp_sections = '//*[@class="section duration"]'
    sections = driver.find_elements_by_xpath(xp_sections)
    sections_list = [value.text for value in sections]
    section_a_list = sections_list[::2] # так мы разделяем информацию о двух полётах
    section_b_list = sections_list[1::2]
    
    # Если вы наткнулись на reCaptcha, вам может понадобиться что-то предпринять.
    # О том, что что-то пошло не так, вы узнаете исходя из того, что вышеприведённые списки пусты
    # это выражение if позволяет завершить работу программы или сделать ещё что-нибудь
    # тут можно приостановить работу, что позволит вам пройти проверку и продолжить скрапинг
    # я использую тут SystemExit так как хочу протестировать всё с самого начала
    if section_a_list == []:
        raise SystemExit
    
    # Я буду использовать букву A для уходящих рейсов и B для прибывающих
    a_duration = []
    a_section_names = []
    for n in section_a_list:
        # Получаем время
        a_section_names.append(''.join(n.split()[2:5]))
        a_duration.append(''.join(n.split()[0:2]))
    b_duration = []
    b_section_names = []
    for n in section_b_list:
        # Получаем время
        b_section_names.append(''.join(n.split()[2:5]))
        b_duration.append(''.join(n.split()[0:2]))

    xp_dates = '//div[@class="section date"]'
    dates = driver.find_elements_by_xpath(xp_dates)
    dates_list = [value.text for value in dates]
    a_date_list = dates_list[::2]
    b_date_list = dates_list[1::2]
    # Получаем день недели
    a_day = [value.split()[0] for value in a_date_list]
    a_weekday = [value.split()[1] for value in a_date_list]
    b_day = [value.split()[0] for value in b_date_list]
    b_weekday = [value.split()[1] for value in b_date_list]
    
    # Получаем цены
    xp_prices = '//a[@class="booking-link"]/span[@class="price option-text"]'
    prices = driver.find_elements_by_xpath(xp_prices)
    prices_list = [price.text.replace('$','') for price in prices if price.text != '']
    prices_list = list(map(int, prices_list))

    # stops - это большой список, в котором первый фрагмент пути находится по чётному индексу, а второй - по нечётному
    xp_stops = '//div[@class="section stops"]/div[1]'
    stops = driver.find_elements_by_xpath(xp_stops)
    stops_list = [stop.text[0].replace('n','0') for stop in stops]
    a_stop_list = stops_list[::2]
    b_stop_list = stops_list[1::2]

    xp_stops_cities = '//div[@class="section stops"]/div[2]'
    stops_cities = driver.find_elements_by_xpath(xp_stops_cities)
    stops_cities_list = [stop.text for stop in stops_cities]
    a_stop_name_list = stops_cities_list[::2]
    b_stop_name_list = stops_cities_list[1::2]
    
    # сведения о компании-перевозчике, время отправления и прибытия для обоих рейсов
    xp_schedule = '//div[@class="section times"]'
    schedules = driver.find_elements_by_xpath(xp_schedule)
    hours_list = []
    carrier_list = []
    for schedule in schedules:
        hours_list.append(schedule.text.split('n')[0])
        carrier_list.append(schedule.text.split('n')[1])
    # разделяем сведения о времени и о перевозчиках между рейсами a и b
    a_hours = hours_list[::2]
    a_carrier = carrier_list[1::2]
    b_hours = hours_list[::2]
    b_carrier = carrier_list[1::2]

    
    cols = (['Out Day', 'Out Time', 'Out Weekday', 'Out Airline', 'Out Cities', 'Out Duration', 'Out Stops', 'Out Stop Cities',
            'Return Day', 'Return Time', 'Return Weekday', 'Return Airline', 'Return Cities', 'Return Duration', 'Return Stops', 'Return Stop Cities',
            'Price'])

    flights_df = pd.DataFrame({'Out Day': a_day,
                               'Out Weekday': a_weekday,
                               'Out Duration': a_duration,
                               'Out Cities': a_section_names,
                               'Return Day': b_day,
                               'Return Weekday': b_weekday,
                               'Return Duration': b_duration,
                               'Return Cities': b_section_names,
                               'Out Stops': a_stop_list,
                               'Out Stop Cities': a_stop_name_list,
                               'Return Stops': b_stop_list,
                               'Return Stop Cities': b_stop_name_list,
                               'Out Time': a_hours,
                               'Out Airline': a_carrier,
                               'Return Time': b_hours,
                               'Return Airline': b_carrier,                           
                               'Price': prices_list})[cols]
    
    flights_df['timestamp'] = strftime("%Y%m%d-%H%M") # время сбора данных
    return flights_df

ຂ້ອຍພະຍາຍາມຕັ້ງຊື່ຕົວແປເພື່ອໃຫ້ລະຫັດເຂົ້າໃຈໄດ້. ຈື່ໄວ້ວ່າຕົວແປທີ່ເລີ່ມຕົ້ນດ້ວຍ a ເປັນຂອງຂັ້ນຕອນທໍາອິດຂອງເສັ້ນທາງ, ແລະ b - ກັບທີສອງ. ຂໍໃຫ້ກ້າວໄປສູ່ຫນ້າທີ່ຕໍ່ໄປ.

ກົນໄກການສະໜັບສະໜູນ

ດຽວນີ້ພວກເຮົາມີຟັງຊັນທີ່ຊ່ວຍໃຫ້ພວກເຮົາສາມາດໂຫລດຜົນການຄົ້ນຫາເພີ່ມເຕີມແລະຟັງຊັນເພື່ອປະມວນຜົນຜົນໄດ້ຮັບເຫຼົ່ານັ້ນ. ບົດຄວາມນີ້ອາດຈະສິ້ນສຸດຢູ່ທີ່ນີ້, ເນື່ອງຈາກວ່າສອງຫນ້າທີ່ນີ້ສະຫນອງທຸກສິ່ງທຸກຢ່າງທີ່ທ່ານຕ້ອງການເພື່ອຂູດຫນ້າເວັບຕ່າງໆທີ່ທ່ານສາມາດເປີດຕົວທ່ານເອງໄດ້. ​ແຕ່​ພວກ​ເຮົາ​ຍັງ​ບໍ່​ທັນ​ໄດ້​ພິຈາລະນາ​ບາງ​ກົນ​ໄກ​ຊ່ວຍ​ເຫລືອ​ທີ່​ໄດ້​ປຶກສາ​ຫາລື​ຢູ່​ຂ້າງ​ເທິງ. ຕົວຢ່າງ, ນີ້ແມ່ນລະຫັດສໍາລັບການສົ່ງອີເມວແລະບາງສິ່ງອື່ນໆ. ທັງຫມົດນີ້ສາມາດພົບໄດ້ໃນຫນ້າທີ່ start_kayak, ທີ່ພວກເຮົາຈະພິຈາລະນາໃນປັດຈຸບັນ.

ເພື່ອໃຫ້ຟັງຊັນນີ້ເຮັດວຽກ, ທ່ານຕ້ອງການຂໍ້ມູນກ່ຽວກັບເມືອງແລະວັນທີ. ການນໍາໃຊ້ຂໍ້ມູນນີ້, ມັນປະກອບເປັນການເຊື່ອມໂຍງໃນຕົວແປ kayak, ເຊິ່ງຖືກນໍາໃຊ້ເພື່ອນໍາທ່ານໄປຫາຫນ້າທີ່ຈະປະກອບດ້ວຍຜົນການຄົ້ນຫາຈັດຮຽງຕາມຄໍາທີ່ກົງກັນທີ່ດີທີ່ສຸດຂອງພວກເຂົາກັບຄໍາຖາມ. ຫຼັງຈາກກອງປະຊຸມຂູດຄັ້ງທໍາອິດ, ພວກເຮົາຈະເຮັດວຽກກັບລາຄາໃນຕາຕະລາງຢູ່ເທິງສຸດຂອງຫນ້າ. ຄື, ພວກເຮົາຈະຊອກຫາລາຄາປີ້ຂັ້ນຕ່ໍາແລະລາຄາສະເລ່ຍ. ທັງຫມົດນີ້, ຄຽງຄູ່ກັບການຄາດຄະເນທີ່ອອກໂດຍເວັບໄຊທ໌, ຈະຖືກສົ່ງໄປທາງອີເມວ. ໃນຫນ້າ, ຕາຕະລາງທີ່ສອດຄ້ອງກັນຄວນຢູ່ໃນມຸມຊ້າຍເທິງ. ການເຮັດວຽກກັບຕາຕະລາງນີ້, ໂດຍວິທີທາງການ, ອາດຈະເຮັດໃຫ້ເກີດຄວາມຜິດພາດໃນເວລາຄົ້ນຫາໂດຍໃຊ້ວັນທີທີ່ແນ່ນອນ, ເພາະວ່າໃນກໍລະນີນີ້ຕາຕະລາງບໍ່ສະແດງຢູ່ໃນຫນ້າ.

def start_kayak(city_from, city_to, date_start, date_end):
    """City codes - it's the IATA codes!
    Date format -  YYYY-MM-DD"""
    
    kayak = ('https://www.kayak.com/flights/' + city_from + '-' + city_to +
             '/' + date_start + '-flexible/' + date_end + '-flexible?sort=bestflight_a')
    driver.get(kayak)
    sleep(randint(8,10))
    
    # иногда появляется всплывающее окно, для проверки на это и его закрытия можно воспользоваться блоком try
    try:
        xp_popup_close = '//button[contains(@id,"dialog-close") and contains(@class,"Button-No-Standard-Style close ")]'
        driver.find_elements_by_xpath(xp_popup_close)[5].click()
    except Exception as e:
        pass
    sleep(randint(60,95))
    print('loading more.....')
    
#     load_more()
    
    print('starting first scrape.....')
    df_flights_best = page_scrape()
    df_flights_best['sort'] = 'best'
    sleep(randint(60,80))
    
    # Возьмём самую низкую цену из таблицы, расположенной в верхней части страницы
    matrix = driver.find_elements_by_xpath('//*[contains(@id,"FlexMatrixCell")]')
    matrix_prices = [price.text.replace('$','') for price in matrix]
    matrix_prices = list(map(int, matrix_prices))
    matrix_min = min(matrix_prices)
    matrix_avg = sum(matrix_prices)/len(matrix_prices)
    
    print('switching to cheapest results.....')
    cheap_results = '//a[@data-code = "price"]'
    driver.find_element_by_xpath(cheap_results).click()
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting second scrape.....')
    df_flights_cheap = page_scrape()
    df_flights_cheap['sort'] = 'cheap'
    sleep(randint(60,80))
    
    print('switching to quickest results.....')
    quick_results = '//a[@data-code = "duration"]'
    driver.find_element_by_xpath(quick_results).click()  
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting third scrape.....')
    df_flights_fast = page_scrape()
    df_flights_fast['sort'] = 'fast'
    sleep(randint(60,80))
    
    # Сохранение нового фрейма в Excel-файл, имя которого отражает города и даты
    final_df = df_flights_cheap.append(df_flights_best).append(df_flights_fast)
    final_df.to_excel('search_backups//{}_flights_{}-{}_from_{}_to_{}.xlsx'.format(strftime("%Y%m%d-%H%M"),
                                                                                   city_from, city_to, 
                                                                                   date_start, date_end), index=False)
    print('saved df.....')
    
    # Можно следить за тем, как прогноз, выдаваемый сайтом, соотносится с реальностью
    xp_loading = '//div[contains(@id,"advice")]'
    loading = driver.find_element_by_xpath(xp_loading).text
    xp_prediction = '//span[@class="info-text"]'
    prediction = driver.find_element_by_xpath(xp_prediction).text
    print(loading+'n'+prediction)
    
    # иногда в переменной loading оказывается эта строка, которая, позже, вызывает проблемы с отправкой письма
    # если это прозошло - меняем её на "Not Sure"
    weird = '¯_(ツ)_/¯'
    if loading == weird:
        loading = 'Not sure'
    
    username = '[email protected]'
    password = 'YOUR PASSWORD'

    server = smtplib.SMTP('smtp.outlook.com', 587)
    server.ehlo()
    server.starttls()
    server.login(username, password)
    msg = ('Subject: Flight Scrapernn
Cheapest Flight: {}nAverage Price: {}nnRecommendation: {}nnEnd of message'.format(matrix_min, matrix_avg, (loading+'n'+prediction)))
    message = MIMEMultipart()
    message['From'] = '[email protected]'
    message['to'] = '[email protected]'
    server.sendmail('[email protected]', '[email protected]', msg)
    print('sent email.....')

ຂ້ອຍໄດ້ທົດສອບສະຄຣິບນີ້ໂດຍໃຊ້ບັນຊີ Outlook (hotmail.com). ຂ້ອຍບໍ່ໄດ້ທົດສອບວ່າມັນເຮັດວຽກຢ່າງຖືກຕ້ອງກັບບັນຊີ Gmail, ລະບົບອີເມວນີ້ແມ່ນຂ້ອນຂ້າງເປັນທີ່ນິຍົມ, ແຕ່ມີຫຼາຍທາງເລືອກທີ່ເປັນໄປໄດ້. ຖ້າທ່ານໃຊ້ບັນຊີ Hotmail, ຫຼັງຈາກນັ້ນເພື່ອໃຫ້ທຸກສິ່ງທຸກຢ່າງເຮັດວຽກ, ທ່ານພຽງແຕ່ຕ້ອງການໃສ່ຂໍ້ມູນຂອງທ່ານເຂົ້າໃນລະຫັດ.

ຖ້າທ່ານຕ້ອງການເຂົ້າໃຈສິ່ງທີ່ແນ່ນອນແມ່ນເຮັດຢູ່ໃນສ່ວນສະເພາະຂອງລະຫັດສໍາລັບຫນ້າທີ່ນີ້, ທ່ານສາມາດຄັດລອກພວກມັນແລະທົດລອງກັບພວກມັນ. ການທົດລອງກັບລະຫັດແມ່ນວິທີດຽວທີ່ຈະເຂົ້າໃຈຢ່າງແທ້ຈິງ.

ລະບົບພ້ອມ

ຕອນນີ້ພວກເຮົາໄດ້ເຮັດທຸກຢ່າງທີ່ພວກເຮົາເວົ້າ, ພວກເຮົາສາມາດສ້າງ loop ງ່າຍໆທີ່ເອີ້ນຫນ້າທີ່ຂອງພວກເຮົາ. script ຮ້ອງຂໍຂໍ້ມູນຈາກຜູ້ໃຊ້ກ່ຽວກັບເມືອງແລະວັນທີ. ໃນເວລາທີ່ການທົດສອບດ້ວຍການເລີ່ມຕົ້ນໃຫມ່ຂອງ script ຄົງທີ່, ທ່ານບໍ່ຫນ້າຈະຕ້ອງການທີ່ຈະໃສ່ຂໍ້ມູນນີ້ດ້ວຍຕົນເອງທຸກຄັ້ງ, ດັ່ງນັ້ນສາຍທີ່ສອດຄ້ອງກັນ, ສໍາລັບເວລາຂອງການທົດສອບ, ສາມາດອອກຄໍາຄິດເຫັນອອກໂດຍ uncomment ຂ້າງລຸ່ມນີ້ໃຫ້ເຂົາເຈົ້າ, ໃນຂໍ້ມູນທີ່ຕ້ອງການໂດຍ script ແມ່ນ hardcoded.

city_from = input('From which city? ')
city_to = input('Where to? ')
date_start = input('Search around which departure date? Please use YYYY-MM-DD format only ')
date_end = input('Return when? Please use YYYY-MM-DD format only ')

# city_from = 'LIS'
# city_to = 'SIN'
# date_start = '2019-08-21'
# date_end = '2019-09-07'

for n in range(0,5):
    start_kayak(city_from, city_to, date_start, date_end)
    print('iteration {} was complete @ {}'.format(n, strftime("%Y%m%d-%H%M")))
    
    # Ждём 4 часа
    sleep(60*60*4)
    print('sleep finished.....')

ນີ້ແມ່ນສິ່ງທີ່ການທົດສອບຂອງ script ເບິ່ງຄືວ່າ.

ການທົດສອບແລ່ນຂອງສະຄຣິບ

ຜົນໄດ້ຮັບ

ຖ້າເຈົ້າເຮັດໄດ້ໄກນີ້, ຂໍສະແດງຄວາມຍິນດີ! ໃນປັດຈຸບັນທ່ານມີເຄື່ອງຂູດເວັບທີ່ເຮັດວຽກ, ເຖິງແມ່ນວ່າຂ້ອຍສາມາດເຫັນຫຼາຍວິທີທີ່ຈະປັບປຸງມັນ. ຕົວຢ່າງ, ມັນສາມາດປະສົມປະສານກັບ Twilio ເພື່ອໃຫ້ມັນສົ່ງຂໍ້ຄວາມແທນທີ່ຈະເປັນອີເມວ. ທ່ານ​ສາ​ມາດ​ໃຊ້ VPN ຫຼື​ອັນ​ອື່ນ​ໄດ້​ພ້ອມ​ກັນ​ໄດ້​ຮັບ​ຜົນ​ໄດ້​ຮັບ​ຈາກ​ຫຼາຍ servers. ຍັງມີບັນຫາທີ່ເກີດຂຶ້ນເປັນແຕ່ລະໄລຍະກັບການກວດສອບຜູ້ໃຊ້ເວັບໄຊທ໌ເພື່ອເບິ່ງວ່າລາວເປັນຄົນ, ແຕ່ບັນຫານີ້ຍັງສາມາດແກ້ໄຂໄດ້. ໃນກໍລະນີໃດກໍ່ຕາມ, ຕອນນີ້ທ່ານມີພື້ນຖານທີ່ທ່ານສາມາດຂະຫຍາຍໄດ້ຖ້າທ່ານຕ້ອງການ. ຕົວຢ່າງ, ໃຫ້ແນ່ໃຈວ່າໄຟລ໌ Excel ຖືກສົ່ງໄປຫາຜູ້ໃຊ້ເປັນໄຟລ໌ແນບກັບອີເມວ.

ພຽງແຕ່ຜູ້ໃຊ້ລົງທະບຽນສາມາດເຂົ້າຮ່ວມໃນການສໍາຫຼວດ. ເຂົ້າ​ສູ່​ລະ​ບົບກະລຸນາ.

ເຈົ້າໃຊ້ເທກໂນໂລຍີການຂູດເວັບບໍ?

• ແມ່ນ​ແລ້ວ

• ບໍ່​ມີ

ຜູ້ໃຊ້ 8 ຄົນລົງຄະແນນສຽງ. 1 ຜູ້ໃຊ້ງົດ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com