Python - መጓዝ ለሚወዱ ርካሽ የአየር ትኬቶችን ለማግኘት ረዳት

የጽሁፉ አዘጋጅ ዛሬ የምናትመው ትርጉሙም አላማው የአየር መንገድ ቲኬቶችን ዋጋ የሚፈልገውን ሴሊኒየምን በመጠቀም በፓይዘን ውስጥ ስለ ድረ-ገጽ መቧጨር መነጋገር ነው ብሏል። ቲኬቶችን በሚፈልጉበት ጊዜ, ተለዋዋጭ ቀናት ጥቅም ላይ ይውላሉ (+ - ከተጠቀሱት ቀኖች አንጻር 3 ቀናት). መቧጠጫው የፍለጋ ውጤቶቹን በኤክሴል ፋይል ውስጥ ያስቀምጣቸዋል እና ፍለጋውን የሮጠውን ሰው ያገኘውን በማጠቃለያ ኢሜል ይልካል። የዚህ ፕሮጀክት ግብ ተጓዦች ምርጡን ቅናሾች እንዲያገኙ መርዳት ነው።

ትምህርቱን እየተረዳህ የጠፋብህ ከተሰማህ ተመልከት ይሄ ጽሑፍ.

ምን ልንፈልግ ነው?

እንደፈለጉት እዚህ የተገለጸውን ስርዓት ለመጠቀም ነፃ ነዎት። ለምሳሌ፣ ቅዳሜና እሁድን ጉብኝቶችን እና ወደ ትውልድ ከተማዬ ትኬቶችን ለመፈለግ ተጠቀምኩት። ትርፋማ ትኬቶችን ለማግኘት በቁም ነገር ካለህ ስክሪፕቱን በአገልጋዩ ላይ ማሄድ ትችላለህ (ቀላል አገልጋይ, በወር ለ 130 ሩብልስ, ለዚህ በጣም ተስማሚ ነው) እና በቀን አንድ ጊዜ ወይም ሁለት ጊዜ መሮጡን ያረጋግጡ. የፍለጋ ውጤቶች በኢሜል ይላክልዎታል. በተጨማሪም ፣ ስክሪፕቱ የ Excel ፋይልን በ Dropbox አቃፊ ውስጥ ካለው የፍለጋ ውጤቶች ጋር እንዲያስቀምጥ ሁሉንም ነገር እንዲያዋቅሩ እመክራለሁ ፣ ይህም እንደዚህ ያሉ ፋይሎችን ከየትኛውም ቦታ እና በማንኛውም ጊዜ እንዲመለከቱ ያስችልዎታል።

እስካሁን ስህተት ያለባቸውን ታሪፎች አላገኘሁም፣ ግን የሚቻል ይመስለኛል

በፍለጋ ጊዜ፣ ቀደም ሲል እንደተጠቀሰው፣ “ተለዋዋጭ ቀን” ጥቅም ላይ ይውላል፣ ስክሪፕቱ ከተሰጡት ቀናት በኋላ ባሉት ሶስት ቀናት ውስጥ ቅናሾችን ያገኛል። ምንም እንኳን ስክሪፕቱን በሚሰራበት ጊዜ ቅናሾችን በአንድ አቅጣጫ ብቻ ይፈልጋል ፣ ግን ለማስተካከል ቀላል ነው ፣ ስለሆነም በበርካታ የበረራ አቅጣጫዎች ላይ መረጃ መሰብሰብ ይችላል። በእሱ እርዳታ የተሳሳቱ ታሪፎችን እንኳን መፈለግ ይችላሉ, እንደዚህ ያሉ ግኝቶች በጣም አስደሳች ሊሆኑ ይችላሉ.

ለምን ሌላ የድረ-ገጽ መጥረጊያ ያስፈልግዎታል?

ድር መቧጨር ስጀምር፣ በሐቀኝነት በተለይ ለሱ ፍላጎት አልነበረኝም። በመተንበይ ሞዴሊንግ ፣ በፋይናንሺያል ትንተና እና ምናልባትም የፅሁፎችን ስሜታዊ ቀለም በመተንተን መስክ ላይ ተጨማሪ ፕሮጀክቶችን ለመስራት ፈልጌ ነበር። ነገር ግን ከድረ-ገጾች መረጃን የሚሰበስብ ፕሮግራም እንዴት መፍጠር እንደሚቻል ማወቅ በጣም አስደሳች ነበር. ወደዚህ ርዕስ ስገባ፣ ድር መቧጨር የኢንተርኔት “ሞተር” መሆኑን ተገነዘብኩ።

ይህ በጣም ደፋር መግለጫ ነው ብለው ሊያስቡ ይችላሉ። ነገር ግን ጎግል የጀመረው ላሪ ፔጅ ጃቫን እና ፓይዘንን በመጠቀም በፈጠረው የድረ-ገጽ መቧጠጫ መሆኑን አስቡበት። ጎግል ሮቦቶች ለተጠቃሚዎቹ ለጥያቄዎቻቸው ምርጡን መልስ ለመስጠት ሲሞክሩ ቆይተዋል። የድረ-ገጽ መቧጨር ማለቂያ የለሽ አጠቃቀሞች አሉት፣ እና ምንም እንኳን በዳታ ሳይንስ ውስጥ ሌላ ነገር ቢፈልጉም ፣ ለመተንተን የሚፈልጉትን ውሂብ ለማግኘት አንዳንድ የመቧጨር ችሎታ ያስፈልግዎታል።

እዚህ ጥቅም ላይ የዋሉ አንዳንድ ቴክኒኮችን በሚያስደንቅ ሁኔታ ውስጥ አግኝቻለሁ መጽሐፉ በቅርቡ ያገኘሁትን ስለ ድር መቧጨር። የተማራችሁትን ተግባራዊ ለማድረግ ብዙ ቀላል ምሳሌዎችን እና ሀሳቦችን ይዟል። በተጨማሪም፣ የ reCaptcha ቼኮችን ማለፍ ላይ በጣም አስደሳች ምዕራፍ አለ። እንደነዚህ ያሉትን ችግሮች ለመፍታት ልዩ መሣሪያዎች እና ሙሉ አገልግሎቶች እንዳሉ እንኳን ስለማላውቅ ይህ ለእኔ እንደ ዜና መጣ።

ሽር ሽር ትወጃለሽ?!

በዚህ ክፍል ርዕስ ላይ ለቀረበው ቀላል እና ምንም ጉዳት የሌለው ጥያቄ ፣ ከተጠየቀው ሰው ጉዞዎች ውስጥ ብዙ ታሪኮችን ታጅቦ አዎንታዊ መልስ መስማት ይችላሉ ። አብዛኞቻችን ጉዞ እራስዎን በአዲስ የባህል አከባቢዎች ውስጥ ለመጥለቅ እና የአስተሳሰብ አድማስዎን ለማስፋት ጥሩ መንገድ እንደሆነ እንስማማለን። ሆኖም፣ አንድ ሰው የአየር መንገድ ትኬቶችን መፈለግ ይወድ እንደሆነ ከጠየቁ፣ መልሱ ያን ያህል አዎንታዊ እንደማይሆን እርግጠኛ ነኝ። እንደ እውነቱ ከሆነ, Python እዚህ እኛን ለመርዳት ይመጣል.

በአየር ትኬቶች ላይ መረጃን ለመፈለግ ስርዓት ለመፍጠር በመንገድ ላይ መፍታት ያለብን የመጀመሪያው ተግባር መረጃ የምንወስድበትን ተስማሚ መድረክ መምረጥ ነው። ይህንን ችግር መፍታት ለእኔ ቀላል አልነበረም፣ ግን በመጨረሻ የካያክ አገልግሎትን መረጥኩ። የሞሞንዶ፣ ስካይስካነር፣ ኤክስፔዲያ እና ሌሎች ጥቂት አገልግሎቶችን ሞክሬ ነበር፣ ነገር ግን በእነዚህ ሃብቶች ላይ ያለው የሮቦት መከላከያ ዘዴዎች የማይገፉ ነበሩ። ከበርካታ ሙከራዎች በኋላ፣ ከትራፊክ መብራቶች፣ የእግረኞች መሻገሪያ እና ብስክሌቶች ጋር መገናኘት ነበረብኝ፣ ስርዓቱን ሰው መሆኔን ለማሳመን እየሞከርኩኝ፣ ካያክ በጣም ብዙ ገፆች ቢጫኑም ለእኔ በጣም ተስማሚ እንደሆነ ወሰንኩኝ በአጭር ጊዜ ውስጥ, እና ቼኮችም ይጀምራሉ. ከ 4 እስከ 6 ሰአታት ባለው ጊዜ ውስጥ ቦት ጥያቄዎችን ወደ ጣቢያው እንዲልክ ማድረግ ቻልኩ እና ሁሉም ነገር በትክክል ሠርቷል። ከጊዜ ወደ ጊዜ ከካያክ ጋር በሚሰሩበት ጊዜ ችግሮች ይነሳሉ ፣ ግን በቼኮች እርስዎን ማባረር ከጀመሩ ፣ ከዚያ እነሱን እራስዎ ማስተናገድ እና ከዚያ ቦቱን ማስጀመር ያስፈልግዎታል ፣ ወይም ጥቂት ሰዓታት ይጠብቁ እና ቼኮች ይቆማሉ። አስፈላጊ ከሆነ ኮዱን ለሌላ መድረክ በቀላሉ ማስተካከል ይችላሉ, እና ይህን ካደረጉ, በአስተያየቶቹ ውስጥ ሪፖርት ማድረግ ይችላሉ.

ገና በድረ-ገጽ መቧጨር ከጀመርክ እና አንዳንድ ድህረ ገፆች ለምን እንደሚታገሉ ካላወቅክ በዚህ አካባቢ የመጀመሪያህን ፕሮጀክት ከመጀመርህ በፊት ለራስህ መልካም ነገር አድርግ እና "የድር መፋቅ ስነምግባር" በሚሉት ቃላት ጎግል ፈልግ። . በጥበብ ባልሆነ መንገድ ድርን መፋቅ ከሰሩ ሙከራዎችዎ እርስዎ ከሚያስቡት በላይ ፈጥነው ሊያበቁ ይችላሉ።

ቢያስቆጥርም ገና መጀመሩ ነው

በእኛ ድር ስክራፐር ኮድ ውስጥ ምን እንደሚፈጠር አጠቃላይ እይታ ይኸውና፡

• የሚፈለጉትን ቤተ-መጻሕፍት ያስመጡ።
• የጉግል ክሮም ትርን በመክፈት ላይ።
• ቲኬቶችን በሚፈልጉበት ጊዜ ጥቅም ላይ የሚውሉትን ከተሞች እና ቀናት በማለፍ ቦቱን የሚጀምር ተግባር ይደውሉ።
• ይህ ተግባር የመጀመሪያውን የፍለጋ ውጤቶች ይወስዳል፣ በምርጥ የተደረደረ እና ተጨማሪ ውጤቶችን ለመጫን አንድ አዝራር ጠቅ ያደርጋል።
• ሌላ ተግባር ከመላው ገጽ ላይ መረጃን ይሰበስባል እና የውሂብ ፍሬም ይመልሳል።
• ሁለቱ ቀደምት እርምጃዎች የሚከናወኑት የመለያ ዓይነቶችን በቲኬት ዋጋ (ርካሽ) እና በበረራ ፍጥነት (ፈጣን) በመጠቀም ነው።
• የስክሪፕቱ ተጠቃሚ የቲኬት ዋጋ ማጠቃለያ (ርካሽ ቲኬቶች እና አማካኝ ዋጋ) የያዘ ኢሜል ይላካል እና ከላይ በተጠቀሱት ሶስት ጠቋሚዎች የተደረደሩ የመረጃ ፍሬም እንደ ኤክሴል ፋይል ተቀምጧል።
• ከላይ ያሉት ሁሉም ድርጊቶች ከተወሰነ ጊዜ በኋላ በአንድ ዑደት ውስጥ ይከናወናሉ.

እያንዳንዱ የሴሊኒየም ፕሮጀክት የሚጀምረው በድር ሾፌር መሆኑን ልብ ሊባል ይገባል. እጠቀማለው Chromedriverእኔ ከ Google Chrome ጋር እሰራለሁ, ግን ሌሎች አማራጮችም አሉ. PhantomJS እና Firefox ደግሞ ተወዳጅ ናቸው። ሾፌሩን ካወረዱ በኋላ, በተገቢው አቃፊ ውስጥ ማስቀመጥ ያስፈልግዎታል, እና ይህ ጥቅም ላይ የሚውልበትን ዝግጅት ያጠናቅቃል. የእኛ የስክሪፕት የመጀመሪያ መስመሮች አዲስ የChrome ትር ይከፍታሉ።

በታሪኬ ውስጥ በአየር ትኬቶች ላይ ጥሩ ቅናሾችን ለማግኘት አዲስ አድማስ ለመክፈት እየሞከርኩ እንዳልሆነ አስታውስ። እንደዚህ ያሉ ቅናሾችን ለመፈለግ በጣም የላቁ ዘዴዎች አሉ። ይህንን ችግር ለመፍታት የዚህን ጽሑፍ ቀላል ግን ተግባራዊ መንገድ ለአንባቢዎች ማቅረብ እፈልጋለሁ።

ከላይ የተነጋገርነው ኮድ ይኸውና.

from time import sleep, strftime
from random import randint
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import smtplib
from email.mime.multipart import MIMEMultipart

# Используйте тут ваш путь к chromedriver!
chromedriver_path = 'C:/{YOUR PATH HERE}/chromedriver_win32/chromedriver.exe'

driver = webdriver.Chrome(executable_path=chromedriver_path) # Этой командой открывается окно Chrome
sleep(2)

በኮዱ መጀመሪያ ላይ በፕሮጀክታችን ውስጥ በሙሉ ጥቅም ላይ የሚውሉ የጥቅል ማስመጣት ትዕዛዞችን ማየት ይችላሉ። ስለዚህ፣ randint አዲስ የፍለጋ ክዋኔ ከመጀመሩ በፊት ቦት ለጥቂት ሰከንዶች ያህል “እንዲተኛ” ለማድረግ ይጠቅማል። ብዙውን ጊዜ, አንድ ቦት ያለዚህ ማድረግ አይችልም. ከላይ ያለውን ኮድ ካስኬዱ የ Chrome መስኮት ይከፈታል, ይህም ቦት ከጣቢያዎች ጋር ለመስራት ይጠቀማል.

ትንሽ ሙከራ እናድርግ እና የ kayak.com ድህረ ገጽን በተለየ መስኮት እንክፈት። የምንበርበትን ከተማ እና የምንፈልገውን ከተማ እንዲሁም የበረራ ቀናትን እንመርጣለን ። ቀኖችን በሚመርጡበት ጊዜ የ + -3 ቀናት ክልል ጥቅም ላይ መዋሉን ያረጋግጡ። ለእንደዚህ አይነት ጥያቄዎች ምላሽ ጣቢያው የሚያመርተውን ግምት ውስጥ በማስገባት ኮዱን ጻፍኩት። ለምሳሌ, ቲኬቶችን ለተወሰኑ ቀናት ብቻ መፈለግ ካለብዎት, የ bot ኮድን መቀየር ያለብዎት ከፍተኛ ዕድል አለ. ስለ ኮዱ ስናገር ተገቢ ማብራሪያዎችን እሰጣለሁ, ነገር ግን ግራ መጋባት ከተሰማዎት ያሳውቁኝ.

አሁን የፍለጋ አዝራሩን ጠቅ ያድርጉ እና በአድራሻ አሞሌው ውስጥ ያለውን አገናኝ ይመልከቱ. ተለዋዋጭው በሚገለጽበት ከታች ባለው ምሳሌ ላይ ከምጠቀምበት አገናኝ ጋር ተመሳሳይ መሆን አለበት kayak, ዩአርኤሉን የሚያከማች እና ዘዴው ጥቅም ላይ ይውላል get የድር ነጂ. የፍለጋ አዝራሩን ጠቅ ካደረጉ በኋላ ውጤቶች በገጹ ላይ መታየት አለባቸው.

ትዕዛዙን ስጠቀም get ከሁለት ወይም ሶስት ጊዜ በላይ በጥቂት ደቂቃዎች ውስጥ፣ reCaptcha በመጠቀም ማረጋገጫ እንዳጠናቅቅ ተጠየቅኩ። ስርዓቱ አዲስ ቼክ ለማሄድ እስኪወስን ድረስ ይህንን ቼክ እራስዎ ማለፍ እና መሞከሩን መቀጠል ይችላሉ። ስክሪፕቱን ስሞክር የመጀመርያው የፍተሻ ክፍለ ጊዜ ሁል ጊዜ ያለችግር የሚሄድ ይመስለኝ ነበር ስለዚህ በኮዱ መሞከር ከፈለግክ በየጊዜው እራስዎ ፈትሽ ኮዱ እንዲሰራ ማድረግ ብቻ ነው በፍለጋ ክፍለ ጊዜዎች መካከል ረጅም ክፍተቶችን በመጠቀም። እና ስለእሱ ካሰቡ ፣ አንድ ሰው በፍለጋ ስራዎች መካከል በ 10 ደቂቃ ልዩነት ውስጥ ስለተቀበሉት የቲኬት ዋጋዎች መረጃ የሚያስፈልገው አይቀርም።

XPath በመጠቀም ከገጽ ጋር በመስራት ላይ

ስለዚህ, መስኮት ከፍተን ጣቢያውን ጫንን. የዋጋ አወጣጥ እና ሌሎች መረጃዎችን ለማግኘት የ XPath ቴክኖሎጂን ወይም የሲኤስኤስ መምረጫዎችን መጠቀም አለብን። ከ XPath ጋር ለመቆየት ወሰንኩ እና የሲኤስኤስ መምረጫዎችን መጠቀም እንዳለብኝ አልተሰማኝም, ነገር ግን በዚህ መንገድ መስራት በጣም ይቻላል. ኤክስፓትን በመጠቀም በአንድ ገጽ ላይ ማሰስ አስቸጋሪ ሊሆን ይችላል፣ እና ምንም እንኳን የገለጽኳቸውን ቴክኒኮች ብትጠቀሙም። ይሄ ተጓዳኝ መለያዎችን ከገጹ ኮድ መቅዳትን የሚያካትት መጣጥፍ ፣ ይህ በእውነቱ አስፈላጊዎቹን ንጥረ ነገሮች ለመድረስ ጥሩው መንገድ እንዳልሆነ ተገነዘብኩ። በነገራችን ላይ, ውስጥ ይሄ መጽሐፉ XPath እና CSS መራጮችን በመጠቀም ከገጾች ጋር ​​አብሮ የመስራትን መሰረታዊ ገለጻ ይሰጣል። ተጓዳኙ የድር ነጂ ዘዴ ይህን ይመስላል።

ስለዚህ፣ በቦት ላይ መስራታችንን እንቀጥል። በጣም ርካሹን ቲኬቶችን ለመምረጥ የፕሮግራሙን አቅም እንጠቀም። በሚከተለው ምስል የ XPath መምረጫ ኮድ በቀይ ጎልቶ ይታያል። ኮዱን ለማየት በሚፈልጉት ገጽ ላይ በቀኝ ጠቅ ማድረግ እና ከሚታየው ምናሌ ውስጥ የመርማሪ ትዕዛዙን መምረጥ ያስፈልግዎታል ። ይህ ትእዛዝ ለተለያዩ የገጽ ክፍሎች ሊጠራ ይችላል ፣ የእሱ ኮድ በኮድ መመልከቻው ውስጥ ይታያል እና ይደምቃል።

የገጽ ኮድ ይመልከቱ

መራጮችን ከኮድ መቅዳት ስለሚያስከትላቸው ጉዳቶች የምክንያቴን ማረጋገጫ ለማግኘት ለሚከተሉት ባህሪያት ትኩረት ይስጡ።

ኮዱን ሲገለብጡ የሚያገኙት ይህ ነው፡-

//*[@id="wtKI-price_aTab"]/div[1]/div/div/div[1]/div/span/span

እንደዚህ ያለ ነገር ለመቅዳት በሚፈልጉት የኮድ ክፍል ላይ በቀኝ ጠቅ ማድረግ እና ከሚታየው ምናሌ ውስጥ ኮፒ> የ XPath ትዕዛዝን ይምረጡ።

በጣም ርካሹን ቁልፍ ለመግለጽ የተጠቀምኩት ይኸውና፡-

cheap_results = ‘//a[@data-code = "price"]’

ትዕዛዝ ቅዳ > XPath ቅዳ

ሁለተኛው አማራጭ በጣም ቀላል እንደሚመስል ግልጽ ነው. ጥቅም ላይ ሲውል, ባህሪ ያለው ኤለመንት ይፈልጋል data-codeእኩል ይሆናል price. የመጀመሪያውን አማራጭ ሲጠቀሙ, ኤለመንቱ ይፈለጋል id ጋር እኩል የሆነ wtKI-price_aTab, እና ወደ ኤለመንት የ XPath መንገድ ይመስላል /div[1]/div/div/div[1]/div/span/span. እንደዚህ ያለ የ XPath መጠይቅ ወደ ገጽ ማጭበርበር ያደርገዋል፣ ግን አንድ ጊዜ ብቻ። አሁን እንዲህ ማለት እችላለሁ id ገጹ በሚጫንበት በሚቀጥለው ጊዜ ይለወጣል. የቁምፊ ቅደም ተከተል wtKI ገጹ በተጫነ ቁጥር ተለዋዋጭ በሆነ መልኩ ይለዋወጣል፣ ስለዚህ የሚጠቀመው ኮድ የሚቀጥለው ገጽ እንደገና ከተጫነ በኋላ ዋጋ ቢስ ይሆናል። ስለዚህ XPathን ለመረዳት ትንሽ ጊዜ ይውሰዱ። ይህ እውቀት በደንብ ያገለግልዎታል.

ሆኖም ፣ የ XPath መምረጫዎችን መገልበጥ በጣም ቀላል ከሆኑ ጣቢያዎች ጋር ሲሰራ ጠቃሚ ሊሆን እንደሚችል ልብ ሊባል ይገባል ፣ እና በዚህ ከተመቸዎት ምንም ችግር የለበትም።

አሁን ሁሉንም የፍለጋ ውጤቶች በበርካታ መስመሮች ውስጥ በዝርዝሩ ውስጥ ማግኘት ከፈለጉ ምን ማድረግ እንዳለቦት እናስብ። በጣም ቀላል። እያንዳንዱ ውጤት ክፍል ባለው ዕቃ ውስጥ ነው። resultWrapper. ሁሉንም ውጤቶች መጫን ከታች ከሚታየው ጋር ተመሳሳይ በሆነ ዑደት ውስጥ ሊከናወን ይችላል.

ከላይ ያለውን ከተረዱት, እኛ የምንመረምረውን አብዛኛዎቹን ኮድ በቀላሉ መረዳት እንዳለቦት ልብ ሊባል ይገባል. ይህ ኮድ በሚሰራበት ጊዜ፣ የምንፈልገውን (በእርግጥ ውጤቱ የታሸገበትን ንጥረ ነገር) አንዳንድ አይነት ዱካ የሚለይ ዘዴን (XPath) በመጠቀም እናገኛለን። ይህ የሚደረገው የንጥሉን ጽሑፍ ለማግኘት እና ውሂብ ሊነበብ በሚችል ዕቃ ውስጥ ለማስቀመጥ ነው (መጀመሪያ ጥቅም ላይ የዋለ) flight_containersከዚያም - flights_list).

የመጀመሪያዎቹ ሶስት መስመሮች ታይተዋል እና የምንፈልገውን ሁሉ በግልፅ ማየት እንችላለን. ሆኖም፣ መረጃ የማግኘት የበለጠ አስደሳች መንገዶች አሉን። ለየብቻ ከእያንዳንዱ አካል መረጃ መውሰድ አለብን።

ወደ ሥራ ግባ!

ተግባርን ለመጻፍ ቀላሉ መንገድ ተጨማሪ ውጤቶችን መጫን ነው, ስለዚህ እኛ የምንጀምረው. ወደ ፍተሻ በሚያመራው አገልግሎት ላይ ጥርጣሬዎችን ሳላነሳ ፕሮግራሙ የሚቀበለውን የበረራ ቁጥር ከፍ ማድረግ እፈልጋለሁ ስለዚህ ገጹ በታየ ቁጥር ተጨማሪ የውጤት ቁልፍን ጠቅ አደርጋለሁ። በዚህ ኮድ ውስጥ, ለእገዳው ትኩረት መስጠት አለብዎት tryአንዳንድ ጊዜ አዝራሩ በትክክል ስለማይጫን ያከልኩት። እርስዎም ይህን ካጋጠሙዎት በተግባሩ ኮድ ውስጥ ለዚህ ተግባር ጥሪዎችን አስተያየት ይስጡ start_kayak, ከዚህ በታች እንመለከታለን.

# Загрузка большего количества результатов для того, чтобы максимизировать объём собираемых данных
def load_more():
    try:
        more_results = '//a[@class = "moreButton"]'
        driver.find_element_by_xpath(more_results).click()
        # Вывод этих заметок в ходе работы программы помогает мне быстро выяснить то, чем она занята
        print('sleeping.....')
        sleep(randint(45,60))
    except:
        pass

አሁን፣ ይህን ተግባር ከረዥም ትንታኔ በኋላ (አንዳንድ ጊዜ ልወሰድ እችላለሁ)፣ ገጹን የሚሰርዝ ተግባር ለማወጅ ተዘጋጅተናል።

በሚከተለው ተግባር ውስጥ የሚፈለጉትን አብዛኛው ሰብስቤአለሁ። page_scrape. አንዳንድ ጊዜ የተመለሰው ዱካ ውሂብ ይጣመራል፣ ስለዚህ እሱን ለመለየት ቀላል ዘዴን እጠቀማለሁ። ለምሳሌ ለመጀመሪያ ጊዜ ተለዋዋጮችን ስጠቀም section_a_list и section_b_list. የእኛ ተግባር የውሂብ ፍሬም ይመልሳል flights_df, ይህ ከተለያዩ የመረጃ አከፋፈል ዘዴዎች የተገኙ ውጤቶችን ለመለየት እና በኋላ ላይ ለማጣመር ያስችለናል.

def page_scrape():
    """This function takes care of the scraping part"""
    
    xp_sections = '//*[@class="section duration"]'
    sections = driver.find_elements_by_xpath(xp_sections)
    sections_list = [value.text for value in sections]
    section_a_list = sections_list[::2] # так мы разделяем информацию о двух полётах
    section_b_list = sections_list[1::2]
    
    # Если вы наткнулись на reCaptcha, вам может понадобиться что-то предпринять.
    # О том, что что-то пошло не так, вы узнаете исходя из того, что вышеприведённые списки пусты
    # это выражение if позволяет завершить работу программы или сделать ещё что-нибудь
    # тут можно приостановить работу, что позволит вам пройти проверку и продолжить скрапинг
    # я использую тут SystemExit так как хочу протестировать всё с самого начала
    if section_a_list == []:
        raise SystemExit
    
    # Я буду использовать букву A для уходящих рейсов и B для прибывающих
    a_duration = []
    a_section_names = []
    for n in section_a_list:
        # Получаем время
        a_section_names.append(''.join(n.split()[2:5]))
        a_duration.append(''.join(n.split()[0:2]))
    b_duration = []
    b_section_names = []
    for n in section_b_list:
        # Получаем время
        b_section_names.append(''.join(n.split()[2:5]))
        b_duration.append(''.join(n.split()[0:2]))

    xp_dates = '//div[@class="section date"]'
    dates = driver.find_elements_by_xpath(xp_dates)
    dates_list = [value.text for value in dates]
    a_date_list = dates_list[::2]
    b_date_list = dates_list[1::2]
    # Получаем день недели
    a_day = [value.split()[0] for value in a_date_list]
    a_weekday = [value.split()[1] for value in a_date_list]
    b_day = [value.split()[0] for value in b_date_list]
    b_weekday = [value.split()[1] for value in b_date_list]
    
    # Получаем цены
    xp_prices = '//a[@class="booking-link"]/span[@class="price option-text"]'
    prices = driver.find_elements_by_xpath(xp_prices)
    prices_list = [price.text.replace('$','') for price in prices if price.text != '']
    prices_list = list(map(int, prices_list))

    # stops - это большой список, в котором первый фрагмент пути находится по чётному индексу, а второй - по нечётному
    xp_stops = '//div[@class="section stops"]/div[1]'
    stops = driver.find_elements_by_xpath(xp_stops)
    stops_list = [stop.text[0].replace('n','0') for stop in stops]
    a_stop_list = stops_list[::2]
    b_stop_list = stops_list[1::2]

    xp_stops_cities = '//div[@class="section stops"]/div[2]'
    stops_cities = driver.find_elements_by_xpath(xp_stops_cities)
    stops_cities_list = [stop.text for stop in stops_cities]
    a_stop_name_list = stops_cities_list[::2]
    b_stop_name_list = stops_cities_list[1::2]
    
    # сведения о компании-перевозчике, время отправления и прибытия для обоих рейсов
    xp_schedule = '//div[@class="section times"]'
    schedules = driver.find_elements_by_xpath(xp_schedule)
    hours_list = []
    carrier_list = []
    for schedule in schedules:
        hours_list.append(schedule.text.split('n')[0])
        carrier_list.append(schedule.text.split('n')[1])
    # разделяем сведения о времени и о перевозчиках между рейсами a и b
    a_hours = hours_list[::2]
    a_carrier = carrier_list[1::2]
    b_hours = hours_list[::2]
    b_carrier = carrier_list[1::2]

    
    cols = (['Out Day', 'Out Time', 'Out Weekday', 'Out Airline', 'Out Cities', 'Out Duration', 'Out Stops', 'Out Stop Cities',
            'Return Day', 'Return Time', 'Return Weekday', 'Return Airline', 'Return Cities', 'Return Duration', 'Return Stops', 'Return Stop Cities',
            'Price'])

    flights_df = pd.DataFrame({'Out Day': a_day,
                               'Out Weekday': a_weekday,
                               'Out Duration': a_duration,
                               'Out Cities': a_section_names,
                               'Return Day': b_day,
                               'Return Weekday': b_weekday,
                               'Return Duration': b_duration,
                               'Return Cities': b_section_names,
                               'Out Stops': a_stop_list,
                               'Out Stop Cities': a_stop_name_list,
                               'Return Stops': b_stop_list,
                               'Return Stop Cities': b_stop_name_list,
                               'Out Time': a_hours,
                               'Out Airline': a_carrier,
                               'Return Time': b_hours,
                               'Return Airline': b_carrier,                           
                               'Price': prices_list})[cols]
    
    flights_df['timestamp'] = strftime("%Y%m%d-%H%M") # время сбора данных
    return flights_df

ኮዱ ለመረዳት እንዲቻል ተለዋዋጮቹን ለመሰየም ሞከርኩ። ተለዋዋጮች የሚጀምሩት ያስታውሱ a የመንገዱ የመጀመሪያ ደረጃ ባለቤት ናቸው, እና b - ወደ ሁለተኛው. ወደሚቀጥለው ተግባር እንሂድ።

የድጋፍ ዘዴዎች

አሁን ተጨማሪ የፍለጋ ውጤቶችን እንድንጭን እና እነዚያን ውጤቶች ለማስኬድ የሚያስችል ተግባር አለን። እነዚህ ሁለት ተግባራት እርስዎ እራስዎ የሚከፍቱትን ገጾች ለመቧጨር የሚያስፈልጉዎትን ነገሮች ሁሉ ስለሚያቀርቡ ይህ ጽሑፍ እዚህ ሊያበቃ ይችል ነበር። ነገር ግን ከላይ የተገለጹትን አንዳንድ ረዳት ዘዴዎችን እስካሁን አላጤንንም. ለምሳሌ፣ ኢሜይሎችን እና አንዳንድ ሌሎች ነገሮችን ለመላክ ይህ ኮድ ነው። ይህ ሁሉ በተግባሩ ውስጥ ሊገኝ ይችላል start_kayak, አሁን እንመለከታለን.

ይህ ተግባር እንዲሰራ ስለ ከተሞች እና ቀናት መረጃ ያስፈልግዎታል። ይህንን መረጃ በመጠቀም በተለዋዋጭ ውስጥ አገናኝ ይፈጥራል kayak, እርስዎን ወደ አንድ ገጽ ለመውሰድ ጥቅም ላይ የሚውለው የፍለጋ ውጤቶችን ከጥያቄው ጋር በተሻለ ተዛማጅነት የተደረደሩ ናቸው. ከመጀመሪያው የመቧጨር ክፍለ ጊዜ በኋላ, በገጹ አናት ላይ ባለው ሠንጠረዥ ውስጥ ካሉ ዋጋዎች ጋር እንሰራለን. ማለትም አነስተኛውን የቲኬት ዋጋ እና አማካይ ዋጋን እናገኛለን። ይህ ሁሉ, በጣቢያው ከተሰጠ ትንበያ ጋር, በኢሜል ይላካል. በገጹ ላይ, ተጓዳኝ ጠረጴዛው በላይኛው ግራ ጥግ ላይ መሆን አለበት. በነገራችን ላይ ከዚህ ሰንጠረዥ ጋር አብሮ መስራት ትክክለኛ ቀኖችን በመጠቀም ፍለጋ ላይ ስህተት ሊፈጥር ይችላል, ምክንያቱም በዚህ ሁኔታ ጠረጴዛው በገጹ ላይ አይታይም.

def start_kayak(city_from, city_to, date_start, date_end):
    """City codes - it's the IATA codes!
    Date format -  YYYY-MM-DD"""
    
    kayak = ('https://www.kayak.com/flights/' + city_from + '-' + city_to +
             '/' + date_start + '-flexible/' + date_end + '-flexible?sort=bestflight_a')
    driver.get(kayak)
    sleep(randint(8,10))
    
    # иногда появляется всплывающее окно, для проверки на это и его закрытия можно воспользоваться блоком try
    try:
        xp_popup_close = '//button[contains(@id,"dialog-close") and contains(@class,"Button-No-Standard-Style close ")]'
        driver.find_elements_by_xpath(xp_popup_close)[5].click()
    except Exception as e:
        pass
    sleep(randint(60,95))
    print('loading more.....')
    
#     load_more()
    
    print('starting first scrape.....')
    df_flights_best = page_scrape()
    df_flights_best['sort'] = 'best'
    sleep(randint(60,80))
    
    # Возьмём самую низкую цену из таблицы, расположенной в верхней части страницы
    matrix = driver.find_elements_by_xpath('//*[contains(@id,"FlexMatrixCell")]')
    matrix_prices = [price.text.replace('$','') for price in matrix]
    matrix_prices = list(map(int, matrix_prices))
    matrix_min = min(matrix_prices)
    matrix_avg = sum(matrix_prices)/len(matrix_prices)
    
    print('switching to cheapest results.....')
    cheap_results = '//a[@data-code = "price"]'
    driver.find_element_by_xpath(cheap_results).click()
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting second scrape.....')
    df_flights_cheap = page_scrape()
    df_flights_cheap['sort'] = 'cheap'
    sleep(randint(60,80))
    
    print('switching to quickest results.....')
    quick_results = '//a[@data-code = "duration"]'
    driver.find_element_by_xpath(quick_results).click()  
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting third scrape.....')
    df_flights_fast = page_scrape()
    df_flights_fast['sort'] = 'fast'
    sleep(randint(60,80))
    
    # Сохранение нового фрейма в Excel-файл, имя которого отражает города и даты
    final_df = df_flights_cheap.append(df_flights_best).append(df_flights_fast)
    final_df.to_excel('search_backups//{}_flights_{}-{}_from_{}_to_{}.xlsx'.format(strftime("%Y%m%d-%H%M"),
                                                                                   city_from, city_to, 
                                                                                   date_start, date_end), index=False)
    print('saved df.....')
    
    # Можно следить за тем, как прогноз, выдаваемый сайтом, соотносится с реальностью
    xp_loading = '//div[contains(@id,"advice")]'
    loading = driver.find_element_by_xpath(xp_loading).text
    xp_prediction = '//span[@class="info-text"]'
    prediction = driver.find_element_by_xpath(xp_prediction).text
    print(loading+'n'+prediction)
    
    # иногда в переменной loading оказывается эта строка, которая, позже, вызывает проблемы с отправкой письма
    # если это прозошло - меняем её на "Not Sure"
    weird = '¯_(ツ)_/¯'
    if loading == weird:
        loading = 'Not sure'
    
    username = '[email protected]'
    password = 'YOUR PASSWORD'

    server = smtplib.SMTP('smtp.outlook.com', 587)
    server.ehlo()
    server.starttls()
    server.login(username, password)
    msg = ('Subject: Flight Scrapernn
Cheapest Flight: {}nAverage Price: {}nnRecommendation: {}nnEnd of message'.format(matrix_min, matrix_avg, (loading+'n'+prediction)))
    message = MIMEMultipart()
    message['From'] = '[email protected]'
    message['to'] = '[email protected]'
    server.sendmail('[email protected]', '[email protected]', msg)
    print('sent email.....')

ይህንን ስክሪፕት የሞከርኩት የ Outlook መለያ (hotmail.com) በመጠቀም ነው። ከጂሜይል አካውንት ጋር በትክክል እንዲሰራ አልሞከርኩትም ፣ ይህ የኢሜል ስርዓት በጣም ተወዳጅ ነው ፣ ግን ብዙ ሊሆኑ የሚችሉ አማራጮች አሉ። የ Hotmail መለያን የሚጠቀሙ ከሆነ ሁሉም ነገር እንዲሰራ ፣ ውሂብዎን ወደ ኮዱ ውስጥ ማስገባት ብቻ ያስፈልግዎታል።

ለዚህ ተግባር በተወሰኑ የኮዱ ክፍሎች ውስጥ በትክክል ምን እየተደረገ እንዳለ ለመረዳት ከፈለጉ እነሱን መቅዳት እና ከእነሱ ጋር መሞከር ይችላሉ። ኮድን በትክክል ለመረዳት ብቸኛው መንገድ መሞከር ነው።

ዝግጁ ስርዓት

አሁን የተናገርነውን ሁሉ ስላደረግን ተግባራችንን የሚጠራ ቀላል ዑደት መፍጠር እንችላለን። ስክሪፕቱ ስለ ከተሞች እና ቀናት መረጃ ከተጠቃሚው ይጠይቃል። የስክሪፕቱን የማያቋርጥ ዳግም ማስጀመር ሲሞክሩ ፣ ይህንን ውሂብ ሁል ጊዜ እራስዎ ማስገባት አይፈልጉም ፣ ስለሆነም ተጓዳኝ መስመሮቹን ለሙከራ ጊዜ ከነሱ በታች ያሉትን አስተያየት በመስጠት አስተያየት መስጠት ይችላሉ ፣ በዚህ ውስጥ አስፈላጊው መረጃ ስክሪፕት ሃርድ ኮድ ነው።

city_from = input('From which city? ')
city_to = input('Where to? ')
date_start = input('Search around which departure date? Please use YYYY-MM-DD format only ')
date_end = input('Return when? Please use YYYY-MM-DD format only ')

# city_from = 'LIS'
# city_to = 'SIN'
# date_start = '2019-08-21'
# date_end = '2019-09-07'

for n in range(0,5):
    start_kayak(city_from, city_to, date_start, date_end)
    print('iteration {} was complete @ {}'.format(n, strftime("%Y%m%d-%H%M")))
    
    # Ждём 4 часа
    sleep(60*60*4)
    print('sleep finished.....')

የስክሪፕቱ የሙከራ ሂደት ይህን ይመስላል።

የስክሪፕት አሂድ ሙከራ

ውጤቶች

እስከዚህ ድረስ ከደረስክ፣ እንኳን ደስ ያለህ! አሁን ብዙ የማሻሻያ መንገዶችን ማየት ብችልም አሁን የሚሰራ የድር መቧጠጫ አለህ። ለምሳሌ ከኢሜል ይልቅ የጽሑፍ መልእክት እንዲልክ ከትዊሊዮ ጋር ሊጣመር ይችላል። ከበርካታ አገልጋዮች በተመሳሳይ ጊዜ ውጤቶችን ለመቀበል VPN ወይም ሌላ ነገር መጠቀም ትችላለህ። እንዲሁም የጣቢያውን ተጠቃሚ ሰው መሆኑን ለማረጋገጥ በየጊዜው የሚነሳ ችግር አለ፣ ነገር ግን ይህ ችግር ሊፈታ ይችላል። በማንኛውም ሁኔታ, አሁን ከፈለጉ እርስዎ ማስፋት የሚችሉበት መሰረት አለዎት. ለምሳሌ የኤክሴል ፋይል ከኢሜል ጋር እንደ አባሪ ለተጠቃሚው መላኩን ያረጋግጡ።

በዳሰሳ ጥናቱ ውስጥ የተመዘገቡ ተጠቃሚዎች ብቻ መሳተፍ ይችላሉ። ስግን እንእባክህን።

የድር መፋቅ ቴክኖሎጂዎችን ትጠቀማለህ?

• ያ

• የለም

8 ተጠቃሚዎች ድምጽ ሰጥተዋል። 1 ተጠቃሚዎች ድምፀ ተአቅቦ አድርገዋል።

ምንጭ: hab.com