পাইথন - যারা ভ্রমণ করতে ভালবাসেন তাদের জন্য সস্তা বিমান টিকিট খুঁজে পেতে একটি সহকারী

নিবন্ধটির লেখক, যার অনুবাদ আমরা আজ প্রকাশ করছি, বলেছেন যে এর লক্ষ্য হল সেলেনিয়াম ব্যবহার করে পাইথনে একটি ওয়েব স্ক্র্যাপারের বিকাশ সম্পর্কে কথা বলা, যা বিমানের টিকিটের মূল্য অনুসন্ধান করে। টিকিট অনুসন্ধান করার সময়, নমনীয় তারিখ ব্যবহার করা হয় (নির্দিষ্ট তারিখের তুলনায় +- 3 দিন)। স্ক্র্যাপার একটি এক্সেল ফাইলে অনুসন্ধানের ফলাফলগুলি সংরক্ষণ করে এবং যে ব্যক্তি অনুসন্ধান চালায় তাকে তারা যা পেয়েছে তার সারাংশ সহ একটি ইমেল পাঠায়। এই প্রকল্পের লক্ষ্য হল ভ্রমণকারীদের সেরা ডিল খুঁজে পেতে সাহায্য করা।

যদি, উপাদান বোঝার সময়, আপনি হারিয়ে বোধ করেন, একবার দেখে নিন এই নিবন্ধ

আমরা কি খোঁজ করছি?

আপনি এখানে বর্ণিত সিস্টেমটি আপনার ইচ্ছামতো ব্যবহার করতে পারবেন। উদাহরণস্বরূপ, আমি এটিকে আমার শহরে সপ্তাহান্তে ভ্রমণ এবং টিকিট অনুসন্ধান করতে ব্যবহার করেছি। আপনি যদি লাভজনক টিকিট খোঁজার বিষয়ে গুরুতর হন, আপনি সার্ভারে স্ক্রিপ্টটি চালাতে পারেন (সহজ সার্ভার, প্রতি মাসে 130 রুবেল, এটির জন্য বেশ উপযুক্ত) এবং নিশ্চিত করুন যে এটি দিনে একবার বা দুবার চলে। অনুসন্ধান ফলাফল ইমেল দ্বারা আপনাকে পাঠানো হবে. উপরন্তু, আমি সবকিছু সেট আপ করার পরামর্শ দিই যাতে স্ক্রিপ্টটি ড্রপবক্স ফোল্ডারে অনুসন্ধান ফলাফল সহ একটি এক্সেল ফাইল সংরক্ষণ করে, যা আপনাকে যে কোনও জায়গা থেকে এবং যে কোনও সময় এই জাতীয় ফাইলগুলি দেখতে দেয়।

আমি এখনও ত্রুটি সহ ট্যারিফ খুঁজে পাইনি, কিন্তু আমি মনে করি এটি সম্ভব

অনুসন্ধান করার সময়, ইতিমধ্যে উল্লিখিত হিসাবে, একটি "নমনীয় তারিখ" ব্যবহার করা হয়; স্ক্রিপ্টটি প্রদত্ত তারিখের তিন দিনের মধ্যে অফারগুলি খুঁজে পায়। যদিও স্ক্রিপ্ট চালানোর সময়, এটি শুধুমাত্র একটি দিক থেকে অফারগুলি অনুসন্ধান করে, এটি পরিবর্তন করা সহজ যাতে এটি বিভিন্ন ফ্লাইটের দিকনির্দেশের তথ্য সংগ্রহ করতে পারে। এর সাহায্যে, আপনি এমনকি ভুল শুল্কের সন্ধান করতে পারেন; এই ধরনের সন্ধানগুলি খুব আকর্ষণীয় হতে পারে।

কেন আপনি অন্য ওয়েব স্ক্র্যাপার প্রয়োজন?

আমি যখন প্রথম ওয়েব স্ক্র্যাপিং শুরু করি, তখন আমি সত্যই এটিতে বিশেষ আগ্রহী ছিলাম না। আমি ভবিষ্যদ্বাণীমূলক মডেলিং, আর্থিক বিশ্লেষণ, এবং সম্ভবত, পাঠ্যের আবেগময় রঙ বিশ্লেষণের ক্ষেত্রে আরও প্রকল্প করতে চেয়েছিলাম। কিন্তু দেখা গেল যে ওয়েবসাইটগুলি থেকে ডেটা সংগ্রহ করে এমন একটি প্রোগ্রাম কীভাবে তৈরি করা যায় তা বের করা খুব আকর্ষণীয় ছিল। আমি যখন এই বিষয়ে গভীরভাবে আলোচনা করেছি, আমি বুঝতে পেরেছি যে ওয়েব স্ক্র্যাপিং হল ইন্টারনেটের "ইঞ্জিন"।

আপনি মনে করতে পারেন যে এটি খুব সাহসী একটি বিবৃতি। কিন্তু বিবেচনা করুন যে গুগল একটি ওয়েব স্ক্র্যাপার দিয়ে শুরু করেছে যা ল্যারি পেজ জাভা এবং পাইথন ব্যবহার করে তৈরি করেছে। গুগল রোবট ইন্টারনেট অন্বেষণ করছে, ব্যবহারকারীদের তাদের প্রশ্নের সর্বোত্তম উত্তর দেওয়ার চেষ্টা করছে। ওয়েব স্ক্র্যাপিংয়ের অফুরন্ত ব্যবহার রয়েছে এবং আপনি ডেটা সায়েন্সে অন্য কিছুতে আগ্রহী হলেও, আপনার বিশ্লেষণ করার জন্য প্রয়োজনীয় ডেটা পেতে আপনার কিছু স্ক্র্যাপিং দক্ষতার প্রয়োজন হবে।

আমি একটি বিস্ময়কর এখানে ব্যবহৃত কৌশল কিছু পাওয়া গেছে বই ওয়েব স্ক্র্যাপিং সম্পর্কে, যা আমি সম্প্রতি অর্জন করেছি। আপনি যা শিখেছেন তার ব্যবহারিক প্রয়োগের জন্য এটিতে অনেক সহজ উদাহরণ এবং ধারণা রয়েছে। উপরন্তু, reCaptcha চেক বাইপাস করার একটি খুব আকর্ষণীয় অধ্যায় আছে। এটি আমার কাছে খবর হিসাবে এসেছিল, যেহেতু আমি জানতাম না যে এই জাতীয় সমস্যাগুলি সমাধানের জন্য বিশেষ সরঞ্জাম এবং এমনকি সম্পূর্ণ পরিষেবা রয়েছে।

তুমি কি ভ্রমণ করতে পছন্দ কর?!

এই বিভাগের শিরোনামে উত্থাপিত সহজ এবং বরং নিরীহ প্রশ্নটির জন্য, আপনি প্রায়শই একটি ইতিবাচক উত্তর শুনতে পারেন, যার সাথে এটি জিজ্ঞাসা করা হয়েছিল সেই ব্যক্তির ভ্রমণের কয়েকটি গল্পের সাথে। আমাদের মধ্যে বেশিরভাগই একমত যে ভ্রমণ নতুন সাংস্কৃতিক পরিবেশে নিজেকে নিমজ্জিত করার এবং আপনার দিগন্তকে প্রসারিত করার একটি দুর্দান্ত উপায়। যাইহোক, আপনি যদি কাউকে জিজ্ঞাসা করেন যে তারা এয়ারলাইন টিকিট অনুসন্ধান করতে পছন্দ করেন, আমি নিশ্চিত যে উত্তরটি এত ইতিবাচক হবে না। প্রকৃতপক্ষে, পাইথন এখানে আমাদের সাহায্যে আসে।

এয়ার টিকিটের তথ্য অনুসন্ধানের জন্য একটি সিস্টেম তৈরি করার পথে আমাদের যে প্রথম কাজটি সমাধান করতে হবে তা হল একটি উপযুক্ত প্ল্যাটফর্ম নির্বাচন করা যা থেকে আমরা তথ্য নেব। এই সমস্যাটি সমাধান করা আমার পক্ষে সহজ ছিল না, তবে শেষ পর্যন্ত আমি কায়াক পরিষেবাটি বেছে নিয়েছি। আমি মোমন্ডো, স্কাইস্ক্যানার, এক্সপেডিয়া এবং আরও কয়েকটি পরিষেবা চেষ্টা করেছি, কিন্তু এই সংস্থানগুলিতে রোবট সুরক্ষা ব্যবস্থাগুলি দুর্ভেদ্য ছিল। বেশ কিছু প্রচেষ্টার পর, যে সময়ে আমাকে ট্র্যাফিক লাইট, পথচারী ক্রসিং এবং সাইকেলগুলি মোকাবেলা করতে হয়েছিল, সিস্টেমগুলিকে বোঝানোর চেষ্টা করে যে আমি মানুষ, আমি সিদ্ধান্ত নিয়েছি যে কায়াক আমার জন্য সবচেয়ে উপযুক্ত, যদিও অনেকগুলি পৃষ্ঠা লোড হওয়া সত্ত্বেও অল্প সময়ের মধ্যে, এবং চেকও শুরু হয়। আমি বটটিকে 4 থেকে 6 ঘন্টার ব্যবধানে সাইটে অনুরোধ পাঠাতে পরিচালনা করেছি এবং সবকিছু ঠিকঠাক কাজ করেছে। সময়ে সময়ে, কায়াকের সাথে কাজ করার সময় অসুবিধা দেখা দেয়, কিন্তু যদি তারা আপনাকে চেক দিয়ে বিরক্ত করা শুরু করে, তাহলে আপনাকে হয় তাদের সাথে ম্যানুয়ালি মোকাবেলা করতে হবে এবং তারপরে বট চালু করতে হবে, অথবা কয়েক ঘন্টা অপেক্ষা করতে হবে এবং চেকগুলি বন্ধ করা উচিত। প্রয়োজনে, আপনি সহজেই অন্য প্ল্যাটফর্মের জন্য কোডটি মানিয়ে নিতে পারেন, এবং যদি আপনি তা করেন তবে আপনি মন্তব্যে এটি রিপোর্ট করতে পারেন।

আপনি যদি সবেমাত্র ওয়েব স্ক্র্যাপিং দিয়ে শুরু করছেন এবং কেন কিছু ওয়েবসাইট এটির সাথে লড়াই করে তা জানেন না, তাহলে আপনি এই এলাকায় আপনার প্রথম প্রকল্প শুরু করার আগে, নিজেকে একটি উপকার করুন এবং "ওয়েব স্ক্র্যাপিং শিষ্টাচার" শব্দগুলিতে একটি Google অনুসন্ধান করুন . আপনি যদি অযৌক্তিকভাবে ওয়েব স্ক্র্যাপিং করেন তবে আপনার পরীক্ষাগুলি আপনার ধারণার চেয়ে তাড়াতাড়ি শেষ হতে পারে।

গেটিং স্টার্টেড

আমাদের ওয়েব স্ক্র্যাপার কোডে কী ঘটবে তার একটি সাধারণ ওভারভিউ এখানে রয়েছে:

• প্রয়োজনীয় লাইব্রেরি আমদানি করুন।
• একটি Google Chrome ট্যাব খোলা হচ্ছে।
• একটি ফাংশন কল করুন যা বটটি শুরু করে, এটিকে টিকিট অনুসন্ধান করার সময় ব্যবহার করা শহর এবং তারিখগুলি পাস করে।
• এই ফাংশনটি প্রথম অনুসন্ধানের ফলাফল নেয়, সেরা অনুসারে সাজানো, এবং আরও ফলাফল লোড করতে একটি বোতামে ক্লিক করে।
• অন্য একটি ফাংশন সমগ্র পৃষ্ঠা থেকে ডেটা সংগ্রহ করে এবং একটি ডেটা ফ্রেম প্রদান করে।
• পূর্ববর্তী দুটি ধাপ টিকিটের মূল্য (সস্তা) এবং ফ্লাইটের গতি (দ্রুত) দ্বারা বাছাই প্রকার ব্যবহার করে সঞ্চালিত হয়।
• স্ক্রিপ্টের ব্যবহারকারীকে টিকিটের দামের সারাংশ (সস্তার টিকিট এবং গড় মূল্য) সহ একটি ইমেল পাঠানো হয় এবং উপরে উল্লিখিত তিনটি সূচক দ্বারা বাছাই করা তথ্য সহ একটি ডেটা ফ্রেম একটি এক্সেল ফাইল হিসাবে সংরক্ষণ করা হয়।
• উপরের সমস্ত ক্রিয়াগুলি একটি নির্দিষ্ট সময়ের পরে একটি চক্রে সঞ্চালিত হয়।

এটি লক্ষ করা উচিত যে প্রতিটি সেলেনিয়াম প্রকল্প একটি ওয়েব ড্রাইভার দিয়ে শুরু হয়। আমি ব্যবহার করি ক্রোমড্রাইভার, আমি Google Chrome এর সাথে কাজ করি, কিন্তু অন্যান্য বিকল্প আছে। ফ্যান্টমজেএস এবং ফায়ারফক্সও জনপ্রিয়। ড্রাইভারটি ডাউনলোড করার পরে, আপনাকে এটি উপযুক্ত ফোল্ডারে রাখতে হবে এবং এটি এটির ব্যবহারের জন্য প্রস্তুতি সম্পন্ন করে। আমাদের স্ক্রিপ্টের প্রথম লাইনগুলি একটি নতুন Chrome ট্যাব খুলবে৷

মনে রাখবেন যে আমার গল্পে আমি এয়ার টিকিটে দুর্দান্ত ডিল খুঁজে পাওয়ার জন্য নতুন দিগন্ত খোলার চেষ্টা করছি না। এই ধরনের অফার খোঁজার জন্য আরও অনেক উন্নত পদ্ধতি রয়েছে। আমি শুধু এই উপাদানটির পাঠকদের এই সমস্যাটি সমাধান করার একটি সহজ কিন্তু ব্যবহারিক উপায় অফার করতে চাই।

আমরা উপরে যে কোডটি নিয়ে কথা বলেছি তা এখানে।

from time import sleep, strftime
from random import randint
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import smtplib
from email.mime.multipart import MIMEMultipart

# Используйте тут ваш путь к chromedriver!
chromedriver_path = 'C:/{YOUR PATH HERE}/chromedriver_win32/chromedriver.exe'

driver = webdriver.Chrome(executable_path=chromedriver_path) # Этой командой открывается окно Chrome
sleep(2)

কোডের শুরুতে আপনি প্যাকেজ আমদানি কমান্ডগুলি দেখতে পাবেন যা আমাদের প্রকল্প জুড়ে ব্যবহৃত হয়। তাই, randint একটি নতুন অনুসন্ধান অভিযান শুরু করার আগে বটটিকে এলোমেলো সংখ্যক সেকেন্ডের জন্য "ঘুমিয়ে পড়া" করতে ব্যবহৃত হয়৷ সাধারণত, একটি একক বট এটি ছাড়া করতে পারে না। আপনি উপরের কোডটি চালালে, একটি Chrome উইন্ডো খুলবে, যা বট সাইটগুলির সাথে কাজ করতে ব্যবহার করবে।

আসুন একটু পরীক্ষা করি এবং একটি পৃথক উইন্ডোতে kayak.com ওয়েবসাইট খুলি। আমরা যে শহর থেকে ফ্লাইট করতে যাচ্ছি, এবং যে শহরে আমরা যেতে চাই, সেইসাথে ফ্লাইটের তারিখগুলিও নির্বাচন করব। তারিখ নির্বাচন করার সময়, নিশ্চিত করুন যে +-3 দিনের ব্যাপ্তি ব্যবহার করা হয়েছে। এই ধরনের অনুরোধের জবাবে সাইটটি কী তৈরি করে তা বিবেচনায় নিয়ে আমি কোডটি লিখেছিলাম। যদি, উদাহরণস্বরূপ, আপনাকে শুধুমাত্র নির্দিষ্ট তারিখের জন্য টিকিট অনুসন্ধান করতে হবে, তাহলে একটি উচ্চ সম্ভাবনা রয়েছে যে আপনাকে বট কোডটি সংশোধন করতে হবে। যখন আমি কোড সম্পর্কে কথা বলি, আমি যথাযথ ব্যাখ্যা প্রদান করি, কিন্তু আপনি যদি বিভ্রান্ত বোধ করেন তবে আমাকে জানান।

এখন অনুসন্ধান বোতামে ক্লিক করুন এবং ঠিকানা বারে লিঙ্কটি দেখুন। এটি নীচের উদাহরণে যে লিঙ্কটি ব্যবহার করছি তার অনুরূপ হওয়া উচিত যেখানে ভেরিয়েবল ঘোষণা করা হয়েছে kayak, যা ইউআরএল সংরক্ষণ করে এবং পদ্ধতিটি ব্যবহার করা হয় get ওয়েব ড্রাইভার। অনুসন্ধান বোতামে ক্লিক করার পরে, ফলাফলগুলি পৃষ্ঠায় উপস্থিত হওয়া উচিত।

যখন আমি কমান্ড ব্যবহার করি get কয়েক মিনিটের মধ্যে দুই বা তিনবারের বেশি, আমাকে reCaptcha ব্যবহার করে যাচাইকরণ সম্পূর্ণ করতে বলা হয়েছিল। আপনি ম্যানুয়ালি এই চেকটি পাস করতে পারেন এবং সিস্টেম একটি নতুন চেক চালানোর সিদ্ধান্ত না নেওয়া পর্যন্ত পরীক্ষা চালিয়ে যেতে পারেন। যখন আমি স্ক্রিপ্টটি পরীক্ষা করেছিলাম, তখন মনে হয়েছিল প্রথম অনুসন্ধান সেশনটি সর্বদা মসৃণভাবে চলেছিল, তাই আপনি যদি কোডটি নিয়ে পরীক্ষা করতে চান তবে আপনাকে কেবলমাত্র পর্যায়ক্রমে ম্যানুয়ালি পরীক্ষা করতে হবে এবং অনুসন্ধান সেশনের মধ্যে দীর্ঘ বিরতি ব্যবহার করে কোডটি চলতে দিতে হবে। এবং, যদি আপনি এটি সম্পর্কে চিন্তা করেন, একজন ব্যক্তির অনুসন্ধান অপারেশনের মধ্যে 10-মিনিটের ব্যবধানে প্রাপ্ত টিকিটের মূল্য সম্পর্কে তথ্যের প্রয়োজন হয় না।

XPath ব্যবহার করে একটি পৃষ্ঠার সাথে কাজ করা

সুতরাং, আমরা একটি উইন্ডো খুললাম এবং সাইটটি লোড করলাম। মূল্য এবং অন্যান্য তথ্য পেতে, আমাদের XPath প্রযুক্তি বা CSS নির্বাচক ব্যবহার করতে হবে। আমি XPath-এর সাথে লেগে থাকার সিদ্ধান্ত নিয়েছি এবং CSS নির্বাচকদের ব্যবহার করার প্রয়োজন অনুভব করিনি, কিন্তু সেভাবে কাজ করা বেশ সম্ভব। XPath ব্যবহার করে একটি পৃষ্ঠার চারপাশে নেভিগেট করা কঠিন হতে পারে, এবং এমনকি যদি আপনি আমি বর্ণিত কৌশলগুলি ব্যবহার করেন এই নিবন্ধ, যা পৃষ্ঠা কোড থেকে সংশ্লিষ্ট শনাক্তকারীগুলি অনুলিপি করা জড়িত, আমি বুঝতে পেরেছি যে এটি আসলে প্রয়োজনীয় উপাদানগুলি অ্যাক্সেস করার সর্বোত্তম উপায় নয়। উপায় দ্বারা, মধ্যে এই বইটি XPath এবং CSS নির্বাচক ব্যবহার করে পৃষ্ঠাগুলির সাথে কাজ করার মৌলিক বিষয়গুলির একটি চমৎকার বর্ণনা প্রদান করে। এই সংশ্লিষ্ট ওয়েব ড্রাইভার পদ্ধতির মত দেখায় কি.

তো, বট নিয়ে কাজ চালিয়ে যাওয়া যাক। সবচেয়ে সস্তা টিকিট নির্বাচন করতে প্রোগ্রামের ক্ষমতা ব্যবহার করা যাক। নিম্নলিখিত ছবিতে, XPath নির্বাচক কোড লাল রঙে হাইলাইট করা হয়েছে। কোডটি দেখার জন্য, আপনাকে আপনার আগ্রহী পৃষ্ঠা উপাদানটিতে ডান-ক্লিক করতে হবে এবং প্রদর্শিত মেনু থেকে পরিদর্শন কমান্ডটি নির্বাচন করতে হবে। এই কমান্ডটি বিভিন্ন পৃষ্ঠা উপাদানগুলির জন্য কল করা যেতে পারে, যার কোড কোড ভিউয়ারে প্রদর্শিত এবং হাইলাইট করা হবে।

পৃষ্ঠা কোড দেখুন

কোড থেকে নির্বাচকদের অনুলিপি করার অসুবিধা সম্পর্কে আমার যুক্তির নিশ্চিতকরণের জন্য, নিম্নলিখিত বৈশিষ্ট্যগুলিতে মনোযোগ দিন।

আপনি কোড কপি করার সময় এটি আপনি পাবেন:

//*[@id="wtKI-price_aTab"]/div[1]/div/div/div[1]/div/span/span

এইরকম কিছু অনুলিপি করার জন্য, আপনাকে আপনার আগ্রহের কোডের বিভাগে ডান-ক্লিক করতে হবে এবং প্রদর্শিত মেনু থেকে অনুলিপি > অনুলিপি XPath কমান্ডটি নির্বাচন করতে হবে।

সবচেয়ে সস্তা বোতামটি সংজ্ঞায়িত করতে আমি যা ব্যবহার করেছি তা এখানে:

cheap_results = ‘//a[@data-code = "price"]’

কপি কমান্ড > XPath অনুলিপি করুন

এটা বেশ স্পষ্ট যে দ্বিতীয় বিকল্পটি অনেক সহজ দেখায়। যখন ব্যবহার করা হয়, এটি একটি উপাদানের জন্য অনুসন্ধান করে যেটিতে বৈশিষ্ট্য রয়েছে data-code, সমান price. প্রথম বিকল্পটি ব্যবহার করার সময়, উপাদানটি অনুসন্ধান করা হয় id যা সমান wtKI-price_aTab, এবং এলিমেন্টের XPath পাথের মত দেখাচ্ছে /div[1]/div/div/div[1]/div/span/span. একটি পৃষ্ঠায় এইরকম একটি XPath ক্যোয়ারী কৌশলটি করবে, কিন্তু শুধুমাত্র একবার। আমি এখনই বলতে পারি id পরের বার পৃষ্ঠা লোড হলে পরিবর্তন হবে। চরিত্রের ক্রম wtKI প্রতিবার পৃষ্ঠাটি লোড করার সময় গতিশীলভাবে পরিবর্তন হয়, তাই পরবর্তী পৃষ্ঠা পুনরায় লোড করার পরে যে কোডটি এটি ব্যবহার করে তা অকেজো হয়ে যাবে। তাই XPath বুঝতে একটু সময় নিন। এই জ্ঞান আপনাকে ভাল পরিবেশন করবে।

যাইহোক, এটি লক্ষ করা উচিত যে মোটামুটি সাধারণ সাইটগুলির সাথে কাজ করার সময় XPath নির্বাচকদের অনুলিপি করা কার্যকর হতে পারে এবং আপনি যদি এতে স্বাচ্ছন্দ্য বোধ করেন তবে এতে কোনও ভুল নেই।

এখন আপনি একটি তালিকার ভিতরে কয়েকটি লাইনে সমস্ত অনুসন্ধান ফলাফল পেতে হলে কী করবেন তা নিয়ে ভাবুন। খুব সহজ. প্রতিটি ফলাফল একটি ক্লাস সহ একটি বস্তুর ভিতরে থাকে resultWrapper. সমস্ত ফলাফল লোড করা নীচের চিত্রের মতো একটি লুপে করা যেতে পারে।

এটা উল্লেখ করা উচিত যে আপনি যদি উপরেরটি বুঝতে পারেন, তাহলে আমরা যে কোডগুলি বিশ্লেষণ করব তার বেশিরভাগই আপনার সহজেই বোঝা উচিত। এই কোডটি চলার সাথে সাথে, আমরা কিছু ধরণের পাথ-নির্দিষ্ট প্রক্রিয়া (XPath) ব্যবহার করে আমাদের যা প্রয়োজন (আসলে যে উপাদানটিতে ফলাফলটি মোড়ানো হয়) অ্যাক্সেস করি। উপাদানটির পাঠ্য পেতে এবং এটিকে এমন একটি বস্তুতে স্থাপন করার জন্য এটি করা হয় যেখান থেকে ডেটা পড়া যায় (প্রথম ব্যবহৃত flight_containers, তারপর - flights_list).

প্রথম তিনটি লাইন প্রদর্শিত হয় এবং আমরা আমাদের প্রয়োজনীয় সবকিছু পরিষ্কারভাবে দেখতে পারি। যাইহোক, আমাদের কাছে তথ্য পাওয়ার আরও আকর্ষণীয় উপায় রয়েছে। আমাদের প্রতিটি উপাদান থেকে আলাদাভাবে ডেটা নিতে হবে।

কাজ পেতে!

একটি ফাংশন লেখার সবচেয়ে সহজ উপায় হল অতিরিক্ত ফলাফল লোড করা, তাই আমরা এখান থেকেই শুরু করব। পরিদর্শনের দিকে নিয়ে যাওয়া পরিষেবাতে সন্দেহ না করেই প্রোগ্রামটি যে ফ্লাইটের তথ্য পায় তার সংখ্যা বাড়াতে চাই, তাই প্রতিবার পৃষ্ঠাটি প্রদর্শিত হলে আমি আরও ফলাফল লোড বোতামে ক্লিক করি। এই কোডে, আপনি ব্লক মনোযোগ দিতে হবে try, যা আমি যোগ করেছি কারণ কখনও কখনও বোতামটি সঠিকভাবে লোড হয় না। আপনি যদি এটির সম্মুখীন হন, তাহলে ফাংশন কোডে এই ফাংশনে কলগুলি মন্তব্য করুন৷ start_kayak, যা আমরা নীচে দেখব।

# Загрузка большего количества результатов для того, чтобы максимизировать объём собираемых данных
def load_more():
    try:
        more_results = '//a[@class = "moreButton"]'
        driver.find_element_by_xpath(more_results).click()
        # Вывод этих заметок в ходе работы программы помогает мне быстро выяснить то, чем она занята
        print('sleeping.....')
        sleep(randint(45,60))
    except:
        pass

এখন, এই ফাংশনটির দীর্ঘ বিশ্লেষণের পরে (কখনও কখনও আমি দূরে চলে যেতে পারি), আমরা একটি ফাংশন ঘোষণা করতে প্রস্তুত যা পৃষ্ঠাটি স্ক্র্যাপ করবে।

নিম্নলিখিত ফাংশনে যা প্রয়োজন তা আমি ইতিমধ্যেই সংগ্রহ করেছি page_scrape. কখনও কখনও ফিরে আসা পাথ ডেটা একত্রিত হয়, তাই আমি এটি আলাদা করার জন্য একটি সহজ পদ্ধতি ব্যবহার করি। উদাহরণস্বরূপ, যখন আমি প্রথমবার ভেরিয়েবল ব্যবহার করি section_a_list и section_b_list. আমাদের ফাংশন একটি ডেটা ফ্রেম প্রদান করে flights_df, এটি আমাদের বিভিন্ন ডেটা বাছাই পদ্ধতি থেকে প্রাপ্ত ফলাফলগুলিকে আলাদা করতে এবং পরে তাদের একত্রিত করতে দেয়।

def page_scrape():
    """This function takes care of the scraping part"""
    
    xp_sections = '//*[@class="section duration"]'
    sections = driver.find_elements_by_xpath(xp_sections)
    sections_list = [value.text for value in sections]
    section_a_list = sections_list[::2] # так мы разделяем информацию о двух полётах
    section_b_list = sections_list[1::2]
    
    # Если вы наткнулись на reCaptcha, вам может понадобиться что-то предпринять.
    # О том, что что-то пошло не так, вы узнаете исходя из того, что вышеприведённые списки пусты
    # это выражение if позволяет завершить работу программы или сделать ещё что-нибудь
    # тут можно приостановить работу, что позволит вам пройти проверку и продолжить скрапинг
    # я использую тут SystemExit так как хочу протестировать всё с самого начала
    if section_a_list == []:
        raise SystemExit
    
    # Я буду использовать букву A для уходящих рейсов и B для прибывающих
    a_duration = []
    a_section_names = []
    for n in section_a_list:
        # Получаем время
        a_section_names.append(''.join(n.split()[2:5]))
        a_duration.append(''.join(n.split()[0:2]))
    b_duration = []
    b_section_names = []
    for n in section_b_list:
        # Получаем время
        b_section_names.append(''.join(n.split()[2:5]))
        b_duration.append(''.join(n.split()[0:2]))

    xp_dates = '//div[@class="section date"]'
    dates = driver.find_elements_by_xpath(xp_dates)
    dates_list = [value.text for value in dates]
    a_date_list = dates_list[::2]
    b_date_list = dates_list[1::2]
    # Получаем день недели
    a_day = [value.split()[0] for value in a_date_list]
    a_weekday = [value.split()[1] for value in a_date_list]
    b_day = [value.split()[0] for value in b_date_list]
    b_weekday = [value.split()[1] for value in b_date_list]
    
    # Получаем цены
    xp_prices = '//a[@class="booking-link"]/span[@class="price option-text"]'
    prices = driver.find_elements_by_xpath(xp_prices)
    prices_list = [price.text.replace('$','') for price in prices if price.text != '']
    prices_list = list(map(int, prices_list))

    # stops - это большой список, в котором первый фрагмент пути находится по чётному индексу, а второй - по нечётному
    xp_stops = '//div[@class="section stops"]/div[1]'
    stops = driver.find_elements_by_xpath(xp_stops)
    stops_list = [stop.text[0].replace('n','0') for stop in stops]
    a_stop_list = stops_list[::2]
    b_stop_list = stops_list[1::2]

    xp_stops_cities = '//div[@class="section stops"]/div[2]'
    stops_cities = driver.find_elements_by_xpath(xp_stops_cities)
    stops_cities_list = [stop.text for stop in stops_cities]
    a_stop_name_list = stops_cities_list[::2]
    b_stop_name_list = stops_cities_list[1::2]
    
    # сведения о компании-перевозчике, время отправления и прибытия для обоих рейсов
    xp_schedule = '//div[@class="section times"]'
    schedules = driver.find_elements_by_xpath(xp_schedule)
    hours_list = []
    carrier_list = []
    for schedule in schedules:
        hours_list.append(schedule.text.split('n')[0])
        carrier_list.append(schedule.text.split('n')[1])
    # разделяем сведения о времени и о перевозчиках между рейсами a и b
    a_hours = hours_list[::2]
    a_carrier = carrier_list[1::2]
    b_hours = hours_list[::2]
    b_carrier = carrier_list[1::2]

    
    cols = (['Out Day', 'Out Time', 'Out Weekday', 'Out Airline', 'Out Cities', 'Out Duration', 'Out Stops', 'Out Stop Cities',
            'Return Day', 'Return Time', 'Return Weekday', 'Return Airline', 'Return Cities', 'Return Duration', 'Return Stops', 'Return Stop Cities',
            'Price'])

    flights_df = pd.DataFrame({'Out Day': a_day,
                               'Out Weekday': a_weekday,
                               'Out Duration': a_duration,
                               'Out Cities': a_section_names,
                               'Return Day': b_day,
                               'Return Weekday': b_weekday,
                               'Return Duration': b_duration,
                               'Return Cities': b_section_names,
                               'Out Stops': a_stop_list,
                               'Out Stop Cities': a_stop_name_list,
                               'Return Stops': b_stop_list,
                               'Return Stop Cities': b_stop_name_list,
                               'Out Time': a_hours,
                               'Out Airline': a_carrier,
                               'Return Time': b_hours,
                               'Return Airline': b_carrier,                           
                               'Price': prices_list})[cols]
    
    flights_df['timestamp'] = strftime("%Y%m%d-%H%M") # время сбора данных
    return flights_df

আমি ভেরিয়েবলের নাম দেওয়ার চেষ্টা করেছি যাতে কোডটি বোধগম্য হয়। মনে রাখবেন যে ভেরিয়েবল দিয়ে শুরু a পথের প্রথম পর্যায়ের অন্তর্গত, এবং b - দ্বিতীয় পর্যন্ত। চলুন পরবর্তী ফাংশন এগিয়ে যান.

সাপোর্ট মেকানিজম

আমাদের এখন একটি ফাংশন রয়েছে যা আমাদের অতিরিক্ত অনুসন্ধান ফলাফল লোড করতে দেয় এবং সেই ফলাফলগুলি প্রক্রিয়া করার জন্য একটি ফাংশন। এই নিবন্ধটি এখানে শেষ হতে পারে, যেহেতু এই দুটি ফাংশন আপনার নিজেরাই খুলতে পারে এমন পৃষ্ঠাগুলিকে স্ক্র্যাপ করার জন্য প্রয়োজনীয় সমস্ত কিছু সরবরাহ করে। কিন্তু আমরা এখনও উপরে আলোচিত কিছু সহায়ক প্রক্রিয়া বিবেচনা করিনি। উদাহরণস্বরূপ, এটি ইমেল এবং অন্যান্য কিছু পাঠানোর কোড। এই সব ফাংশন পাওয়া যাবে start_kayak, যা আমরা এখন বিবেচনা করব।

এই ফাংশনটি কাজ করার জন্য, আপনার শহর এবং তারিখ সম্পর্কে তথ্য প্রয়োজন। এই তথ্য ব্যবহার করে, এটি একটি পরিবর্তনশীল মধ্যে একটি লিঙ্ক গঠন করে kayak, যা আপনাকে একটি পৃষ্ঠায় নিয়ে যাওয়ার জন্য ব্যবহৃত হয় যাতে অনুসন্ধানের ফলাফলগুলি ক্যোয়ারীতে তাদের সেরা মিল অনুসারে সাজানো থাকে৷ প্রথম স্ক্র্যাপিং সেশনের পরে, আমরা পৃষ্ঠার শীর্ষে টেবিলে দামের সাথে কাজ করব। যথা, আমরা টিকিটের সর্বনিম্ন মূল্য এবং গড় মূল্য খুঁজে পাব। এই সমস্ত, সাইট দ্বারা জারি করা ভবিষ্যদ্বাণী সহ, ইমেলের মাধ্যমে পাঠানো হবে। পৃষ্ঠায়, সংশ্লিষ্ট টেবিলটি উপরের বাম কোণে থাকা উচিত। এই টেবিলের সাথে কাজ করা, যাইহোক, সঠিক তারিখগুলি ব্যবহার করে অনুসন্ধান করার সময় একটি ত্রুটি হতে পারে, যেহেতু এই ক্ষেত্রে টেবিলটি পৃষ্ঠায় প্রদর্শিত হয় না।

def start_kayak(city_from, city_to, date_start, date_end):
    """City codes - it's the IATA codes!
    Date format -  YYYY-MM-DD"""
    
    kayak = ('https://www.kayak.com/flights/' + city_from + '-' + city_to +
             '/' + date_start + '-flexible/' + date_end + '-flexible?sort=bestflight_a')
    driver.get(kayak)
    sleep(randint(8,10))
    
    # иногда появляется всплывающее окно, для проверки на это и его закрытия можно воспользоваться блоком try
    try:
        xp_popup_close = '//button[contains(@id,"dialog-close") and contains(@class,"Button-No-Standard-Style close ")]'
        driver.find_elements_by_xpath(xp_popup_close)[5].click()
    except Exception as e:
        pass
    sleep(randint(60,95))
    print('loading more.....')
    
#     load_more()
    
    print('starting first scrape.....')
    df_flights_best = page_scrape()
    df_flights_best['sort'] = 'best'
    sleep(randint(60,80))
    
    # Возьмём самую низкую цену из таблицы, расположенной в верхней части страницы
    matrix = driver.find_elements_by_xpath('//*[contains(@id,"FlexMatrixCell")]')
    matrix_prices = [price.text.replace('$','') for price in matrix]
    matrix_prices = list(map(int, matrix_prices))
    matrix_min = min(matrix_prices)
    matrix_avg = sum(matrix_prices)/len(matrix_prices)
    
    print('switching to cheapest results.....')
    cheap_results = '//a[@data-code = "price"]'
    driver.find_element_by_xpath(cheap_results).click()
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting second scrape.....')
    df_flights_cheap = page_scrape()
    df_flights_cheap['sort'] = 'cheap'
    sleep(randint(60,80))
    
    print('switching to quickest results.....')
    quick_results = '//a[@data-code = "duration"]'
    driver.find_element_by_xpath(quick_results).click()  
    sleep(randint(60,90))
    print('loading more.....')
    
#     load_more()
    
    print('starting third scrape.....')
    df_flights_fast = page_scrape()
    df_flights_fast['sort'] = 'fast'
    sleep(randint(60,80))
    
    # Сохранение нового фрейма в Excel-файл, имя которого отражает города и даты
    final_df = df_flights_cheap.append(df_flights_best).append(df_flights_fast)
    final_df.to_excel('search_backups//{}_flights_{}-{}_from_{}_to_{}.xlsx'.format(strftime("%Y%m%d-%H%M"),
                                                                                   city_from, city_to, 
                                                                                   date_start, date_end), index=False)
    print('saved df.....')
    
    # Можно следить за тем, как прогноз, выдаваемый сайтом, соотносится с реальностью
    xp_loading = '//div[contains(@id,"advice")]'
    loading = driver.find_element_by_xpath(xp_loading).text
    xp_prediction = '//span[@class="info-text"]'
    prediction = driver.find_element_by_xpath(xp_prediction).text
    print(loading+'n'+prediction)
    
    # иногда в переменной loading оказывается эта строка, которая, позже, вызывает проблемы с отправкой письма
    # если это прозошло - меняем её на "Not Sure"
    weird = '¯_(ツ)_/¯'
    if loading == weird:
        loading = 'Not sure'
    
    username = '[email protected]'
    password = 'YOUR PASSWORD'

    server = smtplib.SMTP('smtp.outlook.com', 587)
    server.ehlo()
    server.starttls()
    server.login(username, password)
    msg = ('Subject: Flight Scrapernn
Cheapest Flight: {}nAverage Price: {}nnRecommendation: {}nnEnd of message'.format(matrix_min, matrix_avg, (loading+'n'+prediction)))
    message = MIMEMultipart()
    message['From'] = '[email protected]'
    message['to'] = '[email protected]'
    server.sendmail('[email protected]', '[email protected]', msg)
    print('sent email.....')

আমি একটি Outlook অ্যাকাউন্ট (hotmail.com) ব্যবহার করে এই স্ক্রিপ্টটি পরীক্ষা করেছি। আমি একটি Gmail অ্যাকাউন্টের সাথে সঠিকভাবে কাজ করার জন্য এটি পরীক্ষা করিনি, এই ইমেল সিস্টেমটি বেশ জনপ্রিয়, তবে অনেকগুলি সম্ভাব্য বিকল্প রয়েছে। আপনি যদি একটি Hotmail অ্যাকাউন্ট ব্যবহার করেন, তবে সবকিছু কাজ করার জন্য আপনাকে কোডে আপনার ডেটা প্রবেশ করতে হবে।

আপনি যদি বুঝতে চান যে এই ফাংশনের জন্য কোডের নির্দিষ্ট বিভাগে ঠিক কী করা হচ্ছে, আপনি সেগুলি অনুলিপি করতে পারেন এবং তাদের সাথে পরীক্ষা করতে পারেন। কোডের সাথে পরীক্ষা করাই তা বোঝার একমাত্র উপায়।

প্রস্তুত সিস্টেম

এখন যেহেতু আমরা যা কিছু বলেছি তা করেছি, আমরা একটি সাধারণ লুপ তৈরি করতে পারি যা আমাদের ফাংশনগুলিকে কল করে। স্ক্রিপ্ট ব্যবহারকারীর কাছ থেকে শহর এবং তারিখ সম্পর্কে তথ্য অনুরোধ করে। স্ক্রিপ্টের ধ্রুবক পুনঃসূচনা করে পরীক্ষা করার সময়, আপনি প্রতিবার এই ডেটা ম্যানুয়ালি প্রবেশ করতে চান না, তাই সংশ্লিষ্ট লাইনগুলি, পরীক্ষার সময়, তাদের নীচের অংশগুলিকে মন্তব্য না করে মন্তব্য করা যেতে পারে, যাতে ডেটার জন্য প্রয়োজনীয় ডেটা স্ক্রিপ্ট হার্ডকোড করা হয়.

city_from = input('From which city? ')
city_to = input('Where to? ')
date_start = input('Search around which departure date? Please use YYYY-MM-DD format only ')
date_end = input('Return when? Please use YYYY-MM-DD format only ')

# city_from = 'LIS'
# city_to = 'SIN'
# date_start = '2019-08-21'
# date_end = '2019-09-07'

for n in range(0,5):
    start_kayak(city_from, city_to, date_start, date_end)
    print('iteration {} was complete @ {}'.format(n, strftime("%Y%m%d-%H%M")))
    
    # Ждём 4 часа
    sleep(60*60*4)
    print('sleep finished.....')

এই স্ক্রিপ্ট একটি পরীক্ষা রান মত দেখায় কি.

স্ক্রিপ্টের টেস্ট রান

ফলাফল

আপনি যদি এই পর্যন্ত এটি তৈরি করে থাকেন, অভিনন্দন! আপনার কাছে এখন একটি কার্যকরী ওয়েব স্ক্র্যাপার রয়েছে, যদিও আমি ইতিমধ্যে এটিকে উন্নত করার অনেক উপায় দেখতে পাচ্ছি। উদাহরণস্বরূপ, এটি Twilio এর সাথে একত্রিত করা যেতে পারে যাতে এটি ইমেলের পরিবর্তে পাঠ্য বার্তা পাঠায়। আপনি একই সাথে বিভিন্ন সার্ভার থেকে ফলাফল পেতে একটি VPN বা অন্য কিছু ব্যবহার করতে পারেন। সাইট ব্যবহারকারীকে চেক করার সময় সময়মত সমস্যা দেখা দেয় যে তিনি একজন ব্যক্তি কিনা, তবে এই সমস্যাটিও সমাধান করা যেতে পারে। যাই হোক না কেন, এখন আপনার কাছে একটি ভিত্তি রয়েছে যা আপনি ইচ্ছা করলে প্রসারিত করতে পারেন। উদাহরণস্বরূপ, নিশ্চিত করুন যে একটি এক্সেল ফাইল ব্যবহারকারীর কাছে একটি ইমেলের সংযুক্তি হিসাবে পাঠানো হয়েছে।

শুধুমাত্র নিবন্ধিত ব্যবহারকারীরা জরিপে অংশগ্রহণ করতে পারবেন। সাইন ইন করুনকরুন।

আপনি কি ওয়েব স্ক্র্যাপিং প্রযুক্তি ব্যবহার করেন?

• হাঁ

• না

8 জন ব্যবহারকারী ভোট দিয়েছেন। ১ জন ব্যবহারকারী বিরত ছিলেন।

উত্স: www.habr.com