কীভাবে একটি রোবটকে সাধারণ প্রতিবেদন অর্পণ করবেন। Python এবং Google BigQuery-এ একটি বট লেখা

আপনার কি এমন কাজ আছে যা দিনের পর দিন, সপ্তাহের পর সপ্তাহ পুনরাবৃত্তি করে? যেমন রিপোর্ট লেখা। আপনি ডেটার জন্য অনুরোধ করুন, এটি বিশ্লেষণ করুন, এটি কল্পনা করুন (গ্রাফ, চার্ট তৈরি করুন) এবং তারপর আপনার বসের কাছে পাঠান। কিন্তু এই সব যদি স্বয়ংক্রিয় হয়?

এই টিউটোরিয়ালে আমরা টেলিগ্রামের জন্য একটি বট তৈরি করব যা স্বয়ংক্রিয় রিপোর্টিং করতে সাহায্য করবে। এবং সবচেয়ে ভাল জিনিস হল যে পুরো প্রোগ্রামটি শুধুমাত্র 50 লাইন কোড নিয়ে গঠিত হবে! আপনি যদি প্রথমবারের জন্য টেলিগ্রামের জন্য একটি বট তৈরি করেন, তবে আপনার এটিও পড়া উচিত পোস্ট.

Skillbox সুপারিশ করে: ব্যবহারিক কোর্স স্ক্র্যাচ থেকে পাইথন বিকাশকারী.

আমরা মনে করিয়ে দিচ্ছি: "Habr"-এর সকল পাঠকদের জন্য - "Habr" প্রচারমূলক কোড ব্যবহার করে যেকোনো Skillbox কোর্সে নথিভুক্ত করার সময় 10 রুবেল ছাড়।

চল শুরু করি

লাইব্রেরি ইনস্টল করা হচ্ছে

আমরা ব্যবহার করবো google-Cloud-bigquery Google BigQuery থেকে ডেটা পেতে। matplotlib, অসাড় и পান্ডাস আপনাকে আপনার ডেটা কল্পনা করতে সাহায্য করবে। পাইথন-টেলিগ্রাম-বট সমাপ্ত ডেটা টেলিগ্রামে পাঠাবে।

pip3 google-cloud-bigquery matplotlib numpy pandas python-telegram-bot ইনস্টল করুন

Google BigQuery API সংযুক্ত করা হচ্ছে

আমরা যদি পরিষেবাটি ব্যবহার করতে চাই, তাহলে আমাদের Google BigQuery API সংযোগ করতে হবে। এটি করতে আমরা যেতে Google বিকাশকারী কনসোল এবং একটি নতুন প্রকল্প তৈরি করুন (বা বিদ্যমান একটি নির্বাচন করুন)।

কন্ট্রোল প্যানেলে, APIS এবং পরিষেবাগুলি সক্ষম করুন নির্বাচন করুন এবং BigQuery API সন্ধান করুন৷

API সংযোগ করতে সক্ষম নির্বাচন করুন।

একটি অ্যাকাউন্ট কী তৈরি করুন

এর আবার যাওয়া যাক Google বিকাশকারী কনসোল, শংসাপত্র ট্যাব নির্বাচন করুন, শংসাপত্র তৈরি করুন এবং পরিষেবা অ্যাকাউন্ট কী।

তারপর - নতুন পরিষেবা অ্যাকাউন্ট, এবং পরিষেবা অ্যাকাউন্ট নাম ক্ষেত্রে নাম লিখুন।

ভূমিকা ড্রপ-ডাউন তালিকা থেকে, প্রকল্প > মালিক নির্বাচন করুন, তারপর তৈরি করুন।

যে ফাইলটি স্বয়ংক্রিয়ভাবে ডাউনলোড হবে তাকে creds.json বলা হয়।

টার্মিনালে creds.json-এর পথ নির্দিষ্ট করে GOOGLE_APPLICATION_CREDENTIALS সেট করুন।

GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]' রপ্তানি করুন

সবকিছু ঠিকঠাক থাকলে, প্রোগ্রাম লেখা শুরু করার সময় এসেছে।

একটি অ্যাপ্লিকেশন তৈরি করুন

টিউটোরিয়ালের জন্য আমরা bigquery-public-data.stackoverflow থেকে ডেটা ব্যবহার করব, আমাদের প্রতিবেদনের জন্য আমরা দৈনিক প্রকাশনার সংখ্যা নির্বাচন করব।

এটা বেশ সহজ।

টেবিলটি জিজ্ঞাসা করুন -> ডেটা ভিজ্যুয়ালাইজ করুন -> ভিজ্যুয়ালাইজেশন সংরক্ষণ করুন -> চিত্রটি পাঠান

প্রতিটি থ্রেড সংজ্ঞায়িত করার জন্য একটি ফাংশন তৈরি করা যাক।

BigQuery-কে জিজ্ঞাসা করুন

প্রথমে আমরা লাইব্রেরি আমদানি করি।

google.cloud থেকে bigquery আমদানি করুন

আমরা query_to_bigquery নামে একটি ফাংশন তৈরি করি, যেখানে প্যারামিটারটি কোয়েরি।

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

এই ফাংশন একটি ডেটা ফ্রেম হিসাবে অনুরোধ ফেরত দেবে.

তথ্য ভিজ্যুয়ালাইজ করা

এই সমস্যার সমাধান করতে, matplotlib নির্বাচন করুন।

matplotlib.pyplot plt হিসাবে আমদানি করুন

আমাদের পাঁচটি প্যারামিটার দরকার, যেখানে x হল x-অক্ষের ডেটা, x_label হল অক্ষের শিরোনাম, y হল y-অক্ষের ডেটা, y_label হল অক্ষের জন্য শিরোনাম, এবং শিরোনাম হল সমগ্র ভিজ্যুয়ালাইজেশনের শিরোনাম।

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

ছবিটি সংরক্ষণ করুন

এখন একটি ভিজ্যুয়ালাইজেশন তৈরি করতে এবং এটি সংরক্ষণ করতে দুটি ফাংশন ব্যবহার করা যাক।

আমরা প্রতিদিন প্রকাশিত পোস্টের সংখ্যা পাঠাব। প্রথমে আমরা একটি অনুরোধ লিখি।

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

প্রশ্নটি 2 ডিসেম্বর, 2018 থেকে শুরু হওয়া দুই সপ্তাহের জন্য ডেটা সংগ্রহ করতে সাহায্য করে।

আমরা এই তারিখটি ব্যবহার করি কারণ 2018-12-02 হল bigquery-public-data.stackoverflow.post_history-তে রেকর্ড করা সাম্প্রতিক ডেটা, অন্য ক্ষেত্রে আপনি নতুন ডেটা পেতে CURRENT_DATE() ব্যবহার করতে পারেন।

ডেটা পেতে query_to_bigquery ফাংশনে কল করুন।

ডেটাফ্রেম = query_to_bigquery(কোয়েরি)

তারপরে আমরা x-অক্ষের জন্য তারিখ ডেটা কলাম এবং y-অক্ষের জন্য total_posts কলাম ব্যবহার করি।

x = ডেটাফ্রেম['তারিখ']।টোলিস্ট()
y = ডেটাফ্রেম['total_posts'].tolist()

আমরা visualize_bar_chart ফাংশন ব্যবহার করে এটিকে কল্পনা করি এবং এটিকে একটি চিত্র হিসাবে সংরক্ষণ করি।

plt = visualize_bar_chart(x=x, x_label='date', y=y, y_label='মোট পোস্ট', title='দৈনিক পোস্ট')
plt.savefig('viz.png')

আমরা এই কোডটি get_and_save_image নামক একটি ফাংশনে মোড়ানো।

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

একটি ছবি পাঠান

প্রাপকের কাছে একটি প্রতিবেদন পাঠাতে, আপনাকে chat_id প্যারামিটারটি জানতে হবে।

ব্যবহার userinfobot এবং টাইপ করুন/শুরু করুন। বট প্রয়োজনীয় তথ্য দিয়ে সাড়া দেয়, chat_id আইডি ফিল্ডে থাকে।

এখন send_image ফাংশন তৈরি করা যাক। এটি ছবিটি পুনরুদ্ধার এবং সংরক্ষণ করতে get_and_save_image ফাংশন ব্যবহার করবে। এবং তারপর আমরা সঠিক পরিচিতিতে সবকিছু পাঠাই।

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

প্রধান প্রোগ্রাম

অবশেষে, আমরা অ্যাপ্লিকেশন চালু করার জন্য আরেকটি ফাংশন তৈরি করি, প্রধান। বটটির জন্য YOUR_TOKEN পরিবর্তন করতে ভুলবেন না।

মনে রাখবেন: এই প্রোগ্রামটি আপনার নির্দিষ্ট করা সময়ে স্বয়ংক্রিয়ভাবে ছবি পাঠাবে। উদাহরণস্বরূপ, আমরা প্রতিদিন সকাল নয়টায় একটি প্রতিবেদন পাঠাব।

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

ফলস্বরূপ, আমাদের অ্যাপ্লিকেশন এই মত দেখাবে:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

ফাইলটি সংরক্ষণ করুন এবং এটিকে main.py কল করুন।

আমরা টার্মিনালে কমান্ড প্রবেশ করে অ্যাপ্লিকেশন চালু করি:

python3 main.py

সব প্রস্তুত. এখন আমাদের কাছে একটি রোবট রয়েছে যার মধ্যে 50 লাইনের কোড রয়েছে যা আমাদের হস্তক্ষেপ ছাড়াই রিপোর্ট তৈরি করে।

এর বট পরীক্ষা করা যাক এখানে থেকে/send কমান্ড নির্বাচন করে।

আপনি সমাপ্ত কোড পেতে পারেন আমার গিটহাব.

Skillbox সুপারিশ করে:

• দুই বছরের ব্যবহারিক কোর্স "আমি একজন প্রো ওয়েব ডেভেলপার".
• অনলাইন কোর্স "0 থেকে C# বিকাশকারী".
• ব্যবহারিক বছরের কোর্স "0 থেকে PRO পর্যন্ত পিএইচপি বিকাশকারী".

উত্স: www.habr.com