रोबोटला साधे अहवाल कसे सोपवायचे. Python आणि Google BigQuery मध्ये बॉट लिहित आहे

तुमच्याकडे अशी कार्ये आहेत जी दिवसेंदिवस, आठवड्यानंतर आठवडाभर पुनरावृत्ती करतात? उदाहरणार्थ, अहवाल लिहिणे. तुम्ही डेटाची विनंती करा, त्याचे विश्लेषण करा, त्याची कल्पना करा (आलेख, तक्ते बनवा) आणि नंतर तो तुमच्या बॉसला पाठवा. पण हे सर्व स्वयंचलित असेल तर?

या ट्युटोरियलमध्ये आम्ही टेलीग्रामसाठी एक बॉट तयार करू जो स्वयंचलित रिपोर्टिंगला मदत करेल. आणि सर्वात छान गोष्ट म्हणजे संपूर्ण प्रोग्राममध्ये कोडच्या फक्त 50 ओळींचा समावेश असेल! जर तुम्ही पहिल्यांदा टेलीग्रामसाठी बॉट तयार करत असाल तर तुम्ही हे देखील वाचले पाहिजे पोस्ट.

स्किलबॉक्स शिफारस करतो: प्रॅक्टिकल कोर्स सुरवातीपासून पायथन विकसक.

आम्ही आठवण करून देतो: सर्व Habr वाचकांसाठी - Habr प्रोमो कोड वापरून कोणत्याही स्किलबॉक्स कोर्समध्ये नावनोंदणी करताना 10 रूबल सवलत.

चला सुरू करुया

लायब्ररी स्थापित करणे

आम्ही वापरू google-Cloud-bigquery Google BigQuery वरून डेटा मिळवण्यासाठी. matplotlib, आळशी и पांडा तुमचा डेटा व्हिज्युअलाइझ करण्यात मदत करेल. python-telegram-bot तयार झालेला डेटा टेलीग्रामला पाठवेल.

pip3 स्थापित करा google-Cloud-bigquery matplotlib numpy pandas python-telegram-bot

Google BigQuery API कनेक्ट करत आहे

आम्हाला सेवा वापरायची असल्यास, आम्हाला Google BigQuery API कनेक्ट करणे आवश्यक आहे. हे करण्यासाठी आम्ही जा गूगल डेव्हलपर्स कन्सोल आणि एक नवीन प्रकल्प तयार करा (किंवा विद्यमान निवडा).

नियंत्रण पॅनेलमध्ये, APIs आणि सेवा सक्षम करा निवडा आणि BigQuery API शोधा.

API कनेक्ट करण्यासाठी सक्षम करा निवडा.

खाते की तयार करा

चला पुन्हा जाऊया गूगल डेव्हलपर्स कन्सोल, क्रेडेन्शियल्स टॅब निवडा, क्रेडेंशियल तयार करा आणि सेवा खाते की.

नंतर - नवीन सेवा खाते, आणि सेवा खाते नाव फील्डमध्ये नाव प्रविष्ट करा.

रोल ड्रॉप-डाउन सूचीमधून, प्रकल्प > मालक निवडा, नंतर तयार करा.

जी फाइल आपोआप डाउनलोड होईल तिला creds.json म्हणतात.

टर्मिनलमध्ये creds.json चा मार्ग निर्दिष्ट करून GOOGLE_APPLICATION_CREDENTIALS सेट करा.

GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]' निर्यात करा

जर सर्व काही ठीक झाले तर, प्रोग्राम लिहिण्याची वेळ आली आहे.

अनुप्रयोग तयार करणे

ट्यूटोरियलसाठी आम्ही bigquery-public-data.stackoverflow कडील डेटा वापरू, आमच्या अहवालासाठी आम्ही दैनिक प्रकाशनांची संख्या निवडू.

सर्व काही अगदी सोपे आहे.

टेबलची क्वेरी करा -> डेटाची कल्पना करा -> व्हिज्युअलायझेशन जतन करा -> प्रतिमा पाठवा

प्रत्येक थ्रेड परिभाषित करण्यासाठी एक फंक्शन बनवू.

BigQuery ला क्वेरी

प्रथम आपण लायब्ररी आयात करतो.

google.cloud वरून bigquery आयात करा

आम्ही query_to_bigquery नावाचे फंक्शन तयार करतो, जिथे पॅरामीटर क्वेरी आहे.

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

हे कार्य डेटा फ्रेम म्हणून विनंती परत करेल.

डेटा व्हिज्युअलायझिंग

या समस्येचे निराकरण करण्यासाठी, matplotlib निवडा.

matplotlib.pyplot plt म्हणून आयात करा

आम्हाला पाच पॅरामीटर्सची आवश्यकता आहे, जिथे x हा x-अक्ष डेटा आहे, x_label हे अक्षाचे शीर्षक आहे, y हे y-अक्ष डेटा आहे, y_label हे अक्षाचे शीर्षक आहे आणि शीर्षक संपूर्ण व्हिज्युअलायझेशनचे शीर्षक आहे.

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

प्रतिमा जतन करा

आता व्हिज्युअलायझेशन तयार करण्यासाठी आणि सेव्ह करण्यासाठी दोन फंक्शन्स वापरू.

आम्ही दररोज प्रकाशित केलेल्या पोस्टची संख्या पाठवू. प्रथम आम्ही एक विनंती लिहितो.

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

क्वेरी 2 डिसेंबर 2018 पासून दोन आठवड्यांसाठी डेटा गोळा करण्यात मदत करते.

आम्ही ही तारीख वापरतो कारण 2018-12-02 हा bigquery-public-data.stackoverflow.post_history मध्ये रेकॉर्ड केलेला नवीनतम डेटा आहे, इतर बाबतीत तुम्ही नवीनतम डेटा मिळवण्यासाठी CURRENT_DATE() वापरू शकता.

डेटा मिळविण्यासाठी query_to_bigquery फंक्शनला कॉल करा.

डेटाफ्रेम = query_to_bigquery(क्वेरी)

नंतर आपण x-अक्षासाठी तारीख डेटा स्तंभ आणि y-अक्षासाठी एकूण_पोस्ट स्तंभ वापरतो.

x = डेटाफ्रेम['date'].tolist()
y = डेटाफ्रेम['total_posts'].tolist()

आम्ही visualize_bar_chart फंक्शन वापरून ते दृश्यमान करतो आणि इमेज म्हणून सेव्ह करतो.

plt = visualize_bar_chart(x=x, x_label='date', y=y, y_label='एकूण पोस्ट', title='दैनिक पोस्ट')
plt.savefig('viz.png')

आम्ही हा कोड get_and_save_image नावाच्या फंक्शनमध्ये गुंडाळतो.

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

एक प्रतिमा पाठवा

प्राप्तकर्त्याला अहवाल पाठवण्यासाठी, तुम्हाला chat_id पॅरामीटर माहित असणे आवश्यक आहे.

आम्ही वापरतो userinfobot आणि टाइप करा/स्टार्ट करा. बॉट आवश्यक माहितीसह प्रतिसाद देतो, chat_id आयडी फील्डमध्ये समाविष्ट आहे.

आता send_image फंक्शन बनवू. ते प्रतिमा पुनर्प्राप्त करण्यासाठी आणि जतन करण्यासाठी get_and_save_image फंक्शन वापरेल. आणि मग आम्ही सर्वकाही योग्य संपर्काकडे पाठवतो.

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

मुख्य कार्यक्रम

शेवटी, ऍप्लिकेशन लाँच करण्यासाठी आम्ही दुसरे फंक्शन तयार करतो, मुख्य. बॉटसाठी YOUR_TOKEN बदलायला विसरू नका.

लक्षात ठेवा: हा प्रोग्राम आपण निर्दिष्ट केलेल्या वेळी प्रतिमा स्वयंचलितपणे पाठवेल. उदाहरणार्थ, आम्ही दररोज सकाळी नऊ वाजता अहवाल पाठवू.

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

परिणामी, आमचा अर्ज यासारखा दिसेल:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

फाईल सेव्ह करा आणि त्याला main.py कॉल करा.

आम्ही टर्मिनलमध्ये कमांड प्रविष्ट करून अनुप्रयोग लाँच करतो:

python3 main.py

सर्व तयार आहे. आता आमच्याकडे कोडच्या 50 ओळींचा एक रोबोट आहे जो आमच्या हस्तक्षेपाशिवाय अहवाल तयार करतो.

चला बॉट तपासूया येथून/send कमांड निवडून.

आपण समाप्त कोड येथे मिळवू शकता माझे GitHub.

स्किलबॉक्स शिफारस करतो:

• दोन वर्षांचा प्रॅक्टिकल कोर्स "मी प्रो वेब डेव्हलपर आहे".
• ऑनलाईन कोर्स "0 वरून C# विकसक".
• एक वर्षाचा प्रॅक्टिकल कोर्स "PHP विकसक 0 ते PRO".

स्त्रोत: www.habr.com