रोबोट को सरल रिपोर्ट कैसे सौंपें। Python और Google BigQuery में एक बॉट लिखना

क्या आपके पास ऐसे कार्य हैं जो दिन-प्रतिदिन, सप्ताह-दर-सप्ताह दोहराए जाते हैं? उदाहरण के लिए, रिपोर्ट लिखना. आप डेटा का अनुरोध करते हैं, उसका विश्लेषण करते हैं, उसकी कल्पना करते हैं (ग्राफ़, चार्ट बनाते हैं), और फिर उसे अपने बॉस को भेजते हैं। लेकिन क्या होगा अगर यह सब स्वचालित हो?

इस ट्यूटोरियल में हम टेलीग्राम के लिए एक बॉट बनाएंगे जो रिपोर्टिंग को स्वचालित करने में मदद करेगा। और सबसे अच्छी बात यह है कि पूरे कार्यक्रम में कोड की केवल 50 पंक्तियाँ होंगी! अगर आप पहली बार टेलीग्राम के लिए बॉट बना रहे हैं तो आपको यह भी पढ़ना चाहिए पद.

स्किलबॉक्स अनुशंसा करता है: व्यावहारिक पाठ्यक्रम स्क्रैच से पायथन डेवलपर.

अनुस्मारक: "हैबर" के सभी पाठकों के लिए - "हैबर" प्रचार कोड का उपयोग करके किसी भी स्किलबॉक्स पाठ्यक्रम में नामांकन करते समय 10 रूबल की छूट।

शुरू करना

पुस्तकालयों की स्थापना

हम इस्तेमाल करेंगे गूगल-क्लाउड-बिगक्वेरी Google BigQuery से डेटा प्राप्त करने के लिए. matplotlib, numpy и पांडा आपके डेटा को विज़ुअलाइज़ करने में आपकी सहायता करेगा. अजगर-टेलीग्राम-बॉट तैयार डेटा टेलीग्राम को भेज देगा।

pip3 गूगल-क्लाउड-बिगक्वेरी मैटप्लोटलिब, सुन्न पांडा, पायथन-टेलीग्राम-बॉट स्थापित करें

Google BigQuery API कनेक्ट हो रहा है

यदि हम सेवा का उपयोग करना चाहते हैं, तो हमें Google BigQuery API कनेक्ट करना होगा। ऐसा करने के लिए हम जाते हैं Google डेवलपर कंसोल और एक नया प्रोजेक्ट बनाएं (या किसी मौजूदा को चुनें)।

नियंत्रण कक्ष में, API और सेवाएँ सक्षम करें चुनें और BigQuery API देखें।

एपीआई कनेक्ट करने के लिए सक्षम करें का चयन करें।

एक खाता कुंजी बनाएँ

चलिए फिर चलते हैं Google डेवलपर कंसोल, क्रेडेंशियल टैब चुनें, क्रेडेंशियल और सेवा खाता कुंजी बनाएं।

फिर - नया सेवा खाता, और सेवा खाता नाम फ़ील्ड में नाम दर्ज करें।

भूमिका ड्रॉप-डाउन सूची से, प्रोजेक्ट > स्वामी चुनें, फिर बनाएं चुनें।

जो फ़ाइल स्वचालित रूप से डाउनलोड हो जाएगी उसे creds.json कहा जाता है।

टर्मिनल में creds.json का पथ निर्दिष्ट करते हुए GOOGLE_APPLICATION_CREDENTIALS सेट करें।

निर्यात GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]'

यदि सब कुछ ठीक रहा, तो प्रोग्राम लिखना शुरू करने का समय आ गया है।

एक एप्लिकेशन बनाना

ट्यूटोरियल के लिए हम bigquery-public-data.stackoverflow से डेटा का उपयोग करेंगे, अपनी रिपोर्ट के लिए हम दैनिक प्रकाशनों की संख्या का चयन करेंगे।

सब कुछ काफी सरल है।

तालिका क्वेरी करें -> डेटा विज़ुअलाइज़ करें -> विज़ुअलाइज़ेशन सहेजें -> छवि भेजें

आइए प्रत्येक थ्रेड को परिभाषित करने के लिए एक फ़ंक्शन बनाएं।

BigQuery पर क्वेरी करें

सबसे पहले हम लाइब्रेरी आयात करते हैं।

google.cloud से bigquery आयात करें

हम query_to_bigquery नामक एक फ़ंक्शन बनाते हैं, जहां पैरामीटर क्वेरी है।

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

यह फ़ंक्शन अनुरोध को डेटा फ़्रेम के रूप में लौटाएगा।

डेटा विज़ुअलाइज़ करना

इस समस्या को हल करने के लिए, matplotlib चुनें।

प्लेट के रूप में आयात matplotlib.pyplot

हमें पांच मापदंडों की आवश्यकता है, जहां x x-अक्ष डेटा है, x_label अक्ष का शीर्षक है, y y-अक्ष डेटा है, y_label अक्ष का शीर्षक है, और शीर्षक संपूर्ण विज़ुअलाइज़ेशन का शीर्षक है।

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

छवि सहेजें

आइए अब विज़ुअलाइज़ेशन बनाने और उसे सहेजने के लिए दो फ़ंक्शन का उपयोग करें।

हम प्रतिदिन प्रकाशित पोस्ट की संख्या भेजेंगे। सबसे पहले हम एक अनुरोध लिखते हैं.

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

क्वेरी 2 दिसंबर, 2018 से शुरू होने वाले दो सप्ताह के लिए डेटा एकत्र करने में मदद करती है।

हम इस तिथि का उपयोग करते हैं क्योंकि 2018-12-02 bigquery-public-data.stackoverflow.post_history में दर्ज नवीनतम डेटा है, अन्य मामलों में आप नवीनतम डेटा प्राप्त करने के लिए CURRENT_DATE() का उपयोग कर सकते हैं।

डेटा प्राप्त करने के लिए query_to_bigquery फ़ंक्शन को कॉल करें।

डेटाफ़्रेम = query_to_bigquery(क्वेरी)

फिर हम x-अक्ष के लिए दिनांक डेटा कॉलम और y-अक्ष के लिए total_posts कॉलम का उपयोग करते हैं।

x = डेटाफ़्रेम['दिनांक'].टोलिस्ट()
y = डेटाफ़्रेम['total_posts'].tolist()

हम इसे Visualize_bar_chart फ़ंक्शन का उपयोग करके विज़ुअलाइज़ करते हैं और इसे एक छवि के रूप में सहेजते हैं।

पीएलटी = विज़ुअलाइज़_बार_चार्ट(x=x, x_label='दिनांक', y=y, y_label='कुल पोस्ट', शीर्षक='दैनिक पोस्ट')
plt.savefig('viz.png')

हम इस कोड को get_and_save_image नामक फ़ंक्शन में लपेटते हैं।

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

एक छवि भेजें

प्राप्तकर्ता को रिपोर्ट भेजने के लिए, आपको चैट_आईडी पैरामीटर जानना होगा।

हम उपयोग करते हैं userinfobot और /प्रारंभ टाइप करें। बॉट आवश्यक जानकारी के साथ प्रतिक्रिया करता है, चैट_आईडी आईडी फ़ील्ड में समाहित है।

अब आइए सेंड_इमेज फ़ंक्शन बनाएं। यह छवि को पुनः प्राप्त करने और सहेजने के लिए get_and_save_image फ़ंक्शन का उपयोग करेगा। और फिर हम सब कुछ सही संपर्क को भेजते हैं।

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

मुख्य कार्यक्रम

अंत में, हम एप्लिकेशन लॉन्च करने के लिए एक और फ़ंक्शन, मुख्य, बनाते हैं। बॉट के लिए YOUR_TOKEN बदलना न भूलें।

याद रखें: यह प्रोग्राम आपके द्वारा निर्दिष्ट समय पर स्वचालित रूप से छवि भेज देगा। उदाहरण के लिए, हम हर दिन सुबह नौ बजे एक रिपोर्ट भेजेंगे.

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

परिणामस्वरूप, हमारा एप्लिकेशन इस तरह दिखेगा:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

फ़ाइल को सहेजें और इसे main.py पर कॉल करें।

हम टर्मिनल में कमांड दर्ज करके एप्लिकेशन लॉन्च करते हैं:

Python3 main.py

सब तैयार है. अब हमारे पास कोड की 50 पंक्तियों वाला एक रोबोट है जो हमारे हस्तक्षेप के बिना रिपोर्ट तैयार करता है।

आइए बॉट की जाँच करें अत:/भेजें कमांड का चयन करके।

आप तैयार कोड यहां प्राप्त कर सकते हैं मेरा गिटहब.

स्किलबॉक्स अनुशंसा करता है:

• दो वर्षीय व्यावहारिक पाठ्यक्रम "मैं एक PRO वेब डेवलपर हूं".
• ऑनलाइन पाठ्यक्रम "C# डेवलपर 0 से".
• व्यावहारिक वर्ष पाठ्यक्रम "PHP डेवलपर 0 से PRO तक".

स्रोत: www.habr.com