रोबोटलाई सरल रिपोर्टहरू कसरी प्रत्यायोजन गर्ने। Python र Google BigQuery मा बोट लेख्दै

के तपाईंसँग दिनदिनै, हप्ता हप्तासम्म दोहोरिने कामहरू छन्? उदाहरणका लागि, रिपोर्ट लेख्ने। तपाईं डेटा अनुरोध गर्नुहुन्छ, विश्लेषण गर्नुहुन्छ, कल्पना गर्नुहुन्छ (ग्राफ र चार्टहरू सिर्जना गर्नुहुन्छ), र त्यसपछि आफ्नो हाकिमलाई पठाउनुहुन्छ। तर यदि तपाईंले यी सबै स्वचालित गर्नुभयो भने के हुन्छ?

यस ट्युटोरियलमा, हामी एउटा टेलिग्राम बट सिर्जना गर्नेछौं जसले रिपोर्टिङलाई स्वचालित गर्न मद्दत गर्नेछ। र सबैभन्दा राम्रो पक्ष के हो भने, सम्पूर्ण कार्यक्रम केवल ५० लाइनको कोड हुनेछ! यदि तपाईं पहिलो पटक टेलिग्राम बट सिर्जना गर्दै हुनुहुन्छ भने, तपाईं यो पनि पढ्न चाहनुहुन्छ होला। पोस्ट.

Skillbox सिफारिस गर्दछ: व्यावहारिक पाठ्यक्रम स्क्र्याचबाट पाइथन विकासकर्ता.

हामी सम्झाउँछौं: सबै Habr पाठकहरूका लागि - Habr प्रोमो कोड प्रयोग गरी कुनै पनि Skillbox पाठ्यक्रममा भर्ना गर्दा १०,००० रूबल छुट।

सुरु गरौं

पुस्तकालयहरू स्थापना गर्दै

हामी प्रयोग गर्नेछौं गुगल-क्लाउड-बिगक्वेरी गुगल बिगक्वेरीबाट डेटा पुन: प्राप्त गर्न। matplotlib, खाली и पाण्डा डेटा कल्पना गर्न मद्दत गर्नेछ। python-telegram-bot समाप्त भएको डेटा टेलिग्राममा पठाउनेछ।

pip3 गुगल-क्लाउड-बिगक्वेरी म्याटप्लटलिब नम्पी पाण्डा पाइथन-टेलीग्राम-बोट स्थापना गर्नुहोस्

गुगल बिगक्वेरी एपीआई जडान गर्दै

यदि हामी सेवा प्रयोग गर्न चाहन्छौं भने, हामीले Google BigQuery API मा जडान गर्नुपर्छ। यो गर्नको लागि, जानुहोस् गुगल विकासकर्ता कन्सोल र नयाँ परियोजना सिर्जना गर्नुहोस् (वा अवस्थित एउटा चयन गर्नुहोस्)।

नियन्त्रण प्यानलमा, ENABLE API AND SERVICES चयन गर्नुहोस् र BigQuery API खोज्नुहोस्।

API जडान गर्न सक्षम गर्नुहोस् चयन गर्नुहोस्।

खाता कुञ्जी सिर्जना गर्नुहोस्

हामी फेरि जाँदैछौं। गुगल विकासकर्ता कन्सोल, प्रमाणपत्रहरू ट्याब, प्रमाणपत्रहरू सिर्जना गर्नुहोस् र सेवा खाता कुञ्जी चयन गर्नुहोस्।

त्यसपछि - नयाँ सेवा खाता, र सेवा खाता नाम फिल्डमा नाम प्रविष्ट गर्नुहोस्।

भूमिका ड्रप-डाउन सूचीबाट, परियोजना > मालिक चयन गर्नुहोस्, त्यसपछि सिर्जना गर्नुहोस्।

स्वचालित रूपमा डाउनलोड हुने फाइललाई creds.json भनिन्छ।

टर्मिनलमा creds.json को मार्ग निर्दिष्ट गरेर GOOGLE_APPLICATION_CREDENTIALS सेट गर्नुहोस्।

GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]' निर्यात गर्नुहोस्

यदि सबै कुरा राम्रो भयो भने, यो कार्यक्रम लेख्न सुरु गर्ने समय हो।

एप्लिकेसन सिर्जना गर्दै

यस ट्युटोरियलको लागि, हामी bigquery-public-data.stackoverflow बाट डेटा प्रयोग गर्नेछौं, र हाम्रो रिपोर्टको लागि, हामी दैनिक पोस्टहरूको संख्या चयन गर्नेछौं।

यो सबै एकदम सरल छ।

तालिकामा प्रश्न सोध्नुहोस् -> डेटाको कल्पना गर्नुहोस् -> दृश्य बचत गर्नुहोस् -> छवि पठाउनुहोस्

प्रत्येक थ्रेड परिभाषित गर्न एउटा फंक्शन सिर्जना गरौं।

BigQuery मा प्रश्न

पहिले, पुस्तकालय आयात गरौं।

google.cloud बाट bigquery आयात गर्नुहोस्

हामी query_to_bigquery नामक एउटा प्रकार्य सिर्जना गर्छौं, जहाँ प्यारामिटर query हो।

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

यो प्रकार्यले क्वेरीलाई डेटा फ्रेमको रूपमा फर्काउनेछ।

डेटाको दृश्यावलोकन गर्दै

यो समस्या समाधान गर्न, हामी matplotlib छनौट गर्छौं।

matplotlib.pyplot लाई plt को रूपमा आयात गर्नुहोस्

हामीलाई पाँच प्यारामिटरहरू चाहिन्छ, जहाँ x भनेको x-अक्ष डेटा हो, x_label भनेको अक्षको लागि शीर्षक हो, y भनेको y-अक्ष डेटा हो, y_label भनेको अक्षको लागि शीर्षक हो, र title भनेको सम्पूर्ण दृश्यको शीर्षक हो।

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

छवि बचत गर्दै

अब भिजुअलाइजेशन सिर्जना गर्न र यसलाई बचत गर्न दुई प्रकार्यहरू प्रयोग गरौं।

हामी दैनिक प्रकाशित हुने पोस्टहरूको संख्या पठाउनेछौं। पहिले, हामी एउटा प्रश्न लेख्नेछौं।

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

क्वेरीले डिसेम्बर २, २०१८ देखि सुरु हुने दुई हप्ताको लागि डेटा सङ्कलन गर्छ।

हामी यो मिति प्रयोग गर्छौं किनभने २०१८-१२-०२ bigquery-public-data.stackoverflow.post_history मा रेकर्ड गरिएको पछिल्लो डेटा हो, अन्यथा तपाईंले नवीनतम डेटा प्राप्त गर्न CURRENT_DATE() प्रयोग गर्न सक्नुहुन्छ।

डेटा प्राप्त गर्न हामी query_to_bigquery प्रकार्यलाई कल गर्छौं।

डाटाफ्रेम = query_to_bigquery(query)

त्यसपछि हामी x-अक्षको लागि मिति स्तम्भ र y-अक्षको लागि total_posts स्तम्भ प्रयोग गर्छौं।

x = डेटाफ्रेम['मिति'].टोलिस्ट()
y = डेटाफ्रेम['कुल_पोस्टहरू'].टोलिस्ट()

हामी यसलाई visualize_bar_chart प्रकार्य प्रयोग गरेर कल्पना गर्छौं र यसलाई छविको रूपमा बचत गर्छौं।

plt = visualize_bar_chart(x=x, x_label='मिति', y=y, y_label='कुल पोस्टहरू', शीर्षक='दैनिक पोस्टहरू')
plt.savefig('viz.png')

हामी यो कोडलाई get_and_save_image भनिने फंक्शनमा बेर्छौं।

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

छवि पठाउँदै

प्राप्तकर्तालाई रिपोर्ट पठाउनको लागि, तपाईंले chat_id प्यारामिटर जान्नु आवश्यक छ।

हामी प्रयोग गर्छौ प्रयोगकर्ता जानकारीबोट र /start टाइप गर्नुहोस्। बोटले आवश्यक जानकारीको साथ प्रतिक्रिया दिन्छ, chat_id id फिल्डमा समावेश छ।

अब हामी send_image फंक्शन सिर्जना गर्छौं। यसले छवि पुन: प्राप्त गर्न र बचत गर्न get_and_save_image फंक्शन प्रयोग गर्नेछ। त्यसपछि हामी यसलाई सही सम्पर्कमा पठाउँछौं।

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

मुख्य कार्यक्रम

अन्तमा, एप्लिकेसन सुरु गर्न अर्को प्रकार्य, मुख्य, सिर्जना गर्नुहोस्। बटको लागि YOUR_TOKEN परिवर्तन गर्न नबिर्सनुहोस्।

सम्झनुहोस्: यो कार्यक्रमले तपाईंले तोक्नुभएको समयमा छवि स्वचालित रूपमा पठाउनेछ। उदाहरणका लागि, हामी हरेक दिन बिहान ९:०० बजे रिपोर्ट पठाउनेछौं।

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

अन्तमा, हाम्रो आवेदन यस्तो देखिनेछ:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

फाइल सेभ गर्नुहोस् र यसलाई main.py नाम दिनुहोस्।

टर्मिनलमा निम्न आदेश प्रविष्ट गरेर अनुप्रयोग सुरु गर्नुहोस्:

पाइथन३ मेन.पाइ

सबै तयार छ। अब हामीसँग ५० लाइनको कोड भएको बोट छ, जसले हाम्रो हस्तक्षेप बिना नै रिपोर्टहरू उत्पन्न गर्छ।

बट जाँच गरौं यहाँ देखि, /send आदेश चयन गरेर।

तपाईंले समाप्त कोड प्राप्त गर्न सक्नुहुन्छ मेरो GitHub.

Skillbox सिफारिस गर्दछ:

• दुई वर्षे व्यावहारिक पाठ्यक्रम "म एक प्रो वेब विकासकर्ता हुँ".
• अनलाइन कोर्स "0 बाट C# विकासकर्ता".
• एक वर्षको व्यावहारिक पाठ्यक्रम "0 देखि PRO मा PHP विकासकर्ता".

स्रोत: www.habr.com