रोबोटलाई सरल रिपोर्टहरू कसरी प्रत्यायोजन गर्ने। Python र Google BigQuery मा बोट लेख्दै

के तपाइँसँग दिन पछि, हप्ता पछि हप्ता दोहोर्याउने कार्यहरू छन्? उदाहरणका लागि, रिपोर्टहरू लेख्ने। तपाइँ डेटा अनुरोध गर्नुहुन्छ, यसलाई विश्लेषण गर्नुहोस्, यसलाई कल्पना गर्नुहोस् (ग्राफहरू, चार्टहरू बनाउनुहोस्), र त्यसपछि तपाइँको मालिकलाई पठाउनुहोस्। तर के यो सबै स्वचालित थियो भने?

यस ट्यूटोरियलमा हामी टेलिग्रामको लागि एउटा बोट सिर्जना गर्नेछौं जसले रिपोर्टिङलाई स्वचालित रूपमा मद्दत गर्नेछ। र सबै भन्दा राम्रो कुरा यो हो कि सम्पूर्ण कार्यक्रम कोड को केवल 50 लाइनहरु सम्मिलित हुनेछ! यदि तपाइँ पहिलो पटक टेलिग्रामको लागि बोट सिर्जना गर्दै हुनुहुन्छ भने, तपाइँ यो पनि पढ्नु पर्छ पोस्ट.

Skillbox सिफारिस गर्दछ: व्यावहारिक पाठ्यक्रम स्क्र्याचबाट पाइथन विकासकर्ता.

हामी सम्झाउँछौं: सबै Habr पाठकहरूका लागि - Habr प्रोमो कोड प्रयोग गरी कुनै पनि Skillbox पाठ्यक्रममा भर्ना गर्दा १०,००० रूबल छुट।

सुरु गरौं

पुस्तकालयहरू स्थापना गर्दै

हामी प्रयोग गर्नेछौं google-Cloud-bigquery Google BigQuery बाट डाटा प्राप्त गर्न। matplotlib, खाली и पाण्डा तपाईंलाई आफ्नो डाटा कल्पना गर्न मद्दत गर्नेछ। python-telegram-bot समाप्त डाटा टेलिग्राममा पठाउनेछ।

pip3 google-cloud-bigquery matplotlib numpy pandas python-telegram-bot स्थापना गर्नुहोस्

Google BigQuery API जडान गर्दै

यदि हामी सेवा प्रयोग गर्न चाहन्छौं भने, हामीले Google BigQuery API जडान गर्न आवश्यक छ। यो गर्न हामी जान्छौं गुगल विकासकर्ता कन्सोल र नयाँ परियोजना सिर्जना गर्नुहोस् (वा अवस्थित एक चयन गर्नुहोस्)।

नियन्त्रण प्यानलमा, एपीआईएस र सेवाहरू सक्षम गर्नुहोस् चयन गर्नुहोस् र BigQuery API खोज्नुहोस्।

API जडान गर्न सक्षम चयन गर्नुहोस्।

खाता कुञ्जी सिर्जना गर्नुहोस्

फेरि जाऔं गुगल विकासकर्ता कन्सोल, प्रमाणहरू ट्याब चयन गर्नुहोस्, प्रमाणपत्रहरू र सेवा खाता कुञ्जी सिर्जना गर्नुहोस्।

त्यसपछि - नयाँ सेवा खाता, र सेवा खाता नाम फिल्डमा नाम प्रविष्ट गर्नुहोस्।

भूमिका ड्रप-डाउन सूचीबाट, परियोजना > मालिक चयन गर्नुहोस्, त्यसपछि सिर्जना गर्नुहोस्।

स्वचालित रूपमा डाउनलोड हुने फाइललाई creds.json भनिन्छ।

टर्मिनलमा creds.json जाने बाटो निर्दिष्ट गर्दै GOOGLE_APPLICATION_CREDENTIALS सेट गर्नुहोस्।

GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]' निर्यात गर्नुहोस्

यदि सबै कुरा राम्रो भयो भने, यो कार्यक्रम लेख्न सुरु गर्ने समय हो।

एउटा अनुप्रयोग सिर्जना गर्दै

ट्यूटोरियलको लागि हामी bigquery-public-data.stackoverflow बाट डाटा प्रयोग गर्नेछौं, हाम्रो रिपोर्टको लागि हामी दैनिक प्रकाशनहरूको संख्या चयन गर्नेछौं।

सबै कुरा एकदम सरल छ।

तालिकामा क्वेरी गर्नुहोस् -> डाटा कल्पना गर्नुहोस् -> दृश्य बचत गर्नुहोस् -> छवि पठाउनुहोस्

प्रत्येक थ्रेड परिभाषित गर्न एउटा प्रकार्य सिर्जना गरौं।

BigQuery लाई सोध्नुहोस्

पहिले हामी पुस्तकालय आयात गर्छौं।

google.Cloud आयात bigquery बाट

हामी query_to_bigquery नामक प्रकार्य सिर्जना गर्छौं, जहाँ प्यारामिटर क्वेरी हो।

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

यो प्रकार्यले डेटा फ्रेमको रूपमा अनुरोध फिर्ता गर्नेछ।

दृश्य डेटा

यो समस्या समाधान गर्न, matplotlib छान्नुहोस्।

plt को रूपमा matplotlib.pyplot आयात गर्नुहोस्

हामीलाई पाँच प्यारामिटरहरू चाहिन्छ, जहाँ x x-अक्ष डेटा हो, x_label अक्षको लागि शीर्षक हो, y-अक्ष डेटा हो, y_label अक्षको लागि शीर्षक हो, र शीर्षक सम्पूर्ण दृश्यको शीर्षक हो।

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

छवि बचत गर्नुहोस्

अब दृश्य सिर्जना गर्न र बचत गर्न दुई प्रकार्यहरू प्रयोग गरौं।

हामी दैनिक प्रकाशित पोस्ट संख्या पठाउनेछौं। पहिले हामी अनुरोध लेख्छौं।

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

क्वेरीले डिसेम्बर 2, 2018 देखि सुरु हुने दुई हप्ताको लागि डेटा सङ्कलन गर्न मद्दत गर्छ।

हामी यो मिति प्रयोग गर्छौं किनभने 2018-12-02 bigquery-public-data.stackoverflow.post_history मा रेकर्ड गरिएको पछिल्लो डेटा हो, अन्य अवस्थामा तपाईंले नयाँ डेटा प्राप्त गर्न CURRENT_DATE() प्रयोग गर्न सक्नुहुन्छ।

डाटा प्राप्त गर्न query_to_bigquery प्रकार्यलाई कल गर्नुहोस्।

डाटाफ्रेम = query_to_bigquery(क्वेरी)

त्यसपछि हामी x-axis को लागि मिति डेटा स्तम्भ, र y-axis को लागि total_posts स्तम्भ प्रयोग गर्छौं।

x = dataframe['date'].tolist()
y = डाटाफ्रेम['total_posts'].tolist()

हामी यसलाई visualize_bar_chart प्रकार्य प्रयोग गरेर कल्पना गर्छौं र यसलाई छविको रूपमा बचत गर्छौं।

plt = visualize_bar_chart(x=x, x_label='मिति', y=y, y_label='कुल पोस्ट', शीर्षक='दैनिक पोस्ट')
plt.savefig('viz.png')

हामीले यो कोडलाई get_and_save_image भनिने प्रकार्यमा र्‍याप गर्छौं।

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

एउटा छवि पठाउनुहोस्

प्राप्तकर्तालाई रिपोर्ट पठाउनको लागि, तपाईंले chat_id प्यारामिटर जान्न आवश्यक छ।

हामी प्रयोग गर्छौ userinfobot र टाइप गर्नुहोस् / सुरु गर्नुहोस्। बोटले आवश्यक जानकारीको साथ प्रतिक्रिया दिन्छ, chat_id id फिल्डमा समावेश छ।

अब send_image प्रकार्य सिर्जना गरौं। यसले छवि पुन: प्राप्त गर्न र बचत गर्न get_and_save_image प्रकार्य प्रयोग गर्नेछ। र त्यसपछि हामी सबै सही सम्पर्कमा पठाउँछौं।

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

मुख्य कार्यक्रम

अन्तमा, हामी अर्को प्रकार्य सिर्जना गर्छौं, मुख्य, अनुप्रयोग सुरु गर्न। बोटको लागि YOUR_TOKEN परिवर्तन गर्न नबिर्सनुहोस्।

सम्झनुहोस्: यो कार्यक्रमले तपाईंले निर्दिष्ट गरेको समयमा छवि स्वचालित रूपमा पठाउनेछ। उदाहरणको लागि, हामी हरेक दिन बिहान नौ बजे रिपोर्ट पठाउनेछौं।

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

नतिजाको रूपमा, हाम्रो आवेदन यस्तो देखिन्छ:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

फाइल बचत गर्नुहोस् र यसलाई main.py कल गर्नुहोस्।

हामी टर्मिनलमा आदेश प्रविष्ट गरेर अनुप्रयोग सुरु गर्छौं:

python3 main.py

सबै तयार छ। अब हामीसँग कोडको 50 लाइनहरू समावेश भएको रोबोट छ जसले हाम्रो हस्तक्षेप बिना रिपोर्टहरू उत्पन्न गर्दछ।

बोट जाँच गरौं यहाँ देखि/ पठाउनुहोस् आदेश चयन गरेर।

तपाईं समाप्त कोड मा प्राप्त गर्न सक्नुहुन्छ मेरो GitHub.

Skillbox सिफारिस गर्दछ:

• दुई वर्षे व्यावहारिक पाठ्यक्रम "म एक प्रो वेब विकासकर्ता हुँ".
• अनलाइन कोर्स "0 बाट C# विकासकर्ता".
• एक वर्षको व्यावहारिक पाठ्यक्रम "0 देखि PRO मा PHP विकासकर्ता".

स्रोत: www.habr.com