როგორ გადავიტანოთ მარტივი მოხსენებები რობოტზე. ბოტის დაწერა Python-ში და Google BigQuery-ში

გაქვთ დავალებები, რომლებიც მეორდება ყოველდღე, კვირიდან კვირაში? მაგალითად, მოხსენებების წერა. თქვენ ითხოვთ მონაცემებს, აანალიზებთ, ახდენთ მათ ვიზუალიზაციას (შეადგინეთ გრაფიკები, დიაგრამები) და შემდეგ უგზავნით თქვენს უფროსს. მაგრამ რა მოხდება, თუ ეს ყველაფერი ავტომატიზირებულია?

ამ ტუტორიალში ჩვენ შევქმნით ბოტს Telegram-ისთვის, რომელიც დაგეხმარებათ ანგარიშის ავტომატიზაციაში. და ყველაზე მაგარი ის არის, რომ მთელი პროგრამა შედგება კოდის მხოლოდ 50 ხაზისგან! თუ პირველად ქმნით ბოტს Telegram-ისთვის, მაშინ ესეც უნდა წაიკითხოთ პოსტი.

Skillbox გირჩევთ: პრაქტიკული კურსი პითონის დეველოპერი ნულიდან.

შეგახსენებთ: "Habr"-ის ყველა მკითხველისთვის - ფასდაკლება 10 რუბლიდან Skillbox-ის ნებისმიერ კურსზე ჩარიცხვისას "Habr" სარეკლამო კოდის გამოყენებით.

Დავიწყოთ

ბიბლიოთეკების დაყენება

ჩვენ გამოვიყენებთ google-cloud-bigquery Google BigQuery-დან მონაცემების მისაღებად. მაპლოტლიბი, დაბუჟებული и pandas დაგეხმარებათ თქვენი მონაცემების ვიზუალიზაციაში. პითონი-ტელეგრამა-ბოტი დასრულებულ მონაცემებს გაუგზავნის Telegram-ს.

pip3 დააინსტალირე google-cloud-bigquery matplotlib numpy pandas python-telegram-bot

მიმდინარეობს Google BigQuery API-ს დაკავშირება

თუ გვინდა სერვისის გამოყენება, უნდა დავუკავშიროთ Google BigQuery API. ამისათვის ჩვენ მივდივართ Google დეველოპერების კონსოლი და შექმენით ახალი პროექტი (ან შეარჩიეთ არსებული).

მართვის პანელში აირჩიეთ ENABLE APIS AND SERVICES და მოძებნეთ BigQuery API.

აირჩიეთ ჩართვა API-ს დასაკავშირებლად.

შექმენით ანგარიშის გასაღები

მოდით წავიდეთ ისევ Google დეველოპერების კონსოლი, აირჩიეთ ჩანართი რწმუნებათა სიგელები, შექმენით რწმუნებათა სიგელები და სერვისის ანგარიშის გასაღები.

შემდეგ - ახალი სერვისის ანგარიში და შეიყვანეთ სახელი სერვისის ანგარიშის სახელის ველში.

როლების ჩამოსაშლელი სიიდან აირჩიეთ პროექტი > მფლობელი და შემდეგ შექმნა.

ფაილს, რომელიც ავტომატურად ჩამოიტვირთება, ეწოდება creds.json.

დააყენეთ GOOGLE_APPLICATION_CREDENTIALS, ტერმინალში მიუთითეთ გზა creds.json-მდე.

ექსპორტი GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]'

თუ ყველაფერი კარგად წავიდა, დროა დავიწყოთ პროგრამის წერა.

აპლიკაციის შექმნა

გაკვეთილისთვის ჩვენ გამოვიყენებთ მონაცემებს bigquery-public-data.stackoverflow-დან, ჩვენი მოხსენებისთვის შევარჩევთ ყოველდღიური პუბლიკაციების რაოდენობას.

ყველაფერი საკმარისია.

მოითხოვეთ ცხრილი -> მონაცემების ვიზუალიზაცია -> ვიზუალიზაციის შენახვა -> სურათის გაგზავნა

მოდით შევქმნათ ერთი ფუნქცია თითოეული ძაფის განსაზღვრისთვის.

მოთხოვნა BigQuery-ზე

ჯერ ბიბლიოთეკის იმპორტს ვახდენთ.

google.cloud import bigquery-დან

ჩვენ ვქმნით ფუნქციას სახელწოდებით query_to_bigquery, სადაც პარამეტრი არის query.

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

ეს ფუნქცია დააბრუნებს მოთხოვნას მონაცემთა ჩარჩოს სახით.

მონაცემთა ვიზუალიზაცია

ამ პრობლემის გადასაჭრელად აირჩიეთ matplotlib.

იმპორტი matplotlib.pyplot როგორც plt

ჩვენ გვჭირდება ხუთი პარამეტრი, სადაც x არის x ღერძის მონაცემები, x_label არის ღერძის სათაური, y არის y ღერძის მონაცემები, y_label არის ღერძის სათაური და სათაური არის მთელი ვიზუალიზაციის სათაური.

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

შეინახეთ სურათი

ახლა მოდით გამოვიყენოთ ორი ფუნქცია ვიზუალიზაციის შესაქმნელად და შესანახად.

ჩვენ გამოგიგზავნით ყოველდღიურად გამოქვეყნებული პოსტების რაოდენობას. ჯერ ვწერთ მოთხოვნას.

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

მოთხოვნა გეხმარებათ მონაცემების შეგროვებაში ორი კვირის განმავლობაში, 2 წლის 2018 დეკემბრიდან.

ჩვენ ვიყენებთ ამ თარიღს, რადგან 2018-12-02 არის bigquery-public-data.stackoverflow.post_history-ში დაფიქსირებული უახლესი მონაცემები, სხვა შემთხვევებში შეგიძლიათ გამოიყენოთ CURRENT_DATE() უახლესი მონაცემების მისაღებად.

დარეკეთ query_to_bigquery ფუნქციას მონაცემების მისაღებად.

მონაცემთა ჩარჩო = query_to_bigquery (შეკითხვა)

შემდეგ ჩვენ ვიყენებთ თარიღის მონაცემების სვეტს x-ღერძისთვის, ხოლო total_posts სვეტს y-ღერძისთვის.

x = მონაცემთა ჩარჩო['თარიღი'].tolist()
y = მონაცემთა ჩარჩო['total_posts'].tolist()

ჩვენ ვიზუალიზაციას ვახდენთ visualize_bar_chart ფუნქციის გამოყენებით და ვინახავთ სურათად.

plt = visualize_bar_chart(x=x, x_label='თარიღი', y=y, y_label='სულ პოსტები', სათაური='დღიური პოსტები')
plt.savefig ('viz.png')

ჩვენ ვახვევთ ამ კოდს ფუნქციაში, რომელსაც ეწოდება get_and_save_image.

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

სურათის გაგზავნა

იმისათვის, რომ ანგარიში გაუგზავნოთ მიმღებს, თქვენ უნდა იცოდეთ chat_id პარამეტრი.

Ჩვენ ვიყენებთ მომხმარებლის infobot და ჩაწერეთ / დაწყება. ბოტი პასუხობს საჭირო ინფორმაციით, chat_id შეიცავს id ველში.

ახლა შევქმნათ send_image ფუნქცია. ის გამოიყენებს get_and_save_image ფუნქციას გამოსახულების მისაღებად და შესანახად. შემდეგ კი ყველაფერს ვუგზავნით სწორ კონტაქტს.

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

მთავარი პროგრამა

და ბოლოს, ჩვენ ვქმნით სხვა ფუნქციას, მთავარს, აპლიკაციის გასაშვებად. არ დაგავიწყდეთ, შეცვალოთ YOUR_TOKEN ბოტისთვის.

დაიმახსოვრეთ: ეს პროგრამა ავტომატურად გამოგიგზავნით სურათს თქვენს მიერ მითითებულ დროს. მაგალითად, ყოველდღე დილის ცხრა საათზე გამოგიგზავნით ანგარიშს.

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

შედეგად, ჩვენი აპლიკაცია ასე გამოიყურება:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

შეინახეთ ფაილი და დაარქვით main.py.

ჩვენ ვიწყებთ აპლიკაციას ტერმინალში ბრძანების შეყვანით:

python3 main.py

ყველაფერი მზადაა. ახლა ჩვენ გვყავს რობოტი, რომელიც შედგება კოდის 50 ხაზისგან, რომელიც ქმნის ანგარიშებს ჩვენი ჩარევის გარეშე.

მოდით შევამოწმოთ ბოტი აქედან გამომდინარე,/send ბრძანების არჩევით.

მზა კოდი შეგიძლიათ მიიღოთ აქ ჩემი GitHub.

Skillbox გირჩევთ:

• ორწლიანი პრაქტიკული კურსი "მე ვარ PRO ვებ დეველოპერი".
• ონლაინ კურსი "C# დეველოპერი 0-დან".
• პრაქტიკული წლის კურსი "PHP დეველოპერი 0-დან PRO-მდე".

წყარო: www.habr.com