ວິທີການມອບຫມາຍບົດລາຍງານງ່າຍໆໃຫ້ກັບຫຸ່ນຍົນ. ການຂຽນ bot ໃນ Python ແລະ Google BigQuery

ເຈົ້າມີວຽກທີ່ເຮັດຊ້ຳມື້ແລ້ວມື້ລະອາທິດບໍ? ຕົວຢ່າງ, ການຂຽນບົດລາຍງານ. ທ່ານຮ້ອງຂໍຂໍ້ມູນ, ວິເຄາະມັນ, ຈິນຕະນາການມັນ (ເຮັດກາຟ, ຕາຕະລາງ), ແລະຫຼັງຈາກນັ້ນສົ່ງໃຫ້ນາຍຈ້າງຂອງທ່ານ. ແຕ່ຈະເປັນແນວໃດຖ້າທັງຫມົດນີ້ແມ່ນອັດຕະໂນມັດ?

ໃນບົດສອນນີ້ພວກເຮົາຈະສ້າງ bot ສໍາລັບ Telegram ທີ່ຈະຊ່ວຍໃຫ້ການລາຍງານອັດຕະໂນມັດ. ແລະສິ່ງທີ່ coolest ແມ່ນວ່າໂຄງການທັງຫມົດຈະປະກອບດ້ວຍພຽງແຕ່ 50 ເສັ້ນຂອງລະຫັດ! ຖ້າທ່ານກໍາລັງສ້າງ bot ສໍາລັບ Telegram ເປັນຄັ້ງທໍາອິດ, ຫຼັງຈາກນັ້ນທ່ານຄວນອ່ານອັນນີ້ ໂພດ.

Skillbox ແນະນໍາ: ຫຼັກສູດພາກປະຕິບັດ ນັກພັດທະນາ Python ຕັ້ງແຕ່ເລີ່ມຕົ້ນ.

ພວກເຮົາເຕືອນ: ສໍາລັບຜູ້ອ່ານທັງຫມົດຂອງ "Habr" - ສ່ວນຫຼຸດ 10 rubles ເມື່ອລົງທະບຽນໃນຫຼັກສູດ Skillbox ໂດຍໃຊ້ລະຫັດສົ່ງເສີມ "Habr".

ໃຫ້ເລີ່ມຕົ້ນ

ການຕິດຕັ້ງຫ້ອງສະຫມຸດ

ພວກເຮົາຈະນໍາໃຊ້ google-cloud-bigquery ເພື່ອເອົາຂໍ້ມູນຈາກ Google BigQuery. matplotlib, ບໍ່ແນ່ນອນ и ໝີ ແພນດາ ຈະຊ່ວຍໃຫ້ທ່ານສາມາດເບິ່ງເຫັນຂໍ້ມູນຂອງທ່ານໄດ້. python-telegram-bot ຈະສົ່ງຂໍ້ມູນສໍາເລັດຮູບໄປຫາ Telegram.

pip3 ຕິດຕັ້ງ google-cloud-bigquery matplotlib numpy pandas python-telegram-bot

ກຳລັງເຊື່ອມຕໍ່ Google BigQuery API

ຖ້າພວກເຮົາຕ້ອງການໃຊ້ບໍລິການ, ພວກເຮົາຈໍາເປັນຕ້ອງເຊື່ອມຕໍ່ Google BigQuery API. ເພື່ອເຮັດສິ່ງນີ້, ພວກເຮົາໄປຫາ Google Developers Console ແລະສ້າງໂຄງການໃຫມ່ (ຫຼືເລືອກອັນທີ່ມີຢູ່ແລ້ວ).

ໃນແຜງຄວບຄຸມ, ເລືອກ ENABLE APIS AND SERVICES ແລະຊອກຫາ BigQuery API.

ເລືອກ Enable ເພື່ອເຊື່ອມຕໍ່ API.

ສ້າງລະຫັດບັນຊີ

ໃຫ້ໄປອີກຄັ້ງ Google Developers Console, ເລືອກແຖບຂໍ້ມູນປະຈໍາຕົວ, ສ້າງຂໍ້ມູນປະຈໍາຕົວແລະລະຫັດບັນຊີບໍລິການ.

ຫຼັງຈາກນັ້ນ - ບັນຊີການບໍລິການໃຫມ່, ແລະໃສ່ຊື່ໃນຊື່ບັນຊີການບໍລິການພາກສະຫນາມ.

ຈາກ​ບັນ​ຊີ​ລາຍ​ຊື່​ເລື່ອນ​ລົງ​ບົດ​ບາດ​, ເລືອກ​ເອົາ​ໂຄງ​ການ​> ເຈົ້າ​ຂອງ​, ຫຼັງ​ຈາກ​ນັ້ນ​ສ້າງ​.

ໄຟລ໌ທີ່ຈະຖືກດາວໂຫຼດໂດຍອັດຕະໂນມັດເອີ້ນວ່າ creds.json.

ຕັ້ງຄ່າ GOOGLE_APPLICATION_CREDENTIALS, ລະບຸເສັ້ນທາງໄປຫາ creds.json ໃນ terminal.

ສົ່ງອອກ GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]'

ຖ້າທຸກສິ່ງທຸກຢ່າງໄດ້ດີ, ມັນເປັນເວລາທີ່ຈະເລີ່ມຕົ້ນການຂຽນໂປຼແກຼມ.

ການສ້າງແອັບພລິເຄຊັນ

ສໍາລັບການສອນພວກເຮົາຈະນໍາໃຊ້ຂໍ້ມູນຈາກ bigquery-public-data.stackoverflow, ສໍາລັບບົດລາຍງານຂອງພວກເຮົາພວກເຮົາຈະເລືອກເອົາຈໍານວນສິ່ງພິມປະຈໍາວັນ.

ທຸກສິ່ງທຸກຢ່າງແມ່ນຂ້ອນຂ້າງງ່າຍດາຍ.

ສອບຖາມຕາຕະລາງ -> Visualize the data -> Save the visualization -> ສົ່ງຮູບພາບ

ໃຫ້ສ້າງຫນຶ່ງຟັງຊັນເພື່ອກໍານົດແຕ່ລະຫົວຂໍ້.

ສອບຖາມຫາ BigQuery

ທໍາອິດພວກເຮົານໍາເຂົ້າຫ້ອງສະຫມຸດ.

ຈາກ google.cloud import bigquery

ພວກເຮົາສ້າງຟັງຊັນທີ່ເອີ້ນວ່າ query_to_bigquery, ບ່ອນທີ່ພາລາມິເຕີແມ່ນການສອບຖາມ.

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

ຟັງຊັນນີ້ຈະສົ່ງຄືນການຮ້ອງຂໍເປັນກອບຂໍ້ມູນ.

ກຳລັງເບິ່ງຂໍ້ມູນ

ເພື່ອແກ້ໄຂບັນຫານີ້, ເລືອກ matplotlib.

ນໍາເຂົ້າ matplotlib.pyplot ເປັນ plt

ພວກເຮົາຕ້ອງການຫ້າຕົວກໍານົດການ, ເຊິ່ງ x ແມ່ນຂໍ້ມູນແກນ x, x_label ແມ່ນຫົວຂໍ້ສໍາລັບແກນ, y ແມ່ນຂໍ້ມູນແກນ y, y_label ແມ່ນຫົວຂໍ້ສໍາລັບແກນ, ແລະຫົວຂໍ້ແມ່ນຫົວຂໍ້ຂອງການສະແດງພາບທັງຫມົດ.

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

ບັນທຶກຮູບພາບ

ຕອນນີ້ໃຫ້ເຮົາໃຊ້ສອງຟັງຊັນເພື່ອສ້າງພາບແລະບັນທຶກມັນ.

ພວກເຮົາຈະສົ່ງຈໍານວນຂໍ້ຄວາມທີ່ຈັດພີມມາປະຈໍາວັນ. ທໍາອິດພວກເຮົາຂຽນຄໍາຮ້ອງຂໍ.

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

ການສອບຖາມຊ່ວຍເກັບກຳຂໍ້ມູນເປັນເວລາສອງອາທິດເລີ່ມແຕ່ວັນທີ 2 ທັນວາ 2018.

ພວກເຮົາໃຊ້ວັນທີນີ້ເພາະວ່າ 2018-12-02 ເປັນຂໍ້ມູນຫຼ້າສຸດທີ່ບັນທຶກໄວ້ໃນ bigquery-public-data.stackoverflow.post_history, ໃນກໍລະນີອື່ນໆ, ທ່ານສາມາດນໍາໃຊ້ CURRENT_DATE() ເພື່ອເອົາຂໍ້ມູນໃຫມ່ຫຼ້າສຸດ.

ໂທຫາຟັງຊັນ query_to_bigquery ເພື່ອເອົາຂໍ້ມູນ.

dataframe = query_to_bigquery(ສອບຖາມ)

ຫຼັງຈາກນັ້ນ, ພວກເຮົາໃຊ້ຄໍລໍາຂໍ້ມູນວັນທີສໍາລັບແກນ x, ແລະຖັນ total_posts ສໍາລັບແກນ y.

x = dataframe['date'].tolist()
y = dataframe['total_posts'].tolist()

ພວກເຮົາສ້າງພາບມັນໂດຍໃຊ້ຟັງຊັນ visualize_bar_chart ແລະບັນທຶກມັນເປັນຮູບພາບ.

plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='ໂພສປະຈຳວັນ')
plt.savefig('viz.png')

ພວກເຮົາຫໍ່ລະຫັດນີ້ຢູ່ໃນຟັງຊັນທີ່ເອີ້ນວ່າ get_and_save_image.

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

ສົ່ງຮູບ

ເພື່ອສົ່ງບົດລາຍງານໄປຫາຜູ້ຮັບ, ທ່ານຈໍາເປັນຕ້ອງຮູ້ພາລາມິເຕີ chat_id.

ພວກເຮົາໃຊ້ userinfobot ແລະພິມ /start. bot ຕອບສະຫນອງກັບຂໍ້ມູນທີ່ຈໍາເປັນ, chat_id ແມ່ນບັນຈຸຢູ່ໃນພາກສະຫນາມ id.

ຕອນນີ້ໃຫ້ສ້າງຟັງຊັນ send_image. ມັນຈະໃຊ້ຟັງຊັນ get_and_save_image ເພື່ອດຶງຂໍ້ມູນ ແລະບັນທຶກຮູບພາບ. ແລະຫຼັງຈາກນັ້ນພວກເຮົາສົ່ງທຸກສິ່ງທຸກຢ່າງໄປຫາຜູ້ຕິດຕໍ່ທີ່ຖືກຕ້ອງ.

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

ໂຄງການຕົ້ນຕໍ

ສຸດທ້າຍ, ພວກເຮົາສ້າງຫນ້າອື່ນ, ຕົ້ນຕໍ, ເພື່ອເປີດຕົວແອັບພລິເຄຊັນ. ຢ່າລືມປ່ຽນ YOUR_TOKEN ສໍາລັບບັອດ.

ຈືຂໍ້ມູນການ: ໂຄງການນີ້ຈະສົ່ງຮູບພາບອັດຕະໂນມັດໃນເວລາທີ່ທ່ານກໍານົດ. ຕົວຢ່າງ, ພວກເຮົາຈະສົ່ງບົດລາຍງານໃນເວລາເກົ້າຕອນເຊົ້າທຸກໆມື້.

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

ດັ່ງນັ້ນ, ຄໍາຮ້ອງສະຫມັກຂອງພວກເຮົາຈະມີລັກສະນະນີ້:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

ບັນທຶກໄຟລ໌ແລະໂທຫາມັນ main.py.

ພວກເຮົາເປີດແອັບພລິເຄຊັນໂດຍການໃສ່ຄໍາສັ່ງໃນ terminal:

python3 main.py

ທັງຫມົດແມ່ນກຽມພ້ອມ. ໃນປັດຈຸບັນພວກເຮົາມີຫຸ່ນຍົນທີ່ປະກອບດ້ວຍ 50 ເສັ້ນລະຫັດທີ່ສ້າງບົດລາຍງານໂດຍບໍ່ມີການແຊກແຊງຂອງພວກເຮົາ.

ໃຫ້ກວດເບິ່ງ bot ຈາກນີ້ໂດຍການເລືອກຄໍາສັ່ງ /send.

ທ່ານສາມາດໄດ້ຮັບລະຫັດສໍາເລັດຮູບທີ່ GitHub ຂອງຂ້ອຍ.

Skillbox ແນະນໍາ:

• ຫຼັກສູດພາກປະຕິບັດສອງປີ "ຂ້ອຍເປັນນັກພັດທະນາເວັບ PRO".
• ຫຼັກສູດອອນໄລນ "ນັກພັດທະນາ C# ຈາກ 0".
• ຫຼັກສູດພາກປະຕິບັດ "ນັກພັດທະນາ PHP ຈາກ 0 ເຖິງ PRO".

ແຫຼ່ງຂໍ້ມູນ: www.habr.com