របៀបផ្ទេររបាយការណ៍សាមញ្ញទៅមនុស្សយន្ត។ ការសរសេរ bot នៅក្នុង Python និង Google BigQuery

តើ​អ្នក​មាន​កិច្ចការ​ដែល​ធ្វើ​ម្តង​ទៀត​ពី​មួយ​ថ្ងៃ​ទៅ​មួយ​សប្តាហ៍​ឬ​ទេ? ឧទាហរណ៍ការសរសេររបាយការណ៍។ អ្នកស្នើសុំទិន្នន័យ វិភាគវា ស្រមៃមើលវា (ធ្វើក្រាហ្វ គំនូសតាង) ហើយបន្ទាប់មកផ្ញើវាទៅចៅហ្វាយរបស់អ្នក។ ប៉ុន្តែចុះយ៉ាងណាបើអ្វីៗទាំងអស់នេះត្រូវបានស្វ័យប្រវត្តិ?

នៅក្នុងមេរៀននេះ យើងនឹងបង្កើត bot សម្រាប់ Telegram ដែលនឹងជួយធ្វើរបាយការណ៍ដោយស្វ័យប្រវត្តិ។ ហើយអ្វីដែលពិសេសបំផុតនោះគឺថាកម្មវិធីទាំងមូលនឹងមានកូដត្រឹមតែ 50 បន្ទាត់ប៉ុណ្ណោះ! ប្រសិនបើអ្នកកំពុងបង្កើត bot សម្រាប់ Telegram ជាលើកដំបូងនោះ អ្នកក៏គួរតែអានវាដែរ។ ប្រកាស.

Skillbox ណែនាំ៖ វគ្គសិក្សាជាក់ស្តែង អ្នកអភិវឌ្ឍន៍ Python ពីដំបូង.

យើងរំលឹក៖ សម្រាប់អ្នកអានទាំងអស់នៃ "Habr" - ការបញ្ចុះតម្លៃ 10 rubles នៅពេលចុះឈ្មោះក្នុងវគ្គសិក្សា Skillbox ណាមួយដោយប្រើលេខកូដផ្សព្វផ្សាយ "Habr" ។

តោះ​ចាប់ផ្តើម

ការដំឡើងបណ្ណាល័យ

យើងនឹងប្រើ google-cloud-bigquery ដើម្បីទទួលបានទិន្នន័យពី Google BigQuery ។ matplotlib, ស្ពឹកស្រពន់ и ខ្លាឃ្មុំផេនដា នឹងជួយអ្នកឱ្យមើលឃើញទិន្នន័យរបស់អ្នក។ python-telegram-bot នឹងបញ្ជូនទិន្នន័យដែលបានបញ្ចប់ទៅ Telegram ។

pip3 ដំឡើង google-cloud-bigquery matplotlib numpy pandas python-telegram-bot

កំពុងភ្ជាប់ Google BigQuery API

ប្រសិនបើយើងចង់ប្រើប្រាស់សេវាកម្ម យើងត្រូវភ្ជាប់ Google BigQuery API។ ដើម្បីធ្វើដូចនេះយើងទៅ Google Developers Console ហើយបង្កើតគម្រោងថ្មី (ឬជ្រើសរើសគម្រោងដែលមានស្រាប់)។

នៅក្នុងផ្ទាំងបញ្ជា ជ្រើសរើស បើក APIS និង SERVICES ហើយរកមើល BigQuery API។

ជ្រើសរើស អនុញ្ញាត ដើម្បីភ្ជាប់ API ។

បង្កើតសោគណនី

តោះទៅម្តងទៀត Google Developers Consoleជ្រើសរើសផ្ទាំងព័ត៌មានសម្ងាត់ បង្កើតព័ត៌មានសម្ងាត់ និងសោគណនីសេវាកម្ម។

បន្ទាប់មក - គណនីសេវាកម្មថ្មី ហើយបញ្ចូលឈ្មោះក្នុងប្រអប់ឈ្មោះគណនីសេវាកម្ម។

ពីបញ្ជីទម្លាក់ចុះ តួនាទី ជ្រើសរើស គម្រោង > ម្ចាស់ បន្ទាប់មកបង្កើត។

ឯកសារដែលនឹងត្រូវបានទាញយកដោយស្វ័យប្រវត្តិត្រូវបានគេហៅថា creds.json ។

កំណត់ GOOGLE_APPLICATION_CREDENTIALS ដោយបញ្ជាក់ផ្លូវទៅកាន់ creds.json នៅក្នុងស្ថានីយ។

នាំចេញ GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]'

ប្រសិនបើអ្វីៗដំណើរការល្អ ដល់ពេលចាប់ផ្តើមសរសេរកម្មវិធីហើយ។

ការបង្កើតកម្មវិធី

សម្រាប់ការបង្រៀន យើងនឹងប្រើទិន្នន័យពី bigquery-public-data.stackoverflow សម្រាប់របាយការណ៍របស់យើង យើងនឹងជ្រើសរើសចំនួននៃការបោះពុម្ពប្រចាំថ្ងៃ។

អ្វីគ្រប់យ៉ាងគឺសាមញ្ញណាស់។

សួរតារាង -> មើលឃើញទិន្នន័យ -> រក្សាទុកការមើលឃើញ -> ផ្ញើរូបភាព

តោះបង្កើតមុខងារមួយដើម្បីកំណត់ខ្សែស្រឡាយនីមួយៗ។

សំណួរទៅកាន់ BigQuery

ដំបូងយើងនាំចូលបណ្ណាល័យ។

ពី google.cloud នាំចូល bigquery

យើងបង្កើតមុខងារមួយហៅថា query_to_bigquery ដែលប៉ារ៉ាម៉ែត្រគឺ query ។

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

មុខងារនេះនឹងត្រឡប់សំណើជាស៊ុមទិន្នន័យ។

ការមើលឃើញទិន្នន័យ

ដើម្បីដោះស្រាយបញ្ហានេះ សូមជ្រើសរើស matplotlib ។

នាំចូល matplotlib.pyplot ជា plt

យើងត្រូវការប៉ារ៉ាម៉ែត្រចំនួនប្រាំ ដែល x ជាទិន្នន័យអ័ក្ស x x_label គឺជាចំណងជើងសម្រាប់អ័ក្ស y គឺជាទិន្នន័យអ័ក្ស y y_label គឺជាចំណងជើងសម្រាប់អ័ក្ស ហើយចំណងជើងគឺជាចំណងជើងនៃការមើលឃើញទាំងមូល។

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

រក្សាទុករូបភាព

ឥឡូវនេះ ចូរយើងប្រើមុខងារពីរដើម្បីបង្កើតការមើលឃើញ និងរក្សាទុកវា។

យើង​នឹង​ផ្ញើ​ចំនួន​ប្រកាស​ចេញ​ផ្សាយ​ជា​រៀង​រាល់​ថ្ងៃ។ ដំបូងយើងសរសេរសំណើ។

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

សំណួរជួយប្រមូលទិន្នន័យរយៈពេលពីរសប្តាហ៍ដោយចាប់ផ្តើមពីថ្ងៃទី 2 ខែធ្នូ ឆ្នាំ 2018។

យើងប្រើកាលបរិច្ឆេទនេះ ពីព្រោះ 2018-12-02 គឺជាទិន្នន័យចុងក្រោយបំផុតដែលបានកត់ត្រានៅក្នុង bigquery-public-data.stackoverflow.post_history ក្នុងករណីផ្សេងទៀតអ្នកអាចប្រើ CURRENT_DATE() ដើម្បីទទួលបានទិន្នន័យថ្មីបំផុត។

ហៅមុខងារ query_to_bigquery ដើម្បីទទួលបានទិន្នន័យ។

dataframe = query_to_bigquery(សំណួរ)

បន្ទាប់មកយើងប្រើជួរឈរទិន្នន័យកាលបរិច្ឆេទសម្រាប់អ័ក្ស x និងជួរឈរ total_posts សម្រាប់អ័ក្ស y ។

x = dataframe['date'].tolist()
y = dataframe['total_posts'].tolist()

យើងមើលឃើញវាដោយប្រើមុខងារ visualize_bar_chart ហើយរក្សាទុកវាជារូបភាព។

plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='ប្រកាសប្រចាំថ្ងៃ')
plt.savefig('viz.png')

យើងរុំកូដនេះនៅក្នុងមុខងារមួយហៅថា get_and_save_image។

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

ផ្ញើរូបភាព

ដើម្បីផ្ញើរបាយការណ៍ទៅកាន់អ្នកទទួល អ្នកត្រូវដឹងពីប៉ារ៉ាម៉ែត្រ chat_id។

យើង​ប្រើ userinfobot ហើយវាយ /start ។ bot ឆ្លើយតបជាមួយនឹងព័ត៌មានចាំបាច់ chat_id មាននៅក្នុងវាលលេខសម្គាល់។

ឥឡូវនេះ ចូរយើងបង្កើតមុខងារ send_image។ វានឹងប្រើមុខងារ get_and_save_image ដើម្បីទាញយក និងរក្សាទុករូបភាព។ ហើយបន្ទាប់មកយើងផ្ញើអ្វីគ្រប់យ៉ាងទៅទំនាក់ទំនងត្រឹមត្រូវ។

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

កម្មវិធីចម្បង

ជាចុងក្រោយ យើងបង្កើតមុខងារមួយទៀត សំខាន់ ដើម្បីបើកដំណើរការកម្មវិធី។ កុំភ្លេចផ្លាស់ប្តូរ YOUR_TOKEN សម្រាប់បូត។

ចងចាំ៖ កម្មវិធីនេះនឹងផ្ញើរូបភាពដោយស្វ័យប្រវត្តិនៅពេលអ្នកបញ្ជាក់។ ជាឧទាហរណ៍ យើងនឹងផ្ញើរបាយការណ៍នៅម៉ោងប្រាំបួនព្រឹកជារៀងរាល់ថ្ងៃ។

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

ជាលទ្ធផល កម្មវិធីរបស់យើងនឹងមើលទៅដូចនេះ៖

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

រក្សាទុកឯកសារហើយហៅវាថា main.py ។

យើងបើកដំណើរការកម្មវិធីដោយបញ្ចូលពាក្យបញ្ជានៅក្នុងស្ថានីយ៖

python3 main.py

ទាំងអស់រួចរាល់ហើយ។ ឥឡូវនេះយើងមានមនុស្សយន្តដែលមាន 50 បន្ទាត់នៃកូដដែលបង្កើតរបាយការណ៍ដោយគ្មានការអន្តរាគមន៍របស់យើង។

តោះពិនិត្យមើល bot ពីទីនេះដោយជ្រើសរើសពាក្យបញ្ជា / ផ្ញើ។

អ្នកអាចទទួលបានលេខកូដដែលបានបញ្ចប់នៅ GitHub របស់ខ្ញុំ.

Skillbox ណែនាំ៖

• វគ្គសិក្សាជាក់ស្តែងរយៈពេលពីរឆ្នាំ "ខ្ញុំជាអ្នកបង្កើតគេហទំព័រ PRO".
• វគ្គសិក្សាតាមអ៊ីនធឺណិត "អ្នកអភិវឌ្ឍន៍ C# ពី 0".
• វគ្គសិក្សាជាក់ស្តែងឆ្នាំ "អ្នកអភិវឌ្ឍន៍ PHP ពី 0 ដល់ PRO".

ប្រភព: www.habr.com