ഒരു റോബോട്ടിന് ലളിതമായ റിപ്പോർട്ടുകൾ എങ്ങനെ കൈമാറാം. Python, Google BigQuery എന്നിവയിൽ ഒരു ബോട്ട് എഴുതുന്നു

ദിവസം തോറും, ആഴ്ചതോറും ആവർത്തിക്കുന്ന ടാസ്‌ക്കുകൾ നിങ്ങൾക്കുണ്ടോ? ഉദാഹരണത്തിന്, റിപ്പോർട്ടുകൾ എഴുതുക. നിങ്ങൾ ഡാറ്റ അഭ്യർത്ഥിക്കുക, അത് വിശകലനം ചെയ്യുക, ദൃശ്യവൽക്കരിക്കുക (ഗ്രാഫുകൾ, ചാർട്ടുകൾ ഉണ്ടാക്കുക), തുടർന്ന് അത് നിങ്ങളുടെ ബോസിന് അയയ്ക്കുക. എന്നാൽ ഇതെല്ലാം ഓട്ടോമേറ്റഡ് ആണെങ്കിലോ?

ഈ ട്യൂട്ടോറിയലിൽ ഞങ്ങൾ ടെലിഗ്രാമിനായി ഒരു ബോട്ട് സൃഷ്ടിക്കും, അത് റിപ്പോർട്ടിംഗ് ഓട്ടോമേറ്റ് ചെയ്യാൻ സഹായിക്കും. ഏറ്റവും രസകരമായ കാര്യം, മുഴുവൻ പ്രോഗ്രാമിലും 50 വരി കോഡ് മാത്രമേ ഉണ്ടാകൂ എന്നതാണ്! നിങ്ങൾ ആദ്യമായി ടെലിഗ്രാമിനായി ഒരു ബോട്ട് സൃഷ്ടിക്കുകയാണെങ്കിൽ, നിങ്ങൾ ഇതും വായിക്കണം ഒരു പോസ്റ്റ്.

സ്കിൽബോക്സ് ശുപാർശ ചെയ്യുന്നു: പ്രായോഗിക കോഴ്സ് ആദ്യം മുതൽ പൈത്തൺ ഡെവലപ്പർ.

ഞങ്ങൾ ഓർമ്മിപ്പിക്കുന്നു: "Habr"-ന്റെ എല്ലാ വായനക്കാർക്കും - "Habr" പ്രൊമോഷണൽ കോഡ് ഉപയോഗിച്ച് ഏതെങ്കിലും സ്കിൽബോക്സ് കോഴ്സിൽ ചേരുമ്പോൾ 10 റൂബിൾസ് കിഴിവ്.

നമുക്ക് തുടങ്ങാം

ലൈബ്രറികൾ സ്ഥാപിക്കുന്നു

ഞങ്ങൾ ഉപയോഗിക്കും google-Cloud-bigquery Google BigQuery-ൽ നിന്ന് ഡാറ്റ നേടുന്നതിന്. മാറ്റ്പ്ലോട്ട്ലിബ്, നമ്പി и പാണ്ടകൾ നിങ്ങളുടെ ഡാറ്റ ദൃശ്യവൽക്കരിക്കാൻ നിങ്ങളെ സഹായിക്കും. പൈത്തൺ-ടെലിഗ്രാം-ബോട്ട് പൂർത്തിയായ ഡാറ്റ ടെലിഗ്രാമിലേക്ക് അയയ്ക്കും.

pip3 google-Cloud-bigquery matplotlib numpy pandas python-telegram-bot ഇൻസ്റ്റാൾ ചെയ്യുക

Google BigQuery API ബന്ധിപ്പിക്കുന്നു

ഞങ്ങൾക്ക് സേവനം ഉപയോഗിക്കാൻ താൽപ്പര്യമുണ്ടെങ്കിൽ, ഞങ്ങൾ Google BigQuery API കണക്റ്റുചെയ്യേണ്ടതുണ്ട്. ഇത് ചെയ്യുന്നതിന്, ഞങ്ങൾ പോകുന്നു Google ഡെവലപ്പർ കൺസോൾ ഒരു പുതിയ പ്രോജക്റ്റ് സൃഷ്ടിക്കുക (അല്ലെങ്കിൽ നിലവിലുള്ള ഒന്ന് തിരഞ്ഞെടുക്കുക).

നിയന്ത്രണ പാനലിൽ, APIS ഉം സേവനങ്ങളും പ്രാപ്തമാക്കുക തിരഞ്ഞെടുത്ത് BigQuery API തിരയുക.

API കണക്റ്റുചെയ്യാൻ പ്രവർത്തനക്ഷമമാക്കുക തിരഞ്ഞെടുക്കുക.

ഒരു അക്കൗണ്ട് കീ സൃഷ്ടിക്കുക

നമുക്ക് വീണ്ടും പോകാം Google ഡെവലപ്പർ കൺസോൾ, ക്രെഡൻഷ്യലുകൾ ടാബ് തിരഞ്ഞെടുക്കുക, ക്രെഡൻഷ്യലുകളും സേവന അക്കൗണ്ട് കീയും സൃഷ്ടിക്കുക.

തുടർന്ന് - പുതിയ സേവന അക്കൗണ്ട്, സേവന അക്കൗണ്ട് നാമ ഫീൽഡിൽ പേര് നൽകുക.

റോൾ ഡ്രോപ്പ്-ഡൗൺ ലിസ്റ്റിൽ നിന്ന്, പ്രോജക്റ്റ് > ഉടമ തിരഞ്ഞെടുക്കുക, തുടർന്ന് സൃഷ്ടിക്കുക.

സ്വയമേവ ഡൗൺലോഡ് ചെയ്യുന്ന ഫയലിനെ creds.json എന്ന് വിളിക്കുന്നു.

ടെർമിനലിൽ creds.json-ലേക്കുള്ള പാത വ്യക്തമാക്കിക്കൊണ്ട് GOOGLE_APPLICATION_CREDENTIALS സജ്ജമാക്കുക.

GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]' കയറ്റുമതി ചെയ്യുക

എല്ലാം ശരിയായിരുന്നുവെങ്കിൽ, പ്രോഗ്രാം എഴുതാൻ തുടങ്ങേണ്ട സമയമാണിത്.

ഒരു ആപ്ലിക്കേഷൻ സൃഷ്ടിക്കുന്നു

ട്യൂട്ടോറിയലിനായി ഞങ്ങൾ bigquery-public-data.stackoverflow-ൽ നിന്നുള്ള ഡാറ്റ ഉപയോഗിക്കും, ഞങ്ങളുടെ റിപ്പോർട്ടിനായി ഞങ്ങൾ പ്രതിദിന പ്രസിദ്ധീകരണങ്ങളുടെ എണ്ണം തിരഞ്ഞെടുക്കും.

എല്ലാം വളരെ ലളിതമാണ്.

പട്ടിക അന്വേഷിക്കുക -> ഡാറ്റ ദൃശ്യമാക്കുക -> ദൃശ്യവൽക്കരണം സംരക്ഷിക്കുക -> ചിത്രം അയയ്ക്കുക

ഓരോ ത്രെഡും നിർവചിക്കുന്നതിന് നമുക്ക് ഒരു ഫംഗ്ഷൻ സൃഷ്ടിക്കാം.

BigQuery-ലേക്കുള്ള അന്വേഷണം

ആദ്യം ഞങ്ങൾ ലൈബ്രറി ഇറക്കുമതി ചെയ്യുന്നു.

google.Cloud ഇറക്കുമതി ബിഗ്ക്വറിയിൽ നിന്ന്

ഞങ്ങൾ query_to_bigquery എന്ന ഒരു ഫംഗ്‌ഷൻ സൃഷ്‌ടിക്കുന്നു, ഇവിടെ പരാമീറ്റർ ചോദ്യം ആണ്.

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

ഈ ഫംഗ്‌ഷൻ അഭ്യർത്ഥനയെ ഒരു ഡാറ്റ ഫ്രെയിമായി തിരികെ നൽകും.

ഡാറ്റ ദൃശ്യവൽക്കരിക്കുന്നു

ഈ പ്രശ്നം പരിഹരിക്കാൻ, matplotlib തിരഞ്ഞെടുക്കുക.

mattlotlib.pyplot നെ plt ആയി ഇറക്കുമതി ചെയ്യുക

ഞങ്ങൾക്ക് അഞ്ച് പാരാമീറ്ററുകൾ ആവശ്യമാണ്, ഇവിടെ x എന്നത് x-അക്ഷം ഡാറ്റയാണ്, x_label എന്നത് അക്ഷത്തിന്റെ തലക്കെട്ടാണ്, y എന്നത് y-അക്ഷം ഡാറ്റയാണ്, y_label എന്നത് അക്ഷത്തിന്റെ ശീർഷകമാണ്, ശീർഷകം മുഴുവൻ ദൃശ്യവൽക്കരണത്തിന്റെയും തലക്കെട്ടാണ്.

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

ചിത്രം സംരക്ഷിക്കുക

ഒരു വിഷ്വലൈസേഷൻ സൃഷ്ടിക്കാനും അത് സംരക്ഷിക്കാനും ഇപ്പോൾ രണ്ട് ഫംഗ്ഷനുകൾ ഉപയോഗിക്കാം.

ദിവസവും പ്രസിദ്ധീകരിക്കുന്ന പോസ്റ്റുകളുടെ എണ്ണം ഞങ്ങൾ അയയ്ക്കും. ആദ്യം ഞങ്ങൾ ഒരു അഭ്യർത്ഥന എഴുതുന്നു.

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

2 ഡിസംബർ 2018 മുതൽ രണ്ടാഴ്ചത്തേക്കുള്ള ഡാറ്റ ശേഖരിക്കാൻ ചോദ്യം സഹായിക്കുന്നു.

2018-12-02, bigquery-public-data.stackoverflow.post_history എന്നതിൽ രേഖപ്പെടുത്തിയിരിക്കുന്ന ഏറ്റവും പുതിയ ഡാറ്റയായതിനാൽ ഞങ്ങൾ ഈ തീയതി ഉപയോഗിക്കുന്നു, മറ്റ് സന്ദർഭങ്ങളിൽ ഏറ്റവും പുതിയ ഡാറ്റ ലഭിക്കാൻ നിങ്ങൾക്ക് CURRENT_DATE() ഉപയോഗിക്കാം.

ഡാറ്റ ലഭിക്കാൻ query_to_bigquery ഫംഗ്‌ഷനിലേക്ക് വിളിക്കുക.

ഡാറ്റ ഫ്രെയിം = query_to_bigquery(query)

തുടർന്ന് ഞങ്ങൾ x-അക്ഷത്തിന് തീയതി ഡാറ്റ കോളവും y-അക്ഷത്തിന് total_posts കോളവും ഉപയോഗിക്കുന്നു.

x = ഡാറ്റാഫ്രെയിം['തീയതി'].tolist()
y = ഡാറ്റാഫ്രെയിം['total_posts'].tolist()

Visualize_bar_chart ഫംഗ്‌ഷൻ ഉപയോഗിച്ച് ഞങ്ങൾ ഇത് ദൃശ്യവൽക്കരിക്കുകയും ഒരു ഇമേജായി സംരക്ഷിക്കുകയും ചെയ്യുന്നു.

plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='മൊത്തം പോസ്റ്റുകൾ', ശീർഷകം='പ്രതിദിന പോസ്റ്റുകൾ')
plt.savefig('viz.png')

get_and_save_image എന്ന ഫംഗ്‌ഷനിൽ ഞങ്ങൾ ഈ കോഡ് പൊതിയുന്നു.

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

ഒരു ചിത്രം അയയ്ക്കുക

സ്വീകർത്താവിന് ഒരു റിപ്പോർട്ട് അയയ്ക്കുന്നതിന്, നിങ്ങൾ chat_id പാരാമീറ്റർ അറിയേണ്ടതുണ്ട്.

ഞങ്ങൾ ഉപയോഗിക്കുന്നു userinfobot കൂടാതെ ടൈപ്പ് /ആരംഭിക്കുക. ബോട്ട് ആവശ്യമായ വിവരങ്ങളുമായി പ്രതികരിക്കുന്നു, ഐഡി ഫീൽഡിൽ chat_id അടങ്ങിയിരിക്കുന്നു.

ഇപ്പോൾ നമുക്ക് send_image ഫംഗ്‌ഷൻ സൃഷ്‌ടിക്കാം. ഇമേജ് വീണ്ടെടുക്കുന്നതിനും സംരക്ഷിക്കുന്നതിനും ഇത് get_and_save_image ഫംഗ്‌ഷൻ ഉപയോഗിക്കും. തുടർന്ന് ഞങ്ങൾ എല്ലാം ശരിയായ കോൺടാക്റ്റിലേക്ക് അയയ്ക്കുന്നു.

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

പ്രധാന പരിപാടി

അവസാനമായി, ആപ്ലിക്കേഷൻ സമാരംഭിക്കുന്നതിന് ഞങ്ങൾ മറ്റൊരു ഫംഗ്ഷൻ സൃഷ്ടിക്കുന്നു, പ്രധാനം. ബോട്ടിനായി YOUR_TOKEN മാറ്റാൻ മറക്കരുത്.

ഓർമ്മിക്കുക: നിങ്ങൾ വ്യക്തമാക്കുന്ന സമയത്ത് ഈ പ്രോഗ്രാം സ്വയമേവ ചിത്രം അയയ്ക്കും. ഉദാഹരണത്തിന്, ഞങ്ങൾ എല്ലാ ദിവസവും രാവിലെ ഒമ്പത് മണിക്ക് ഒരു റിപ്പോർട്ട് അയയ്ക്കും.

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

തൽഫലമായി, ഞങ്ങളുടെ ആപ്ലിക്കേഷൻ ഇതുപോലെ കാണപ്പെടും:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

ഫയൽ സംരക്ഷിച്ച് അതിനെ main.py എന്ന് വിളിക്കുക.

ടെർമിനലിൽ കമാൻഡ് നൽകി ഞങ്ങൾ ആപ്ലിക്കേഷൻ സമാരംഭിക്കുന്നു:

python3 main.py

എല്ലാം തയ്യാറാണ്. ഇപ്പോൾ ഞങ്ങളുടെ ഇടപെടലില്ലാതെ റിപ്പോർട്ടുകൾ സൃഷ്ടിക്കുന്ന 50 വരി കോഡ് അടങ്ങിയ ഒരു റോബോട്ടുണ്ട്.

നമുക്ക് ബോട്ട് പരിശോധിക്കാം ഇവിടെ നിന്ന്/send കമാൻഡ് തിരഞ്ഞെടുക്കുന്നതിലൂടെ.

നിങ്ങൾക്ക് പൂർത്തിയാക്കിയ കോഡ് ഇവിടെ ലഭിക്കും എന്റെ GitHub.

സ്കിൽബോക്സ് ശുപാർശ ചെയ്യുന്നു:

• രണ്ടുവർഷത്തെ പ്രാക്ടിക്കൽ കോഴ്സ് "ഞാൻ ഒരു PRO വെബ് ഡെവലപ്പർ ആണ്".
• ഓൺലൈൻ കോഴ്സ് "0 മുതൽ C# ഡെവലപ്പർ".
• പ്രായോഗിക വർഷ കോഴ്സ് "0 മുതൽ PRO വരെയുള്ള PHP ഡവലപ്പർ".

അവലംബം: www.habr.com