રોબોટને સરળ અહેવાલો કેવી રીતે સોંપવા. Python અને Google BigQuery માં બોટ લખવું

શું તમારી પાસે એવા કાર્યો છે જે દરરોજ, અઠવાડિયા પછી અઠવાડિયાનું પુનરાવર્તન કરે છે? ઉદાહરણ તરીકે, અહેવાલો લખવા. તમે ડેટાની વિનંતી કરો, તેનું વિશ્લેષણ કરો, તેને વિઝ્યુઅલાઈઝ કરો (ગ્રાફ, ચાર્ટ બનાવો), અને પછી તેને તમારા બોસને મોકલો. પરંતુ જો આ બધું સ્વયંસંચાલિત હોત તો?

આ ટ્યુટોરીયલમાં આપણે ટેલિગ્રામ માટે એક બોટ બનાવીશું જે સ્વચાલિત રીપોર્ટીંગમાં મદદ કરશે. અને સૌથી સરસ વાત એ છે કે આખા પ્રોગ્રામમાં કોડની માત્ર 50 લીટીઓ હશે! જો તમે પહેલીવાર ટેલિગ્રામ માટે બોટ બનાવી રહ્યા છો, તો તમારે આ પણ વાંચવું જોઈએ પોસ્ટ.

સ્કિલબોક્સ ભલામણ કરે છે: પ્રેક્ટિકલ કોર્સ શરૂઆતથી પાયથોન ડેવલપર.

અમે યાદ કરાવીએ છીએ: Habrના તમામ વાચકો માટે - Habr પ્રોમો કોડનો ઉપયોગ કરીને કોઈપણ સ્કિલબોક્સ કોર્સમાં નોંધણી કરતી વખતે 10 રૂબલ ડિસ્કાઉન્ટ.

ચાલો, શરુ કરીએ

પુસ્તકાલયો સ્થાપિત કરી રહ્યા છીએ

અમે ઉપયોગ કરીશું google-Cloud-bigquery Google BigQuery માંથી ડેટા મેળવવા માટે. matplotlib, નિષ્કપટ и પંડાસ તમને તમારા ડેટાની કલ્પના કરવામાં મદદ કરશે. python-telegram-bot તૈયાર ડેટા ટેલિગ્રામ પર મોકલશે.

pip3 ઇન્સ્ટોલ કરો google-Cloud-bigquery matplotlib numpy pandas python-telegram-bot

Google BigQuery API ને કનેક્ટ કરી રહ્યું છે

જો આપણે સેવાનો ઉપયોગ કરવા માંગીએ છીએ, તો અમારે Google BigQuery API ને કનેક્ટ કરવાની જરૂર છે. આ કરવા માટે આપણે જઈએ છીએ Google Developers Console અને નવો પ્રોજેક્ટ બનાવો (અથવા અસ્તિત્વમાં છે તે પસંદ કરો).

કંટ્રોલ પેનલમાં, APIs અને સેવાઓને સક્ષમ કરો પસંદ કરો અને BigQuery API માટે જુઓ.

API ને કનેક્ટ કરવા માટે સક્ષમ કરો પસંદ કરો.

એકાઉન્ટ કી બનાવો

ચાલો ફરી જઈએ Google Developers Console, ઓળખપત્ર ટેબ પસંદ કરો, ઓળખપત્રો બનાવો અને સેવા એકાઉન્ટ કી.

પછી - નવું સર્વિસ એકાઉન્ટ, અને સર્વિસ એકાઉન્ટ નામ ફીલ્ડમાં નામ દાખલ કરો.

રોલ ડ્રોપ-ડાઉન સૂચિમાંથી, પ્રોજેક્ટ > માલિક પસંદ કરો, પછી બનાવો.

ફાઇલ જે આપમેળે ડાઉનલોડ થશે તેને creds.json કહેવામાં આવે છે.

GOOGLE_APPLICATION_CREDENTIALS સેટ કરો, ટર્મિનલમાં creds.jsonનો માર્ગ સ્પષ્ટ કરો.

GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]' નિકાસ કરો

જો બધું બરાબર થયું, તો પ્રોગ્રામ લખવાનું શરૂ કરવાનો સમય છે.

એપ્લિકેશન બનાવી રહ્યા છીએ

ટ્યુટોરીયલ માટે અમે bigquery-public-data.stackoverflow ના ડેટાનો ઉપયોગ કરીશું, અમારા રિપોર્ટ માટે અમે દૈનિક પ્રકાશનોની સંખ્યા પસંદ કરીશું.

બધું એકદમ સરળ છે.

કોષ્ટકની ક્વેરી -> ડેટાની કલ્પના કરો -> વિઝ્યુલાઇઝેશન સાચવો -> છબી મોકલો

ચાલો દરેક થ્રેડને વ્યાખ્યાયિત કરવા માટે એક ફંક્શન બનાવીએ.

BigQuery ને ક્વેરી

પ્રથમ આપણે પુસ્તકાલય આયાત કરીએ છીએ.

google.cloud માંથી bigquery આયાત કરો

અમે query_to_bigquery નામનું ફંક્શન બનાવીએ છીએ, જ્યાં પેરામીટર ક્વેરી છે.

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

આ કાર્ય ડેટા ફ્રેમ તરીકે વિનંતી પરત કરશે.

વિઝ્યુલાઇઝિંગ ડેટા

આ સમસ્યાને ઉકેલવા માટે, matplotlib પસંદ કરો.

matplotlib.pyplot plt તરીકે આયાત કરો

અમને પાંચ પરિમાણોની જરૂર છે, જ્યાં x એ x-અક્ષ ડેટા છે, x_label એ ધરી માટેનું શીર્ષક છે, y એ y-અક્ષ ડેટા છે, y_label એ ધરી માટેનું શીર્ષક છે, અને શીર્ષક એ સમગ્ર વિઝ્યુલાઇઝેશનનું શીર્ષક છે.

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

છબી સાચવો

હવે ચાલો વિઝ્યુલાઇઝેશન બનાવવા અને તેને સાચવવા માટે બે ફંક્શનનો ઉપયોગ કરીએ.

અમે દરરોજ પ્રકાશિત પોસ્ટની સંખ્યા મોકલીશું. પ્રથમ અમે વિનંતી લખીએ છીએ.

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

ક્વેરી 2 ડિસેમ્બર, 2018 થી શરૂ થતા બે અઠવાડિયા માટે ડેટા એકત્રિત કરવામાં મદદ કરે છે.

અમે આ તારીખનો ઉપયોગ કરીએ છીએ કારણ કે 2018-12-02 એ bigquery-public-data.stackoverflow.post_history માં રેકોર્ડ કરાયેલ નવીનતમ ડેટા છે, અન્ય કિસ્સાઓમાં તમે નવીનતમ ડેટા મેળવવા માટે CURRENT_DATE() નો ઉપયોગ કરી શકો છો.

ડેટા મેળવવા માટે query_to_bigquery ફંક્શન પર કૉલ કરો.

ડેટાફ્રેમ = ક્વેરી_થી_બિગક્વેરી(ક્વેરી)

પછી આપણે x-અક્ષ માટે તારીખ ડેટા કૉલમ અને y-અક્ષ માટે કુલ_પોસ્ટ કૉલમનો ઉપયોગ કરીએ છીએ.

x = ડેટાફ્રેમ['તારીખ'].ટોલિસ્ટ()
y = ડેટાફ્રેમ['total_posts'].tolist()

અમે તેને visualize_bar_chart ફંક્શનનો ઉપયોગ કરીને વિઝ્યુઅલાઈઝ કરીએ છીએ અને તેને ઈમેજ તરીકે સેવ કરીએ છીએ.

plt = વિઝ્યુઅલાઈઝ_બાર_ચાર્ટ(x=x, x_label='તારીખ', y=y, y_label='કુલ પોસ્ટ', શીર્ષક='દૈનિક પોસ્ટ')
plt.savefig('viz.png')

અમે આ કોડને get_and_save_image નામના ફંક્શનમાં લપેટીએ છીએ.

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

એક છબી મોકલો

પ્રાપ્તકર્તાને રિપોર્ટ મોકલવા માટે, તમારે chat_id પરિમાણ જાણવાની જરૂર છે.

અમે ઉપયોગ કરીએ છીએ વપરાશકર્તા માહિતી બોટ અને ટાઈપ કરો/પ્રારંભ કરો. બોટ જરૂરી માહિતી સાથે જવાબ આપે છે, chat_id id ફીલ્ડમાં સમાયેલ છે.

હવે ચાલો send_image ફંક્શન બનાવીએ. તે ઇમેજને પુનઃપ્રાપ્ત કરવા અને સાચવવા માટે get_and_save_image ફંક્શનનો ઉપયોગ કરશે. અને પછી અમે યોગ્ય સંપર્કમાં બધું મોકલીએ છીએ.

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

મુખ્ય કાર્યક્રમ

છેલ્લે, અમે એપ્લીકેશન શરૂ કરવા માટે બીજું ફંક્શન બનાવીએ છીએ, મુખ્ય. બૉટ માટે YOUR_TOKEN બદલવાનું ભૂલશો નહીં.

યાદ રાખો: તમે ઉલ્લેખિત કરો તે સમયે આ પ્રોગ્રામ આપમેળે છબી મોકલશે. ઉદાહરણ તરીકે, અમે દરરોજ સવારે નવ વાગ્યે રિપોર્ટ મોકલીશું.

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

પરિણામે, અમારી એપ્લિકેશન આના જેવી દેખાશે:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

ફાઇલ સાચવો અને તેને main.py કૉલ કરો.

અમે ટર્મિનલમાં આદેશ દાખલ કરીને એપ્લિકેશન શરૂ કરીએ છીએ:

python3 main.py

બધું તૈયાર છે. હવે અમારી પાસે કોડની 50 લીટીઓ ધરાવતો રોબોટ છે જે અમારા હસ્તક્ષેપ વિના રિપોર્ટ્સ જનરેટ કરે છે.

ચાલો બોટ તપાસીએ અહીંથી/send આદેશ પસંદ કરીને.

તમે સમાપ્ત કોડ પર મેળવી શકો છો મારું GitHub.

સ્કિલબોક્સ ભલામણ કરે છે:

• બે વર્ષનો પ્રેક્ટિકલ કોર્સ "હું પ્રો વેબ ડેવલપર છું".
• ઓનલાઇન કોર્સ "0 થી C# વિકાસકર્તા".
• એક વર્ષનો પ્રેક્ટિકલ કોર્સ "0 થી PRO સુધી PHP વિકાસકર્તા".

સોર્સ: www.habr.com