간단한 보고서를 로봇에 위임하는 방법. Python과 Google BigQuery로 봇을 작성합니다.

매일, 매주 반복되는 작업이 있습니까? 예를 들어 보고서 작성. 데이터를 요청하고, 분석하고, 시각화(그래프, 차트 작성)한 후 상사에게 보냅니다. 하지만 이 모든 것이 자동화된다면 어떨까요?

이 튜토리얼에서는 보고를 자동화하는 데 도움이 되는 Telegram용 봇을 만듭니다. 그리고 가장 멋진 점은 전체 프로그램이 단 50줄의 코드로 구성된다는 것입니다! 처음으로 Telegram용 봇을 생성하는 경우 이 내용도 읽어야 합니다. 게시.

Skillbox는 다음을 권장합니다. 실기 코스 처음부터 Python 개발자.

알림: "Habr"의 모든 독자를 위한 - "Habr" 프로모션 코드를 사용하여 Skillbox 과정에 등록할 때 10 루블 할인.

시작하자

라이브러리 설치

우리는 사용할 것이다 Google-클라우드-BigQuery Google BigQuery에서 데이터를 가져옵니다. 매트플롯립, numpy и 팬더 데이터를 시각화하는 데 도움이 될 것입니다. 파이썬 텔레그램 봇 완성된 데이터를 텔레그램으로 보내드립니다.

pip3 설치 google-cloud-bigquery matplotlib numpy pandas python-telegram-bot

Google BigQuery API 연결

서비스를 이용하려면 Google BigQuery API를 연결해야 합니다. 이를 위해 우리는 Google Developers Console 새 프로젝트를 생성하거나 기존 프로젝트를 선택합니다.

제어판에서 API 및 서비스 활성화를 선택하고 BigQuery API를 찾으세요.

활성화를 선택하여 API를 연결합니다.

계정 키 만들기

다시 가자 Google Developers Console에서 자격 증명 탭, 자격 증명 만들기 및 서비스 계정 키를 선택합니다.

그런 다음 - 새 서비스 계정을 선택하고 서비스 계정 이름 필드에 이름을 입력합니다.

역할 드롭다운 목록에서 프로젝트 > 소유자를 선택한 다음 만들기를 선택합니다.

자동으로 다운로드되는 파일은 creds.json입니다.

터미널에서 creds.json 경로를 지정하여 GOOGLE_APPLICATION_CREDENTIALS를 설정합니다.

GOOGLE_APPLICATION_CREDENTIALS='[PATH_TO_CREDS.JSON]' 내보내기

모든 것이 순조롭게 진행되었다면 이제 프로그램 작성을 시작할 차례입니다.

응용 프로그램 만들기

튜토리얼에서는 bigquery-public-data.stackoverflow의 데이터를 사용하고, 보고서에서는 일일 발행 횟수를 선택합니다.

모든 것이 매우 간단합니다.

테이블 쿼리 -> 데이터 시각화 -> 시각화 저장 -> 이미지 보내기

각 스레드를 정의하는 하나의 함수를 만들어 보겠습니다.

BigQuery에 쿼리

먼저 라이브러리를 가져옵니다.

google.cloud에서 BigQuery 가져오기

매개변수가 query인 query_to_bigquery라는 함수를 만듭니다.

def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe

이 함수는 요청을 데이터 프레임으로 반환합니다.

데이터 시각화

이 문제를 해결하려면 matplotlib를 선택하세요.

matplotlib.pyplot을 plt로 가져 오기

XNUMX개의 매개변수가 필요합니다. 여기서 x는 x축 데이터, x_label은 축 제목, y는 y축 데이터, y_label은 축 제목, title은 전체 시각화의 제목입니다.

def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt

이미지 저장

이제 두 가지 함수를 사용하여 시각화를 만들고 저장해 보겠습니다.

매일 게시된 게시물 수를 보내드립니다. 먼저 요청을 작성합니다.

query = """
        SELECT DATE(creation_date) date, COUNT(*) total_posts
        FROM `bigquery-public-data.stackoverflow.post_history`
        GROUP BY 1
        HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
        ORDER BY 1
        """

쿼리는 2년 2018월 XNUMX일부터 XNUMX주 동안 데이터를 수집하는 데 도움이 됩니다.

2018-12-02가 bigquery-public-data.stackoverflow.post_history에 기록된 최신 데이터이기 때문에 이 날짜를 사용합니다. 다른 경우에는 CURRENT_DATE()를 사용하여 최신 데이터를 가져올 수 있습니다.

query_to_bigquery 함수를 호출하여 데이터를 가져옵니다.

데이터프레임 = query_to_bigquery(쿼리)

그런 다음 x축에 날짜 데이터 열을 사용하고 y축에 total_posts 열을 사용합니다.

x = 데이터프레임['날짜'].tolist()
y = 데이터프레임['total_posts'].tolist()

시각화_bar_chart 함수를 사용하여 시각화하고 이미지로 저장합니다.

plt = visible_bar_chart(x=x, x_label='날짜', y=y, y_label='총 게시물', title='일일 게시물')
plt.savefig('viz.png')

이 코드를 get_and_save_image라는 함수로 래핑합니다.

def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')

이미지 보내기

수신자에게 보고서를 보내려면 chat_id 매개변수를 알아야 합니다.

우리는 사용 사용자 정보봇 그리고 /start를 입력하세요. 봇은 필요한 정보로 응답하며 chat_id는 id 필드에 포함되어 있습니다.

이제 send_image 함수를 만들어 보겠습니다. get_and_save_image 함수를 사용하여 이미지를 검색하고 저장합니다. 그런 다음 모든 것을 올바른 연락처로 보냅니다.

def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb'))

주요 프로그램

마지막으로 애플리케이션을 실행하는 또 다른 함수인 main을 생성합니다. 봇의 YOUR_TOKEN을 변경하는 것을 잊지 마세요.

기억하세요: 이 프로그램은 귀하가 지정한 시간에 자동으로 이미지를 보냅니다. 예를 들어 매일 아침 XNUMX시에 보고서를 보내드립니다.

def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
    main()

결과적으로 우리의 애플리케이션은 다음과 같습니다:

from google.cloud import bigquery
from telegram.ext import Updater
 
import matplotlib.pyplot as plt
import numpy as np
import datetime
 
def query_to_bigquery(query):
    client = bigquery.Client()
    query_job = client.query(query)
    result = query_job.result()
    dataframe = result.to_dataframe()
    return dataframe
 
def visualize_bar_chart(x, x_label, y, y_label, title):
    plt.title(title)
    plt.xlabel(x_label)
    plt.ylabel(y_label)
    index = np.arange(len(x))
    plt.xticks(index, x, fontsize=5, rotation=30)
    plt.bar(index, y)
    return plt
 
def get_and_save_image():
    query = """
            SELECT DATE(creation_date) date, COUNT(*) total_posts
            FROM `bigquery-public-data.stackoverflow.post_history`
            GROUP BY 1
            HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY)
            ORDER BY 1
            """
    dataframe = query_to_bigquery(query)  
    x = dataframe['date'].tolist()
    y = dataframe['total_posts'].tolist()
    plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts')
    plt.savefig('viz.png')
 
def send_image(bot, update):
    get_and_save_image()
    chat_id = 'CHAT_ID_RECEIVER'
    bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb'))
 
def main():
    updater = Updater('YOUR_TOKEN')
    updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6))
    updater.start_polling()
    updater.idle()
 
if __name__ == '__main__':
main()

파일을 저장하고 이름을 main.py로 지정합니다.

터미널에 다음 명령을 입력하여 애플리케이션을 시작합니다.

파이썬3 메인.py

모든 것이 준비되었습니다. 이제 우리는 우리의 개입 없이 보고서를 생성하는 50줄의 코드로 구성된 로봇을 갖게 되었습니다.

봇을 확인해 볼까요? 따라서/send 명령을 선택하여.

완성된 코드는 다음에서 얻을 수 있습니다. 내 GitHub.

Skillbox는 다음을 권장합니다.

• XNUMX년 실습 코스 "저는 PRO 웹 개발자입니다".
• 온라인 코스 "0의 C# 개발자".
• 실기 코스 "0에서 PRO로의 PHP 개발자".

출처 : habr.com