30분 안에 웹 서비스를 모니터링하는 봇: 텔레그램 + bash + cron

새로운 서비스에 대한 모니터링을 신속하게 구현해야 하지만, 기성 인프라나 전문 지식이 부족한 경우가 있습니다. 이 가이드에서는 bash, cron, curl과 같은 Ubuntu 내장 도구만을 사용하여 30분 안에 모든 웹 서비스를 모니터링하는 도구를 구현해 보겠습니다. 알림 전달에는 Telegram을 사용합니다.

"화려한 장식"은 사용자의 감정적 참여일 것입니다. 실제 사용자를 대상으로 테스트한 결과, 효과가 있는 것으로 나타났습니다.

원격 진료 서비스인 Doctor Nearby에서 사용자의 스트레스 수준을 파악하기 위한 챗봇을 개발할 때, 모니터링이 필요했습니다. 몇 시간 만에 훌륭하게 작동할 뿐만 아니라 긍정적인 메시지를 전달하는 미니 프로젝트가 탄생했습니다.

먼저, 스크립트가 있는 저장소를 가져오겠습니다.

git clone https://github.com/rshekhovtsov/msms.git

msms 폴더로 가서 작업을 계속합니다.

텔레그램이 차단된 경우 프록시를 사용하세요. 가장 쉽고 안정적인 방법은 torsocks입니다.

sudo apt install tor
sudo apt install torsocks

예를 들어, google.com 홈페이지 모니터링을 3단계로 설정해보겠습니다.

1단계. 텔레그램에서 봇을 생성하고 사용자 ID를 얻습니다.

• 텔레그램 연락처 검색창에서 다음을 검색합니다. @botfather:

  

• 시작 버튼을 눌러 실행하고, /newbot 명령어를 입력한 후 질문에 답합니다. name은 사용자에게 표시되는 봇의 이름이며, username은 고유해야 하며 "bot"으로 끝나야 합니다.

  
  
  봇은 HTTP API에 대한 비밀 토큰을 발행하는데, 이 토큰은 msms 폴더의 telegram-api-key.txt 파일에 복사하여 저장해야 합니다.

• 텔레그램 검색창에 봇의 이름을 입력하고 실행합니다.
• 마지막으로, 모니터링 알림 수신자 목록에 우리 자신을 추가해 보겠습니다.

  sudo chmod +x ./recipients-setup.sh
  torsocks ./recipients-setup.sh

  스크립트는 봇에 대한 최신 요청 목록을 출력합니다. 텔레그램에서 ID와 이름을 한 줄로 입력해야 합니다. 이 ID를 services/google-recipients.txt 파일에 저장합니다. 파일 형식: 각 줄은 하나의 ID입니다. 예:

  123456789
  987654321

새로운 수신자를 추가하려면 Telegram에서 봇을 시작하도록 요청하고, receivers-setup.sh를 실행하고 파일에 ID를 추가해야 합니다.

2단계. 모니터링 설정

서비스 설명은 services 폴더에 ini 파일을 생성하여 작성합니다. 다음 다섯 가지 매개변수를 설정해야 합니다.

1. MSMS_SERVICE_NAME: 서비스 이름 - 알림 및 모니터링 로그에 사용됩니다.
2. MSMS_SERVICE_ENDPOINT: curl을 사용하여 접근할 서비스의 엔드포인트입니다.
3. MSMS_CURL_PARAMS: 추가 컬 옵션은 아래 예를 참조하세요.
4. MSMS_예상: 서비스에서 예상되는 응답입니다. 응답이 짧을 때 사용됩니다.
5. MSMS_예상_파일: 예상 서비스 응답이 포함된 파일 이름입니다. 이 값을 지정하면 MSMS_EXPECTED보다 우선합니다.
6. MSMS 수신자: 알림 수신자 목록이 포함된 파일입니다.

google.com에 대한 요청은 리디렉션과 함께 고정된 HTML을 반환하며, 이를 예상 서버 응답으로 사용합니다.

curl google.com > services/google-response.html

services/google.ini 파일을 만들어 보겠습니다.

MSMS_SERVICE_NAME='google front page'

# service endpoint
MSMS_SERVICE_ENDPOINT='google.com'

# curl parameters
MSMS_CURL_PARAMS='-s --connect-timeout 3 -m 7'

# expected service response
MSMS_EXPECTED_FILE='google-response.html'

# recipients list file
MSMS_RECIPIENTS='google-recipients.txt'

В MSMS_CURL_PARAMS 다음을 포함하여 curl이 할 수 있는 모든 것을 지정할 수 있습니다.

1. 콘솔과 로그가 복잡해지는 것을 방지하려면 curl 메시지를 비활성화하세요. -s
2. 테스트 중인 서비스에 대한 연결 시간 초과를 초 단위로 설정합니다. --connect-timeout 3
3. 응답을 받기 위한 시간 초과를 설정하세요: -m 7
4. SSL에 대한 인증서 검증을 비활성화합니다(예: 자체 서명 인증서가 사용되는 경우): --insecure
5. http 요청 유형을 지정하세요: -X POST
6. 제목을 지정하세요: -H "Content-Type: application/json"
7. 요청 본문을 문자열이나 파일로 지정하세요. 파일 형식은 다음과 같습니다. -d @request.json

알림을 비활성화하고 연결에 대한 시간 초과를 3초, 서비스로부터 응답을 받는 데 7초로 설정했습니다.

주의: 예시처럼 매개변수 값을 작은따옴표로 묶어 지정합니다. 안타깝게도 bash는 이런 점에서 매우 취약하며, 실수로 나비가 날아가는 것(잘못 배치된 따옴표)만으로도 진단하기 어려운 오류로 인해 우주가 멸망할 수 있습니다.

모니터링을 설정했습니다. 모든 것이 정상인지 확인해 보겠습니다.

sudo chmod +x ./monitoring.sh
torsocks ./monitoring.sh

스크립트는 다음과 같은 메시지를 출력해야 합니다.

2020-01-10 12:14:31
health-check "google front page": OK

3단계. 일정 설정

cron에서 모니터링 일정을 설정해 보겠습니다.

sudo crontab -e

google.com을 매분 확인하는 줄을 추가해 보겠습니다.

*/1 * * * * torsocks <ПУТЬ К ПАПКЕ РЕПОЗИТОРИЯ>/monitoring.sh >> <ПУТЬ К ПАПКЕ РЕПОЗИТОРИЯ>/monitoring.log 2>&1

매일 오전 11.00시에 알림을 추가하여 모니터링 기능을 확인해 보겠습니다. 이를 위해 스크립트에 DAILY 매개변수를 전달합니다.

0 11 * * * torsocks <ПУТЬ К ПАПКЕ РЕПОЗИТОРИЯ>/monitoring.sh DAILY >> <ПУТЬ К ПАПКЕ РЕПОЗИТОРИЯ>/monitoring.log 2>&1

2>&1 — 오류를 주 출력 스트림으로 리디렉션하는 표준 기술입니다. 결국에는 모니터링 로그에도 기록됩니다.

변경 사항을 저장하고 다음 명령을 사용하여 적용해 보겠습니다.

 sudo service cron reload

예를 들어, cron 설정에 대해 자세히 알아볼 수 있습니다. 여기에.

따라서 매분 모니터링 스크립트가 실행되어 curl을 통해 google.com에 접속합니다. 수신된 응답이 예상과 다를 경우, 스크립트는 텔레그램 수신자 목록에 알림을 보냅니다. 확인 로그는 monitoring.log 파일에 저장됩니다.

다른 서비스를 추가해야 하는 경우, 서비스 폴더에 해당 서비스의 ini 파일을 새로 만들고, 필요한 경우 수신자 목록을 별도로 생성하기만 하면 됩니다. 나머지는 자동으로 처리됩니다.

점검 중인 서비스를 이용할 수 없는 경우 1분마다 알림이 전송됩니다. 서비스를 신속하게 복구할 수 없는 경우, 텔레그램 봇 속성에서 알림을 일시적으로 비활성화할 수 있습니다.

이제 스크립트의 추가 기능과 구현을 자세히 살펴보겠습니다.

메시지 패턴과 감정적 참여

봇과의 소통을 더욱 활발하게 하기 위해 봇의 이름을 'Manechka'로 지정하고, 해당 아바타 사진을 추가했으며, 전문 홍보 담당자를 통해 메시지 텍스트를 제작했습니다. 저희가 개발한 기능을 그대로 사용하거나 취향에 맞게 변경할 수 있습니다.

예 :

또는 이렇게도 가능합니다:

왜?

봇 이름과 아바타는 다음을 통해 설정됩니다. @botfather.
메시지 템플릿은 폴더에 있습니다. 템플릿:

• curl-fail.txt: curl이 0이 아닌 오류 코드를 반환할 때 전송되는 메시지입니다. 일반적으로 서비스에 연결할 수 없음을 나타냅니다.
• 매일.txt: 서비스 모니터링이 제대로 작동하고 있음을 확인하는 일일 메시지입니다.
• 서비스 실패.txt: 서비스 응답이 예상과 다를 때 전송되는 메시지입니다.

기본 제공 메시지 템플릿을 예로 들어 사용자 정의 옵션을 살펴보겠습니다.
템플릿에는 이모지가 사용됩니다. 아쉽게도 habr에서는 이모지를 표시하지 않습니다.
이모지를 선택하려면 검색을 이용하면 편리합니다. 이모지피디아.org:

적절한 기호를 템플릿 텍스트에 복사하여 붙여넣기만 하면 됩니다(이것은 일반적인 유니코드입니다).

1. curl-fail.txt:

   Котёнок,  помоги мне... 
   Не могу достучаться до сервиса "$MSMS_SERVICE_NAME" 
   `CURL EXIT CODE: $EXIT_CODE`

   우리는 우리가 지정한 서비스 이름(변수)을 사용했습니다. MSMS_SERVICE_NAME) 및 curl 종료 코드가 포함된 내부 스크립트 변수(EXIT_CODE). 또한 마크업을 사용하여 메시지를 포맷했습니다. 텔레그램 마크다운: "`" 문자는 고정 너비 텍스트를 묶습니다. 따옴표와 아포스트로피는 bash 특수 문자이므로 "" 문자로 이스케이프합니다. 변수 이름 앞에는 "$" 기호를 붙입니다.

   결과 :

   

2. 서비스 실패.txt:

   Котёнок, помоги мне... 
   Сервис "$MSMS_SERVICE_NAME" меня расстроил
   Он работает неправильно, вот что он мне отвечает:
   `$RESPONSE`

   결과 :

   
   
   여기서는 또 다른 스크립트 변수를 사용합니다. RESPONSE서비스 응답이 포함되어 있습니다.

3. 매일.txt:

   Малыш, привет!
   У меня всё хорошо, cлежу за сервисом:
   "$MSMS_SERVICE_NAME" каждую минутку...
   А как у тебя дела?
   

   결과 :

   

이제 스크립트 구현으로 넘어가겠습니다.

모니터링 스크립트

모니터링.sh 간단한 자동 검색을 수행합니다. 서비스 폴더에서 모든 ini 파일을 가져와서 각각에 대해 알림을 확인하고 보내는 논리를 적용한 기본 스크립트를 실행합니다.

#!/bin/bash
cd $(dirname "$0")/services

for service_ini  in $(ls *.ini); do
    bash ../msms.sh "$1" "$service_ini"
done

모니터링 상태에 대한 일일 메시지를 생성하려면 DAILY 매개변수를 스크립트에 전달하면 됩니다.

스크립트가 시작되면 현재 폴더가 services로 변경됩니다. 이를 통해 ini 파일에서 서비스를 기준으로 파일 경로를 지정할 수 있습니다.

알림 확인 및 전송 스크립트

msms.sh 서비스를 확인하고 알림을 보내는 데 필요한 기본 논리를 담고 있습니다.

텔레그램으로 작업하기:

# telegram endpoint
TG_API_URL="https://api.telegram.org/bot$(cat ../telegram-api-key.txt)/sendMessage"

#################################################################
# send message to telegram
# parameter: message text
#################################################################
function send_message {
    for chat_id  in $(cat ../$MSMS_RECIPIENTS); do
	curl -s -X POST --connect-timeout 10 $TG_API_URL -d chat_id=$chat_id -d parse_mode="Markdown" -d text="$1"
	echo
    done
}

파일에 저장된 비밀 키를 사용하여 텔레그램 REST API에 액세스하기 위한 URL을 생성합니다.

send_message 함수는 curl을 사용하여 이 REST API로 메시지를 전송하며, ini 파일에 지정된 파일에서 수신자 ID를 가져옵니다. 전송하는 데이터에는 메시지 마크업을 사용한다는 점을 명시합니다. parse_mode="Markdown".

현재 날짜와 시간을 표시하고 ini 파일을 로드해 보겠습니다.

echo $(date '+%Y-%m-%d %H:%M:%S')

# load variables from .ini file:
. $2

매직라인 . $2 두 번째 매개변수로 전달된 ini 파일을 일반 스크립트처럼 실행하고, 그 안에 지정된 값을 환경 변수에 입력합니다.

매개변수가 지정된 경우 파일에서 예상 응답을 로드합니다. MSMS_EXPECTED_FILE:

if [ -n "$MSMS_EXPECTED_FILE" ]; then
 MSMS_EXPECTED="$(cat "$MSMS_EXPECTED_FILE")"
fi

필요한 경우 알림을 보내 서비스 점검을 수행합니다.

RESPONSE="$(eval curl $MSMS_CURL_PARAMS "$MSMS_SERVICE_ENDPOINT")"
EXIT_CODE=$?
if [[ $EXIT_CODE != 0 ]]; then
    echo health-check "$MSMS_SERVICE_NAME" FAILED: CURL EXIT WITH $EXIT_CODE
    MESSAGE="$(cat ../templates/curl-fail.txt)"
    MESSAGE=$(eval echo $MESSAGE)
    send_message "$MESSAGE"
elif [[ "$RESPONSE" != "$MSMS_EXPECTED" ]]; then
    echo health-check "$MSMS_SERVICE_NAME" FAILED: "$RESPONSE"
    MESSAGE="$(cat ../templates/service-fail.txt)"
    MESSAGE=$(eval echo $MESSAGE)
    send_message "$MESSAGE"
else
    echo health-check "$MSMS_SERVICE_NAME": OK
fi

먼저 변수에 할당합니다 RESPONSE 이 서비스에 대해 curl 명령을 실행한 결과입니다.

표현 EXIT_CODE=$? 마지막 명령(예: curl)의 결과를 변수에 저장합니다. 알림을 보내야 하는 경우, 해당 파일에서 템플릿을 읽어 수신자에게 전송합니다. send_message.

마지막 블록은 DAILY 매개변수를 처리합니다.

if test "$1" = "DAILY"; then
    echo health-check "$MSMS_SERVICE_NAME" DAILY
    MESSAGE="$(cat ../templates/daily.txt)"
    MESSAGE=$(eval echo $MESSAGE)
    send_message "$MESSAGE"
fi

모니터링 자체의 기능을 확인하는 메시지를 보냅니다.

사용자 ID 목록 가져오기

수신자-설정.sh 봇에게 전달된 최신 메시지를 가져오기 위해 Telegram API를 호출합니다.

curl -s https://api.telegram.org/bot$(cat telegram-api-key.txt)/getUpdates 
| python recipients-setup.py

이 함수는 파이썬 매직을 사용하여 목록을 멋지게 출력합니다. 꼭 필요한 것은 아니며, 명령이 출력하는 JSON 파일에서 원하는 ID를 가져오면 됩니다.

torsocks curl -s https://api.telegram.org/bot$(cat telegram-api-key.txt)/getUpdates

결론

이렇게 하면 기성 스크립트와 메시지 템플릿을 사용하여 모니터링할 서비스와 알림 목록만 설정할 수 있습니다. 봇에 대한 새로운 "개성"을 만들 수도 있고, 제안된 특성을 기반으로 직접 결정을 내릴 수도 있습니다.

추가 개발 옵션으로 봇 자체에서 모니터링을 구성하고 관리하는 것이 좋지만, 파이썬 없이는 불가능합니다. 누군가 저보다 먼저 개발한다면, 풀 리퀘스트를 어디에 업로드해야 할지 아시겠죠? 🙂

출처 : habr.com