Veebiteenuste jälgimise bot poole tunni jooksul: telegram + bash + cron

Mõnikord on vaja kiiresti teha uue teenuse jälgimist, kuid valmis infrastruktuuri/ekspertiisi pole käepärast. Selles juhendis loome poole tunni jooksul tööriista mis tahes veebiteenuste jälgimiseks, kasutades ainult Ubuntu sisseehitatud tööriistu: bash, cron ja curl. Teavituste edastamiseks kasutame Telegrami.

«Kirsiks tordil» on kasutajate emotsionaalne kaasamine. Kontrollitud inimestel – toimib.

Kui me telemeditsiiniteenus Doktor Rõõm lõime kasutajate stressi taseme määramiseks chati-boti, vajasime jälgimist. Paari tunni jooksul loodi mini-projekt, mis mitte ainult ei tööta suurepäraselt, vaid toob ka positiivsust oma sõnumitega.

Alustuseks saame skriptide reposti:

git clone https://github.com/rshekhovtsov/msms.git

Liigume msms kausta ja töötlus toimub seal.

Kui Telegram on blokeeritud, kasutage proksi. Kõige lihtsam ja usaldusväärsem variant on torsocks:

sudo apt install tor
sudo apt install torsocks

Näitena seadistame kolme sammu jooksul google.com esilehe jälgimise.

SAMM 1. Loome boti Telegramis ja saame kasutaja ID.

• Otsinguribal Telegramis otsime @botfather:

  

• Käivitage see nupuga Start, sisestage käsk /newbot ja vastake küsimustele. Peate meeles pidama, et name – see on boti nimi, mis kuvatakse kasutajatele, ja username – on ainulaadne ja peab lõppema sõnaga «bot»:

  
  
  Muuhulgas annab bot HTTP API jaoks salajase tokeni, mille tuleb kopeerida ja salvestada failisse telegram-api-key.txt kausta msms.

• Otsime Telegramis meie boti nime ja käivitame selle.
• Viimase lihvina lisame end jälgimise teavituste saajate loendisse:

  sudo chmod +x ./recipients-setup.sh
  torsocks ./recipients-setup.sh

  Skript väljastab nimekirja viimastest pöördumistest botile, seal peaks olema üks rida meie ID ja nimega Telegramis. Võtame selle ID ja salvestame faili services/google-recipients.txt. Faili formaat: iga rida – üks ID. Näide:

  123456789
  987654321

Uue saaja lisamiseks peab ta käivitama Telegramis boti, käivitama recipients-setup.sh ja lisama ID faili.

SAMM 2. Seame jälgimise üles.

Teenuse kirjeldamine toimub ini-faili loomise kaudu kaustas services. Peame määrama viis parameetrit:

1. MSMS_SERVICE_NAME: teenuse nimetus – seda kasutatakse teavitustes ja jälgimislogs.
2. MSMS_SERVICE_ENDPOINT: teenuse endpoint, mille poole me pöördume curl'iga.
3. MSMS_CURL_PARAMS: täiendavad curl parameetrid, vt allolevat näidet.
4. MSMS_EXPECTED: teenuse oodatud vastus. Kasutatakse, kui vastus on lühike.
5. MSMS_EXPECTED_FILE: faili nimi, mis sisaldab teenuse oodatud vastust. Kui on määratud, kirjutab MSMS_EXPECTED üle.
6. MSMS_RECIPIENTS: fail, mis sisaldab teavituste saajate loendit.

Päring google.com tagastab fikseeritud html koos ümbersuunamisega, kasutame seda kui serveri oodatud vastust:

curl google.com > services/google-response.html

Loome faili services/google.ini:

MSMS_SERVICE_NAME='google esileht'

# teenuse lõpp-punkt
MSMS_SERVICE_ENDPOINT='google.com'

# curl parameetrid
MSMS_CURL_PARAMS='-s --connect-timeout 3 -m 7'

# oodatud teenuse vastus
MSMS_EXPECTED_FILE='google-response.html'

# saajate loendi fail
MSMS_RECIPIENTS='google-recipients.txt'

Uues MSMS_CURL_PARAMS võib määrata kõik, mida curl toetab, sealhulgas:

1. Keelata curl sõnumid, et mitte ummistada konsooli ja logi: -s
2. Määrata ühenduse aegumine kontrollitava teenusega (sekundites): --connect-timeout 3
3. Määrata vastuse saamise aegumine: -m 7
4. Keelata SSL sertifikaadi kontroll (näiteks kui kasutatakse iseallkirjastatud sertifikaati): --insecure
5. Määrata http-päringu tüüp: -X POST
6. Määrata päised: -H "Content-Type: application/json"
7. Määrata päringu sisu stringina või failina. Näitena failile: -d @request.json

Keelame teavitused ja määrame 3 sekundi ühenduse ning 7 sekundi vastuse aegumised.

Ettevaatusabinõud: määrake parameetrite väärtused ühekordsetes jutumärkides, nagu näites. Kahjuks on bash selles osas üsna habras ning vale asetatud jutumärk võib põhjustada keerulisi, raskesti diagnoositavaid vigu.

Oleme seadnud jälgimise. Kontrollime, et kõik on korras:

sudo chmod +x ./monitoring.sh
torsocks ./monitoring.sh

Käsklus peaks väljuma sõnumiga:

2020-01-10 12:14:31
health-check "google esileht": OK

SAMM 3. Seadistame ajakava

Seadistame jälgimise ajakava cronis:

sudo crontab -e

Lisame rea iga minuti kontrollimiseks google.com:

*/1 * * * * torsocks  /monitoring.sh >>  /monitoring.log 2>&1

Lisame igal päeval kell 11.00 teavituse, mis kinnitab jälgimise toimimise. Selleks edastame skriptile parameetri DAILY:

0 11 * * * torsocks  /monitoring.sh DAILY >>  /monitoring.log 2>&1

2>&1 — standardne meetod, mis suunab vead põhiväljundvoogu. Seega jõuavad need ka jälgimislogisse.

Salvestame muudatused ja laadime need sisse käsuga:

 sudo service cron reload

Rohkem teavet cron seadistamise kohta saab lugeda näiteks siin.

Nii hakkab iga minuti järel käivituma jälgimise skript, mis teeb curl'i kaudu pöördumise google.com-i poole. Kui saadud vastus erineb oodatud vastusest, saadab skript hoiatused saajate nimekirjale telegramis. Kontrollide ajalugu hoitakse failis monitoring.log

Kui on vaja lisada veel üks teenus, loome lihtsalt selle jaoks uue ini-faili kausta services ja vajadusel koostame eraldi saajate nimekirja. Kõik muu töötab automaatselt.

Kui kontrollitav teenus muutub kättesaamatuks, saadetakse teavitus iga minuti järel. Kui teenust ei õnnestu kiiresti taastada, saab telegrami botis teavitused ajutiselt välja lülitada.

Nüüd vaatame lähemalt lisavõimalusi ja skriptide rakendust.

Sõnumite mallid ja emotsionaalne kaasatus

Selleks, et suhtlemine botiga oleks elavam, nimetasime ta Manjaks, lisasime vastava pildi avatariks ja kaasasime professionaalsed suhtekorraldajad sõnumite tekstide loomiseks. Saate kasutada meie arengut või muuta vastavalt oma maitsele.

Näiteks nii:

või isegi nii:

Miks mitte?

Boti nimi ja avatar määratakse läbi @botfather.
Sõnumite mallid asuvad kaustas templates:

• curl-fail.txt: sõnum, mis saadetakse, kui curl tagastab nullist erineva veakoodi. See tähendab tavaliselt, et teenusele ei saanud ligi.
• daily.txt: igapäevane sõnum, mis kinnitab, et teenuse jälgimine töötab.
• service-fail.txt: sõnum, mis saadetakse, kui teenuse vastus erineb oodatud vastusest.

Vaatame kohandamise võimalusi sisseehitatud sõnumite mallide näitel.
Mallides kasutatakse emojisi. Kahjuks habr neid ei kuva.
Emojide otsimiseks on mugav kasutada otsingut emojipedia.org:

Sobiva sümboli kopeerite lihtsalt ja kleepite sõnumite malli tekstis (see on tavaline unicode).

1. curl-fail.txt:

   Kassipoeg, aita mind... 
   Ei saa teenusele "$MSMS_SERVICE_NAME" ligi 
   `CURL EXIT CODE: $EXIT_CODE`

   Kasutame meie määratud teenuse nime (muutuja MSMS_SERVICE_NAME) ja skripti sisemiselt määratud muutuja curl'i väljalaskekoodiga (EXIT_CODE). Samuti vormindasime sõnumi, kasutades vormindust telegram markdown: sümbolid "`" ümbritsevad fikseeritud laiusega teksti. Kuna jutumärgid ja apostroofilised sümbolid on bashis erisümbolid, peame need sümboliga "" varjama. Muutujate nimed algavad sümboliga "$".

   Tulemus:

   

2. service-fail.txt:

   Kallis, aita mind... 
   Teenuse "$MSMS_SERVICE_NAME" tõttu olen ma kurb
   See ei toimi korralikult, siin on, mida see mulle vastab:
   `$RESPONSE`

   Tulemus:

   
   
   Siin kasutame veel ühte skripti muutujat: RESPONSE. See sisaldab teenuse vastust.

3. daily.txt:

   Tere, kallis!
   Mul on kõik hästi, jälgin teenust:
   "$MSMS_SERVICE_NAME" iga minuti tagant...
   Aga kuidas sul läheb?
   

   Tulemus:

   

Liigume skriptide rakendamise juurde.

Jälgimisskript

monitoring.sh teeb lihtsa automaatse avastuse — võtab kõik ini-failid kaustast services ja käivitab igaühe jaoks põhiskripti kontrollimise loogikaga ja teavituste saatmisega:

#!/bin/bash
cd $(dirname "$0")/services

for service_ini  in $(ls *.ini); do
    bash ../msms.sh "$1" "$service_ini"
done

Kdaily mess sõnumi moodustamiseks skriipti saab edastada parameeter DAILY.

Pange tähele, et skripti käivitamisel vahetatakse praegune kaust services'iks. See võimaldab ini-failides määrata failide teed suhtelisegi services.

Kontrollimise ja teavituste saatmise skript

msms.sh sisaldab teenuse kontrollimise ja teavituste saatmise peamist loogikat.

Töö telegramiga:

# telegram endpoint
TG_API_URL="https://api.telegram.org/bot$(cat ../telegram-api-key.txt)/sendMessage"

#################################################################
# send message to telegram
# parameter: message text
#################################################################
function send_message {
    for chat_id  in $(cat ../$MSMS_RECIPIENTS); do
	curl -s -X POST --connect-timeout 10 $TG_API_URL -d chat_id=$chat_id -d parse_mode="Markdown" -d text="$1"
	echo
    done
}

Me moodustame URL-i REST API telegramile juurdepääsuks, kasutades failis salvestatud salajast võtit.

Funktsioon send_message kasutab curl'i sõnumite saatmiseks sellele REST API-le, saades saajate id-d failist, mille me oleme määranud ini-s. Saatmise andmetes määrame, et kasutame sõnumite vormindamist: parse_mode="Markdown".

Väljastame praeguse kuupäeva-kellaaja ja laadime ini-faili.

echo $(date '+%Y-%m-%d %H:%M:%S')

# laadige muutujad .ini failist:
. $2

Maagiline rida . $2 täidab sisendiks antud teise parameetriga ini-faili nagu tavalise skripti, kandes määratud väärtused keskkonnamuutujatesse.

Laadime oodatud vastuse failist, kui on määratud parameeter MSMS_EXPECTED_FILE:

if [ -n "$MSMS_EXPECTED_FILE" ]; then
 MSMS_EXPECTED="$(cat "$MSMS_EXPECTED_FILE")"
fi

Teeme teenuse kontrollimise koos teavituste saatmisega, kui on vaja:

RESPONSE="$(eval curl $MSMS_CURL_PARAMS "$MSMS_SERVICE_ENDPOINT")"
EXIT_CODE=$?
if [[ $EXIT_CODE != 0 ]]; then
    echo health-check "$MSMS_SERVICE_NAME" EBAKASS: CURL EXIT WITH $EXIT_CODE
    MESSAGE="$(cat ..\/templates\/curl-fail.txt)"
    MESSAGE=$(eval echo $MESSAGE)
    send_message "$MESSAGE"
elif [[ "$RESPONSE" != "$MSMS_EXPECTED" ]]; then
    echo health-check "$MSMS_SERVICE_NAME" EBAKASS: "$RESPONSE"
    MESSAGE="$(cat ..\/templates\/service-fail.txt)"
    MESSAGE=$(eval echo $MESSAGE)
    send_message "$MESSAGE"
else
    echo health-check "$MSMS_SERVICE_NAME": OK
fi

Kõigepealt määrame muutujale RESPONSE curl'i käsu täitmise tulemuse sellele teenusele.

Märkuse EXIT_CODE=$? salvestab muutuja viimase käsu, s.t. curl, täitmise tulemuse. Kui on vajalik teate saatmine, loetakse vastav mall vastavast failist ja saadetakse adressaatidele kaudu send_message.

Viimane plokk töötleb parameetrit DAILY:

if test "$1" = "DAILY"; then
    echo health-check "$MSMS_SERVICE_NAME" DAILY
    MESSAGE="$(cat ..\/templates\/daily.txt)"
    MESSAGE=$(eval echo $MESSAGE)
    send_message "$MESSAGE"
fi

Saadetakse teade, mis kinnitab, et jälgimine on endiselt toimiv.

Kasutajate id-de nimekiri

recipients-setup.sh kutsutakse API telegram üles, et saada botile adresseeritud viimased sõnumid:

curl -s https:\/\/api.telegram.org\/bot$(cat telegram-api-key.txt)\/getUpdates 
| python recipients-setup.py

Siin kasutatakse python'i maagiat, et välja anda nimekirja kena väljanägemisega. See ei ole kohustuslik, võid lihtsalt võtta vajaliku id json-ist, mille käsk välja annab:

torsocks curl -s https:\/\/api.telegram.org\/bot$(cat telegram-api-key.txt)\/getUpdates

Kokkuvõte

Nii saate kasutada valmis skripte ja sõnumi malle, seadistades ainult jälgimist soovitavaid teenuseid ja teavitamise nimekirju; võite luua uue „isiksuse“ botile; või võite teha oma lahenduse pakutud alusel.

Jatkusuutlikuks arendamiseks tundub olevat vajalik jälgimise konfigureerimine ja haldamine botis endas, kuid siinkohal ei saa piirduda ilma python'ita. Kui keegi jõuab varem minna, teate, kuhu pull request esitada 🙂

Allikas: habr.com