Näide sündmustest juhitud rakendusest, mis põhineb veebihookidel Mail.ru Cloud Solutions objektiteenuses S3

Rube Goldberg kohvimasin

Sündmustel põhinev arhitektuur suurendab kasutatavate ressursside ökonoomsust, sest need aktiveeritakse ainult siis, kui need on vajalikud. On palju võimalusi, kuidas seda ellu viia ja mitte luua täiendavaid pilveolukordi töötaja-rakendustena. Täna räägin mitte FaaS-st, vaid veebihüüdest. Näitan näidisnäidet sündmuste töötlemisest veebihüüdede abil objektide salvestamisel.

Mõned sõnad objektide salvestamisest ja veebihüütest. Objektide salvestamine võimaldab salvestada igasuguseid andmeid pilves objektidena, mis on kergesti ligipääsetavad S3 või muu API kaudu (sõltuvalt rakendusest) HTTP/HTTPS kaudu. Veebihüüd (webhook) on kasutaja määratud vastavad väljakutsed HTTP kaudu. Need käivitatakse tavaliselt sündmuse korral, näiteks koodi saatmine reposse või kommentaari avaldamine blogis. Kui sündmus toimub, saadab algne sait HTTP-päringu URL-ile, mis on määratud veebihüüdeste jaoks. Selle tulemusena saab teha nii, et ühel saidil toimuvad sündmused kutsuvad esile tegevusi teisel saidil. Kui algne sait on objektide salvestamine, siis on sündmusteks selle sisu muutumine.wiki.

Lihtsate juhtumite näited, kus sellist automatiseerimist kasutada:

1. Kopeerimine kõigist objektidest teise pilvesalvestusse. Kopeerimine peab toimuma "realses ajas" iga faili lisamisel või muutmisel.
2. Graafiliste failide miniatuure kopeeritakse automaatselt, lisades fotodele veesilgeid ja teisi muudatusi.
3. Teate saatmine uute dokumentide saabumisest (näiteks jaotatud raamatupidamisteenus laadib pilve aruanded ja rahapesu jälgimise teenus saab teateid uute aruannete kohta ning kontrollib ja analüüsib neid).
4. Veidi keerulisemates juhtumites võib näiteks tekkida Kubernetese päringu vormimine, mis loob vajalike konteineritega alamõõga, edastab sellele ülesande parameetrid ja pärast töötlemist sulgeb konteineri.

Näidisena teeme ülesande 1 variandi, kus Mail.ru Cloud Solutions (MCS) objektide salvestamise muudatused sünkroniseeritakse veebihüüdede kaudu AWS-i objektide salvestusse. Reaalsete koormuste korral tuleks ette näha asünkroonne töö, registreerides veebihüüde järjekorras, kuid õppeülesande jaoks teeme selle siiski ilma selleta.

Töö skeem

Koostöö protokoll on üksikasjalikult kirjeldatud S3 veebihookide juhendis MCS. Töö skeemis on järgmised elemendid:

• Avaldamisteenus, mis asub S3 salvestusruumi poolel ja avaldab HTTP päringuid webnhook'i käivitamisel.
• Veebihookide vastuvõtuseerver, mis kuulab avaldamisteenuse päringuid HTTP kaudu ja viib ellu vastavaid toiminguid. Serveri võib kirjutada mistahes keeles, meie näites kirjutame serveri Go-s.

Veebihookide realiseerimise tunnusjoon S3 API-s on veebihookide vastuvõtuserveri registreerimine avaldamisteenuses. Eelkõige peab veebihookide vastuvõtuserver kinnitama tellimuse avaldamisteenuse teadetele (teistes veebihookide rakendustes ei ole tellimuse kinnitamine tavaliselt vajalik).

Seega peab veebihookide vastuvõtuserver toetama kahte peamist toimingut:

• vastama avaldamisteenuse päringule registri kinnitamiseks,
• töötlema saabuvat sündmust.

Veebihookide vastuvõtuseerveri seadistamine

Veebihookide vastuvõtuserveri käivitamiseks on vajalik Linuxi server. Selles artiklis kasutame näitena virtuaalset instantsi, mille käivitame MCS-is.

Paigaldame vajalikud tarkvarad ja käivitame veebihookide vastuvõtuserveri.

ubuntu@ubuntu-basic-1-2-10gb:~$ sudo apt-get install git
Pakettide loendite lugemine... Valmis
Sõltuvuste puu loomine
Oleku teabe lugemine... Valmis
Järgmised paketid paigaldati automaatselt ja ei ole enam vajalikud:
 bc dns-root-data dnsmasq-base ebtables landscape-common liblxc-common 
liblxc1 libuv1 lxcfs lxd lxd-client python3-attr python3-automat 
python3-click python3-constantly python3-hyperlink
 python3-incremental python3-pam python3-pyasn1-modules 
python3-service-identity python3-twisted python3-twisted-bin 
python3-zope.interface uidmap xdelta3
Kasutage 'sudo apt autoremove', et need eemaldada.
Soovitatud paketid:
 git-daemon-run | git-daemon-sysvinit git-doc git-el git-email git-gui 
gitk gitweb git-cvs git-mediawiki git-svn
Järgmised UUE paketid installitakse:
 git
0 uuendatud, 1 uus installitud, 0 eemaldatud ja 46 mitte uuendatud.
Vaja on 3915 kB arhiive.
Pärast seda toimingut kasutatakse 32.3 MB lisadiskiruumi.
Saadi:1 http://MS1.clouds.archive.ubuntu.com/ubuntu bionic-updates/main 
amd64 git amd64 1:2.17.1-1ubuntu0.7 [3915 kB]
Laaditi 3915 kB 1s jooksul (5639 kB/s)
Valitakse varem valimata pakett git.
(Lugedes andmebaasi ... 53932 faili ja katalooge on praegu installitud.)
Valmistub unpackimiseks .../git_12.17.1-1ubuntu0.7_amd64.deb ...
Vabastamine git (1:2.17.1-1ubuntu0.7) ...
Git (1:2.17.1-1ubuntu0.7) seadistamine ...

Kloonime kausta veebihookide vastuvõtuserveri jaoks:

ubuntu@ubuntu-basic-1-2-10gb:~$ git clone
https://github.com/RomanenkoDenys/s3-webhook.git
Kloonimine 's3-webhook'...
remote: Objektide loendamine: 48, valmis.
remote: Objektide lugemine: 100% (48/48), valmis.
remote: Objektide kompressimine: 100% (27/27), valmis.
remote: Kokku 114 (delta 20), taaskasutatud 45 (delta 18), pakitud 66
Saabunud objektid: 100% (114/114), 23.77 MiB | 20.25 MiB/s, valmis.
Delta lahendamine: 100% (49/49), valmis.

Käivitame serveri:

ubuntu@ubuntu-basic-1-2-10gb:~$ cd s3-webhook/
ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ sudo ./s3-webhook -port 80

Tellimuse teenusele

Saate registreerida oma veebihoki vastuvõtva serveri API kaudu või veebiliidese kaudu. Lihtsuse huvides registreerime läbi veebiliidese:

1. Liigume konteinerite sektsiooni haldusportaalis.
2. Külastame konteinerit, mille jaoks seadistame webhookid, ja vajutame hammasrattaikoonile:

Läheme vahelehele Webhooks ja vajutame Lisa:

Täidame väljad:

ID — veebihoki nimi.

Sündmus — milliseid sündmusi edastada. Oleme seadnud edastama kõiki sündmusi, mis toimuvad failidega (lisamine ja eemaldamine).

URL — veebihoki vastuvõtva serveri aadress.

Filtri eesliide/järelkiri — filter, mis võimaldab genereerida veebihokkesid ainult objektidele, mille nimed vastavad teatud reeglitele. Näiteks, et veebihokk aktiveeruks ainult .png failide puhul, tuleb Filtri järelkiri kirjutada «png».

Praegu toetatakse veebihoki vastuvõtva serveriga suhtlemiseks ainult porte 80 ja 443.

Vajutame Lisa hook ja näeme järgmist:

Hook on lisatud.

Veebihoki vastuvõttev server näitab logides huki registreerimise protsessi:

ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ sudo ./s3-webhook -port 80
2020/06/15 12:01:14 [POST] sisselogimise HTTP päring aadressilt 
95.163.216.92:42530
2020/06/15 12:01:14 Saadi ajatemperatuur: 2020-06-15T15:01:13+03:00 TeemaArn: 
mcs5259999770|myfiles-ash|s3:ObjectCreated:*,s3:ObjectRemoved:* Token: 
E2itMqAMUVVZc51pUhFWSp13DoxezvRxkUh5P7LEuk1dEe9y URL: 
http://89.208.199.220/webhook
2020/06/15 12:01:14 Genereeriti vastuse allkiri: 
3754ce36636f80dfd606c5254d64ecb2fd8d555c27962b70b4f759f32c76b66d

Registreerimine on lõpule viidud. Järgmises osas vaatame lähemalt veebihoki vastuvõtva serveri töö algoritmi.

Veebihoki vastuvõtva serveri kirjeldus

Meie näites on server kirjutatud Go-s. Vaatame selle põhialuseid.

package main

// Generoi hmac_sha256_hex
func HmacSha256hex(message string, secret string) string {
}

// Generoi hmac_sha256
func HmacSha256(message string, secret string) string {
}

// Saada tellimuse kinnitus
func SubscriptionConfirmation(w http.ResponseWriter, req *http.Request, body []byte) {
}

// Saada tellimuse kinnitus
func GotRecords(w http.ResponseWriter, req *http.Request, body []byte) {
}

// Tervisliku seisundi kontroll
func Ping(w http.ResponseWriter, req *http.Request) {
    // logi päring
    log.Printf("[%s] sisselogimine HTTP Ping päring aadressilt %sn", req.Method, req.RemoteAddr)
    fmt.Fprintf(w, "Pongn")
}

//Webhook
func Webhook(w http.ResponseWriter, req *http.Request) {
}

func main() {

    // get command line args
    bindPort := flag.Int("port", 80, "number between 1-65535")
    bindAddr := flag.String("address", "", "ip address in dot format")
    flag.StringVar(&actionScript, "script", "", "external script to execute")
    flag.Parse()

    http.HandleFunc("/ping", Ping)
    http.HandleFunc("/webhook", Webhook)

log.Fatal(http.ListenAndServe(*bindAddr+":"+strconv.Itoa(*bindPort), nil))
}

Vaatame põhifunktsioone:

• Ping() — marsruut, mis vastab URL/ping, lihtsaim ellujäämise proovi teostus.
• Webhook() — põhimasruut, URL/võrgukitsendi töötleja:
  • kinnitab registreerimist avaldamisteenuses (üleminek funktsioonile SubscriptionConfirmation),
  • töötleb saabuvaid võrgukitsendeid (funktsioon Gotrecords).
• HmacSha256 ja HmacSha256hex funktsioonid — HMAC-SHA256 algoritmi ja HMAC-SHA256 rakendused, mis väljastavad 16-kohaliste arvude stringi allkirja arvutamiseks.
• main — peamine funktsioon, mis töötleb käsurea parameetreid ja registreerib URL-i töötlejad.

Käsurea parameetrid, mida server aktsepteerib:

• -port — port, millel server kuulab.
• -address — IP-aadress, millel server kuulab.
• -script — väline programm, mida kutsub iga saadetud veebkild.

Vaatame tähelepanelikumalt mõningaid funktsioone:

//Webhook
func Webhook(w http.ResponseWriter, req *http.Request) {

    // Read body
    body, err := ioutil.ReadAll(req.Body)
    defer req.Body.Close()
    if err != nil {
        http.Error(w, err.Error(), 500)
        return
    }

    // log request
    log.Printf("[%s] incoming HTTP request from %sn", req.Method, req.RemoteAddr)
    // check if we got subscription confirmation request
    if strings.Contains(string(body), 
""Type":"SubscriptionConfirmation"") {
        SubscriptionConfirmation(w, req, body)
    } else {
        GotRecords(w, req, body)
    }

}

See funktsioon määrab, mis saabus — registreerimise kinnitamise taotlus või veebkild. Nagu tuleneb dokumentatsioon, registreerimise kinnitamiseks saadetakse järgmine Json struktuur Post taotluses:

POST http://test.com HTTP/1.1
x-amz-sns-messages-type: SubscriptionConfirmation
content-type: application/json

{
    "Timestamp":"2019-12-26T19:29:12+03:00",
    "Type":"SubscriptionConfirmation",
    "Message":"Olete valinud tellida teema $topic. Tellimuse kinnitamiseks peate vastama arvutatud allkirjaga",
    "TopicArn":"mcs2883541269|bucketA|s3:ObjectCreated:Put",
    "SignatureVersion":1,
    "Token":«RPE5UuG94rGgBH6kHXN9FUPugFxj1hs2aUQc99btJp3E49tA»
}

Sellele taotlusele tuleb vastata:

content-type: application/json

{"signature":«ea3fce4bb15c6de4fec365d36bcebbc34ccddf54616d5ca12e1972f82b6d37af»}

Kus allkiri arvutatakse järgmiselt:

signature = hmac_sha256(url, hmac_sha256(TopicArn, 
hmac_sha256(Timestamp, Token)))

Kui saabub veebkild, näeb Post-taotlus välja järgmine:

POST  HTTP/1.1
x-amz-sns-messages-type: SubscriptionConfirmation

{ "Records":
    [
        {
            "s3": {
                "object": {
                    "eTag":"aed563ecafb4bcc5654c597a421547b2",
                    "sequencer":1577453615,
                    "key":"some-file-to-bucket",
                    "size":100
                },
            "configurationId":"1",
            "bucket": {
                "name": "bucketA",
                "ownerIdentity": {
                    "principalId":"mcs2883541269"}
                },
                "s3SchemaVersion":"1.0"
            },
            "eventVersion":"1.0",
            "requestParameters":{
                "sourceIPAddress":"185.6.245.156"
            },
            "userIdentity": {
                "principalId":"2407013e-cbc1-415f-9102-16fb9bd6946b"
            },
            "eventName":"s3:ObjectCreated:Put",
            "awsRegion":"ru-msk",
            "eventSource":"aws:s3",
            "responseElements": {
                "x-amz-request-id":"VGJR5rtJ"
            }
        }
    ]
}

Seega peab sõltuvalt taotlusest aru saama, kuidas andmeid töödelda. Valisin indikaatoriks kirje "Type":"SubscriptionConfirmation", kuna see on olemas tellimuse kinnitamise päringus ja ei ole veebihookis. Sõltuvalt sellest, kas see kirje on POST-päringus olemas või mitte, liigub programmi edasine täitmine kas funktsiooni SubscriptionConfirmation, või funktsiooni GotRecords.

Funktsiooni SubscriptionConfirmation ei hakka me üksikasjalikult käsitlema, see on rakendatud põhimõtete alusel, mis on esitatud dokumentatsioon. Selle funktsiooni lähtekoodi saab uurida projekti git-repositooriumis.

Funktsioon GotRecords analüüsib saabuvat päringut ja kutsub iga Record objekti jaoks välja välise skripti (mille nimi oli edastatud parameetris -script) järgmiste parameetritega:

• konteineri nimi
• objekti võti
• tegevus:
  • copy — kui algses päringus on EventName = ObjectCreated | PutObject | PutObjectCopy
  • delete — kui algses päringus on EventName = ObjectRemoved | DeleteObject

Seega, kui saadetakse POST-päringuga webhook, nagu on kirjeldatud üle, ja parameeter -script=script.sh, siis skript kutsutakse järgmiselt:

script.sh  bucketA some-file-to-bucket copy

Oluline on mõista, et antud veebihookide vastuvõtu server ei ole lõpetatud tootmislahendus, vaid lihtsustatud näide võimalikust rakendusest.

Töö näide

Teeme peamise konteineri failide sünkroniseerimise MCS-is varukonteinerisse AWS-is. Peamine konteiner kannab nime myfiles-ash, varukonteiner — myfiles-backup (konteineri konfiguratsioon AWS-is jääb selle artikli raamidest välja). Vastavalt sellele, kui fail paigutatakse peamisse konteinerisse, peab selle koopia ilmuma varukoopia konteinerisse, ja kui see kustutatakse peamisest, peab see kustutatakse varukonteinerist.

Töötame konteineritega awscli utiliidiga, millega on ühilduv nii MCS-i pilvesalvestus kui ka AWS-i pilvesalvestus.

ubuntu@ubuntu-basic-1-2-10gb:~$ sudo apt-get install awscli
Pakettide loendi lugemine... Valmis
Sõltuvuste puu ehitamine
Oleku teabe lugemine... Valmis
Pärast seda toimingut kasutab 34.4 MB lisadiskiruumi.
Pakkimine awscli (1.14.44-1ubuntu1) ...
Awscli seadistamine (1.14.44-1ubuntu1) ...

Konfigureerime juurdepääsu MCS S3 API-le:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws configure --profile mcs
AWS Access Key ID [None]: hdywEPtuuJTExxxxxxxxxxxxxx
AWS Secret Access Key [None]: hDz3SgxKwXoxxxxxxxxxxxxxxxxxx
Vaikimisi piirkonna nimi [None]:
Vaikimisi väljundi formaat [None]:

Konfigureerime juurdepääsu AWS S3 API-le:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws configure --profile aws
AWS Access Key ID [None]: AKIAJXXXXXXXXXXXX
AWS Secret Access Key [None]: dfuerphOLQwu0CreP5Z8l5fuXXXXXXXXXXXXXXXX
Vaikimisi piirkonna nimi [None]:
Vaikimisi väljundi formaat [None]:

Kontrollime juurdepääse:

AWS-le:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws s3 ls --profile aws
2020-07-06 08:44:11 myfiles-backup

MCS-i puhul peab käsule lisama —endpoint-url:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws s3 ls --profile mcs --endpoint-url 
https://hb.bizmrg.com
2020-02-04 06:38:05 databasebackups-0cdaaa6402d4424e9676c75a720afa85
2020-05-27 10:08:33 myfiles-ash

Juurdepääs on saadud.

Nüüd kirjutame sissetuleva hook'i töötlemiseks skripti, mille nimetame s3_backup_mcs_aws.sh

#!/bin/bash
# Require aws cli
# if file added — copy it to backup bucket
# if file removed — remove it from backup bucket
# Variables
ENDPOINT_MCS="https://hb.bizmrg.com"
AWSCLI_MCS=`which aws`" --endpoint-url ${ENDPOINT_MCS} --profile mcs s3"
AWSCLI_AWS=`which aws`" --profile aws s3"
BACKUP_BUCKET="myfiles-backup"

SOURCE_BUCKET="${1}"
SOURCE_FILE="${2}"
ACTION="${3}"

SOURCE="s3://${SOURCE_BUCKET}/${SOURCE_FILE}"
TARGET="s3://${BACKUP_BUCKET}/${SOURCE_FILE}"
TEMP="/tmp/${SOURCE_BUCKET}/${SOURCE_FILE}"

case ${ACTION} in
    "copy")
    ${AWSCLI_MCS} cp "${SOURCE}" "${TEMP}"
    ${AWSCLI_AWS} cp "${TEMP}" "${TARGET}"
    rm ${TEMP}
    ;;

    "delete")
    ${AWSCLI_AWS} rm ${TARGET}
    ;;

    *)
    echo "Usage: ${0} sourcebucket sourcefile copy/delete"
    exit 1
    ;;
esac

Käivitame serveri:

ubuntu@ubuntu-basic-1-2-10gb:~\/s3-webhook$ sudo .\/s3-webhook -port 80 -\nskript scripts\/s3_backup_mcs_aws.sh

Kontrollime, kuidas see töötab. Läbi MCS veebiliidese lisame faili test.txt konna myfiles-ash. Logides konsoolis näeme, et veebihookide serverisse on tehtud päring:

2020\/07\/06 09:43:08 [POST] sissetulev HTTP päring aadressilt \n95.163.216.92:56612\ndownload: s3:\/\/myfiles-ash\/test.txt kuni ..\/..\/..\/tmp\/myfiles-ash\/test.txt\nupload: ..\/..\/..\/tmp\/myfiles-ash\/test.txt kuni \ns3:\/\/myfiles-backup\/test.txt

Kontrollime konna myfiles-backup sisu AWS-is:

ubuntu@ubuntu-basic-1-2-10gb:~\/s3-webhook$ aws s3 --profile aws ls \nmyfiles-backup\n2020-07-06 09:43:10       1104 test.txt

Nüüd eemaldame veebiliidese kaudu faili konnast myfiles-ash.

Serveri logid:

2020\/07\/06 09:44:46 [POST] sissetulev HTTP päring aadressilt \n95.163.216.92:58224\ndelete: s3:\/\/myfiles-backup\/test.txt

Konna sisu:

ubuntu@ubuntu-basic-1-2-10gb:~\/s3-webhook$ aws s3 --profile aws ls \nmyfiles-backup\nubuntu@ubuntu-basic-1-2-10gb:~$

Fail on eemaldatud, ülesanne lahendatud.

Kokkuvõte ja ToDo

Kogu selles artiklis kasutatud kood asub minu hoidlas. Seal asuvad ka skriptide näidised ja näidised allkirjade arvestamiseks veebihookide registreerimiseks.

See kood on vaid näide, kuidas saab S3-veebihooke oma tegevuses kasutada. Nagu ma alguses ütlesin, kui plaanite sellise serveri tootmises kasutamist, on vajalik vähemalt kirjutada server ümber asünkroonselt: sissetulevad veebihookid tuleks registreerida järjekorras (RabbitMQ või NATS) ja sealt edastada ning töödelda töötajate rakendustega. Muutumatult mürarikka sissetuleku korral võib serveri ressursside puudumisega kokku puutuda. Järjekordade olemasolu võimaldab jagada serverit ja töötajaid, samuti lahendada probleeme, mis on seotud ülesannete kordamisega tõrgete korral. Samuti soovitatakse logimist muuta detailsemaks ja standardiseeritumaks.

Edu!

Veel lugeda teemal:

• Objekti S3 ladustamine Mail.ru Cloud Solutionsi abil kui failisüsteemi.
• Kuidas kasutatakse objekti ladustamist, et käivitada konkurente.

Allikas: habr.com