🥇דוגמה לאפליקציה מונעת אירועים המבוססת על webhooks באחסון אובייקטים S3 Mail.ru Cloud Solutions

מכונת קפה רובה גולדברג

ארכיטקטורה מונעת אירועים מגדילה את יעילות העלות של המשאבים המשמשים מכיוון שהם משמשים רק ברגע שבו הם נחוצים. ישנן אפשרויות רבות כיצד ליישם זאת ולא ליצור ישויות ענן נוספות כאפליקציות עובדים. והיום אני אדבר לא על FaaS, אלא על webhooks. אני אראה דוגמה להדרכה של טיפול באירועים באמצעות webhooks לאחסון אובייקטים.

כמה מילים על אחסון אובייקטים ו-webhooks. אחסון אובייקטים מאפשר לך לאחסן כל נתונים בענן בצורה של אובייקטים, הנגישים דרך S3 או API אחר (בהתאם למימוש) באמצעות HTTP/HTTPS. Webhooks הם בדרך כלל התקשרות עם HTTP מותאמות אישית. הם מופעלים בדרך כלל על ידי אירוע, כגון קוד שנדחף למאגר או הערה שמתפרסמת בבלוג. כאשר מתרחש אירוע, אתר המקור שולח בקשת HTTP לכתובת ה-URL שצוינה עבור ה-webhook. כתוצאה מכך, אתה יכול לגרום לאירועים באתר אחד להפעיל פעולות באתר אחר (ויקי). במקרה שבו אתר המקור הוא אחסון אובייקטים, אירועים פועלים כשינויים בתוכן שלו.

דוגמאות למקרים פשוטים שבהם ניתן להשתמש באוטומציה כזו:

יצירת עותקים של כל האובייקטים באחסון ענן אחר. יש ליצור עותקים תוך כדי תנועה בכל פעם שמתווספים או משנים קבצים.
יצירה אוטומטית של סדרה של תמונות ממוזערות של קבצים גרפיים, הוספת סימני מים לתמונות ושינויי תמונה אחרים.
הודעה על הגעת מסמכים חדשים (לדוגמה, שירות הנהלת חשבונות מבוזר מעלה דוחות לענן, והניטור הפיננסי מקבל הודעות על דוחות חדשים, בודק ומנתח אותם).
מקרים קצת יותר מורכבים כוללים, למשל, יצירת בקשה ל-Kubernetes, שיוצרת פוד עם הקונטיינרים הדרושים, מעבירה אליו פרמטרים של משימות ולאחר עיבוד ממוטטת הקונטיינר.

כדוגמה, נבצע גרסה של משימה 1, כאשר שינויים בדלי אחסון האובייקטים של Mail.ru Cloud Solutions (MCS) מסונכרנים באחסון אובייקטים של AWS באמצעות webhooks. במקרה טעון אמיתי, יש לספק עבודה אסינכרונית על ידי רישום webhooks בתור, אך עבור משימת ההדרכה אנו נעשה את היישום ללא זה.

תכנית עבודה

פרוטוקול האינטראקציה מתואר בפירוט ב מדריך ל-S3 webhooks ב-MCS. ערכת העבודה מכילה את האלמנטים הבאים:

שירות הוצאה לאור, שנמצא בצד האחסון של S3 ומפרסם בקשות HTTP כאשר ה-webnhook מופעל.
שרת מקבל Webhook, אשר מקשיבה לבקשות משירות הפרסום HTTP ומבצעת פעולות מתאימות. ניתן לכתוב את השרת בכל שפה; בדוגמה שלנו, נכתוב את השרת ב-Go.

תכונה מיוחדת של הטמעת webhooks ב-S3 API היא הרישום של שרת קבלת webhook בשירות ההוצאה לאור. בפרט, השרת המקבל webhook חייב לאשר את המנוי להודעות משירות ההוצאה לאור (ביישומי webhook אחרים, בדרך כלל אין צורך באישור המנוי).

בהתאם לכך, השרת המקבל webhook חייב לתמוך בשתי פעולות עיקריות:

להגיב לבקשת שירות ההוצאה לאשר את הרישום,
לעבד אירועים נכנסים.

התקנת שרת קליטת webhook

כדי להפעיל את השרת המקבל webhook, אתה צריך שרת לינוקס. במאמר זה, כדוגמה, אנו משתמשים במופע וירטואלי שאנו פורסים ב-MCS.

הבה נתקין את התוכנה הדרושה ונפעיל את השרת המקבל webhook.

ubuntu@ubuntu-basic-1-2-10gb:~$ sudo apt-get install git
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following packages were automatically installed and are no longer required:
  bc dns-root-data dnsmasq-base ebtables landscape-common liblxc-common 
liblxc1 libuv1 lxcfs lxd lxd-client python3-attr python3-automat 
python3-click python3-constantly python3-hyperlink
  python3-incremental python3-pam python3-pyasn1-modules 
python3-service-identity python3-twisted python3-twisted-bin 
python3-zope.interface uidmap xdelta3
Use 'sudo apt autoremove' to remove them.
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-el git-email git-gui 
gitk gitweb git-cvs git-mediawiki git-svn
The following NEW packages will be installed:
  git
0 upgraded, 1 newly installed, 0 to remove and 46 not upgraded.
Need to get 3915 kB of archives.
After this operation, 32.3 MB of additional disk space will be used.
Get:1 http://MS1.clouds.archive.ubuntu.com/ubuntu bionic-updates/main 
amd64 git amd64 1:2.17.1-1ubuntu0.7 [3915 kB]
Fetched 3915 kB in 1s (5639 kB/s)
Selecting previously unselected package git.
(Reading database ... 53932 files and directories currently installed.)
Preparing to unpack .../git_1%3a2.17.1-1ubuntu0.7_amd64.deb ...
Unpacking git (1:2.17.1-1ubuntu0.7) ...
Setting up git (1:2.17.1-1ubuntu0.7) ...

שכפל את התיקיה עם השרת המקבל webhook:

ubuntu@ubuntu-basic-1-2-10gb:~$ git clone
https://github.com/RomanenkoDenys/s3-webhook.git
Cloning into 's3-webhook'...
remote: Enumerating objects: 48, done.
remote: Counting objects: 100% (48/48), done.
remote: Compressing objects: 100% (27/27), done.
remote: Total 114 (delta 20), reused 45 (delta 18), pack-reused 66
Receiving objects: 100% (114/114), 23.77 MiB | 20.25 MiB/s, done.
Resolving deltas: 100% (49/49), done.

בואו נתחיל את השרת:

ubuntu@ubuntu-basic-1-2-10gb:~$ cd s3-webhook/
ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ sudo ./s3-webhook -port 80

הירשם לשירות פרסום

אתה יכול לרשום את שרת קבלת ה-webhook שלך דרך ה-API או ממשק האינטרנט. לשם הפשטות, נירשם דרך ממשק האינטרנט:

בוא נלך לקטע הדליים בחדר הבקרה.
עבור אל הדלי שעבורו נגדיר webhooks ולחץ על גלגל השיניים:

עבור לכרטיסייה Webhooks ולחץ על הוסף:

מלא את השדות:

מזהה - שם ה-webhook.

אירוע - אילו אירועים לשדר. קבענו את השידור של כל האירועים המתרחשים בעבודה עם קבצים (הוספה ומחיקה).

כתובת URL - כתובת שרת המקבלת webhook.

קידומת/סיומת מסנן היא מסנן המאפשר ליצור webhooks רק עבור אובייקטים ששמותיהם תואמים כללים מסוימים. לדוגמה, כדי שה-webhook יפעיל רק קבצים עם סיומת .png, ב סיומת מסנן אתה צריך לכתוב "png".

נכון לעכשיו, רק יציאות 80 ו-443 נתמכות לגישה לשרת המקבל webhook.

בוא נקליק הוסף וו ונראה את הדברים הבאים:

הוק נוסף.

השרת המקבל webhook מציג ביומנים שלו את התקדמות תהליך רישום ה-hook:

ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ sudo ./s3-webhook -port 80
2020/06/15 12:01:14 [POST] incoming HTTP request from 
95.163.216.92:42530
2020/06/15 12:01:14 Got timestamp: 2020-06-15T15:01:13+03:00 TopicArn: 
mcs5259999770|myfiles-ash|s3:ObjectCreated:*,s3:ObjectRemoved:* Token: 
E2itMqAMUVVZc51pUhFWSp13DoxezvRxkUh5P7LEuk1dEe9y URL: 
http://89.208.199.220/webhook
2020/06/15 12:01:14 Generate responce signature: 
3754ce36636f80dfd606c5254d64ecb2fd8d555c27962b70b4f759f32c76b66d

ההרשמה הושלמה. בסעיף הבא, נסקור מקרוב את אלגוריתם הפעולה של השרת המקבל webhook.

תיאור השרת המקבל webhook

בדוגמה שלנו, השרת כתוב ב-Go. בואו נסתכל על העקרונות הבסיסיים של פעולתו.

package main

// Generate hmac_sha256_hex
func HmacSha256hex(message string, secret string) string {
}

// Generate hmac_sha256
func HmacSha256(message string, secret string) string {
}

// Send subscription confirmation
func SubscriptionConfirmation(w http.ResponseWriter, req *http.Request, body []byte) {
}

// Send subscription confirmation
func GotRecords(w http.ResponseWriter, req *http.Request, body []byte) {
}

// Liveness probe
func Ping(w http.ResponseWriter, req *http.Request) {
    // log request
    log.Printf("[%s] incoming HTTP Ping request from %sn", req.Method, req.RemoteAddr)
    fmt.Fprintf(w, "Pongn")
}

//Webhook
func Webhook(w http.ResponseWriter, req *http.Request) {
}

func main() {

    // get command line args
    bindPort := flag.Int("port", 80, "number between 1-65535")
    bindAddr := flag.String("address", "", "ip address in dot format")
    flag.StringVar(&actionScript, "script", "", "external script to execute")
    flag.Parse()

    http.HandleFunc("/ping", Ping)
    http.HandleFunc("/webhook", Webhook)

log.Fatal(http.ListenAndServe(*bindAddr+":"+strconv.Itoa(*bindPort), nil))
}

שקול את הפונקציות העיקריות:

Ping() - מסלול המגיב באמצעות URL/ping, היישום הפשוט ביותר של בדיקה חיה.
Webhook() - נתיב ראשי, מטפל ב-URL/webhook:
- מאשר רישום בשירות ההוצאה לאור (עבור לפונקציית אישור מנוי),
- מעבד webhooks נכנס (פונקציית Gorecords).
הפונקציות HmacSha256 ו-HmacSha256hex הן יישומים של אלגוריתמי ההצפנה HMAC-SHA256 ו-HMAC-SHA256 עם פלט כמחרוזת של מספרים הקסדצימליים לחישוב החתימה.
main הוא הפונקציה העיקרית, מעבד פרמטרים של שורת הפקודה ורושם מטפלים ב-URL.

פרמטרים של שורת הפקודה המקובלים על ידי השרת:

-port היא היציאה בה השרת יקשיב.
-כתובת - כתובת IP שהשרת יקשיב לה.
-script היא תוכנית חיצונית שנקראת עבור כל הוק נכנס.

בואו נסתכל מקרוב על כמה מהפונקציות:

//Webhook
func Webhook(w http.ResponseWriter, req *http.Request) {

    // Read body
    body, err := ioutil.ReadAll(req.Body)
    defer req.Body.Close()
    if err != nil {
        http.Error(w, err.Error(), 500)
        return
    }

    // log request
    log.Printf("[%s] incoming HTTP request from %sn", req.Method, req.RemoteAddr)
    // check if we got subscription confirmation request
    if strings.Contains(string(body), 
""Type":"SubscriptionConfirmation"") {
        SubscriptionConfirmation(w, req, body)
    } else {
        GotRecords(w, req, body)
    }

}

פונקציה זו קובעת אם הגיעה בקשה לאשר רישום או webhook. כדלקמן מ תיעוד, אם ההרשמה מאושרת, המבנה הבא של Json מתקבל בבקשת הפוסט:

POST http://test.com HTTP/1.1
x-amz-sns-messages-type: SubscriptionConfirmation
content-type: application/json

{
    "Timestamp":"2019-12-26T19:29:12+03:00",
    "Type":"SubscriptionConfirmation",
    "Message":"You have chosen to subscribe to the topic $topic. To confirm the subscription you need to response with calculated signature",
    "TopicArn":"mcs2883541269|bucketA|s3:ObjectCreated:Put",
    "SignatureVersion":1,
    "Token":«RPE5UuG94rGgBH6kHXN9FUPugFxj1hs2aUQc99btJp3E49tA»
}

יש לענות על שאילתה זו:

content-type: application/json

{"signature":«ea3fce4bb15c6de4fec365d36bcebbc34ccddf54616d5ca12e1972f82b6d37af»}

כאשר החתימה מחושבת כך:

signature = hmac_sha256(url, hmac_sha256(TopicArn, 
hmac_sha256(Timestamp, Token)))

אם מגיע webhook, המבנה של בקשת הפוסט נראה כך:

POST <url> HTTP/1.1
x-amz-sns-messages-type: SubscriptionConfirmation

{ "Records":
    [
        {
            "s3": {
                "object": {
                    "eTag":"aed563ecafb4bcc5654c597a421547b2",
                    "sequencer":1577453615,
                    "key":"some-file-to-bucket",
                    "size":100
                },
            "configurationId":"1",
            "bucket": {
                "name": "bucketA",
                "ownerIdentity": {
                    "principalId":"mcs2883541269"}
                },
                "s3SchemaVersion":"1.0"
            },
            "eventVersion":"1.0",
            "requestParameters":{
                "sourceIPAddress":"185.6.245.156"
            },
            "userIdentity": {
                "principalId":"2407013e-cbc1-415f-9102-16fb9bd6946b"
            },
            "eventName":"s3:ObjectCreated:Put",
            "awsRegion":"ru-msk",
            "eventSource":"aws:s3",
            "responseElements": {
                "x-amz-request-id":"VGJR5rtJ"
            }
        }
    ]
}

בהתאם לבקשה, עליך להבין כיצד לעבד את הנתונים. בחרתי בערך כאינדיקטור "Type":"SubscriptionConfirmation", מכיוון שהוא קיים בבקשת אישור המנוי ואינו קיים ב-webhook. בהתבסס על נוכחות/היעדר ערך זה בבקשת ה-POST, ביצוע נוסף של התוכנית עובר לפונקציה SubscriptionConfirmation, או לתוך פונקציה GotRecords.

לא נשקול את פונקציית אישור המנוי בפירוט; היא מיושמת על פי העקרונות המפורטים ב תיעוד. אתה יכול להציג את קוד המקור של פונקציה זו בכתובת פרויקט git repositories.

הפונקציה GotRecords מנתחת בקשה נכנסת ולכל אובייקט Record קוראת סקריפט חיצוני (ששמו הועבר בפרמטר -script) עם הפרמטרים:

שם הדלי
מפתח אובייקט
פעולה:
- העתק - אם בבקשה המקורית EventName = ObjectCreated | PutObject | PutObjectCopy
- מחק - אם בבקשה המקורית EventName = ObjectRemoved | מחקObject

לפיכך, אם הוק מגיע עם בקשת פוסט, כמתואר מעל, והפרמטר -script=script.sh אז הסקריפט ייקרא באופן הבא:

script.sh  bucketA some-file-to-bucket copy

יש להבין ששרת קבלת webhook זה אינו פתרון ייצור מלא, אלא דוגמה פשוטה ליישום אפשרי.

דוגמא לעבודה

בואו נסנכרן את הקבצים מהדלי הראשי ב-MCS לדלי הגיבוי ב-AWS. הדלי הראשי נקרא myfiles-ash, הגיבוי נקרא myfiles-backup (תצורת הדלי ב-AWS היא מעבר לתחום המאמר הזה). בהתאם לכך, כאשר מונח קובץ בדלי הראשי, העותק שלו אמור להופיע בגיבוי, וכאשר הוא נמחק מהראשי, יש למחוק אותו בגיבוי.

נעבוד עם דליים באמצעות כלי השירות awscli, התואם הן לאחסון בענן של MCS והן לאחסון בענן של AWS.

ubuntu@ubuntu-basic-1-2-10gb:~$ sudo apt-get install awscli
Reading package lists... Done
Building dependency tree
Reading state information... Done
After this operation, 34.4 MB of additional disk space will be used.
Unpacking awscli (1.14.44-1ubuntu1) ...
Setting up awscli (1.14.44-1ubuntu1) ...

בואו נגדיר גישה ל-S3 MCS API:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws configure --profile mcs
AWS Access Key ID [None]: hdywEPtuuJTExxxxxxxxxxxxxx
AWS Secret Access Key [None]: hDz3SgxKwXoxxxxxxxxxxxxxxxxxx
Default region name [None]:
Default output format [None]:

בואו נגדיר גישה ל-AWS S3 API:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws configure --profile aws
AWS Access Key ID [None]: AKIAJXXXXXXXXXXXX
AWS Secret Access Key [None]: dfuerphOLQwu0CreP5Z8l5fuXXXXXXXXXXXXXXXX
Default region name [None]:
Default output format [None]:

בוא נבדוק את הגישה:

ל-AWS:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws s3 ls --profile aws
2020-07-06 08:44:11 myfiles-backup

עבור MCS, בעת הפעלת הפקודה עליך להוסיף —endpoint-url:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws s3 ls --profile mcs --endpoint-url 
https://hb.bizmrg.com
2020-02-04 06:38:05 databasebackups-0cdaaa6402d4424e9676c75a720afa85
2020-05-27 10:08:33 myfiles-ash

ניגש.

עכשיו בואו נכתוב סקריפט לעיבוד ה-hook הנכנס, בואו נקרא לזה s3_backup_mcs_aws.sh

#!/bin/bash
# Require aws cli
# if file added — copy it to backup bucket
# if file removed — remove it from backup bucket
# Variables
ENDPOINT_MCS="https://hb.bizmrg.com"
AWSCLI_MCS=`which aws`" --endpoint-url ${ENDPOINT_MCS} --profile mcs s3"
AWSCLI_AWS=`which aws`" --profile aws s3"
BACKUP_BUCKET="myfiles-backup"

SOURCE_BUCKET=""
SOURCE_FILE=""
ACTION=""

SOURCE="s3://${SOURCE_BUCKET}/${SOURCE_FILE}"
TARGET="s3://${BACKUP_BUCKET}/${SOURCE_FILE}"
TEMP="/tmp/${SOURCE_BUCKET}/${SOURCE_FILE}"

case ${ACTION} in
    "copy")
    ${AWSCLI_MCS} cp "${SOURCE}" "${TEMP}"
    ${AWSCLI_AWS} cp "${TEMP}" "${TARGET}"
    rm ${TEMP}
    ;;

    "delete")
    ${AWSCLI_AWS} rm ${TARGET}
    ;;

    *)
    echo "Usage: #!/bin/bash
# Require aws cli
# if file added — copy it to backup bucket
# if file removed — remove it from backup bucket
# Variables
ENDPOINT_MCS="https://hb.bizmrg.com"
AWSCLI_MCS=`which aws`" --endpoint-url ${ENDPOINT_MCS} --profile mcs s3"
AWSCLI_AWS=`which aws`" --profile aws s3"
BACKUP_BUCKET="myfiles-backup"
SOURCE_BUCKET="${1}"
SOURCE_FILE="${2}"
ACTION="${3}"
SOURCE="s3://${SOURCE_BUCKET}/${SOURCE_FILE}"
TARGET="s3://${BACKUP_BUCKET}/${SOURCE_FILE}"
TEMP="/tmp/${SOURCE_BUCKET}/${SOURCE_FILE}"
case ${ACTION} in
"copy")
${AWSCLI_MCS} cp "${SOURCE}" "${TEMP}"
${AWSCLI_AWS} cp "${TEMP}" "${TARGET}"
rm ${TEMP}
;;
"delete")
${AWSCLI_AWS} rm ${TARGET}
;;
*)
echo "Usage: ${0} sourcebucket sourcefile copy/delete"
exit 1
;;
esac sourcebucket sourcefile copy/delete"
    exit 1
    ;;
esac

בואו נתחיל את השרת:

ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ sudo ./s3-webhook -port 80 -
script scripts/s3_backup_mcs_aws.sh

בואו נראה איך זה עובד. דרך ממשק אינטרנט של MCS הוסף את קובץ test.txt לדלי myfiles-ash. יומני המסוף מראים שהוגשה בקשה לשרת ה-webhook:

2020/07/06 09:43:08 [POST] incoming HTTP request from 
95.163.216.92:56612
download: s3://myfiles-ash/test.txt to ../../../tmp/myfiles-ash/test.txt
upload: ../../../tmp/myfiles-ash/test.txt to 
s3://myfiles-backup/test.txt

בואו נבדוק את התוכן של דלי הגיבוי של myfiles ב-AWS:

ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ aws s3 --profile aws ls 
myfiles-backup
2020-07-06 09:43:10       1104 test.txt

כעת, דרך ממשק האינטרנט, נמחק את הקובץ מ-myfiles-ash bucket.

יומני שרת:

2020/07/06 09:44:46 [POST] incoming HTTP request from 
95.163.216.92:58224
delete: s3://myfiles-backup/test.txt

תכולת הדלי:

ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ aws s3 --profile aws ls 
myfiles-backup
ubuntu@ubuntu-basic-1-2-10gb:~$

הקובץ נמחק, הבעיה נפתרה.

מסקנה ומשימות

כל הקוד המשמש במאמר זה הוא במאגר שלי. יש גם דוגמאות של סקריפטים ודוגמאות לספירת חתימות לרישום webhooks.

הקוד הזה הוא לא יותר מאשר דוגמה לאופן שבו אתה יכול להשתמש ב-S3 webhooks בפעילויות שלך. כפי שאמרתי בהתחלה, אם אתה מתכנן להשתמש בשרת כזה בייצור, אתה צריך לפחות לשכתב את השרת לעבודה אסינכרונית: לרשום webhooks נכנס בתור (RabbitMQ או NATS), ומשם לנתח אותם ולעבד אותם עם יישומי עובדים. אחרת, כאשר webhooks מגיעים באופן מסיבי, אתה עלול להיתקל במחסור במשאבי שרת להשלמת משימות. הנוכחות של תורים מאפשרת לך להפיץ את השרת והעובדים, כמו גם לפתור בעיות עם משימות חוזרות במקרה של כשלים. כמו כן, רצוי לשנות את הרישום למפורט יותר וסטנדרטי יותר.

מזל טוב!

קריאה נוספת בנושא:

מקור: www.habr.com

דוגמה לאפליקציה מונעת אירועים המבוססת על webhooks באחסון אובייקטים S3 Mail.ru Cloud Solutions