🥇S3 වස්තු ආචයනය Mail.ru Cloud Solutions හි webhooks මත පදනම් වූ සිද්ධි-ධාවන යෙදුමක උදාහරණයක්

රූබ් ගෝල්ඩ්බර්ග් කෝපි යන්ත්රය

සිදුවීම් මත පදනම් වූ ගෘහ නිර්මාණ ශිල්පය භාවිතා කරන සම්පත්වල පිරිවැය කාර්යක්ෂමතාව වැඩි කරයි, මන්ද ඒවා අවශ්ය මොහොතේ පමණක් භාවිතා වේ. මෙය ක්‍රියාත්මක කරන්නේ කෙසේද සහ සේවක යෙදුම් ලෙස අමතර ක්ලවුඩ් ආයතන නිර්මාණය නොකිරීමට බොහෝ විකල්ප ඇත. අද මම FaaS ගැන නොව webhooks ගැන කතා කරන්නම්. වස්තු ගබඩා වෙබ් හූක් භාවිතයෙන් සිදුවීම් හැසිරවීමේ නිබන්ධන උදාහරණයක් මම පෙන්වන්නම්.

වස්තු ගබඩා කිරීම සහ webhook ගැන වචන කිහිපයක්. වස්තු ආචයනය මඟින් ඔබට HTTP/HTTPS හරහා S3 හෝ වෙනත් API (ක්‍රියාත්මක කිරීම මත පදනම්ව) හරහා ප්‍රවේශ විය හැකි වස්තූන් ආකාරයෙන් වලාකුළෙහි ඕනෑම දත්තයක් ගබඩා කිරීමට ඉඩ සලසයි. Webhook යනු සාමාන්‍යයෙන් අභිරුචි HTTP ඇමතුම් වේ. ඒවා සාමාන්‍යයෙන් ප්‍රබෝධමත් වන්නේ, කේත ගබඩාවකට තල්ලු කිරීම හෝ බ්ලොගයක පළ කිරීම වැනි සිදුවීමක් මගිනි. සිදුවීමක් සිදු වූ විට, මුල් වෙබ් අඩවිය webhook සඳහා සඳහන් කර ඇති URL වෙත HTTP ඉල්ලීමක් යවයි. එහි ප්‍රතිඵලයක් වශයෙන්, ඔබට එක් අඩවියක සිදුවීම් තවත් අඩවියක ක්‍රියාවන් ඇති කළ හැක (විකි) මූලාශ්‍ර අඩවිය වස්තු ගබඩාවක් වන අවස්ථාවක, සිදුවීම් එහි අන්තර්ගතයේ වෙනස්කම් ලෙස ක්‍රියා කරයි.

එවැනි ස්වයංක්‍රීයකරණයක් භාවිතා කළ හැකි සරල අවස්ථා සඳහා උදාහරණ:

වෙනත් වලාකුළු ගබඩාවක සියලුම වස්තූන්ගේ පිටපත් නිර්මාණය කිරීම. ගොනු එකතු කරන විට හෝ වෙනස් කරන සෑම විටම පිටපත් පියාසර කළ යුතුය.
ග්‍රැෆික් ගොනුවල සිඟිති රූ මාලාවක් ස්වයංක්‍රීයව නිර්මාණය කිරීම, ඡායාරූපවලට දිය සලකුණු එකතු කිරීම සහ වෙනත් රූප වෙනස් කිරීම්.
නව ලේඛන පැමිණීම පිළිබඳ දැනුම්දීම (උදාහරණයක් ලෙස, බෙදා හරින ලද ගිණුම්කරණ සේවාවක් වලාකුළට වාර්තා උඩුගත කරයි, සහ මූල්‍ය අධීක්‍ෂණයට නව වාර්තා පිළිබඳ දැනුම්දීම් ලැබේ, ඒවා පරීක්ෂා කර විශ්ලේෂණය කරයි).
තරමක් සංකීර්ණ අවස්ථාවන් සඳහා, උදාහරණයක් ලෙස, Kubernetes වෙත ඉල්ලීමක් ජනනය කිරීම, අවශ්‍ය බහාලුම් සහිත පොඩ් එකක් නිර්මාණය කිරීම, එයට කාර්ය පරාමිතීන් ලබා දීම සහ සැකසීමෙන් පසු කන්ටේනරය කඩා වැටේ.

උදාහරණයක් ලෙස, Mail.ru Cloud Solutions (MCS) වස්තු ගබඩා බාල්දියේ වෙනස්කම් Webhooks භාවිතයෙන් AWS වස්තු ගබඩාව තුළ සමමුහුර්ත කළ විට, අපි කාර්යය 1 හි ප්‍රභේදයක් සාදන්නෙමු. සැබෑ පටවන ලද නඩුවකදී, පෝලිමක webhooks ලියාපදිංචි කිරීමෙන් අසමමුහුර්ත කාර්යයක් සැපයිය යුතුය, නමුත් පුහුණු කාර්යය සඳහා අපි මෙය නොමැතිව ක්රියාත්මක කිරීම සිදු කරන්නෙමු.

වැඩ යෝජනා ක්රමය

අන්තර්ක්‍රියා ප්‍රොටෝකෝලය විස්තරාත්මකව විස්තර කර ඇත MCS මත S3 webhooks සඳහා මාර්ගෝපදේශය. වැඩ යෝජනා ක්රමය පහත සඳහන් අංග අඩංගු වේ:

ප්‍රකාශන සේවය, S3 ආචයන පැත්තේ ඇති අතර webnhook ක්‍රියාරම්භ කරන විට HTTP ඉල්ලීම් ප්‍රකාශනය කරයි.
Webhook ලැබීමේ සේවාදායකය, එය HTTP ප්‍රකාශන සේවාවෙන් ඉල්ලීම්වලට සවන් දී සුදුසු ක්‍රියා සිදු කරයි. සේවාදායකය ඕනෑම භාෂාවකින් ලිවිය හැකිය; අපගේ උදාහරණයේ දී, අපි සේවාදායකය Go හි ලියන්නෙමු.

S3 API හි webhooks ක්‍රියාත්මක කිරීමේ විශේෂ ලක්ෂණය වන්නේ ප්‍රකාශන සේවාවේ webhook ලැබෙන සේවාදායකය ලියාපදිංචි කිරීමයි. විශේෂයෙන්ම, webhook ලැබෙන සේවාදායකය විසින් ප්‍රකාශන සේවාවෙන් ලැබෙන පණිවිඩ සඳහා දායකත්වය තහවුරු කළ යුතුය (වෙනත් webhook ක්‍රියාත්මක කිරීම්වලදී, දායකත්වය තහවුරු කිරීම සාමාන්‍යයෙන් අවශ්‍ය නොවේ).

ඒ අනුව, webhook ලැබෙන සේවාදායකය ප්‍රධාන මෙහෙයුම් දෙකකට සහාය විය යුතුය:

ලියාපදිංචිය තහවුරු කිරීමට ප්‍රකාශන සේවාවේ ඉල්ලීමට ප්‍රතිචාර දක්වන්න,
පැමිණෙන සිදුවීම් ක්රියාවලිය.

webhook ලැබෙන සේවාදායකයක් ස්ථාපනය කිරීම

webhook ලැබෙන සේවාදායකය ධාවනය කිරීමට, ඔබට Linux සේවාදායකයක් අවශ්‍ය වේ. මෙම ලිපියේ, උදාහරණයක් ලෙස, අපි MCS මත යොදවන අතථ්‍ය අවස්ථාවක් භාවිතා කරමු.

අවශ්‍ය මෘදුකාංග ස්ථාපනය කර webhook ලබන සේවාදායකය දියත් කරමු.

ubuntu@ubuntu-basic-1-2-10gb:~$ sudo apt-get install git
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following packages were automatically installed and are no longer required:
  bc dns-root-data dnsmasq-base ebtables landscape-common liblxc-common 
liblxc1 libuv1 lxcfs lxd lxd-client python3-attr python3-automat 
python3-click python3-constantly python3-hyperlink
  python3-incremental python3-pam python3-pyasn1-modules 
python3-service-identity python3-twisted python3-twisted-bin 
python3-zope.interface uidmap xdelta3
Use 'sudo apt autoremove' to remove them.
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-el git-email git-gui 
gitk gitweb git-cvs git-mediawiki git-svn
The following NEW packages will be installed:
  git
0 upgraded, 1 newly installed, 0 to remove and 46 not upgraded.
Need to get 3915 kB of archives.
After this operation, 32.3 MB of additional disk space will be used.
Get:1 http://MS1.clouds.archive.ubuntu.com/ubuntu bionic-updates/main 
amd64 git amd64 1:2.17.1-1ubuntu0.7 [3915 kB]
Fetched 3915 kB in 1s (5639 kB/s)
Selecting previously unselected package git.
(Reading database ... 53932 files and directories currently installed.)
Preparing to unpack .../git_1%3a2.17.1-1ubuntu0.7_amd64.deb ...
Unpacking git (1:2.17.1-1ubuntu0.7) ...
Setting up git (1:2.17.1-1ubuntu0.7) ...

webhook ලැබෙන සේවාදායකය සමඟ ෆෝල්ඩරය ක්ලෝන කරන්න:

ubuntu@ubuntu-basic-1-2-10gb:~$ git clone
https://github.com/RomanenkoDenys/s3-webhook.git
Cloning into 's3-webhook'...
remote: Enumerating objects: 48, done.
remote: Counting objects: 100% (48/48), done.
remote: Compressing objects: 100% (27/27), done.
remote: Total 114 (delta 20), reused 45 (delta 18), pack-reused 66
Receiving objects: 100% (114/114), 23.77 MiB | 20.25 MiB/s, done.
Resolving deltas: 100% (49/49), done.

අපි සේවාදායකය ආරම්භ කරමු:

ubuntu@ubuntu-basic-1-2-10gb:~$ cd s3-webhook/
ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ sudo ./s3-webhook -port 80

ප්‍රකාශන සේවාවට දායක වන්න

ඔබට API හෝ වෙබ් අතුරු මුහුණත හරහා ඔබේ webhook ලැබීමේ සේවාදායකය ලියාපදිංචි කළ හැක. සරල බව සඳහා, අපි වෙබ් අතුරු මුහුණත හරහා ලියාපදිංචි වන්නෙමු:

අපි බකට් අංශයට යමු පාලක මැදිරියේ.
අපි webhooks වින්‍යාස කරන බාල්දිය වෙත ගොස් ගියරය මත ක්ලික් කරන්න:

Webhooks පටිත්ත වෙත ගොස් Add ක්ලික් කරන්න:

ක්ෂේත්ර පුරවන්න:

ID - webhook එකේ නම.

සිදුවීම - සම්ප්‍රේෂණය කළ යුතු සිදුවීම්. අපි ගොනු සමඟ වැඩ කරන විට (එකතු කිරීම සහ මකා දැමීම) සිදු වන සියලුම සිදුවීම් සම්ප්රේෂණය කර ඇත.

URL — webhook ලැබෙන සේවාදායක ලිපිනය.

පෙරහන් උපසර්ගය/උපසර්ගය යනු යම් යම් නීතිරීතිවලට ගැලපෙන නම් ඇති වස්තූන් සඳහා පමණක් webhooks ජනනය කිරීමට ඔබට ඉඩ සලසන පෙරහනකි. උදාහරණයක් ලෙස, webhook සඳහා .png දිගුව සහිත ගොනු පමණක් ප්‍රේරණය කිරීම සඳහා, in පෙරහන් උපසර්ගය ඔබ "png" ලිවිය යුතුය.

දැනට, webhook ලැබෙන සේවාදායකයට ප්‍රවේශ වීම සඳහා සහය දක්වන්නේ 80 සහ 443 වරායන් පමණි.

අපි ක්ලික් කරමු කොක්ක එකතු කරන්න සහ අපි පහත සඳහන් දේ දකිමු:

හුක් එකතු කළේය.

webhook ලබන්නා සේවාදායකය එහි ලඝු-සටහන් වල කොක්ක ලියාපදිංචි කිරීමේ ක්‍රියාවලියේ ප්‍රගතිය පෙන්වයි:

ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ sudo ./s3-webhook -port 80
2020/06/15 12:01:14 [POST] incoming HTTP request from 
95.163.216.92:42530
2020/06/15 12:01:14 Got timestamp: 2020-06-15T15:01:13+03:00 TopicArn: 
mcs5259999770|myfiles-ash|s3:ObjectCreated:*,s3:ObjectRemoved:* Token: 
E2itMqAMUVVZc51pUhFWSp13DoxezvRxkUh5P7LEuk1dEe9y URL: 
http://89.208.199.220/webhook
2020/06/15 12:01:14 Generate responce signature: 
3754ce36636f80dfd606c5254d64ecb2fd8d555c27962b70b4f759f32c76b66d

ලියාපදිංචිය අවසන්. මීලඟ කොටසේදී, අපි webhook ලබන්නා සේවාදායකයේ මෙහෙයුම් ඇල්ගොරිතම දෙස සමීපව බලමු.

webhook ලැබෙන සේවාදායකයේ විස්තරය

අපගේ උදාහරණයේ, සේවාදායකය Go වලින් ලියා ඇත. එහි ක්රියාකාරිත්වයේ මූලික මූලධර්ම දෙස බලමු.

package main

// Generate hmac_sha256_hex
func HmacSha256hex(message string, secret string) string {
}

// Generate hmac_sha256
func HmacSha256(message string, secret string) string {
}

// Send subscription confirmation
func SubscriptionConfirmation(w http.ResponseWriter, req *http.Request, body []byte) {
}

// Send subscription confirmation
func GotRecords(w http.ResponseWriter, req *http.Request, body []byte) {
}

// Liveness probe
func Ping(w http.ResponseWriter, req *http.Request) {
    // log request
    log.Printf("[%s] incoming HTTP Ping request from %sn", req.Method, req.RemoteAddr)
    fmt.Fprintf(w, "Pongn")
}

//Webhook
func Webhook(w http.ResponseWriter, req *http.Request) {
}

func main() {

    // get command line args
    bindPort := flag.Int("port", 80, "number between 1-65535")
    bindAddr := flag.String("address", "", "ip address in dot format")
    flag.StringVar(&actionScript, "script", "", "external script to execute")
    flag.Parse()

    http.HandleFunc("/ping", Ping)
    http.HandleFunc("/webhook", Webhook)

log.Fatal(http.ListenAndServe(*bindAddr+":"+strconv.Itoa(*bindPort), nil))
}

ප්රධාන කාර්යයන් සලකා බලන්න:

Ping() - URL/ping හරහා ප්‍රතිචාර දක්වන මාර්ගයක්, සජීවී පරීක්ෂණයක සරලම ක්‍රියාත්මක කිරීම.
Webhook() - ප්‍රධාන මාර්ගය, URL/webhook හසුරුවන්නා:
- ප්‍රකාශන සේවාවේ ලියාපදිංචිය තහවුරු කරයි (දායකත්ව තහවුරු කිරීමේ කාර්යය වෙත යන්න),
- එන webhooks ක්‍රියාවලි කරයි (Gorecords ශ්‍රිතය).
HmacSha256 සහ HmacSha256hex ශ්‍රිතයන් යනු අත්සන ගණනය කිරීම සඳහා ෂඩාස්‍ර දශම සංඛ්‍යා මාලාවක් ලෙස ප්‍රතිදානය සහිත HMAC-SHA256 සහ HMAC-SHA256 සංකේතාංකන ඇල්ගොරිතම ක්‍රියාත්මක කිරීමයි.
main යනු ප්‍රධාන කාර්යය වන අතර, විධාන රේඛා පරාමිතීන් සකසයි සහ URL හසුරුවන්නන් ලියාපදිංචි කරයි.

සේවාදායකය විසින් පිළිගත් විධාන රේඛා පරාමිතීන්:

-port යනු සේවාදායකය සවන් දෙන වරායයි.
-ලිපිනය - සේවාදායකයා සවන් දෙන IP ලිපිනය.
-script යනු එක් එක් එන කොක්ක සඳහා කැඳවනු ලබන බාහිර වැඩසටහනකි.

සමහර කාර්යයන් දෙස සමීපව බලමු:

//Webhook
func Webhook(w http.ResponseWriter, req *http.Request) {

    // Read body
    body, err := ioutil.ReadAll(req.Body)
    defer req.Body.Close()
    if err != nil {
        http.Error(w, err.Error(), 500)
        return
    }

    // log request
    log.Printf("[%s] incoming HTTP request from %sn", req.Method, req.RemoteAddr)
    // check if we got subscription confirmation request
    if strings.Contains(string(body), 
""Type":"SubscriptionConfirmation"") {
        SubscriptionConfirmation(w, req, body)
    } else {
        GotRecords(w, req, body)
    }

}

ලියාපදිංචිය තහවුරු කිරීමට ඉල්ලීමක් හෝ webhook එකක් පැමිණ තිබේද යන්න මෙම කාර්යය තීරණය කරයි. සිට පහත පරිදි ලියකියවිලි, ලියාපදිංචිය තහවුරු කර ඇත්නම්, පහත Json ව්‍යුහය තැපැල් ඉල්ලීමෙහි ලැබේ:

POST http://test.com HTTP/1.1
x-amz-sns-messages-type: SubscriptionConfirmation
content-type: application/json

{
    "Timestamp":"2019-12-26T19:29:12+03:00",
    "Type":"SubscriptionConfirmation",
    "Message":"You have chosen to subscribe to the topic $topic. To confirm the subscription you need to response with calculated signature",
    "TopicArn":"mcs2883541269|bucketA|s3:ObjectCreated:Put",
    "SignatureVersion":1,
    "Token":«RPE5UuG94rGgBH6kHXN9FUPugFxj1hs2aUQc99btJp3E49tA»
}

මෙම විමසුමට පිළිතුරු සැපයිය යුතුය:

content-type: application/json

{"signature":«ea3fce4bb15c6de4fec365d36bcebbc34ccddf54616d5ca12e1972f82b6d37af»}

අත්සන ගණනය කරනු ලබන්නේ:

signature = hmac_sha256(url, hmac_sha256(TopicArn, 
hmac_sha256(Timestamp, Token)))

webhook එකක් පැමිණියහොත්, තැපැල් ඉල්ලීමේ ව්‍යුහය මෙලෙස දිස්වේ:

POST <url> HTTP/1.1
x-amz-sns-messages-type: SubscriptionConfirmation

{ "Records":
    [
        {
            "s3": {
                "object": {
                    "eTag":"aed563ecafb4bcc5654c597a421547b2",
                    "sequencer":1577453615,
                    "key":"some-file-to-bucket",
                    "size":100
                },
            "configurationId":"1",
            "bucket": {
                "name": "bucketA",
                "ownerIdentity": {
                    "principalId":"mcs2883541269"}
                },
                "s3SchemaVersion":"1.0"
            },
            "eventVersion":"1.0",
            "requestParameters":{
                "sourceIPAddress":"185.6.245.156"
            },
            "userIdentity": {
                "principalId":"2407013e-cbc1-415f-9102-16fb9bd6946b"
            },
            "eventName":"s3:ObjectCreated:Put",
            "awsRegion":"ru-msk",
            "eventSource":"aws:s3",
            "responseElements": {
                "x-amz-request-id":"VGJR5rtJ"
            }
        }
    ]
}

ඒ අනුව, ඉල්ලීම මත පදනම්ව, ඔබ දත්ත සැකසීමට ආකාරය තේරුම් ගත යුතුය. මම දර්ශකයක් ලෙස ඇතුළත් කිරීම තෝරා ගත්තෙමි "Type":"SubscriptionConfirmation", එය දායකත්ව තහවුරු කිරීමේ ඉල්ලීමෙහි පවතින බැවින් සහ webhook හි නොමැති බැවිනි. POST ඉල්ලීමෙහි මෙම ප්‍රවේශය තිබීම/නොපැවතීම මත පදනම්ව, වැඩසටහන තවදුරටත් ක්‍රියාත්මක කිරීම එක්කෝ ශ්‍රිතයට යයි SubscriptionConfirmation, හෝ ශ්‍රිතයකට GotRecords.

අපි දායකත්ව තහවුරු කිරීමේ කාර්යය සවිස්තරාත්මකව සලකා බලන්නේ නැත; එය ක්‍රියාත්මක වන්නේ එහි දක්වා ඇති මූලධර්මවලට අනුව ය. ලියකියවිලි. ඔබට මෙම කාර්යය සඳහා මූලාශ්‍ර කේතය මෙතැනින් බැලිය හැක ව්‍යාපෘති git ගබඩා.

GotRecords ශ්‍රිතය එන ඉල්ලීමක් විග්‍රහ කරන අතර එක් එක් වාර්තා වස්තුවක් සඳහා පරාමිති සමඟින් බාහිර ස්ක්‍රිප්ට් (-script පරාමිතිය තුළ සම්මත වූ නම) කැඳවයි:

බාල්දිය නම
වස්තුව යතුර
කටයුතු:
- පිටපත - මුල් ඉල්ලීමෙහි නම් EventName = ObjectCreated | PutObject | PutObjectCopy
- මකන්න - මුල් ඉල්ලීමෙහි නම් EventName = වස්තුව ඉවත් කළ | වස්තුව මකන්න

මේ අනුව, විස්තර කර ඇති පරිදි, පෝස්ට් ඉල්ලීමක් සමඟ කොක්කක් පැමිණේ නම් ඉහළ, සහ පරාමිතිය -script=script.sh එවිට ස්ක්‍රිප්ට් පහත පරිදි හඳුන්වනු ලැබේ:

script.sh  bucketA some-file-to-bucket copy

මෙම webhook ලැබීමේ සේවාදායකය සම්පූර්ණ නිෂ්පාදන විසඳුමක් නොවන බව තේරුම් ගත යුතුය, නමුත් හැකි ක්රියාත්මක කිරීම සඳහා සරල උදාහරණයක්.

වැඩ පිළිබඳ උදාහරණයක්

MCS හි ප්‍රධාන බාල්දියේ සිට AWS හි උපස්ථ බාල්දිය දක්වා ගොනු සමමුහුර්ත කරමු. ප්‍රධාන බාල්දිය myfiles-ash ලෙස හැඳින්වේ, උපස්ථ එක myfiles-backup ලෙස හැඳින්වේ (AWS හි බාල්දි වින්‍යාසය මෙම ලිපියේ විෂය පථයෙන් ඔබ්බට). ඒ අනුව, ගොනුවක් ප්‍රධාන බාල්දියට දැමූ විට, එහි පිටපත බැකප් එකේ දිස්විය යුතු අතර, එය ප්‍රධාන බාල්දියෙන් මකා දැමූ විට, එය බැකප් එකේ මකා දැමිය යුතුය.

MCS වලාකුළු ආචයනය සහ AWS වලාකුළු ආචයනය යන දෙකටම අනුකූල වන awscli උපයෝගීතාව භාවිතයෙන් අපි බාල්දි සමඟ වැඩ කරන්නෙමු.

ubuntu@ubuntu-basic-1-2-10gb:~$ sudo apt-get install awscli
Reading package lists... Done
Building dependency tree
Reading state information... Done
After this operation, 34.4 MB of additional disk space will be used.
Unpacking awscli (1.14.44-1ubuntu1) ...
Setting up awscli (1.14.44-1ubuntu1) ...

S3 MCS API වෙත ප්‍රවේශය වින්‍යාස කරමු:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws configure --profile mcs
AWS Access Key ID [None]: hdywEPtuuJTExxxxxxxxxxxxxx
AWS Secret Access Key [None]: hDz3SgxKwXoxxxxxxxxxxxxxxxxxx
Default region name [None]:
Default output format [None]:

AWS S3 API වෙත ප්‍රවේශය වින්‍යාස කරමු:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws configure --profile aws
AWS Access Key ID [None]: AKIAJXXXXXXXXXXXX
AWS Secret Access Key [None]: dfuerphOLQwu0CreP5Z8l5fuXXXXXXXXXXXXXXXX
Default region name [None]:
Default output format [None]:

අපි ප්රවේශයන් පරීක්ෂා කරමු:

AWS වෙත:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws s3 ls --profile aws
2020-07-06 08:44:11 myfiles-backup

MCS සඳහා, විධානය ක්‍රියාත්මක කරන විට ඔබට —endpoint-url එකතු කළ යුතුය:

ubuntu@ubuntu-basic-1-2-10gb:~$ aws s3 ls --profile mcs --endpoint-url 
https://hb.bizmrg.com
2020-02-04 06:38:05 databasebackups-0cdaaa6402d4424e9676c75a720afa85
2020-05-27 10:08:33 myfiles-ash

ප්රවේශ විය.

දැන් අපි එන කොක්ක සැකසීම සඳහා ස්ක්‍රිප්ට් එකක් ලියමු, අපි එය s3_backup_mcs_aws.sh ලෙස හඳුන්වමු

#!/bin/bash
# Require aws cli
# if file added — copy it to backup bucket
# if file removed — remove it from backup bucket
# Variables
ENDPOINT_MCS="https://hb.bizmrg.com"
AWSCLI_MCS=`which aws`" --endpoint-url ${ENDPOINT_MCS} --profile mcs s3"
AWSCLI_AWS=`which aws`" --profile aws s3"
BACKUP_BUCKET="myfiles-backup"

SOURCE_BUCKET=""
SOURCE_FILE=""
ACTION=""

SOURCE="s3://${SOURCE_BUCKET}/${SOURCE_FILE}"
TARGET="s3://${BACKUP_BUCKET}/${SOURCE_FILE}"
TEMP="/tmp/${SOURCE_BUCKET}/${SOURCE_FILE}"

case ${ACTION} in
    "copy")
    ${AWSCLI_MCS} cp "${SOURCE}" "${TEMP}"
    ${AWSCLI_AWS} cp "${TEMP}" "${TARGET}"
    rm ${TEMP}
    ;;

    "delete")
    ${AWSCLI_AWS} rm ${TARGET}
    ;;

    *)
    echo "Usage: #!/bin/bash
# Require aws cli
# if file added — copy it to backup bucket
# if file removed — remove it from backup bucket
# Variables
ENDPOINT_MCS="https://hb.bizmrg.com"
AWSCLI_MCS=`which aws`" --endpoint-url ${ENDPOINT_MCS} --profile mcs s3"
AWSCLI_AWS=`which aws`" --profile aws s3"
BACKUP_BUCKET="myfiles-backup"
SOURCE_BUCKET="${1}"
SOURCE_FILE="${2}"
ACTION="${3}"
SOURCE="s3://${SOURCE_BUCKET}/${SOURCE_FILE}"
TARGET="s3://${BACKUP_BUCKET}/${SOURCE_FILE}"
TEMP="/tmp/${SOURCE_BUCKET}/${SOURCE_FILE}"
case ${ACTION} in
"copy")
${AWSCLI_MCS} cp "${SOURCE}" "${TEMP}"
${AWSCLI_AWS} cp "${TEMP}" "${TARGET}"
rm ${TEMP}
;;
"delete")
${AWSCLI_AWS} rm ${TARGET}
;;
*)
echo "Usage: ${0} sourcebucket sourcefile copy/delete"
exit 1
;;
esac sourcebucket sourcefile copy/delete"
    exit 1
    ;;
esac

අපි සේවාදායකය ආරම්භ කරමු:

ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ sudo ./s3-webhook -port 80 -
script scripts/s3_backup_mcs_aws.sh

අපි බලමු කොහොමද වැඩේ කරන්නේ කියලා. ඔස්සේ MCS වෙබ් අතුරු මුහුණත myfiles-ash බාල්දියට test.txt ගොනුව එක් කරන්න. webhook සේවාදායකය වෙත ඉල්ලීමක් කළ බව කොන්සෝල ලොග පෙන්වයි:

2020/07/06 09:43:08 [POST] incoming HTTP request from 
95.163.216.92:56612
download: s3://myfiles-ash/test.txt to ../../../tmp/myfiles-ash/test.txt
upload: ../../../tmp/myfiles-ash/test.txt to 
s3://myfiles-backup/test.txt

AWS හි myfiles-බැකප් බාල්දියේ අන්තර්ගතය පරීක්ෂා කරමු:

ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ aws s3 --profile aws ls 
myfiles-backup
2020-07-06 09:43:10       1104 test.txt

දැන්, වෙබ් අතුරු මුහුණත හරහා, අපි myfiles-ash bucket වෙතින් ගොනුව මකා දමමු.

සේවාදායක ලඝු:

2020/07/06 09:44:46 [POST] incoming HTTP request from 
95.163.216.92:58224
delete: s3://myfiles-backup/test.txt

බාල්දියේ අන්තර්ගතය:

ubuntu@ubuntu-basic-1-2-10gb:~/s3-webhook$ aws s3 --profile aws ls 
myfiles-backup
ubuntu@ubuntu-basic-1-2-10gb:~$

ගොනුව මකා ඇත, ගැටළුව විසඳා ඇත.

නිගමනය සහ ToDo

මෙම ලිපියේ භාවිතා කර ඇති සියලුම කේතයන් වේ මගේ ගබඩාවේ. වෙබ් හූක් ලියාපදිංචි කිරීම සඳහා ස්ක්‍රිප්ට් සහ අත්සන් ගණන් කිරීමේ උදාහරණ ද තිබේ.

මෙම කේතය ඔබේ ක්‍රියාකාරකම් වලදී S3 webhooks භාවිතා කළ හැකි ආකාරය පිළිබඳ උදාහරණයක් මිස අන් කිසිවක් නොවේ. මා මුලින් කී පරිදි, ඔබ නිෂ්පාදනයේදී එවැනි සේවාදායකයක් භාවිතා කිරීමට අදහස් කරන්නේ නම්, ඔබ අවම වශයෙන් අසමමුහුර්ත වැඩ සඳහා සේවාදායකය නැවත ලිවිය යුතුය: පැමිණෙන වෙබ් හූක් පෝලිමක (RabbitMQ හෝ NATS) ලියාපදිංචි කරන්න, සහ එතැන් සිට ඒවා විග්‍රහ කර ඒවා සැකසීමට. සේවක අයදුම්පත් සමඟ. එසේ නොමැතිනම්, webhooks විශාල වශයෙන් පැමිණෙන විට, ඔබට කාර්යයන් සම්පූර්ණ කිරීමට සේවාදායක සම්පත් හිඟයක් ඇති විය හැක. පෝලිම් තිබීම ඔබට සේවාදායකය සහ සේවකයින් බෙදා හැරීමට මෙන්ම අසාර්ථක වූ විට නැවත නැවත කිරීමේ ගැටළු විසඳීමට ඉඩ සලසයි. ලොග් කිරීම වඩාත් සවිස්තරාත්මක හා වඩා ප්‍රමිතිගත එකකට වෙනස් කිරීම ද සුදුසු ය.

සුබ පැතුම්!

මාතෘකාව පිළිබඳ වැඩිදුර කියවීම:

මූලාශ්රය: www.habr.com

S3 වස්තු ආචයනය Mail.ru Cloud Solutions හි webhooks මත පදනම් වූ සිදුවීම් මත පදනම් වූ යෙදුමක උදාහරණයක්

වැඩ යෝජනා ක්රමය

webhook ලැබෙන සේවාදායකයක් ස්ථාපනය කිරීම

ප්‍රකාශන සේවාවට දායක වන්න

webhook ලැබෙන සේවාදායකයේ විස්තරය

වැඩ පිළිබඳ උදාහරණයක්

නිගමනය සහ ToDo

අදහස් එක් කරන්න

S3 වස්තු ආචයනය Mail.ru Cloud Solutions හි webhooks මත පදනම් වූ සිදුවීම් මත පදනම් වූ යෙදුමක උදාහරණයක්

වැඩ යෝජනා ක්රමය

webhook ලැබෙන සේවාදායකයක් ස්ථාපනය කිරීම

ප්‍රකාශන සේවාවට දායක වන්න

webhook ලැබෙන සේවාදායකයේ විස්තරය

වැඩ පිළිබඳ උදාහරණයක්

නිගමනය සහ ToDo

අදහස් එක් කරන්න ඊ-මේල් මගින් පිලිතුරු දෙන්න අවලංගු

අදහස් එක් කරන්න