ProHoster > Օրագիր > Վարչակազմը > Պարզ rpm պահոց՝ օգտագործելով Inotify և webdav

Պարզ rpm պահոց՝ օգտագործելով Inotify և webdav

Այս գրառման մեջ մենք կդիտարկենք rpm artifact-ի պահոցը՝ օգտագործելով պարզ inotify + createrepo script: Արտեֆակտները վերբեռնվում են webdav-ի միջոցով՝ օգտագործելով apache httpd: Ինչու apache httpd-ը գրվելու է գրառման վերջում:

Այսպիսով, լուծումը պետք է համապատասխանի հետևյալ պահանջներին միայն RPM պահեստավորում կազմակերպելու համար.

  • ազատ

  • Փաթեթի առկայությունը պահոցում արտեֆակտի պահոց վերբեռնվելուց մի քանի վայրկյան անց:

  • Հեշտ է տեղադրել և պահպանել

  • Բարձր հասանելիություն ստեղծելու ունակություն

    Ինչու ոչ SonaType Nexus կամ Միջուկ:

  • Պահպանման մեջ SonaType Nexus կամ Միջուկ բազմաթիվ տեսակի արտեֆակտներ հանգեցնում են նրան, որ SonaType Nexus կամ Միջուկ դառնալ ձախողման մեկ կետ:

  • Բարձր հասանելիություն SonaType Nexus վճարվում է։

  • Միջուկ Ինձ թվում է չափազանց բարդ լուծում:

  • Արտեֆակտներ SonaType Nexus պահվում են բլոբի մեջ: Եթե ​​հանկարծակի հոսանքազրկվի, դուք չեք կարողանա վերականգնել բլբը, եթե չունեք կրկնօրինակում: Մենք ունեինք այս սխալը. ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Բլոբը երբեք չի վերականգնվել:

Աղբյուրի կոդը

→ Աղբյուրի կոդը գտնվում է այստեղ

Հիմնական սցենարն ունի հետևյալ տեսքը.

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Տեղակայում

Inotify-createrepo-ն աշխատում է միայն CentOS 7 կամ ավելի նոր օպերացիոն համակարգով: Չհաջողվեց ստիպել այն աշխատել CentOS 6-ում:

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Կոնֆիգուրացիա

Լռելյայնորեն, inotify-createrepo-ն վերահսկում է գրացուցակը /var/www/repos/rpm-repo/.

Դուք կարող եք փոխել այս գրացուցակը ֆայլում /etc/inotify-createrepo.conf.

Օգտագործում

Ցանկացած ֆայլ գրացուցակում ավելացնելիս /var/www/repos/rpm-repo/ inotifywait-ը կստեղծի ֆայլը /tmp/need_create. Run_createrepo ֆունկցիան աշխատում է անսահման հանգույցով և վերահսկում է ֆայլը /tmp/need_create. Եթե ​​ֆայլը գոյություն ունի, այն աշխատում է createrepo --update.

Ֆայլում կհայտնվի գրառում.

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Բարձր հասանելիություն ստեղծելու ունակություն

Գոյություն ունեցող լուծումից բարձր հասանելիություն ստեղծելու համար, կարծում եմ, կարող եք օգտագործել 2 սերվեր՝ Keepalived HA-ի համար և Lsyncd՝ արտեֆակտների համաժամացման համար: Lsyncd - Դեյմոն, որը վերահսկում է տեղական գրացուցակի փոփոխությունները, համախմբում դրանք և որոշակի ժամանակ անց rsync-ը սկսում է համաժամացնել դրանք: Մանրամասները և կարգավորումները նկարագրված են գրառման մեջ"Միլիարդ ֆայլերի արագ համաժամացում".

webdav

Ֆայլերը վերբեռնելու մի քանի եղանակ կա՝ SSH, NFS, WebDav: WebDav-ը կարծես ժամանակակից և պարզ տարբերակ է:

WebDav-ի համար մենք կօգտագործենք Apache httpd. Ինչու Apache httpd-ը 2020 թվականին և ոչ թե nginx-ը:

Ես կցանկանայի օգտագործել ավտոմատացված գործիքներ Nginx + մոդուլներ կառուցելու համար (օրինակ, Webdav):

Nginx + մոդուլներ կառուցելու նախագիծ կա. Nginx-շինարար. Եթե ​​դուք օգտագործում եք nginx + wevdav ֆայլեր վերբեռնելու համար, ապա ձեզ անհրաժեշտ է մոդուլ nginx-dav-ext-module. Երբ փորձում եք կառուցել և օգտագործել Nginx-ը nginx-dav-ext-module միջոցով Nginx-շինարար մենք սխալ կստանանք Օգտագործվում է http_dav_module-ի կողմից nginx-dav-ext-module-ի փոխարեն. Նույն սխալը փակվեց ամռանը nginx: [emerg] անհայտ հրահանգ dav_methods.

Ես «Pull»-ի հարցում արեցի Ավելացրեք ստուգման git_url՝ ներկառուցված, վերամշակված՝-{}_module-ով и եթե մոդուլ == «http_dav_module» կցեք -- հետ. Բայց նրանք չընդունվեցին։

Config webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Կարծում եմ, որ դուք կարող եք անել մնացած Apache httpd կարգավորումը ինքներդ:

Nginx Apache-ից առաջ httpd

Ի տարբերություն Apache-ի, Nginx-ը օգտագործում է իրադարձության վրա հիմնված հարցումների մշակման մոդել, որը պահանջում է միայն մեկ HTTP սերվերի գործընթաց ցանկացած թվով հաճախորդների համար: Դուք կարող եք օգտագործել nginx և նվազեցնել սերվերի բեռը:

Config nginx-front.conf. Կարծում եմ, որ մնացած nginx կոնֆիգուրացիան դուք ինքներդ կկատարեք:

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Ֆայլերի վերբեռնում WebDav-ի միջոցով

Rpm բեռնելը շատ պարզ է:

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Source: www.habr.com

Добавить комментарий