🥇Një repository të thjeshtë rpm duke përdorur Inotify dhe webdav

Në këtë postim, do të shqyrtojmë magazinimin e artefakteve RPM duke përdorur një skenar të thjeshtë me inotify + createrepo. Ngarkimi i artefakteve bëhet përmes webdav duke përdorur apache httpd. Pse apache httpd do të diskutohet më afër fundi të postimit.

Pra, zgjidhja duhet të përmbushë kërkesat e mëposhtme për të organizuar një magazinë vetëm RPM:

Falas
Disponueshmëria e paketës në depo në disa sekonda pas ngarkimit në magazinën e artefakteve.
E thjeshtë për t'u instaluar dhe mbajtur
Mundësia për të krijuar disponueshmëri të lartë (high availability)
Pse jo SonaType Nexus ose Pulp:
Magazinimi në SonaType Nexus ose Pulp tipet e ndryshme të artefakteve shkakton që SonaType Nexus ose Pulp të bëhen një pikë e vetme dështimi.
Disponueshmëria e lartë (high availability) në SonaType Nexus është me pagesë.
Pulp Më duket si një zgjidhje e tepruar.
Artefaktet në SonaType Nexus ruhen në blob. Nëse ndodh një ndërprerje e papritur e energjisë, nuk do të jeni në gjendje të rikuperoni blob-in, nëse nuk keni një kopje rezervë. Ne patëm një gabim të tillë: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Gabim gjatë leximit të të dhënave për skedarin 'privilege_5.pcl' 1-shi përpjekje [java.io](http://java.io/).IOException: Adresë e keqe. Blob-i nuk u rikuperua.

Kodi burimor

→ Kodi burimor ndodhet këtu

Skenari kryesor duket si më poshtë:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Instalimi

Inotify-createrepo funksionon vetëm në CentOS 7 ose më sipër. Në CentOS 6 nuk arrita ta bëj të funksionojë.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Konfigurimi

Në mënyrë default, inotify-createrepo monitoron drejtorinë /var/www/repos/rpm-repo/.

Kjo drejtorinë mund të ndryshohet në skedarin /etc/inotify-createrepo.conf.

Përdorimi

Kur shtohet një skedar në drejtorinë /var/www/repos/rpm-repo/ inotifywait do të krijojë një skedari /tmp/need_create. Funksioni run_createrepo ekzekutohet në një cikël të pafund dhe monitoron skedarin /tmp/need_create. Nëse skedari ekziston, atëherë ekzekutohet createrepo --update.

Skedari do të përmbajë një hyrje:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Mundësia për të krijuar disponueshmëri të lartë (high availability)

Për të bërë disponueshmëri të lartë (high availability) nga një zgjidhje ekzistuese, mendoj se mund të përdorim 2 serverë, Keepalived për HA dhe Lsyncd për sinkronizimin e artefakteve. Lsyncd — një demon që ndjek ndryshimet në drejtorinë lokale, i grumbullon ato dhe pas një periudhe kohe nis rsync për t'i sinkronizuar. Detajet dhe konfigurimi janë përshkruar në postimin "Sinkronizimi i shpejtë i një miliard skedarëve".

WebDav

Skedarët mund të ngarkohen në disa mënyra: SSH, NFS, WebDav. WebDav duket si një mundësi moderne dhe e thjeshtë.

Për WebDav do të përdorim Apache httpd. Pse Apache httpd në vitin 2020, dhe jo nginx?

Dëshironi të përdorni mjete automatike për ndërtimin e Nginx + modulet (për shembull, Webdav).

Ka një projekt për ndërtimin e Nginx + modulet — Nginx-builder. Nëse përdoret nginx + wevdav për ngarkimin e skedarëve, atëherë nevojitet moduli nginx-dav-ext-module. Gjatë përpjekjes për të ndërtuar dhe përdorur Nginx me nginx-dav-ext-module me ndihmën e Nginx-builder ne do të marrim një gabim Used by http_dav_module instead of nginx-dav-ext-module. Po njëjtin gabim e kemi mbyllur verën e kaluar nginx: [emerg] direktivë e panjohur dav_methods.

Kam bërë Pull request Add check git_url for embedded, refactored —with-{}_module dhe nëse moduli është "http_dav_module" shtoni —with. Por ata nuk e pranuan.

Konfigurations webdav.conf

DavLockDB /var/www/html/DavLock

    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted

Mendoi se konfigurimin tjetër të Apache httpd do ta bëni vetë.

Nginx para Apache httpd

Ndryshe nga Apache, Nginx përdor një model ngjarjesh për përpunimin e kërkesave, çka do të thotë se për çdo numër klientësh nevojitet vetëm një proces HTTP-server. Mund të përdorni nginx dhe të ulni ngarkesën në server.

Konfigurations nginx-front.conf. Mendoi se konfigurimin tjetër të nginx do ta bëni vetë.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Ngarkimi i skedarëve përmes WebDav

Ngarkimi i rpm është shumë i thjeshtë.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Burimi: habr.com

Një repozitor i thjeshtë rpm duke përdorur Inotify dhe webdav