Lihtne rpm hoidla, kasutades Inotify ja webdav

Selles postituses vaatleme rpm artefaktide ladustamist lihtsa skripti abil, mis kasutab inotify + createrepo. Artefaktide laadimine toimub webdavi kaudu, kasutades apache httpd-d. Miks apache httpd-st räägitakse postituse lõpus?

Seega peab lahendus vastama järgmistele nõudmistele ainult RPM hoidla loomiseks:

• Tasuta

• Paketi kättesaadavus hoidlas mõne sekundi jooksul pärast artefakti laadimist.

• Lihtne paigaldada ja hooldada

• Võimalus tagada kõrge kättesaadavus (high availability)

  Miks mitte SonaType Nexus või Pulp:

• Ladustamine SonaType Nexus või Pulp paljusid tüüpe artefakte põhjustab see, et SonaType Nexus või Pulp saab üheks tõrke punktiks.

• Kõrge kättesaadavus (high availability) on SonaType Nexus tasuline.

• Pulp tundub mulle liiga keeruline lahendus.

• Artefaktid SonaType Nexus ladustatakse blobis. Äkitsel elektrikatkestusel ei saa te blobi taastada, kui teil pole varukoopiaid. Meil oli selline viga: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Andmete lugemise viga faili 'privilege_5.pcl' 1. katse [java.io](http://java.io/).IOException: Vale aadress. Blob ei taastunud.

Allika kood

→ Allikakood asub siit

Peamine skript välja näeb välja järgmine:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Paigaldamine

Inotify-createrepo töötab ainult CentOS 7 või uuematel. CentOS 6-l ei õnnestunud seda tööle panna.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Konfigureerimine

Vaikimisi jälgib inotify-createrepo kausta /var/www/repos/rpm-repo/.

Seda kausta saab muuta failis /etc/inotify-createrepo.conf.

Kasutamine

Iga kord, kui kausta lisatakse fail /var/www/repos/rpm-repo/ inotifywait loob faili /tmp/need_create. Funktsioon run_createrepo töötab lõputus tsüklis ja jälgib faili /tmp/need_create. Kui fail eksisteerib, käivitub createrepo --update.

Failis ilmub märge:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Võimalus tagada kõrge kättesaadavus (high availability)

Kuna luua kõrge kättesaadavus (high availability) olemasolevast lahendusest, arvan, et võime kasutada 2 serverit, Keepalived HA jaoks ja Lsyncd artefaktide sünkroniseerimiseks. Lsyncd — daemon, mis jälgib muudatusi kohalikus kaustas, kogub need ja teatud aja pärast käivitab rsync nende sünkroniseerimiseks. Üksikasjad ja seadistamine on kirjas postituses "Kiirus sünkroniseerida miljard faili".

WebDav

Faile saab üles laadida mitmel viisil: SSH, NFS, WebDav. WebDav tundub olevat kaasaegne ja lihtne variant.

WebDavi jaoks kasutame Apache httpd-d. Miks Apache httpd aastal 2020, mitte nginx?

Soovite kasutada automatiseeritud vahendeid Nginx + moodulite kogumiseks (näiteks Webdav).

On projekt Nginx + moodulite kogumiseks — Nginx-builder. Kui kasutada nginx + wevdav failide laadimiseks, siis on vajalik moodul nginx-dav-ext-module. Proovi Nginx'i koguda ja kasutada koos nginx-dav-ext-module kohtudes Nginx-builder saame veateate Kasutatud http_dav_module asemel nginx-dav-ext-module. Sama viga suleti suvel nginx: [emerg] tundmatu direktiiv dav_methods.

Tehtud Pull request Lisa git_url kontroll sisestate, refaktoreeritud —with-{}_module ja kui moodul == "http_dav_module" lisa —with. Kuid neid ei aktsepteeritud.

Config webdav.conf

DavLockDB /var/www/html/DavLock

    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted

Ülejäänud Apache httpd seadistuse teete ilmselt ise.

Nginx enne Apache httpd

Erinevalt Apachest kasutab Nginx sündmustepõhist mudelit päringute töötlemiseks, võimaldades mis tahes arvu klientide jaoks kasutada vaid ühte HTTP-serveri protsessi. Saate kasutada nginx'i ja vähendada serveri koormust.

Config nginx-front.conf. Ülejäänud nginx seadistuse teete ilmselt ise.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name teie-virtuaalne-host;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Failide laadimine läbi WebDav

RPM laadimine on väga lihtne.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://teie-virtuaalne-host/rpm/

Allikas: habr.com