🥇Egyszerű rpm repository inotify és webdav használatával

Ebben a bejegyzésben az rpm artefaktumok tárolásának módját vizsgáljuk meg egy egyszerű inotify + createrepo script segítségével. Az artefaktumok feltöltése webdav-on keresztül történik az Apache httpd segítségével. Az Apache httpd miért szerepel majd a bejegyzés végén.

Tehát a megoldásnak az alábbi követelményeknek kell megfelelnie egy kizárólag RPM tároló létrehozásához:

Ingyenes
A csomag hozzáférése a tárolóban néhány másodpercen belül a tárolóba való feltöltése után.
Könnyen telepíthető és karbantartható
Lehetőség a magas rendelkezésre állás (high availability) megteremtésére
Miért nem SonaType Nexus vagy Pulp:
A tárolás SonaType Nexus vagy Pulp sokféle artefaktum esetén azt eredményezi, hogy SonaType Nexus vagy Pulp egyetlen hibaelhárító ponttá válnak.
A magas rendelkezésre állás (high availability) a SonaType Nexus fizetős.
Pulp Szerintem ez egy túl bonyolult megoldás.
Az artefaktumok a SonaType Nexus blobban tárolódnak. Hirtelen áramszünet esetén nem tudja visszaállítani a blobot, ha nincs biztonsági másolata. Volt egy ilyen hiba: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Hiba az adat olvasása során a 'privilege_5.pcl' fájlból, 1. próbálkozás [java.io](http://java.io/).IOException: Rossz cím. A blobot végül nem állították helyre.

Forráskód

→ A forráskód itt található itt

A fő script így néz ki:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Telepítés

Inotify-createrepo csak CentOS 7-en vagy újabb verziókon működik. CentOS 6-on nem tudtuk működésre bírni.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Konfiguráció

Alapértelmezés szerint az inotify-createrepo a könyvtárat figyeli /var/www/repos/rpm-repo/.

Ezt a könyvtárat a /etc/inotify-createrepo.conf.

Használat

fájlban módosíthatja /var/www/repos/rpm-repo/ Bármilyen fájl hozzáadásakor a könyvtárhoz /tmp/need_createaz inotifywait generál egy fájlt /tmp/need_create. A run_createrepo funkció végtelen ciklusban fut és figyeli a fájlt . Ha a fájl létezik, akkor elindul a.

createrepo --update

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Lehetőség a magas rendelkezésre állás (high availability) megteremtésére

A fájlban egy bejegyzés fog megjelenni: Lsyncd — egy démon, amely figyeli a helyi könyvtár változásait, aggregálja azokat, és egy adott idő elteltével elindít egy rsync folyamatot a szinkronizálásra. Részletek és beállítások a "Egy milliárd fájl gyors szinkronizálása".

WebDav

Fájlokat több módon lehet feltölteni: SSH, NFS, WebDav. A WebDav modernnek és egyszerű lehetőségnek tűnik.

A WebDav-hoz az Apache httpd-t fogjuk használni. Miért az Apache httpd 2020-ban, nem pedig az nginx?

Automatizált eszközöket szeretnénk használni az Nginx + modulok összeállításához (például Webdav).

Van egy projekt az Nginx + modulok összeállításáról — Nginx-builder. Ha az nginx + webdavot használjuk fájlok feltöltésére, akkor szükség van a nginx-dav-ext-modulemodulra. Ha megpróbáljuk összeállítani és használni az Nginx-et ezzel, nginx-dav-ext-module a Nginx-builder akkor hibát fogunk kapni. Használja az http_dav_module-t az nginx-dav-ext-module helyett.Ugyanez a hiba nyáron megoldásra került. nginx: [emerg] ismeretlen utasítás dav_methods.

Készítettem egy Pull requestet. Add check git_url for embedded, refactored —with-{}_module és if module == "http_dav_module" append —with. De ezt nem fogadták el.

webdav.conf konfiguráció

DavLockDB /var/www/html/DavLock

    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted

A többi Apache httpd beállítást gondolom, megoldjátok magatok.

Nginx az Apache httpd előtt

Az Apache-jal ellentétben az Nginx eseményalapú kérések feldolgozási modellt használ, ennek köszönhetően bármennyi ügyfélhez csak egy HTTP-szerver folyamat szükséges. Használhatja az nginx-et, és csökkentheti a szerver terhelését.

nginx-front.conf konfiguráció. Gondolom, a többi nginx beállítást meg tudjátok oldani magatok.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name a-te-virtuális-hostod;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Fájlok feltöltése WebDav-on keresztül

Az rpm feltöltése nagyon egyszerű.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://a-te-virtuális-hostod/rpm/

Forrás: habr.com

Egyszerű rpm tároló Inotify és webdav használatával