ProHoster > Blog > Adminisztráció > Egyszerű rpm adattár az Inotify és a webdav használatával

Egyszerű rpm adattár az Inotify és a webdav használatával

Ebben a bejegyzésben egy rpm műterméktárat fogunk megnézni egy egyszerű inotify + createrepo szkript segítségével. A műtermékek feltöltése a webdav-n keresztül történik az apache httpd használatával. Hogy miért apache httpd, azt a bejegyzés vége felé írjuk.

Tehát a megoldásnak meg kell felelnie a következő követelményeknek, ha csak RPM-tárolást szeretne szervezni:

  • Ingyenes

  • A csomag elérhetősége a tárban néhány másodperccel a műterméktárba való feltöltés után.

  • Könnyen telepíthető és karbantartható

  • A magas rendelkezésre állás képessége

    Miért ne SonaType Nexus vagy Pép:

  • Tárolás be SonaType Nexus vagy Pép sokféle műtárgy arra a tényre vezet SonaType Nexus vagy Pép egyetlen kudarcponttá váljon.

  • Magas rendelkezésre állás itt SonaType Nexus ki van fizetve.

  • Pép Nekem túltervezett megoldásnak tűnik.

  • Műtárgyak benne SonaType Nexus blobban tárolva. Hirtelen áramszünet esetén nem tudja visszaállítani a blobot, ha nincs biztonsági másolata. Nálunk ez volt a hiba: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Blobot soha nem hozták vissza.

Forráskód

→ A forráskód található itt

A fő szkript így néz ki:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Telepítés

Az inotify-createrepo csak CentOS 7 vagy újabb rendszeren működik. Nem sikerült működésre bírni a CentOS 6-on.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Konfiguráció

Alapértelmezés szerint az inotify-createrepo egy könyvtárat figyel /var/www/repos/rpm-repo/.

Ezt a könyvtárat módosíthatja a fájlban /etc/inotify-createrepo.conf.

Használat

Ha bármilyen fájlt ad hozzá egy könyvtárhoz /var/www/repos/rpm-repo/ Az inotifywait létrehoz egy fájlt /tmp/need_create. A run_createrepo függvény egy végtelen ciklusban fut, és figyeli a fájlt /tmp/need_create. Ha a fájl létezik, futtassa createrepo --update.

Megjelenik egy bejegyzés a fájlban:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

A magas rendelkezésre állás képessége

Ahhoz, hogy egy meglévő megoldásból magas rendelkezésre állást hozzon létre, szerintem használhat 2 kiszolgálót, a Keepalivedet a HA-hoz és az Lsyncd-t a műtermékek szinkronizálásához. Lsyncd - egy démon, amely figyeli a helyi könyvtár változásait, összesíti azokat, majd egy bizonyos idő elteltével az rsync elkezdi szinkronizálni őket. Részletek és beállítások a bejegyzésben találhatók "Egymilliárd fájl gyors szinkronizálása".

WebDav

A fájlok feltöltésének többféle módja van: SSH, NFS, WebDav. A WebDav modern és egyszerű lehetőségnek tűnik.

A WebDav esetében az Apache httpd-t fogjuk használni. Miért az Apache httpd 2020-ban és nem az nginx?

Automatizált eszközöket szeretnék használni az Nginx + modulok felépítéséhez (például Webdav).

Van egy projekt az Nginx + modulok építésére - nginx-builder. Ha nginx + wevdav-t használ a fájlok feltöltéséhez, akkor szüksége van egy modulra nginx-dav-ext-modul. Amikor megpróbálja létrehozni és használni az Nginxet nginx-dav-ext-modul révén nginx-builder hibát fogunk kapni A http_dav_module használja az nginx-dav-ext-module helyett. Ugyanezt a hibát a nyáron lezárták nginx: [emerg] ismeretlen direktíva dav_methods.

Lehúzási kérést tettem Adja hozzá a git_url ellenőrzését a beágyazott, újrafaktorált --with-{}_module-hoz и if module == "http_dav_module" append --with. De nem fogadták el.

config webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Azt hiszem, az Apache httpd konfigurációjának többi részét maga fogja elvégezni.

Nginx az Apache előtt httpd

Az Apache-tól eltérően az Nginx eseményalapú kérésfeldolgozási modellt használ, ami azt jelenti, hogy tetszőleges számú klienshez csak egy HTTP-kiszolgálófolyamat szükséges. Használhatja az nginx-et és csökkentheti a szerver terhelését.

nginx-front.conf config. Szerintem a többi nginx konfigurációt magad fogod elvégezni.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Fájlok letöltése a WebDav segítségével

Az rpm letöltése nagyon egyszerű.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Forrás: will.com

Hozzászólás