ProHoster > Blog > Amministrazione > Repositoriu rpm simplice cù Inotify è webdav

Repositoriu rpm simplice cù Inotify è webdav

In questu post, guardemu un repository di artefatti rpm utilizendu un script inotify + createrepo simplice. L'artefatti sò caricati via webdav utilizendu apache httpd. Perchè apache httpd serà scrittu versu a fine di u post.

Dunque, a suluzione deve risponde à i seguenti requisiti per urganizà solu u almacenamentu RPM:

  • Libera

  • Disponibilità di u pacchettu in u repository uni pochi seconde dopu a carica in u repository di l'artefacti.

  • Facile à stallà è mantene

  • Capacità di fà alta dispunibilità

    Perchè nò SonaType Nexus o Pulp:

  • Storage in SonaType Nexus o Pulp parechji tippi di artefatti porta à u fattu chì SonaType Nexus o Pulp diventa un puntu unicu di fallimentu.

  • Alta dispunibilità in SonaType Nexus hè pagatu.

  • Pulp Mi pare una soluzione sopra ingegneria per mè.

  • Artefatti in SonaType Nexus conservatu in blob. In l'eventuali di una interrupzione brusca di l'energia, ùn sarete micca capaci di restaurà u blob se ùn avete micca una copia di salvezza. Avemu avutu questu errore: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. U blob ùn hè mai statu recuperatu.

Codice fonte

→ U codice fonte hè situatu ccà

U script principale s'assumiglia cusì:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

rimarchevuli

inotify-createrepo funziona solu in CentOS 7 o superiore. Ùn pudia micca fà travaglià in CentOS 6.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Cunfigurazione

Per difettu inotify-createrepo monitoreghja un annuariu /var/www/repos/rpm-repo/.

Pudete cambià stu cartulare in u schedariu /etc/inotify-createrepo.conf.

Usu

Quandu aghjunghje ogni schedariu à un cartulare /var/www/repos/rpm-repo/ inotifywait creà un schedariu /tmp/need_create. A funzione run_createrepo funziona in un ciclu infinitu è ​​monitoreghja u schedariu /tmp/need_create. Se u schedariu esiste, allora eseguite createrepo --update.

Una entrata apparirà in u schedariu:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Capacità di fà alta dispunibilità

Per fà una alta dispunibilità da una suluzione esistente, pensu chì pudete aduprà 2 servitori, Keepalived per HA è Lsyncd per a sincronizazione di l'artefact. Lsyncd - un daemon chì monitorizza i cambiamenti in u repertoriu lucale, l'aggrega, è dopu un certu tempu, rsync cumencia à sincronizà. I dettagli è i paràmetri sò descritti in u post "Sincronizazione rapida di un miliardo di schedari".

webdav

Ci hè parechje manere di carricà i schedari: SSH, NFS, WebDav. WebDav pare esse una opzione muderna è simplice.

Per WebDav, avemu aduprà Apache httpd. Perchè Apache httpd in 2020 è micca nginx?

Mi piacerebbe aduprà arnesi automatizati per custruisce moduli Nginx + (per esempiu, Webdav).

Ci hè un prughjettu per custruisce Nginx + moduli - nginx-builder. Se aduprate nginx + wevdav per carica i fugliali, allora avete bisognu di un modulu nginx-dav-ext-module. Quandu pruvate di custruisce è aduprà Nginx cù nginx-dav-ext-module cun l'aiutu di nginx-builder averemu un errore Adupratu da http_dav_module invece di nginx-dav-ext-module. U listessu bug era chjusu in l'estiu nginx: [emerg] direttiva scunnisciuta dav_methods.

Aghju fattu una dumanda di pull Aghjunghjite verificate git_url per l'embedded, refactored --with-{}_module и if module == "http_dav_module" append --with. Ma ùn eranu micca accettati.

config webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Pensu chì fate u restu di a cunfigurazione Apache httpd stessu.

Nginx davanti à Apache httpd

A cuntrariu d'Apache, Nginx usa un mudellu di prucessu di dumanda basatu in l'avvenimentu, chì significa chì solu un prucessu di u servitore HTTP hè necessariu per ogni numeru di clienti. Pudete aduprà nginx è riduce a carica di u servitore.

nginx-front.conf config. Pensu chì fate u restu di a cunfigurazione nginx sè stessu.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Scaricamentu di fugliali via WebDav

Scaricamentu rpm hè assai faciule.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Source: www.habr.com

Add a comment