ProHoster > blog > amministrazione > Repository rpm semplice utilizzando Inotify e webdav

Repository rpm semplice utilizzando Inotify e webdav

In questo post, esamineremo un repository di artefatti rpm utilizzando un semplice script inotify + createrepo. Gli artefatti vengono caricati tramite webdav utilizzando apache httpd. Perché apache httpd verrà scritto verso la fine del post.

Pertanto, la soluzione deve soddisfare i seguenti requisiti per organizzare solo l'archiviazione RPM:

  • Gratuito

  • Disponibilità del pacchetto nel repository pochi secondi dopo il caricamento nel repository degli artefatti.

  • Facile da installare e mantenere

  • Capacità di fare alta disponibilità

    Perchè no SonaType Nexus o Polpa:

  • Stoccaggio in SonaType Nexus o Polpa molti tipi di artefatti porta al fatto che SonaType Nexus o Polpa diventare un singolo punto di errore.

  • Alta disponibilità in SonaType Nexus è pagato.

  • Polpa Mi sembra una soluzione troppo ingegnerizzata.

  • Manufatti dentro SonaType Nexus memorizzato nel blob. In caso di interruzione improvvisa dell'alimentazione, non sarà possibile ripristinare il BLOB se non si dispone di un backup. Abbiamo avuto questo errore: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Blob non è mai stato recuperato.

Codice sorgente

→ Il codice sorgente è stato individuato qui

Lo script principale è simile a questo:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Installazione

inotify-createrepo funziona solo su CentOS 7 o versioni successive. Impossibile farlo funzionare su CentOS 6.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Configurazione

Per impostazione predefinita, inotify-createrepo monitora una directory /var/www/repos/rpm-repo/.

È possibile modificare questa directory nel file /etc/inotify-createrepo.conf.

l'uso di

Quando si aggiunge un file a una directory /var/www/repos/rpm-repo/ inotifywait creerà un file /tmp/need_create. La funzione run_createrepo viene eseguita in un ciclo infinito e monitora il file /tmp/need_create. Se il file esiste, eseguilo createrepo --update.

Una voce apparirà nel file:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Capacità di fare alta disponibilità

Per ottenere un'elevata disponibilità da una soluzione esistente, penso che tu possa utilizzare 2 server, Keepalived per HA e Lsyncd per la sincronizzazione degli artefatti. Lsync - un demone che monitora le modifiche nella directory locale, le aggrega e, dopo un certo tempo, rsync inizia a sincronizzarle. Dettagli e impostazioni sono descritti nel post "Sincronizzazione rapida di un miliardo di file".

WebDav

Esistono diversi modi per caricare i file: SSH, NFS, WebDav. WebDav sembra essere un'opzione moderna e semplice.

Per WebDav, useremo Apache httpd. Perché Apache httpd nel 2020 e non nginx?

Vorrei utilizzare strumenti automatizzati per la creazione di moduli Nginx + (ad esempio Webdav).

Esiste un progetto per la creazione di moduli Nginx + - nginx builder. Se usi nginx + wevdav per caricare i file, allora hai bisogno di un modulo nginx-dav-ext-modulo. Quando si tenta di creare e utilizzare Nginx con nginx-dav-ext-modulo con nginx builder otterremo un errore Usato da http_dav_module invece di nginx-dav-ext-module. Lo stesso bug è stato chiuso in estate nginx: [emerg] direttiva sconosciuta dav_methods.

Ho fatto una richiesta pull Aggiungi check git_url per --with-{}_module incorporato, refactored и if module == "http_dav_module" aggiungi --with. Ma non sono stati accettati.

configurare webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Penso che farai tu stesso il resto della configurazione httpd di Apache.

Nginx davanti ad Apache httpd

A differenza di Apache, Nginx utilizza un modello di elaborazione delle richieste basato su eventi, il che significa che è richiesto un solo processo del server HTTP per un numero qualsiasi di client. Puoi usare nginx e ridurre il carico del server.

nginx-front.conf config. Penso che farai tu stesso il resto della configurazione di nginx.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Download di file tramite WebDav

Scaricare rpm è molto semplice.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Fonte: habr.com

Aggiungi un commento