🥇Um repositório rpm simples usando Inotify e webdav

Nesta postagem, veremos um repositório de artefatos rpm usando um script simples inotify + createrepo. Os artefatos são carregados via webdav usando Apache httpd. Por que o apache httpd será escrito no final do post.

Portanto, a solução deve atender aos seguintes requisitos para organizar apenas o armazenamento RPM:

Livre
Disponibilidade do pacote no repositório alguns segundos após o upload para o repositório de artefatos.
Fácil de instalar e manter
Capacidade de tornar a alta disponibilidade

Porque não SonaType Nexus ou Polpa:
Armazenamento em SonaType Nexus ou Polpa muitos tipos de artefatos leva ao fato de que SonaType Nexus ou Polpa tornar-se um ponto único de falha.
Alta disponibilidade em SonaType Nexus é pago.
Polpa Parece uma solução superprojetada para mim.
Artefatos em SonaType Nexus armazenado em blob. No caso de uma queda repentina de energia, você não poderá restaurar o blob se não tiver um backup. Tivemos este erro: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Blob nunca foi recuperado.

Código fonte

→ O código-fonte está localizado aqui

O script principal fica assim:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Instalação

inotify-createrepo funciona apenas no CentOS 7 ou superior. Não foi possível fazê-lo funcionar no CentOS 6.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Configuração

Por padrão, o inotify-createrepo monitora um diretório /var/www/repos/rpm-repo/.

Você pode alterar este diretório no arquivo /etc/inotify-createrepo.conf.

Usar

Ao adicionar qualquer arquivo a um diretório /var/www/repos/rpm-repo/ inotifywait criará um arquivo /tmp/need_create. A função run_createrepo é executada em um loop infinito e monitora o arquivo /tmp/need_create. Se o arquivo existir, execute createrepo --update.

Uma entrada aparecerá no arquivo:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Capacidade de tornar a alta disponibilidade

Para obter alta disponibilidade de uma solução existente, acho que você pode usar 2 servidores, Keepalived para HA e Lsyncd para sincronização de artefatos. LsyncdGenericName - um daemon que monitora as alterações no diretório local, as agrega e, após um certo tempo, o rsync começa a sincronizá-las. Detalhes e configurações estão descritos no post "Sincronização rápida de um bilhão de arquivos".

WebDav

Existem várias maneiras de fazer upload de arquivos: SSH, NFS, WebDav. O WebDav parece ser uma opção moderna e simples.

Para WebDav, usaremos Apache httpd. Por que Apache httpd em 2020 e não nginx?

Eu gostaria de usar ferramentas automatizadas para construir módulos Nginx + (por exemplo, Webdav).

Existe um projeto para construir módulos Nginx + - nginx-builder. Se você usar nginx + wevdav para fazer upload de arquivos, precisará de um módulo módulo nginx-dav-ext. Ao tentar construir e usar o Nginx com módulo nginx-dav-ext com nginx-builder vamos obter um erro Usado por http_dav_module em vez de nginx-dav-ext-module. O mesmo bug foi fechado no verão nginx: [emerg] diretiva desconhecida dav_methods.

fiz um pull request Adicionar check git_url para incorporado, refatorado --with-{}_module и se módulo == "http_dav_module" anexar --com. Mas eles não foram aceitos.

config webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Acho que você mesmo fará o restante da configuração do Apache httpd.

Nginx na frente do Apache httpd

Ao contrário do Apache, o Nginx usa um modelo de processamento de solicitações baseado em eventos, o que significa que apenas um processo de servidor HTTP é necessário para qualquer número de clientes. Você pode usar o nginx e reduzir a carga do servidor.

configuração nginx-front.conf. Acho que você mesmo fará o restante da configuração do nginx.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Baixando arquivos via WebDav

Baixar rpm é muito fácil.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Fonte: habr.com

Repositório rpm simples usando Inotify e webdav