ProHoster > Blog > administration > Simpelt rpm-lager ved hjælp af Inotify og webdav

Simpelt rpm-lager ved hjælp af Inotify og webdav

I dette indlæg vil vi se på et rpm-artefaktlager ved hjælp af et simpelt inotify + createrepo-script. Artefakter uploades via webdav ved hjælp af apache httpd. Hvorfor apache httpd vil blive skrevet i slutningen af ​​indlægget.

Så løsningen skal opfylde følgende krav for kun at organisere RPM-lagring:

  • gratis

  • Pakkens tilgængelighed i lageret få sekunder efter upload til artefaktlageret.

  • Nem at installere og vedligeholde

  • Evne til at gøre høj tilgængelighed

    Hvorfor ikke SonaType Nexus eller Pulp:

  • Opbevaring i SonaType Nexus eller Pulp mange typer artefakter fører til, at SonaType Nexus eller Pulp blive et enkelt fiasko.

  • Høj tilgængelighed i SonaType Nexus er betalt.

  • Pulp Det virker som en overkonstrueret løsning for mig.

  • Artefakter i SonaType Nexus opbevaret i klat. I tilfælde af et pludseligt strømafbrydelse vil du ikke kunne genoprette klatten, hvis du ikke har en backup. Vi havde denne fejl: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Blob blev aldrig genfundet.

Kildekode

→ Kildekoden findes her

Hovedscriptet ser således ud:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Installation

inotify-createrepo virker kun på CentOS 7 eller nyere. Kunne ikke få det til at virke på CentOS 6.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Konfiguration

Som standard overvåger inotify-createrepo en mappe /var/www/repos/rpm-repo/.

Du kan ændre denne mappe i filen /etc/inotify-createrepo.conf.

Brug

Når du tilføjer en fil til en mappe /var/www/repos/rpm-repo/ inotifywait vil oprette en fil /tmp/need_create. Run_createrepo-funktionen kører i en uendelig løkke og overvåger filen /tmp/need_create. Hvis filen findes, så kør createrepo --update.

Der vises en post i filen:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Evne til at gøre høj tilgængelighed

For at gøre høj tilgængelighed ud af en eksisterende løsning, tror jeg, du kan bruge 2 servere, Keepalived til HA og Lsyncd til artefaktsynkronisering. Lsyncd - en dæmon, der overvåger ændringer i den lokale mappe, samler dem, og efter en vis tid begynder rsync at synkronisere dem. Detaljer og indstillinger er beskrevet i indlægget "Hurtig synkronisering af en milliard filer".

WebDav

Der er flere måder at uploade filer på: SSH, NFS, WebDav. WebDav ser ud til at være en moderne og enkel mulighed.

Til WebDav vil vi bruge Apache httpd. Hvorfor Apache httpd i 2020 og ikke nginx?

Jeg vil gerne bruge automatiserede værktøjer til at bygge Nginx + moduler (for eksempel Webdav).

Der er et projekt til at bygge Nginx + moduler - nginx-builder. Hvis du bruger nginx + wevdav til at uploade filer, så har du brug for et modul nginx-dav-ext-modul. Når du prøver at bygge og bruge Nginx med nginx-dav-ext-modul ved hjælp af nginx-builder vi får en fejl Brugt af http_dav_module i stedet for nginx-dav-ext-module. Den samme fejl blev lukket om sommeren nginx: [emerg] ukendt direktiv dav_methods.

Jeg lavede en pull-anmodning Tilføj check git_url for embedded, refactored --with-{}_module и hvis modul == "http_dav_module" tilføj --med. Men de blev ikke accepteret.

config webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Jeg tror, ​​du vil gøre resten af ​​Apache httpd-konfigurationen selv.

Nginx foran Apache httpd

I modsætning til Apache bruger Nginx en hændelsesbaseret anmodningsbehandlingsmodel, hvilket betyder, at der kun kræves én HTTP-serverproces for et vilkårligt antal klienter. Du kan bruge nginx og reducere serverbelastningen.

nginx-front.conf config. Jeg tror, ​​du vil gøre resten af ​​nginx-konfigurationen selv.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Download af filer via WebDav

Det er meget nemt at downloade rpm.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Kilde: www.habr.com

Tilføj en kommentar