🥇Prosty repozytorium rpm wykorzystujący Inotify i webdav

W tym poście przyjrzymy się przechowywaniu artefaktów RPM przy użyciu prostego skryptu z inotify + createrepo. Przesyłanie artefaktów odbywa się przez WebDAV, korzystając z Apache HTTPD. Dlaczego Apache HTTPD zostanie omówione bliżej końca posta.

Zatem rozwiązanie musi spełniać następujące wymagania do stworzenia wyłącznie repozytorium RPM:

Darmowe
Dostępność pakietu w repozytorium w kilka sekund po załadowaniu go do przechowalni artefaktów.
Łatwe w instalacji i utrzymaniu
Możliwość zapewnienia wysokiej dostępności (high availability)
Dlaczego nie SonaType Nexus lub Pulp:
Przechowywanie w SonaType Nexus lub Pulp wielu typach artefaktów prowadzi do tego, że SonaType Nexus lub Pulp stają się jednolitym punktem awarii.
Wysoka dostępność (high availability) w SonaType Nexus jest płatna.
Pulp Wydaje mi się, że to zbyt skomplikowane rozwiązanie.
Artefakty w SonaType Nexus są przechowywane w blob. W przypadku nagłego odcięcia prądu nie będziesz w stanie przywrócić bloba, jeśli nie masz kopii zapasowej. Mieliśmy taki błąd: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Błąd podczas odczytu danych z pliku 'privilege_5.pcl' 1-sza próba [java.io](http://java.io/).IOException: Zły adres. Bloba nie udało się odzyskać.

Kod źródłowy

→ Kod źródłowy znajduje się tutaj

Główny skrypt wygląda tak:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Instalacja

Inotify-createrepo działa tylko na CentOS 7 lub wyższych. Na CentOS 6 nie udało się go uruchomić.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Konfiguracja

Domyślnie inotify-createrepo monitoruje katalog /var/www/repos/rpm-repo/.

Można zmienić ten katalog w pliku /etc/inotify-createrepo.conf.

Użycie

Po dodaniu jakiegokolwiek pliku do katalogu /var/www/repos/rpm-repo/ inotifywait utworzy plik /tmp/need_create. Funkcja run_createrepo działa w nieskończonej pętli i monitoruje plik /tmp/need_create. Jeżeli plik istnieje, uruchamiane jest createrepo --update.

W pliku pojawi się wpis:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Możliwość zapewnienia wysokiej dostępności (high availability)

Aby zapewnić wysoką dostępność (high availability) z istniejącego rozwiązania, myślę, że można użyć 2 serwerów, Keepalived do HA i Lsyncd do synchronizacji artefaktów. Lsyncd — demon, który monitoruje zmiany w lokalnym katalogu, agreguje je, a po pewnym czasie uruchamia rsync do ich synchronizacji. Szczegóły i konfiguracja opisane są w poście "Szybka synchronizacja miliarda plików".

WebDav

Pliki można przesyłać na kilka sposobów: SSH, NFS, WebDav. WebDav wydaje się nowoczesną i prostą opcją.

Do WebDav będziemy używać Apache HTTPD. Dlaczego Apache HTTPD w 2020 roku, a nie Nginx?

Chciałbyś użyć zautomatyzowanych narzędzi do budowy Nginx + moduły (na przykład, Webdav).

Jest projekt budowy Nginx + moduły — Nginx-builder. Jeśli użyjesz nginx + wevdav do przesyłania plików, potrzebny będzie moduł nginx-dav-ext-module. Podczas próby zbudowania i użycia Nginx z nginx-dav-ext-module przy pomocy Nginx-builder otrzymamy błąd Używany przez http_dav_module zamiast nginx-dav-ext-module. Taki sam błąd został zgłoszony latem nginx: [emerg] unknown directive dav_methods.

Zrobiłem Pull request Dodaj sprawdzenie git_url dla embedded, przekształcone —with-{}_module i jeśli moduł == "http_dav_module" to dopisz —with. Ale go nie przyjęto.

Konfiguracja webdav.conf

DavLockDB /var/www/html/DavLock

    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted

Myślę, że pozostałą konfigurację Apache httpd zrobisz sam.

Nginx przed Apache httpd

W przeciwieństwie do Apache, Nginx używa modelu opartego na zdarzeniach do przetwarzania żądań, dzięki czemu dla dowolnej liczby klientów potrzebny jest tylko jeden proces HTTP serwera. Możesz użyć nginx i zmniejszyć obciążenie serwera.

Konfiguracja nginx-front.conf. Myślę, że resztę konfiguracji nginx zrobisz sam.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name twoj-wirtualny-host;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Przesyłanie plików przez WebDav

Przesyłanie rpm jest bardzo proste.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://twoj-wirtualny-host/rpm/

Źródło: habr.com

Prosty repozytorium rpm przy użyciu Inotify i webdav