🥇Прост rpm репозиторий, използвайки Inotify и webdav

В този пост ще разгледаме съхранението на RPM артефакти с помощта на прост скрипт с inotify + createrepo. Качването на артефакти се извършва чрез webdav, използвайки apache httpd. Защо apache httpd ще бъде написано по-нататък в поста.

Така че, решението трябва да отговаря на следните изисквания за организиране само на RPM хранилище:

Безплатно
Достъпност на пакета в репозитория само за няколко секунди след качването в хранилището на артефактите.
Лесно за инсталиране и поддържане
Възможност за осигуряване на висока наличност (high availability)
Защо не SonaType Nexus или Pulp:
Съхранението в SonaType Nexus или Pulp много типове артефакти води до това, че SonaType Nexus или Pulp становят единна точка на отказ.
Високата наличност (high availability) в SonaType Nexus е платена.
Pulp на мен ми изглежда като прекалено сложно решение.
Артефактите в SonaType Nexus се съхраняват в blob. При внезапно прекъсване на електричеството не можете да възстановите blob-а, ако нямате резервно копие. Имахме такава грешка: ГРЕШКА [ForkJoinPool.commonPool-worker-2] *СИСТЕМА [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Грешка при четене на данни от файл 'privilege_5.pcl' 1-во опит [java.io](http://java.io/).IOException: Лош адрес. Blob никога не беше възстановен.

Изходен код

→ Изходният код се намира тук

Основният скрипт изглежда така:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Инсталиране

Inotify-createrepo работи само на CentOS 7 или по-нови версии. На CentOS 6 не успяхме да накараме да работи.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Конфигуриране

По подразбиране inotify-createrepo следи директория /var/www/repos/rpm-repo/.

Можете да промените тази директория в файла /etc/inotify-createrepo.conf.

Използването

Когато добавите файл в директорията, /var/www/repos/rpm-repo/ inotifywait ще създаде файл /tmp/need_create. Функцията run_createrepo се изпълнява в безкраен цикъл и следи файла /tmp/need_create. Ако файлът съществува, стартира се createrepo --update.

В файла ще се появи запис:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Възможност за осигуряване на висока наличност (high availability)

За да осигурите висока наличност (high availability) от съществуващо решение, мисля, че можем да използваме 2 сървъра, Keepalived за HA и Lsyncd за синхронизация на артефакторите. Lsyncd — демон, който следи за промени в локалната директория, агрегира ги и след известно време стартира rsync за тяхната синхронизация. Подробности и конфигурация са описани в поста "Бърза синхронизация на милиарда файла".

WebDav

Файлове могат да се качват по няколко начина: SSH, NFS, WebDav. WebDav изглежда като модерен и прост вариант.

За WebDav ще използваме Apache httpd. Защо Apache httpd през 2020 година, а не nginx?

Искам да използвам автоматизирани средства за изграждане на Nginx + модули (например, Webdav).

Има проект за събиране на Nginx + модули — Nginx-builder. Ако се използва nginx + wevdav за качване на файлове, е нужен модул nginx-dav-ext-module. При опит за събиране и използване на Nginx с nginx-dav-ext-module с помощта на Nginx-builder ще получим грешка Използван от http_dav_module вместо nginx-dav-ext-module. Същата грешка беше затворена през лятото nginx: [emerg] unknown directive dav_methods.

Направих Pull request Add check git_url for embedded, refactored —with-{}_module и if module == "http_dav_module" append —with. Но те не го приеха.

Конфиг webdav.conf

DavLockDB /var/www/html/DavLock

    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted

Останалата настройка на Apache httpd мисля, че ще направите сами.

Nginx пред Apache httpd

В отличие от Apache, Nginx използва събитийна модел на обработка на заявки, благодарение на което за всяко количество клиенти е нужен само един процес на HTTP сървъра. Можете да използвате nginx и да намалите натоварването на сървъра.

Конфиг nginx-front.conf. Остатъчната настройка на nginx мисля, че ще направите сами.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуален-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Качване на файлове чрез WebDav

Качването на rpm е много просто.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуален-хост/rpm/

Източник: habr.com

Прост rpm репозиторий, използващ Inotify и webdav