🥇Прост rpm репозиторий с Inotify и webdav

В този пост ще разгледаме хранилище на rpm артефакти с помощта на прост скрипт с inotify + createrepo. Зареждането на артефактите се извършва чрез webdav, използвайки apache httpd. Защо apache httpd ще бъде написано по-късно в поста.

Следователно, решението трябва да отговаря на следните изисквания за организиране само на RPM хранилище:

Безплатно
Достъпност на пакета в репозиторито след няколко секунди след качването в хранилището на артефакти.
Лесно за инсталиране и обслужване
Възможност за осигуряване на висока наличност (high availability)
Защо не SonaType Nexus или Pulp:
Съхранението в SonaType Nexus или Pulp многото типове артефакти води до факта, че SonaType Nexus или Pulp стават единна точка на отказ.
Високата наличност (high availability) в SonaType Nexus е платена.
Pulp На мен ми се струва, че е прекомерно усложнено решение.
Артефактите в SonaType Nexus се съхраняват в blob. При внезапно изключение на електричеството не можете да възстановите blob, ако нямате бекъп. Имахме такава грешка: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Грешка по време на четене на данни за файл 'privilege_5.pcl' 1-во опит [java.io](http://java.io/).IOException: Лош адрес. Blob така и не беше възстановен.

Изходен код

→ Изходният код се намира тук

Основният скрипт изглежда така:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Инсталиране на

Inotify-createrepo работи само на CentOS 7 или по-горе. На CentOS 6 не успяхме да го накараме да работи.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Конфигуриране

По подразбиране inotify-createrepo наблюдава директорията /var/www/repos/rpm-repo/.

Тази директория може да бъде променена в файла /etc/inotify-createrepo.conf.

Използване

При добавяне на всеки файл в директорията /var/www/repos/rpm-repo/ inotifywait ще създаде файл /tmp/need_create. Функцията run_createrepo се стартира в безкраен цикъл и следи файла /tmp/need_create. Ако файлът съществува, се стартира createrepo --update.

В файла ще се появи запис:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Възможност за осигуряване на висока наличност (high availability)

За да се осигури висока наличност (high availability) от съществуващо решение, мисля, че можем да използваме 2 сървъра, Keepalived за HA и Lsyncd за синхронизиране на артефактите. Lsyncd — демон, който следи промените в локалната директория, агрегира ги и след определено време стартира rsync за тяхната синхронизация. Подробности и настройки са описани в поста "Бърза синхронизация на милиард файлове".

WebDav

Файловете могат да се качват по няколко начина: SSH, NFS, WebDav. WebDav изглежда модерен и прост вариант.

За WebDav ще използваме Apache httpd. Защо Apache httpd през 2020 година, а не nginx?

Искам да използвам автоматизирани средства за изграждане на Nginx + модули (например, Webdav).

Има проект за събиране на Nginx + модули — Nginx-builder. Ако използвате nginx + wevdav за качване на файлове, ще е необходим модул nginx-dav-ext-module. При опит за събиране и използване на Nginx с nginx-dav-ext-module с помощта на Nginx-builder ще получим грешка Използван от http_dav_module вместо nginx-dav-ext-module. Същата грешка беше затворена през лятото nginx: [emerg] unknown directive dav_methods.

Направих Pull request Добавяне на проверка git_url за вградени, рефактурирано —with-{}_module и ако модул == "http_dav_module" добави —with. Но не го приеха.

Конфиг webdav.conf

DavLockDB /var/www/html/DavLock

    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted

Останалата конфигурация на Apache httpd мисля, че ще я направите сами.

Nginx преди Apache httpd

В отличие от Apache, Nginx използва събитийна модел за обработка на заявки, благодарение на което за неограничен брой клиенти е необходим само един процес на HTTP сървъра. Можете да използвате nginx и да намалите натоварването на сървъра.

Конфиг nginx-front.conf. Останалата настройка на nginx мисля, че ще я направите сами.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуален-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Качване на файлове през WebDav

Качването на rpm е много просто.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуален-хост/rpm/

Източник: habr.com

Прост RPM репозиторий, използващ Inotify и WebDAV