🥇Простий rpm репозиторій використовуючи Inotify та webdav

У цьому пості розглянемо сховище rpm артефактів за допомогою простого скрипту з inotify + createrepo. Заливка артефактів здійснюється через webdav, використовуючи apache httpd. Чому apache httpd буде написано ближче до кінця посту.

Отже, рішення має відповідати наступним вимогам для організації тільки RPM сховища:

Безкоштовне
Доступність пакета в репозиторії за кілька секунд після завантаження в сховище артефактів.
Просте в установці та обслуговуванні
Можливість зробити високу доступність (high availability)

Чому не SonaType Nexus або Пульпа:
Зберігання в SonaType Nexus або Пульпа багатьох типів артефактів призводить до того, що SonaType Nexus або Пульпа стають єдиною точкою відмови.
Висока доступність (high availability) SonaType Nexus є платною.
Пульпа мені кажетя переукладеним рішенням.
Артефакти у SonaType Nexus зберігаються у blob. При раптовому вимкненні електрики ви не зможете відновити blob, якщо у вас немає бекапа. У нас була така помилка: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Blob так і не відновили.

Вихідний код

→ Вихідний код знаходиться тут

Основний скрипт виглядає так:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Встановлення

Inotify-createrepo працює тільки на CentOS 7 або вище. На CentOS 6 не вдалося його змусити працювати.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

конфігурація

За замовчуванням inotify-createrepo моніторить директорію /var/www/repos/rpm-repo/.

Змінити цю директорію можна у файлі /etc/inotify-createrepo.conf.

Використання

При додаванні будь-якого файлу до директорії /var/www/repos/rpm-repo/ inotifywait створить файл /tmp/need_create. Функція run_createrepo запускається в нескінченному циклі та моніторить файл /tmp/need_create. Якщо файл існує, запускається createrepo --update.

У файлі з'явиться запис:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Можливість зробити високу доступність (high availability)

Щоб зробити високу доступність (high availability) з існуючого рішення, думаю можна використовувати 2 сервери, Keepalived для HA і Lsyncd для синхронізації артефактів. Lsyncd — демон, який стежить за змінами в локальній директорії, агрегує їх, і після певного часу стартує rsync для їхньої синхронізації. Подробиці та налаштування описані в пості "Швидкісна синхронізація мільярда файлів".

WebDav

Завантажувати файли можна кількома способами: SSH, NFS, WebDav. WebDav здається сучасним та простим варіантом.

Для WebDav будемо використовувати Apache httpd. Чому Apache httpd у 2020 році, а не nginx?

Хочеться використовувати автоматизовані засоби для збирання Nginx + модулі (наприклад, Webdav).

Є проект зі збирання Nginx + модулі. Nginx-builder. Якщо використовувати nginx + wevdav для завантаження файлів, то потрібний модуль nginx-dav-ext-module. При спробі зібрати та використовувати Nginx з nginx-dav-ext-module за допомогою Nginx-builder ми отримаємо помилку Used by http_dav_module instead of nginx-dav-ext-module. Така ж помилка була закрита влітку nginx: [emerg] unknown directive dav_methods.

Я робив Pull request Add check git_url for embedded, refactored —with-{}_module и if module == "http_dav_module" append -with. Але їх не ухвалили.

Конфіг webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Решта налаштування Apache httpd я думаю ви зробите самі.

Nginx перед Apache httpd

На відміну від Apache, Nginx використовує подію модель обробки запитів, завдяки чому на будь-яку кількість клієнтів потрібно лише один процес HTTP-сервера. Ви можете використовувати nginx та знизити навантаження на сервер.

Конфіг nginx-front.conf. Решта налаштування nginx я думаю ви зробите самі.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Завантаження файлів через WebDav

Завантаження rpm дуже просте.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Джерело: habr.com

Простий rpm репозиторій використовуючи Inotify та webdav