🥇Просты rpm рэпазітар выкарыстоўваючы Inotify і webdav

У гэтым пасце разгледзім сховішча rpm артэфактаў з дапамогай простага скрыпту з inotify + createrepo. Заліванне артэфактаў ажыццяўляецца праз webdav выкарыстоўваючы apache httpd. Чаму apache httpd будзе напісана бліжэй да канца посту.

Такім чынам, рашэнне павінна адказваць наступным патрабаванням для арганізацыі толькі RPM сховішчы:

бясплатнае
Даступнасць пакета ў рэпазітары праз некалькі секунд пасля загрузкі ў сховішча артэфактаў.
Простае ва ўсталёўцы і абслугоўванні
Магчымасць зрабіць высокую даступнасць (high availability)

Чаму не SonaType Nexus або Пульпа:
Захоўванне ў SonaType Nexus або Пульпа многіх тыпаў артэфактаў прыводзіць да таго, што SonaType Nexus або Пульпа становяцца адзіным пунктам адмовы.
Высокая даступнасць (high availability) у SonaType Nexus з'яўляецца платнай.
Пульпа мне кажаця пераўкладзеным рашэннем.
Артэфакты ў SonaType Nexus захоўваюцца ў blob. Пры раптоўным выключэнні электрычнасці вы не зможаце аднавіць blob, калі ў вас няма бекапа. У нас была такая памылка: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Blob так і не аднавілі.

зыходны код

→ Зыходны код знаходзіцца тут

Асноўны скрыпт выглядае так:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Ўстаноўка

Inotify-createrepo працуе толькі на CentOS 7 ці вышэй. На CentOS 6 не ўдалося яго прымусіць працаваць.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Канфігураванне

Па змаўчанні inotify-createrepo маніторыць дырэкторыю /var/www/repos/rpm-repo/.

Змяніць гэтую дырэкторыю можна ў файле /etc/inotify-createrepo.conf.

Выкарыстанне

Пры даданні любога файла ў дырэкторыю /var/www/repos/rpm-repo/ inotifywait створыць файл /tmp/need_create. Функцыя run_createrepo запускаецца ў бясконцым цыкле і маніторыць файл /tmp/need_create. Калі файл існуе, тое запускаецца createrepo --update.

У файле з'явіцца запіс:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Магчымасць зрабіць высокую даступнасць (high availability)

Каб зрабіць высокую даступнасць (high availability) з існага рашэння, думаю можна выкарыстаць 2 сервера, Keepalived для HA і Lsyncd для сінхранізацыі артэфактаў. Lsyncd - Дэман, які сочыць за зменамі ў лакальнай дырэкторыі, агрэгуе іх, і па сканчэнні вызначанага часу стартуе rsync для іх сінхранізацыі. Падрабязнасці і настройка апісана ў пасце "Хуткасная сінхранізацыя мільярда файлаў".

WebDav

Загружаць файлы можна некалькімі шляхамі: SSH, NFS, WebDav. WebDav падаецца сучасным і простым варыянтам.

Для WebDav будзем выкарыстоўваць Apache httpd. Чаму Apache httpd у 2020 годзе, а не nginx?

Жадаецца выкарыстаць аўтаматызаваныя сродкі для зборкі Nginx + модулі (напрыклад, Webdav).

Ёсць праект па зборцы Nginx + модулі - Nginx-builder. Калі выкарыстоўваць nginx + wevdav для загрузкі файлаў, то патрэбен модуль nginx-dav-ext-module. Пры спробе сабраць і выкарыстоўваць Nginx з nginx-dav-ext-module пры дапамозе Nginx-builder мы атрымаем памылку Used by http_dav_module instead of nginx-dav-ext-module. Такая ж памылка была зачынена летам nginx: [emerg] unknown directive dav_methods.

Я рабіў Pull request Add check git_url для embedded, refactored —with-{}_module и if module == "http_dav_module" append -with. Але іх не прынялі.

Канфіг webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Астатнюю наладу Apache httpd я думаю вы зробіце самі.

Nginx перад Apache httpd

У адрозненне ад Apache, Nginx выкарыстоўвае падзейную мадэль апрацоўкі запытаў, дзякуючы чаму на любую колькасць кліентаў патрабуецца ўсяго адзін працэс HTTP-сервера. Вы можаце выкарыстоўваць nginx і зменшыць нагрузку на сервер.

Канфіг nginx-front.conf. Астатнюю наладу nginx я думаю вы зробіце самі.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Загрузка файлаў праз WebDav

Загрузка rpm вельмі простая.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Крыніца: habr.com

Просты rpm рэпазітар выкарыстоўваючы Inotify і webdav