🥇Просто rpm хранилище, използващо Inotify и webdav

В тази публикация ще разгледаме хранилище за rpm артефакти, използвайки прост скрипт inotify + createrepo. Артефактите се качват чрез webdav с помощта на apache httpd. Защо apache httpd ще бъде написано в края на поста.

Така че решението трябва да отговаря на следните изисквания за организиране само на RPM съхранение:

безплатно
Наличност на пакета в хранилището няколко секунди след качване в хранилището на артефакти.
Лесен за инсталиране и поддръжка
Възможност за висока наличност

Защо не SonaType Nexus или Целулоза:
Съхранение в SonaType Nexus или Целулоза много видове артефакти води до факта, че SonaType Nexus или Целулоза се превърне в единична точка на провал.
Висока наличност в SonaType Nexus платено е.
Целулоза Изглежда ми като прекалено инженерно решение.
Артефакти в SonaType Nexus съхранявани в петно. В случай на внезапно прекъсване на захранването, няма да можете да възстановите петното, ако нямате резервно копие. Имахме тази грешка: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Blob никога не е възстановен.

Изходен код

→ Изходният код се намира тук

Основният скрипт изглежда така:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Инсталация

inotify-createrepo работи само на CentOS 7 или по-висока. Не можах да го накарам да работи на CentOS 6.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Конфигурация

По подразбиране inotify-createrepo наблюдава директория /var/www/repos/rpm-repo/.

Можете да промените тази директория във файла /etc/inotify-createrepo.conf.

Употреба

Когато добавяте произволен файл към директория /var/www/repos/rpm-repo/ inotifywait ще създаде файл /tmp/need_create. Функцията run_createrepo работи в безкраен цикъл и наблюдава файла /tmp/need_create. Ако файлът съществува, стартирайте createrepo --update.

Във файла ще се появи запис:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Възможност за висока наличност

За да направите висока достъпност от съществуващо решение, мисля, че можете да използвате 2 сървъра, Keepalived за HA и Lsyncd за синхронизиране на артефакти. Lsyncd - демон, който следи промените в локалната директория, агрегира ги и след определено време rsync започва да ги синхронизира. Подробности и настройки са описани в публикацията "Бърза синхронизация на милиард файлове".

WebDav

Има няколко начина за качване на файлове: SSH, NFS, WebDav. WebDav изглежда модерна и проста опция.

За WebDav ще използваме Apache httpd. Защо Apache httpd през 2020 г., а не nginx?

Бих искал да използвам автоматизирани инструменти за изграждане на Nginx + модули (например Webdav).

Има проект за изграждане на Nginx + модули - nginx-строител. Ако използвате nginx + wevdav за качване на файлове, тогава имате нужда от модул nginx-dav-ext-module. Когато се опитвате да изградите и използвате Nginx с nginx-dav-ext-module с помощта на nginx-строител ще получим грешка Използва се от http_dav_module вместо nginx-dav-ext-module. Същият бъг беше закрит през лятото nginx: [emerg] неизвестна директива dav_methods.

Направих заявка за изтегляне Добавете проверка git_url за вграден, преработен --with-{}_module и if module == "http_dav_module" добавете --with. Но те не бяха приети.

config webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Мисля, че ще направите сами останалата част от конфигурацията на Apache httpd.

Nginx пред Apache httpd

За разлика от Apache, Nginx използва модел за обработка на заявки, базиран на събития, което означава, че е необходим само един процес на HTTP сървър за произволен брой клиенти. Можете да използвате nginx и да намалите натоварването на сървъра.

nginx-front.conf конфигурация. Мисля, че ще направите останалата част от конфигурацията на nginx сами.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Изтегляне на файлове чрез WebDav

Изтеглянето на rpm е много лесно.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Източник: www.habr.com

Просто rpm хранилище, използващо Inotify и webdav