🥇使用Inotify和webdav的简单rpm仓库

本文将介绍如何使用 inotify 和 createrepo 工具，通过一个简单的脚本搭建一个 RPM 制品仓库。制品通过 WebDAV 协议，使用 Apache httpd 服务上传。本文末尾将解释选择 Apache httpd 的原因。

因此，该解决方案必须满足以下仅用于组织 RPM 存储的要求：

免费
软件包上传到制品库后，几秒钟内即可在存储库中使用。
易于安装和维护
具备实现高可用性的能力
为什么不 SonaType Nexus или 纸浆:
存储 SonaType Nexus или 纸浆许多类型的文物导致了以下事实： SonaType Nexus или 纸浆成为单点故障。
高可用性 SonaType Nexus 这是一项付费服务。
纸浆我觉得这个解决方案过于复杂了。
文物在 SonaType Nexus 它们以数据块的形式存储。如果断电，除非有备份，否则将无法恢复这些数据块。我们遇到了以下错误： ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address那个斑点从未被恢复。

源代码

→ 源代码位于这里

主脚本如下所示：

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

安装

Inotify-createrepo 仅在以下情况下有效 CentOS 7 或更高。在 CentOS 6 号没能成功运行。

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

配置

默认情况下，inotify-createrepo 会监视该目录 /var/www/repos/rpm-repo/.

您可以在文件中更改此目录 /etc/inotify-createrepo.conf.

使用

向目录中添加任何文件时 /var/www/repos/rpm-repo/ inotifywait 将创建一个文件 /tmp/need_createrun_createrepo 函数在一个无限循环中运行并监视该文件 /tmp/need_create如果文件存在，则运行。 createrepo --update.

文件中将出现以下条目：

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

具备实现高可用性的能力

为了在现有解决方案中实现高可用性，我认为可以使用两台服务器，Keepalived 用于高可用性，Lsyncd 用于工件同步。同步 — 一个守护进程，用于监控本地目录的更改，汇总这些更改，并在一段时间后启动 rsync 进行同步。详细信息和配置请参见文章“高速同步十亿个文件".

的WebDav

上传文件有几种方式：SSH、NFS 和 WebDAV。WebDAV 看起来是一种现代且简单的选择。

我们将使用 Apache httpd 来处理 WebDAV 请求。为什么在 2020 年还要使用 Apache httpd 而不是 nginx 呢？

我想使用自动化工具来构建 Nginx + 模块（例如 Webdav）。

有一个用于组装 Nginx + 模块的项目 - Nginx 构建器如果您使用 nginx + wevdav 下载文件，则需要一个模块。 nginx-dav-ext-module尝试编译和使用 Nginx 时遇到问题 nginx-dav-ext-module 通过 Nginx 构建器我们会收到错误提示由 http_dav_module 代替 nginx-dav-ext-module 使用同样的漏洞在夏季已经修复了。 nginx：[emerg] 未知指令 dav_methods.

我提交了一个拉取请求添加对嵌入式、重构的 git_url 的检查 --with-{}_module и 如果模块 == "http_dav_module" 则追加 --with但他们没有被接受。

配置 webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

我认为您可以自己完成剩余的 Apache httpd 配置。

Apache httpd 前面是 Nginx

与 Apache 不同，Nginx 使用事件驱动的请求处理模型，这意味着无论客户端数量多少，都只需要一个 HTTP 服务器进程。使用 Nginx 可以降低服务器负载。

nginx-front.conf 配置。我认为您可以自己完成其余的 nginx 配置。

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

通过 WebDAV 上传文件

下载rpm文件非常简单。

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

来源： habr.com

使用 Inotify 和 webdav 的简单 rpm 存储库