🥇Inotify と webdav を使用したシンプルな rpm リポジトリ

この投稿では、単純な inotify + createrepo スクリプトを使用した rpm アーティファクトリポジトリを見ていきます。アーティファクトは、Apache httpd を使用して webdav 経由でアップロードされます。 apache httpd を使用する理由については、記事の最後の方に書きます。

したがって、ソリューションは、RPM ストレージのみを構成するための次の要件を満たす必要があります。

フリー
アーティファクトリポジトリにアップロードしてから数秒後に、リポジトリでパッケージが利用可能になります。
設置とメンテナンスが簡単
高可用性を実現する機能

なぜだめですか SonaType ネクサスまたはパルプ:
保管場所 SonaType ネクサスまたはパルプ多くの種類のアーティファクトは、次のような事実につながります。 SonaType ネクサスまたはパルプ単一障害点になります。
高可用性 SonaType ネクサス支払われます。
パルプ私にとっては過剰設計の解決策のように思えます。
アーティファクト SonaType ネクサス blob に保存されます。突然の停電が発生した場合、バックアップがなければ BLOB を復元できません。このエラーが発生しました: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address。 BLOB は決して回収されませんでした。

ソースコード

→ソースコードはここにありますここで

メインのスクリプトは次のようになります。

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

インストール

inotify-createrepo は CentOS 7 以降でのみ動作します。 CentOS 6 では動作しませんでした。

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

構成

デフォルトでは、inotify-createrepo はディレクトリを監視します /var/www/repos/rpm-repo/.

このディレクトリはファイル内で変更できます /etc/inotify-createrepo.conf.

使用

ディレクトリにファイルを追加するとき /var/www/repos/rpm-repo/ inotifywait はファイルを作成します /tmp/need_create。 run_createrepo 関数は無限ループで実行され、ファイルを監視します。 /tmp/need_create。ファイルが存在する場合は実行します createrepo --update.

ファイルにエントリが表示されます。

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

高可用性を実現する機能

既存のソリューションから高可用性を実現するには、HA には Keepalived、アーティファクトの同期には Lsyncd という 2 つのサーバーを使用できると思います。 Lsyncd - ローカルディレクトリ内の変更を監視し、それらを集約し、一定時間後に rsync がそれらの同期を開始するデーモン。詳細と設定は「」の記事で説明しています。XNUMX億個のファイルの高速同期".

WebDavの

ファイルをアップロードするには、SSH、NFS、WebDav などのいくつかの方法があります。 WebDav はモダンでシンプルなオプションのようです。

WebDav の場合は、Apache httpd を使用します。 2020 年に nginx ではなく Apache httpd を使用するのはなぜですか?

Nginx + モジュール (Webdav など) を構築するための自動ツールを使用したいと考えています。

Nginx + モジュールを構築するためのプロジェクトがあります - nginx ビルダー。 nginx + wevdav を使用してファイルをアップロードする場合は、モジュールが必要です nginx-dav-ext-モジュール。 Nginxをビルドして使用しようとすると、 nginx-dav-ext-モジュール用いて nginx ビルダーエラーが発生します nginx-dav-ext-module の代わりに http_dav_module によって使用されます。同じバグは夏にクローズされました nginx: [emerg] 不明なディレクティブ dav_methods.

プルリクエストを出しました埋め込み、リファクタリングされた --with-{}_module のチェック git_url を追加 и if module == "http_dav_module" append --with。しかし、彼らは受け入れられませんでした。

webdav.confを構成する

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Apache httpd の残りの設定は自分で行うことになると思います。

Apache httpd の前の Nginx

Apache とは異なり、Nginx はイベントベースのリクエスト処理モデルを使用します。つまり、クライアントの数に関係なく、必要な HTTP サーバープロセスは XNUMX つだけです。 nginxを使用するとサーバーの負荷を軽減できます。

nginx-front.conf設定。残りのnginx設定は自分で行うことになると思います。

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

WebDav経由でファイルをダウンロードする

rpmのダウンロードは非常に簡単です。

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

出所： habr.com

Inotify と webdav を使用したシンプルな rpm リポジトリ

したがって、ソリューションは、RPM ストレージのみを構成するための次の要件を満たす必要があります。

なぜだめですか SonaType ネクサス または パルプ: