Inotify 및 webdav를 사용하는 간단한 rpm 저장소

이 게시물에서는 간단한 inotify + createrepo 스크립트를 사용하여 rpm 아티팩트 저장소를 살펴보겠습니다. 아티팩트는 apache httpd를 사용하여 webdav를 통해 업로드됩니다. apache httpd가 게시물의 끝 부분에 작성되는 이유.

따라서 솔루션은 RPM 스토리지만 구성하기 위한 다음 요구 사항을 충족해야 합니다.

• 무료

• 아티팩트 리포지토리에 업로드한 후 몇 초 후에 리포지토리에서 패키지를 사용할 수 있습니다.

• 설치 및 유지 보수 용이

• 고 가용성을 만드는 기능

  왜 안 돼 소나타입 넥서스 또는 펄프:

• 저장 장소 소나타입 넥서스 또는 펄프 많은 유형의 아티팩트가 소나타입 넥서스 또는 펄프 단일 실패 지점이 됩니다.

• 고가용성 소나타입 넥서스 지급됩니다.

• 펄프 나에게 과도하게 설계된 솔루션처럼 보입니다.

• 유물 소나타입 넥서스 Blob에 저장됩니다. 갑작스러운 정전 시 백업이 없으면 Blob을 복원할 수 없습니다. 이 오류가 발생했습니다. ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Blob은 복구되지 않았습니다.

소스 코드

→ 소스 코드 위치 여기에

기본 스크립트는 다음과 같습니다.

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

설치

inotify-createrepo는 CentOS 7 이상에서만 작동합니다. CentOS 6에서 작동하지 못했습니다.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

구성

기본적으로 inotify-createrepo는 디렉토리를 모니터링합니다. /var/www/repos/rpm-repo/.

파일에서 이 디렉토리를 변경할 수 있습니다. /etc/inotify-createrepo.conf.

사용

디렉토리에 파일을 추가할 때 /var/www/repos/rpm-repo/ inotifywait는 파일을 생성합니다. /tmp/need_create. run_createrepo 함수는 무한 루프에서 실행되며 파일을 모니터링합니다. /tmp/need_create. 파일이 있으면 다음을 실행하십시오. createrepo --update.

항목이 파일에 나타납니다.

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

고 가용성을 만드는 기능

기존 솔루션에서 고가용성을 확보하려면 HA용 Keepalived와 아티팩트 동기화용 Lsyncd의 2개 서버를 사용할 수 있다고 생각합니다. Lsyncd - 로컬 디렉토리의 변경 사항을 모니터링하고 집계한 후 일정 시간이 지나면 rsync가 이를 동기화하기 시작하는 데몬입니다. 세부 사항 및 설정은 "포스팅에 설명되어 있습니다.XNUMX억 개 파일의 빠른 동기화".

WebDAV를

파일을 업로드하는 방법에는 SSH, NFS, WebDav 등 여러 가지가 있습니다. WebDav는 현대적이고 간단한 옵션인 것 같습니다.

WebDav의 경우 Apache httpd를 사용합니다. Apache가 2020년에 httpd가 되고 nginx가 아닌 이유는 무엇입니까?

Nginx + 모듈(예: Webdav)을 구축하기 위해 자동화된 도구를 사용하고 싶습니다.

Nginx + 모듈을 빌드하는 프로젝트가 있습니다 - nginx 빌더. nginx + wevdav를 사용하여 파일을 업로드하는 경우 모듈이 필요합니다. nginx-dav-ext-모듈. Nginx를 빌드하고 사용하려고 할 때 nginx-dav-ext-모듈 ...에 의하여 nginx 빌더 오류가 발생합니다 nginx-dav-ext-module 대신 http_dav_module에서 사용. 여름에 같은 버그가 닫혔습니다. nginx: [emerg] 알 수 없는 지시어 dav_methods.

풀 리퀘스트를 했습니다 임베디드, 리팩토링 --with-{}_module에 대한 검사 git_url 추가 и if module == "http_dav_module" 추가 --with. 그러나 그들은 받아 들여지지 않았습니다.

구성 webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

나머지 Apache httpd 구성은 사용자가 직접 수행할 것이라고 생각합니다.

Apache httpd 앞의 Nginx

Apache와 달리 Nginx는 이벤트 기반 요청 처리 모델을 사용합니다. 즉, 여러 클라이언트에 하나의 HTTP 서버 프로세스만 필요합니다. nginx를 사용하여 서버 부하를 줄일 수 있습니다.

nginx-front.conf 구성. nginx 구성의 나머지 부분은 직접 수행할 것이라고 생각합니다.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

WebDav를 통해 파일 다운로드

rpm 다운로드는 매우 쉽습니다.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

출처 : habr.com