Inotify आणि webdav वापरून साधे rpm भांडार

या पोस्टमध्ये, आम्ही एक साधी inotify + createrepo स्क्रिप्ट वापरून rpm आर्टिफॅक्ट रेपॉजिटरी पाहू. apache httpd वापरून वेबडाव द्वारे कलाकृती अपलोड केल्या जातात. का अपाचे httpd पोस्टच्या शेवटी लिहिले जाईल.

तर, सोल्यूशनने फक्त RPM स्टोरेज आयोजित करण्यासाठी खालील आवश्यकता पूर्ण केल्या पाहिजेत:

• फुकट

• आर्टिफॅक्ट रिपॉझिटरीमध्ये अपलोड केल्यानंतर काही सेकंदांनंतर रेपॉजिटरीमध्ये पॅकेजची उपलब्धता.

• स्थापित करणे आणि देखभाल करणे सोपे आहे

• उच्च उपलब्धता करण्याची क्षमता

  का नाही SonaType Nexus किंवा लगदा:

• मध्ये स्टोरेज SonaType Nexus किंवा लगदा अनेक प्रकारच्या कलाकृती या वस्तुस्थितीकडे नेत आहेत SonaType Nexus किंवा लगदा अपयशाचा एकच बिंदू व्हा.

• मध्ये उच्च उपलब्धता SonaType Nexus दिले जाते.

• लगदा माझ्यासाठी अति-अभियांत्रिक समाधानासारखे दिसते.

• मध्ये कलाकृती SonaType Nexus blob मध्ये संग्रहित. अचानक पॉवर आउटेज झाल्यास, तुमच्याकडे बॅकअप नसल्यास तुम्ही ब्लॉब पुनर्संचयित करू शकणार नाही. आमच्याकडे ही त्रुटी होती: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. ब्लॉब कधीही पुनर्प्राप्त झाला नाही.

स्त्रोत कोड

→ स्त्रोत कोड स्थित आहे येथे

मुख्य स्क्रिप्ट असे दिसते:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

सेटिंग

inotify-createrepo केवळ CentOS 7 किंवा उच्च वर कार्य करते. CentOS 6 वर कार्य करण्यासाठी ते मिळवू शकले नाही.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

कॉन्फिगरेशन

डिफॉल्टनुसार inotify-createrepo डिरेक्ट्रीचे निरीक्षण करते /var/www/repos/rpm-repo/.

तुम्ही फाइलमध्ये ही डिरेक्टरी बदलू शकता /etc/inotify-createrepo.conf.

वापरा

डिरेक्टरीमध्ये कोणतीही फाइल जोडताना /var/www/repos/rpm-repo/ inotifywait फाइल तयार करेल /tmp/need_create. run_createrepo फंक्शन अनंत लूपमध्ये चालते आणि फाइलचे निरीक्षण करते /tmp/need_create. फाइल अस्तित्वात असल्यास, नंतर चालवा createrepo --update.

फाइलमध्ये एक एंट्री दिसेल:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

उच्च उपलब्धता करण्याची क्षमता

विद्यमान सोल्यूशनमधून उच्च उपलब्धता करण्यासाठी, मला वाटते की तुम्ही 2 सर्व्हर वापरू शकता, HA साठी Keepalived आणि आर्टिफॅक्ट सिंक्रोनाइझेशनसाठी Lsyncd. Lsyncd - एक डिमन जो स्थानिक निर्देशिकेतील बदलांचे निरीक्षण करतो, त्यांना एकत्रित करतो आणि ठराविक वेळेनंतर, rsync त्यांना समक्रमित करण्यास प्रारंभ करतो. तपशील आणि सेटिंग्ज पोस्टमध्ये वर्णन केल्या आहेत "अब्ज फाइल्सचे जलद सिंक्रोनाइझेशन".

वेबडॅव

फाइल अपलोड करण्याचे अनेक मार्ग आहेत: SSH, NFS, WebDav. WebDav हा एक आधुनिक आणि सोपा पर्याय असल्याचे दिसते.

WebDav साठी, आम्ही Apache httpd वापरू. 2020 मध्ये अपाचे httpd का आणि nginx नाही?

Nginx + मॉड्यूल्स (उदाहरणार्थ, Webdav) तयार करण्यासाठी मी स्वयंचलित साधने वापरू इच्छितो.

Nginx + मॉड्यूल तयार करण्यासाठी एक प्रकल्प आहे - nginx-बिल्डर. जर तुम्ही फाइल्स अपलोड करण्यासाठी nginx + wevdav वापरत असाल, तर तुम्हाला एक मॉड्यूल आवश्यक आहे nginx-dav-ext-मॉड्यूल. सह Nginx तयार करण्याचा आणि वापरण्याचा प्रयत्न करताना nginx-dav-ext-मॉड्यूल मदतीने nginx-बिल्डर आम्हाला एक त्रुटी मिळेल nginx-dav-ext-module ऐवजी http_dav_module द्वारे वापरले जाते. हाच बगळा उन्हाळ्यात बंद झाला nginx: [emerg] अज्ञात निर्देश dav_methods.

मी एक पुल विनंती केली एम्बेडेड, रिफॅक्टर --with-{}_module साठी चेक git_url जोडा и जर मॉड्युल == "http_dav_module" संलग्न करा --with. पण ते स्वीकारले गेले नाहीत.

webdav.conf कॉन्फिगरेशन

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

मला वाटते की तुम्ही बाकीचे Apache httpd कॉन्फिगरेशन स्वतः कराल.

अपाचे httpd समोर Nginx

Apache च्या विपरीत, Nginx एक इव्हेंट-आधारित विनंती प्रक्रिया मॉडेल वापरते, ज्याचा अर्थ असा आहे की कोणत्याही क्लायंटसाठी फक्त एक HTTP सर्व्हर प्रक्रिया आवश्यक आहे. तुम्ही nginx वापरू शकता आणि सर्व्हर लोड कमी करू शकता.

nginx-front.conf कॉन्फिगरेशन. मला वाटते की तुम्ही बाकीचे nginx कॉन्फिगरेशन स्वतः कराल.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

WebDav द्वारे फायली डाउनलोड करत आहे

आरपीएम डाउनलोड करणे खूप सोपे आहे.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

स्त्रोत: www.habr.com