Inotify और webdav का उपयोग करके सरल rpm रिपॉजिटरी

इस पोस्ट में, हम साधारण इनोटिफ़ाई + क्रिएटरेपो स्क्रिप्ट का उपयोग करके एक आरपीएम आर्टिफैक्ट रिपॉजिटरी देखेंगे। apache httpd का उपयोग करके कलाकृतियों को webdav के माध्यम से अपलोड किया जाता है। पोस्ट के अंत में Apache httpd क्यों लिखा होगा।

इसलिए, समाधान को केवल RPM संग्रहण को व्यवस्थित करने के लिए निम्नलिखित आवश्यकताओं को पूरा करना चाहिए:

• मुक्त

• आर्टिफैक्ट रिपॉजिटरी में अपलोड करने के कुछ सेकंड बाद रिपॉजिटरी में पैकेज की उपलब्धता।

• स्थापित करने और बनाए रखने में आसान

• उच्च उपलब्धता बनाने की क्षमता

  क्यों नहीं सोनाटाइप नेक्सस या लुगदी:

• में भंडारण सोनाटाइप नेक्सस या लुगदी कई प्रकार की कलाकृतियाँ इस तथ्य की ओर ले जाती हैं कि सोनाटाइप नेक्सस या लुगदी विफलता का एकल बिंदु बनें।

• में उच्च उपलब्धता सोनाटाइप नेक्सस भुगतान किया गया है।

• लुगदी मेरे लिए एक अति-इंजीनियर समाधान की तरह लगता है।

• कलाकृतियों में सोनाटाइप नेक्सस बूँद में संग्रहीत। अचानक बिजली जाने की स्थिति में, यदि आपके पास बैकअप नहीं है तो आप बूँद को पुनर्स्थापित नहीं कर पाएंगे। हमें यह त्रुटि हुई: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. बूँद कभी बरामद नहीं हुई थी।

स्रोत कोड

→ स्रोत कोड स्थित है यहां

मुख्य स्क्रिप्ट इस तरह दिखती है:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

स्थापना

inotify-createrepo केवल CentOS 7 या उच्चतर पर काम करता है। यह CentOS 6 पर काम नहीं कर सका।

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

विन्यास

डिफ़ॉल्ट रूप से inotify-createrepo एक निर्देशिका की निगरानी करता है /var/www/repos/rpm-repo/.

आप इस निर्देशिका को फ़ाइल में बदल सकते हैं /etc/inotify-createrepo.conf.

उपयोग

किसी निर्देशिका में कोई फ़ाइल जोड़ते समय /var/www/repos/rpm-repo/ inotifywait एक फाइल बनाएगा /tmp/need_create. run_createrepo फ़ंक्शन अनंत लूप में चलता है और फ़ाइल की निगरानी करता है /tmp/need_create. अगर फ़ाइल मौजूद है, तो चलाएं createrepo --update.

फ़ाइल में एक प्रविष्टि दिखाई देगी:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

उच्च उपलब्धता बनाने की क्षमता

मौजूदा समाधान से उच्च उपलब्धता बनाने के लिए, मुझे लगता है कि आप 2 सर्वरों का उपयोग कर सकते हैं, आर्टिफैक्ट सिंक्रनाइज़ेशन के लिए HA और Lsyncd के लिए Keepalived। लसिंक्ड - एक डेमन जो स्थानीय निर्देशिका में परिवर्तन की निगरानी करता है, उन्हें एकत्र करता है, और एक निश्चित समय के बाद, rsync उन्हें सिंक्रनाइज़ करना शुरू कर देता है। विवरण और सेटिंग्स पोस्ट में वर्णित हैं "एक अरब फाइलों का तेज तुल्यकालन".

WebDAV

फ़ाइलें अपलोड करने के कई तरीके हैं: SSH, NFS, WebDav। WebDav एक आधुनिक और सरल विकल्प प्रतीत होता है।

WebDav के लिए, हम Apache httpd का प्रयोग करेंगे। 2020 में Apache httpd और nginx क्यों नहीं?

मैं Nginx + मॉड्यूल (उदाहरण के लिए, Webdav) के निर्माण के लिए स्वचालित उपकरणों का उपयोग करना चाहूंगा।

Nginx + मॉड्यूल के निर्माण के लिए एक परियोजना है - nginx-builder. यदि आप फ़ाइलें अपलोड करने के लिए nginx + wevdav का उपयोग करते हैं, तो आपको एक मॉड्यूल की आवश्यकता होती है nginx-dav-ext-मॉड्यूल. Nginx को बनाने और उपयोग करने का प्रयास करते समय nginx-dav-ext-मॉड्यूल के द्वारा nginx-builder हमें एक त्रुटि मिलेगी nginx-dav-ext-module के बजाय http_dav_module द्वारा उपयोग किया जाता है. गर्मियों में वही बग बंद हो जाता था nginx: [उभरता] अज्ञात निर्देश dav_methods.

मैंने एक पुल अनुरोध किया एम्बेडेड, रीफैक्टर्ड --with-{}_module के लिए चेक git_url जोड़ें и अगर मॉड्यूल == "http_dav_module" संलग्न - साथ. लेकिन उन्हें स्वीकार नहीं किया गया।

कॉन्फिग webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

मुझे लगता है कि आप बाकी अपाचे httpd कॉन्फ़िगरेशन स्वयं करेंगे।

Apache httpd के सामने Nginx

Apache के विपरीत, Nginx एक इवेंट-आधारित अनुरोध प्रसंस्करण मॉडल का उपयोग करता है, जिसका अर्थ है कि किसी भी क्लाइंट के लिए केवल एक HTTP सर्वर प्रक्रिया की आवश्यकता होती है। आप nginx का उपयोग कर सकते हैं और सर्वर लोड को कम कर सकते हैं।

nginx-front.conf कॉन्फ़िगरेशन। मुझे लगता है कि आप बाकी nginx कॉन्फ़िगरेशन स्वयं करेंगे।

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

WebDav के माध्यम से फ़ाइलें डाउनलोड करना

आरपीएम डाउनलोड करना बहुत आसान है।

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

स्रोत: www.habr.com