Inotify र webdav प्रयोग गरेर सरल rpm भण्डार

यस पोस्टमा हामी inotify + createrepo को साथ साधारण स्क्रिप्ट प्रयोग गरेर rpm कलाकृतिहरूको भण्डारणलाई विचार गर्नेछौं। कलाकृतिहरू अपलोड गर्ने काम apache httpd प्रयोग गरेर webdav मार्फत गरिन्छ। किन apache httpd पोस्टको अन्त्यतिर लेखिनेछ।

त्यसैले, समाधानले केवल RPM भण्डारण व्यवस्थित गर्न निम्न आवश्यकताहरू पूरा गर्नुपर्छ:

• नि: शुल्क

• कलाकृति स्टोरमा अपलोड गरेपछि केही सेकेन्ड भित्र भण्डारमा प्याकेजको उपलब्धता।

• स्थापना र मर्मत गर्न सजिलो

• उच्च उपलब्धता बनाउन सक्ने क्षमता

  किन नगर्ने? सोनाटाइप नेक्सस वा पुल:

• भण्डारण सोनाटाइप नेक्सस वा पुल धेरै प्रकारका कलाकृतिहरूले यो तथ्यलाई निम्त्याउँछ कि सोनाटाइप नेक्सस वा पुल असफलताको एकल बिन्दु बन्नुहोस्।

• उच्च उपलब्धता सोनाटाइप नेक्सस यो एक सशुल्क सेवा हो।

• पुल यो मलाई अति जटिल समाधान जस्तो लाग्छ।

• कलाकृतिहरू सोनाटाइप नेक्सस ब्लबमा भण्डारण गरिन्छ। यदि अचानक बिजुली आपूर्ति बन्द भयो भने, यदि तपाईंसँग ब्याकअप छैन भने तपाईं ब्लबलाई पुनर्स्थापित गर्न सक्षम हुनुहुने छैन। हामीसँग यो त्रुटि थियो: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad addressब्लब कहिल्यै पुनर्स्थापित भएन।

स्रोत कोड

→ स्रोत कोड अवस्थित छ यहाँ

मुख्य स्क्रिप्ट यस्तो देखिन्छ:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

सेटिङ

Inotify-createrepo работает только на CentOS 7 или выше. На CentOS 6 не удалось его заставить работать.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

कन्फिगरेसन

पूर्वनिर्धारित रूपमा, inotify-createrepo ले निर्देशिकाको निगरानी गर्दछ। /var/www/repos/rpm-repo/.

तपाईं फाइलमा यो निर्देशिका परिवर्तन गर्न सक्नुहुन्छ /etc/inotify-createrepo.conf.

प्रयोग गर्नुहोस्

डाइरेक्टरीमा कुनै पनि फाइल थप्दा /var/www/repos/rpm-repo/ inotifywait ले एउटा फाइल सिर्जना गर्नेछ /tmp/need_create। run_createrepo प्रकार्य अनन्त लूपमा चल्छ र फाइललाई निगरानी गर्दछ। /tmp/need_create। यदि फाइल अवस्थित छ भने, यो चल्छ। createrepo --update.

फाइलमा निम्न प्रविष्टि देखा पर्नेछ:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

उच्च उपलब्धता बनाउन सक्ने क्षमता

अवस्थित समाधानबाट उच्च उपलब्धता बनाउन, मलाई लाग्छ तपाईं २ सर्भरहरू प्रयोग गर्न सक्नुहुन्छ, HA को लागि Keepalived र artifact सिंक्रोनाइजेसनको लागि Lsyncd। LsyncdGenericName — एउटा डेमन जसले स्थानीय डाइरेक्टरीमा भएका परिवर्तनहरूको निगरानी गर्छ, तिनीहरूलाई एकत्रित गर्छ, र निश्चित समय पछि, rsync ले तिनीहरूलाई सिङ्क्रोनाइज गर्न थाल्छ। विवरण र कन्फिगरेसन पोस्टमा वर्णन गरिएको छ "एक अर्ब फाइलहरूको द्रुत समक्रमण".

वेबड्याभ

फाइलहरू अपलोड गर्ने धेरै तरिकाहरू छन्: SSH, NFS, WebDav। WebDav एउटा आधुनिक र सरल विकल्प जस्तो देखिन्छ।

WebDav को लागि हामी Apache httpd प्रयोग गर्नेछौं। किन २०२० मा Apache httpd र nginx होइन?

म Nginx + मोड्युलहरू (उदाहरणका लागि, Webdav) निर्माण गर्न स्वचालित उपकरणहरू प्रयोग गर्न चाहन्छु।

Nginx + मोड्युलहरू जम्मा गर्ने परियोजना छ — Nginx-निर्माता. यदि तपाईंले फाइलहरू डाउनलोड गर्न nginx + wevdav प्रयोग गर्नुहुन्छ भने, तपाईंलाई मोड्युल चाहिन्छ। nginx-dav-ext-मोड्युल. Nginx निर्माण र प्रयोग गर्ने प्रयास गर्दा nginx-dav-ext-मोड्युल सहयोगको साथ Nginx-निर्माता हामीलाई त्रुटि हुनेछ। nginx-dav-ext-module को सट्टा http_dav_module द्वारा प्रयोग गरिएको। गर्मीमा त्यही बग बन्द गरिएको थियो। nginx: [emerg] अज्ञात निर्देशन dav_methods.

मैले पुल अनुरोध गरें। एम्बेडेड, रिफ्याक्टर गरिएको —with-{}_module को लागि चेक git_url थप्नुहोस् и यदि मोड्युल == "http_dav_module" जोड्नुहोस् --withतर तिनीहरूलाई स्वीकार गरिएन।

webdav.conf कन्फिगर गर्नुहोस्

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

मलाई लाग्छ तपाईंले Apache httpd को बाँकी कन्फिगरेसन आफैं गर्नुहुनेछ।

Apache httpd को अगाडि Nginx

Apache भन्दा फरक, Nginx ले घटना-संचालित अनुरोध प्रशोधन मोडेल प्रयोग गर्दछ, जसको अर्थ कुनै पनि संख्याका क्लाइन्टहरूको लागि केवल एउटा HTTP सर्भर प्रक्रिया आवश्यक पर्दछ। तपाईं nginx प्रयोग गर्न सक्नुहुन्छ र सर्भरमा भार कम गर्न सक्नुहुन्छ।

nginx-front.conf कन्फिगर गर्नुहोस्। मलाई लाग्छ nginx को बाँकी कन्फिगरेसन तपाईं आफैं गर्नुहुनेछ।

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

WebDav मार्फत फाइलहरू अपलोड गर्दै

rpm डाउनलोड गर्नु धेरै सरल छ।

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

स्रोत: www.habr.com