Inotify এবং webdav ব্যবহার করে সহজ rpm সংগ্রহস্থল

এই পোস্টে, আমরা একটি সাধারণ inotify + createrepo স্ক্রিপ্ট ব্যবহার করে একটি rpm আর্টিফ্যাক্ট সংগ্রহস্থল দেখব। আর্টিফ্যাক্টগুলি apache httpd ব্যবহার করে webdav এর মাধ্যমে আপলোড করা হয়। কেন apache httpd পোস্টের শেষে লেখা হবে।

সুতরাং, সমাধানটি শুধুমাত্র RPM স্টোরেজ সংগঠিত করার জন্য নিম্নলিখিত প্রয়োজনীয়তাগুলি পূরণ করতে হবে:

• ফ্রি

• আর্টিফ্যাক্ট সংগ্রহস্থলে আপলোড করার কয়েক সেকেন্ড পরে সংগ্রহস্থলে প্যাকেজটির উপলব্ধতা।

• ইনস্টল এবং বজায় রাখা সহজ

• উচ্চ প্রাপ্যতা করার ক্ষমতা

  কেন না সোনা টাইপ নেক্সাস বা সজ্জা:

• মধ্যে স্টোরেজ সোনা টাইপ নেক্সাস বা সজ্জা নিদর্শন অনেক ধরনের সত্য যে বাড়ে সোনা টাইপ নেক্সাস বা সজ্জা ব্যর্থতার একক বিন্দু হয়ে উঠুন।

• উচ্চ প্রাপ্যতা মধ্যে সোনা টাইপ নেক্সাস পরিশোধ.

• সজ্জা আমার কাছে ওভার-ইঞ্জিনিয়ারড সমাধান বলে মনে হচ্ছে।

• মধ্যে নিদর্শন সোনা টাইপ নেক্সাস ব্লবে সংরক্ষিত। হঠাৎ বিদ্যুৎ বিভ্রাটের ঘটনায়, আপনার ব্যাকআপ না থাকলে আপনি ব্লব পুনরুদ্ধার করতে পারবেন না। আমাদের এই ত্রুটি ছিল: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. ব্লব কখনও পুনরুদ্ধার করা হয়নি।

উত্স কোড

→ সোর্স কোডটি অবস্থিত এখানে

প্রধান স্ক্রিপ্ট এই মত দেখায়:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

বিন্যাস

inotify-createrepo শুধুমাত্র CentOS 7 বা তার উপরে কাজ করে। CentOS 6 এ এটি কাজ করতে পারেনি।

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

কনফিগারেশন

ডিফল্টরূপে inotify-createrepo একটি ডিরেক্টরি নিরীক্ষণ করে /var/www/repos/rpm-repo/.

আপনি ফাইলটিতে এই ডিরেক্টরিটি পরিবর্তন করতে পারেন /etc/inotify-createrepo.conf.

ব্যবহারের

একটি ডিরেক্টরিতে কোনো ফাইল যোগ করার সময় /var/www/repos/rpm-repo/ inotifywait একটি ফাইল তৈরি করবে /tmp/need_create. run_createrepo ফাংশন একটি অসীম লুপে চলে এবং ফাইলটি পর্যবেক্ষণ করে /tmp/need_create. যদি ফাইলটি বিদ্যমান থাকে তবে চালান createrepo --update.

ফাইলটিতে একটি এন্ট্রি প্রদর্শিত হবে:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

উচ্চ প্রাপ্যতা করার ক্ষমতা

একটি বিদ্যমান সমাধান থেকে উচ্চ প্রাপ্যতা তৈরি করতে, আমি মনে করি আপনি 2টি সার্ভার ব্যবহার করতে পারেন, HA এর জন্য Keepalived এবং আর্টিফ্যাক্ট সিঙ্ক্রোনাইজেশনের জন্য Lsyncd। Lsyncd - একটি ডেমন যা স্থানীয় ডিরেক্টরির পরিবর্তনগুলি নিরীক্ষণ করে, সেগুলিকে একত্রিত করে এবং একটি নির্দিষ্ট সময়ের পরে, rsync সেগুলিকে সিঙ্ক্রোনাইজ করতে শুরু করে। বিস্তারিত এবং সেটিংস পোস্টে বর্ণনা করা হয়েছে "এক বিলিয়ন ফাইলের দ্রুত সিঙ্ক্রোনাইজেশন".

অম্রো

ফাইল আপলোড করার বিভিন্ন উপায় আছে: SSH, NFS, WebDav। WebDav একটি আধুনিক এবং সহজ বিকল্প বলে মনে হচ্ছে।

WebDav এর জন্য, আমরা Apache httpd ব্যবহার করব। কেন 2020 সালে Apache httpd এবং nginx নয়?

আমি Nginx + মডিউল নির্মাণের জন্য স্বয়ংক্রিয় সরঞ্জাম ব্যবহার করতে চাই (উদাহরণস্বরূপ, Webdav)।

Nginx + মডিউল নির্মাণের জন্য একটি প্রকল্প আছে - nginx-নির্মাতা. আপনি যদি ফাইল আপলোড করতে nginx + wevdav ব্যবহার করেন, তাহলে আপনার একটি মডিউল প্রয়োজন nginx-dav-ext-মডিউল. Nginx তৈরি এবং ব্যবহার করার চেষ্টা করার সময় nginx-dav-ext-মডিউল সাহায্যে nginx-নির্মাতা আমরা একটি ত্রুটি পেতে হবে nginx-dav-ext-module এর পরিবর্তে http_dav_module দ্বারা ব্যবহৃত. একই বাগ গ্রীষ্মে বন্ধ ছিল nginx: [emerg] অজানা নির্দেশিকা dav_methods.

আমি একটি টান অনুরোধ করেছি এমবেডেড, রিফ্যাক্টর --with-{}_module-এর জন্য চেক git_url যোগ করুন и যদি মডিউল == "http_dav_module" যুক্ত করুন -- সঙ্গে. কিন্তু সেগুলো গ্রহণ করা হয়নি।

config webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

আমি মনে করি আপনি বাকি Apache httpd কনফিগারেশন নিজেই করবেন।

Apache httpd এর সামনে Nginx

Apache এর বিপরীতে, Nginx একটি ইভেন্ট-ভিত্তিক অনুরোধ প্রক্রিয়াকরণ মডেল ব্যবহার করে, যার মানে হল যে কোনো সংখ্যক ক্লায়েন্টের জন্য শুধুমাত্র একটি HTTP সার্ভার প্রক্রিয়া প্রয়োজন। আপনি nginx ব্যবহার করতে পারেন এবং সার্ভার লোড কমাতে পারেন।

nginx-front.conf কনফিগারেশন। আমি মনে করি আপনি বাকি nginx কনফিগারেশন নিজেই করবেন।

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

WebDav এর মাধ্যমে ফাইল ডাউনলোড করা হচ্ছে

আরপিএম ডাউনলোড করা খুবই সহজ।

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

উত্স: www.habr.com