🥇 مستودع rpm بسيط باستخدام Inotify و webdav

في هذا المنشور ، سنلقي نظرة على مستودع القطع الأثرية rpm باستخدام برنامج نصي بسيط inotify + craduateepo. يتم تحميل القطع الأثرية عبر webdav باستخدام apache httpd. لماذا سيتم كتابة apache httpd في نهاية المنشور.

لذلك ، يجب أن يفي الحل بالمتطلبات التالية لتنظيم تخزين RPM فقط:

حر
توفر الحزمة في المستودع بعد ثوانٍ قليلة من تحميلها إلى مستودع القطع الأثرية.
سهلة التركيب والصيانة
القدرة على إتاحة عالية

ولم لا سونا تايب نيكزس أو لب:
التخزين في سونا تايب نيكزس أو لب العديد من أنواع القطع الأثرية تؤدي إلى حقيقة أن سونا تايب نيكزس أو لب تصبح نقطة فشل واحدة.
توافر عالي في سونا تايب نيكزس مدفوع.
لب يبدو وكأنه حل هندسي أكثر من اللازم بالنسبة لي.
القطع الأثرية في سونا تايب نيكزس مخزنة في النقطة. في حالة انقطاع التيار الكهربائي المفاجئ ، لن تتمكن من استعادة النقطة إذا لم يكن لديك نسخة احتياطية. كان لدينا هذا الخطأ: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. لم يتم استرداد Blob أبدًا.

شفرة المصدر

→ يقع رمز المصدر هنا

يبدو النص الرئيسي كما يلي:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

تركيب

يعمل inotify-craduateepo فقط على CentOS 7 أو أعلى. تعذر تشغيله على CentOS 6.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

التكوين

بشكل افتراضي يراقب inotify-craduateepo الدليل /var/www/repos/rpm-repo/.

يمكنك تغيير هذا الدليل في الملف /etc/inotify-createrepo.conf.

استخدام

عند إضافة أي ملف إلى دليل /var/www/repos/rpm-repo/ سيقوم inotifywait بإنشاء ملف /tmp/need_create. تعمل وظيفة run_cicturesepo في حلقة لا نهائية وتراقب الملف /tmp/need_create. إذا كان الملف موجودًا ، فقم بتشغيل createrepo --update.

سيظهر إدخال في الملف:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

القدرة على إتاحة عالية

لتوفير إمكانية عالية من أحد الحلول الحالية ، أعتقد أنه يمكنك استخدام خادمين ، Keepalived لـ HA و Lsyncd لمزامنة الأداة. سينكد - برنامج خفي يراقب التغييرات في الدليل المحلي ، ويجمعها ، وبعد فترة زمنية معينة ، يبدأ rsync في مزامنتها. التفاصيل والإعدادات موصوفة في المنشور "مزامنة سريعة لمليار ملف".

WEBDAV

هناك عدة طرق لتحميل الملفات: SSH و NFS و WebDav. يبدو أن WebDav خيار حديث وبسيط.

بالنسبة إلى WebDav ، سنستخدم Apache httpd. لماذا Apache httpd في 2020 وليس nginx؟

أرغب في استخدام الأدوات الآلية لبناء وحدات Nginx + (على سبيل المثال ، Webdav).

يوجد مشروع لبناء وحدات Nginx + - nginx- باني. إذا كنت تستخدم nginx + wevdav لتحميل الملفات ، فأنت بحاجة إلى وحدة نمطية nginx-dav-ext-module. عند محاولة بناء واستخدام Nginx مع nginx-dav-ext-module بواسطة nginx- باني سوف نحصل على خطأ مستخدمة بواسطة http_dav_module بدلاً من الوحدة النمطية nginx-dav-ext. تم إغلاق نفس الخطأ في الصيف nginx: [ظهور] توجيه غير معروف dav_methods.

لقد قدمت طلب سحب أضف check git_url للوحدة المدمجة والمعاد تصنيعها - مع - {} _ и إذا كانت الوحدة النمطية == "http_dav_module" تُلحق - مع. لكن لم يتم قبولهم.

التكوين webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

أعتقد أنك ستفعل بقية تهيئة Apache httpd بنفسك.

Nginx أمام Apache httpd

على عكس Apache ، يستخدم Nginx نموذج معالجة الطلب المستند إلى الحدث ، مما يعني أن عملية خادم HTTP واحدة فقط مطلوبة لأي عدد من العملاء. يمكنك استخدام nginx وتقليل حمل الخادم.

تكوين nginx-front.conf. أعتقد أنك ستفعل بقية إعدادات nginx بنفسك.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

تنزيل الملفات عبر WebDav

تحميل rpm سهل جدا.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

المصدر: www.habr.com

مستودع rpm بسيط باستخدام Inotify و webdav