🥇 מאגר סל"ד פשוט באמצעות Inotify ו-webdav

בפוסט זה נסתכל על אחסון חפצי ה-rpm באמצעות סקריפט פשוט עם inotify + createrepo. העלאת חפצים מתבצעת באמצעות webdav באמצעות apache httpd. למה apache httpd ייכתב לקראת סוף הפוסט.

לכן, הפתרון חייב לעמוד בדרישות הבאות לארגון אחסון RPM בלבד:

חינם
זמינות החבילה במאגר מספר שניות לאחר העלאה למאגר החפצים.
קל להתקנה ולתחזוקה
יכולת זמינות גבוהה

למה לא SonaType Nexus או ציפה:
אחסון ב SonaType Nexus או ציפה סוגים רבים של חפצים מובילים לכך SonaType Nexus או ציפה להפוך לנקודת כישלון אחת.
זמינות גבוהה ב SonaType Nexus שולם.
ציפה נראה לי כמו פתרון מסובך מדי.
חפצים ב SonaType Nexus מאוחסנים בכתם. אם יש הפסקת חשמל פתאומית, לא תוכל לשחזר את הכתם אם אין לך גיבוי. הייתה לנו השגיאה הזו: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. בלוב מעולם לא שוחזר.

קוד מקור

→ נמצא קוד המקור כאן

התסריט הראשי נראה כך:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

התקנה

Inotify-createrepo עובד רק על CentOS 7 ומעלה. לא הצלחתי לגרום לזה לעבוד על CentOS 6.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

תְצוּרָה

כברירת מחדל, inotify-createrepo מנטר את הספרייה /var/www/repos/rpm-repo/.

אתה יכול לשנות את הספרייה הזו בקובץ /etc/inotify-createrepo.conf.

להשתמש

בעת הוספת קובץ כלשהו לספריה /var/www/repos/rpm-repo/ inotifywait תיצור את הקובץ /tmp/need_create. הפונקציה run_createrepo פועלת בלולאה אינסופית ומנטרת את הקובץ /tmp/need_create. אם הקובץ קיים, הוא פועל createrepo --update.

בקובץ יופיע ערך:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

יכולת זמינות גבוהה

כדי להפוך זמינות גבוהה מפתרון קיים, אני חושב שאתה יכול להשתמש בשני שרתים, Keepalved עבור HA ו-Lsyncd לסנכרון חפצים. Lsyncd - דמון שעוקב אחר שינויים בספרייה מקומית, צובר אותם, ולאחר זמן מסוים rsync מתחיל לסנכרן אותם. פרטים והגדרה מתוארים בפוסט "סנכרון מהיר של מיליארד קבצים".

WebDav

אתה יכול להעלות קבצים בכמה דרכים: SSH, NFS, WebDav. נראה ש-WebDav היא אפשרות מודרנית ופשוטה.

עבור WebDav נשתמש ב- Apache httpd. למה Apache httpd בשנת 2020 ולא nginx?

ברצוני להשתמש בכלים אוטומטיים לבניית מודולים של Nginx + (לדוגמה, Webdav).

יש פרויקט לבניית Nginx + מודולים - בונה Nginx. אם אתה משתמש ב-nginx + wevdav כדי להעלות קבצים, אתה צריך מודול nginx-dav-ext-module. כאשר מנסים לבנות ולהשתמש ב- Nginx עם nginx-dav-ext-module באמצעות בונה Nginx נקבל שגיאה בשימוש על ידי http_dav_module במקום nginx-dav-ext-module. אותו באג נסגר בקיץ nginx: [emerg] הנחיה לא ידועה dav_methods.

הגשתי בקשת משיכה הוסף check git_url עבור Embedded, refactored —with-{}_module и if module == "http_dav_module" צרף --with. אבל הם לא התקבלו.

הגדרות webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

אני חושב שאתה יכול לעשות את שאר ההגדרה של Apache httpd בעצמך.

Nginx לפני Apache httpd

שלא כמו Apache, Nginx משתמש במודל עיבוד בקשות מבוסס אירועים, הדורש רק תהליך שרת HTTP אחד עבור כל מספר של לקוחות. אתה יכול להשתמש ב-nginx ולהפחית את העומס על השרת.

הגדרת nginx-front.conf. אני חושב שאתה יכול לעשות את שאר ההגדרות של nginx בעצמך.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

העלאת קבצים דרך WebDav

טעינת סל"ד היא פשוטה מאוד.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

מקור: www.habr.com

מאגר סל"ד פשוט באמצעות Inotify ו-webdav