მარტივი rpm საცავი Inotify-ისა და webdav-ის გამოყენებით

ამ პოსტში ჩვენ გადავხედავთ rpm არტეფაქტის საცავს მარტივი inotify + createrepo სკრიპტის გამოყენებით. არტეფაქტები იტვირთება webdav-ის საშუალებით apache httpd-ის გამოყენებით. რატომ Apache httpd დაიწერება პოსტის ბოლოს.

ასე რომ, გამოსავალი უნდა აკმაყოფილებდეს შემდეგ მოთხოვნებს მხოლოდ RPM შენახვის ორგანიზებისთვის:

• უფასო

• პაკეტის ხელმისაწვდომობა საცავში არტეფაქტის საცავში ატვირთვიდან რამდენიმე წამში.

• მარტივი ინსტალაცია და შენარჩუნება

• მაღალი ხელმისაწვდომობის გაკეთების უნარი

  Რატომაც არა SonaType Nexus ან Pulp:

• შენახვა SonaType Nexus ან Pulp მრავალი სახის არტეფაქტი იწვევს იმ ფაქტს, რომ SonaType Nexus ან Pulp გახდეს წარუმატებლობის ერთი წერტილი.

• მაღალი ხელმისაწვდომობა ში SonaType Nexus გადახდილია.

• Pulp ზედმეტად შემუშავებულ გამოსავალს მეჩვენება.

• არტეფაქტები SonaType Nexus ბლომად ინახება. ელექტროენერგიის უეცარი გათიშვის შემთხვევაში, თქვენ ვერ შეძლებთ ბლომის აღდგენას, თუ არ გაქვთ სარეზერვო საშუალება. ჩვენ გვქონდა ეს შეცდომა: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. ბლობი არასოდეს იქნა აღდგენილი.

კოდის კოდი

→ წყაროს კოდი მდებარეობს აქ

მთავარი სცენარი ასე გამოიყურება:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

დაყენების

inotify-createrepo მუშაობს მხოლოდ CentOS 7 ან უფრო მაღალ ვერსიაზე. CentOS 6-ზე მუშაობა ვერ მოხერხდა.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

კონფიგურაცია

სტანდარტულად inotify-createrepo აკონტროლებს დირექტორიას /var/www/repos/rpm-repo/.

თქვენ შეგიძლიათ შეცვალოთ ეს დირექტორია ფაილში /etc/inotify-createrepo.conf.

გამოიყენეთ

დირექტორიაში ნებისმიერი ფაილის დამატებისას /var/www/repos/rpm-repo/ inotifywait შექმნის ფაილს /tmp/need_create. run_createrepo ფუნქცია მუშაობს უსასრულო ციკლში და აკონტროლებს ფაილს /tmp/need_create. თუ ფაილი არსებობს, მაშინ გაუშვით createrepo --update.

ჩანაწერი გამოჩნდება ფაილში:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

მაღალი ხელმისაწვდომობის გაკეთების უნარი

არსებული გადაწყვეტიდან მაღალი ხელმისაწვდომობის შესაქმნელად, ვფიქრობ, შეგიძლიათ გამოიყენოთ 2 სერვერი, Keepalived HA-სთვის და Lsyncd არტეფაქტის სინქრონიზაციისთვის. Lsyncd - დემონი, რომელიც აკონტროლებს ადგილობრივ დირექტორიაში ცვლილებებს, აგროვებს მათ და გარკვეული დროის შემდეგ rsync იწყებს მათ სინქრონიზაციას. დეტალები და პარამეტრები აღწერილია პოსტში "მილიარდი ფაილის სწრაფი სინქრონიზაცია".

ვებდავ

ფაილების ატვირთვის რამდენიმე გზა არსებობს: SSH, NFS, WebDav. WebDav, როგორც ჩანს, თანამედროვე და მარტივი ვარიანტია.

WebDav-სთვის ჩვენ გამოვიყენებთ Apache httpd. რატომ Apache httpd 2020 წელს და არა nginx?

მსურს გამოვიყენო ავტომატური ხელსაწყოები Nginx + მოდულების შესაქმნელად (მაგალითად, Webdav).

არსებობს Nginx + მოდულების აშენების პროექტი - nginx-მშენებელი. თუ იყენებთ nginx + wevdav ფაილების ასატვირთად, მაშინ გჭირდებათ მოდული nginx-dav-ext-module. როდესაც ცდილობთ Nginx-ის აშენებას და გამოყენებას nginx-dav-ext-module საშუალებით nginx-მშენებელი ჩვენ მივიღებთ შეცდომას გამოიყენება http_dav_module-ის მიერ nginx-dav-ext-module-ის ნაცვლად. იგივე ხარვეზი დაიხურა ზაფხულში nginx: [emerg] უცნობი დირექტივა dav_methods.

გაყვანის მოთხოვნა გავაკეთე დაამატეთ გამშვები git_url ჩაშენებული, რეფაქტორირებული --with-{}_module-სთვის и if module == "http_dav_module" დამატება --with. მაგრამ ისინი არ მიიღეს.

კონფიგურაცია webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

მე ვფიქრობ, რომ თქვენ თავად გააკეთებთ Apache httpd კონფიგურაციის დანარჩენ ნაწილს.

Nginx Apache-ს წინ httpd

Apache-სგან განსხვავებით, Nginx იყენებს მოვლენებზე დაფუძნებულ მოთხოვნის დამუშავების მოდელს, რაც ნიშნავს, რომ კლიენტების ნებისმიერი რაოდენობისთვის საჭიროა მხოლოდ ერთი HTTP სერვერის პროცესი. შეგიძლიათ გამოიყენოთ nginx და შეამციროთ სერვერის დატვირთვა.

nginx-front.conf კონფიგურაცია. მგონი დანარჩენ nginx-ის კონფიგურაციას თავად გააკეთებ.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

ფაილების ჩამოტვირთვა WebDav-ის საშუალებით

rpm-ის ჩამოტვირთვა ძალიან მარტივია.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

წყარო: www.habr.com