Inotify, webdav എന്നിവ ഉപയോഗിക്കുന്ന ലളിതമായ rpm ശേഖരം

ഈ പോസ്റ്റിൽ, ഞങ്ങൾ ഒരു ലളിതമായ inotify + createrepo സ്ക്രിപ്റ്റ് ഉപയോഗിച്ച് ഒരു rpm ആർട്ടിഫാക്റ്റ് റിപ്പോസിറ്ററി നോക്കും. അപ്പാച്ചെ httpd ഉപയോഗിച്ച് webdav വഴി പുരാവസ്തുക്കൾ അപ്‌ലോഡ് ചെയ്യുന്നു. എന്തുകൊണ്ട് അപ്പാച്ചെ httpd എന്ന് പോസ്റ്റിന്റെ അവസാനം എഴുതും.

അതിനാൽ, RPM സംഭരണം മാത്രം സംഘടിപ്പിക്കുന്നതിന് പരിഹാരം ഇനിപ്പറയുന്ന ആവശ്യകതകൾ പാലിക്കണം:

• സൗ ജന്യം

• ആർട്ടിഫാക്‌റ്റ് റിപ്പോസിറ്ററിയിലേക്ക് അപ്‌ലോഡ് ചെയ്‌തതിന് ശേഷം കുറച്ച് സെക്കന്റുകൾക്കുള്ളിൽ സംഭരണിയിൽ പാക്കേജിന്റെ ലഭ്യത.

• ഇൻസ്റ്റാൾ ചെയ്യാനും പരിപാലിക്കാനും എളുപ്പമാണ്

• ഉയർന്ന ലഭ്യത ഉണ്ടാക്കാനുള്ള കഴിവ്

  എന്തുകൊണ്ട് സോണടൈപ്പ് നെക്സസ് അഥവാ പൾപ്പ്:

• സംഭരണം സോണടൈപ്പ് നെക്സസ് അഥവാ പൾപ്പ് പല തരത്തിലുള്ള പുരാവസ്തുക്കൾ വസ്തുതയിലേക്ക് നയിക്കുന്നു സോണടൈപ്പ് നെക്സസ് അഥവാ പൾപ്പ് പരാജയത്തിന്റെ ഒരൊറ്റ പോയിന്റായി മാറുക.

• ഉയർന്ന ലഭ്യത സോണടൈപ്പ് നെക്സസ് നൽകപ്പെടുന്നു.

• പൾപ്പ് ഒരു ഓവർ-എൻജിനീയർഡ് സൊല്യൂഷൻ ആയി എനിക്ക് തോന്നുന്നു.

• പുരാവസ്തുക്കൾ സോണടൈപ്പ് നെക്സസ് ബ്ലോബിൽ സൂക്ഷിച്ചിരിക്കുന്നു. പെട്ടെന്ന് വൈദ്യുതി മുടക്കം സംഭവിച്ചാൽ, നിങ്ങൾക്ക് ബാക്കപ്പ് ഇല്ലെങ്കിൽ ബ്ലബ് പുനഃസ്ഥാപിക്കാൻ കഴിയില്ല. ഞങ്ങൾക്ക് ഈ പിശക് ഉണ്ടായിരുന്നു: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. ബ്ലോബ് ഒരിക്കലും വീണ്ടെടുക്കപ്പെട്ടില്ല.

ഉറവിട കോഡ്

→ സോഴ്സ് കോഡ് സ്ഥിതിചെയ്യുന്നു ഇവിടെ

പ്രധാന സ്ക്രിപ്റ്റ് ഇതുപോലെ കാണപ്പെടുന്നു:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

ഇൻസ്റ്റലേഷൻ

inotify-createrepo CentOS 7 അല്ലെങ്കിൽ അതിലും ഉയർന്നതിൽ മാത്രമേ പ്രവർത്തിക്കൂ. CentOS 6-ൽ ഇത് പ്രവർത്തിക്കാൻ കഴിഞ്ഞില്ല.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

കോൺഫിഗറേഷൻ

ഡിഫോൾട്ടായി inotify-createrepo ഒരു ഡയറക്ടറി നിരീക്ഷിക്കുന്നു /var/www/repos/rpm-repo/.

ഫയലിൽ നിങ്ങൾക്ക് ഈ ഡയറക്ടറി മാറ്റാം /etc/inotify-createrepo.conf.

ഉപയോഗിക്കുക

ഒരു ഡയറക്ടറിയിലേക്ക് ഏതെങ്കിലും ഫയൽ ചേർക്കുമ്പോൾ /var/www/repos/rpm-repo/ inotifywait ഒരു ഫയൽ സൃഷ്ടിക്കും /tmp/need_create. run_createrepo ഫംഗ്‌ഷൻ അനന്തമായ ലൂപ്പിൽ പ്രവർത്തിക്കുകയും ഫയൽ നിരീക്ഷിക്കുകയും ചെയ്യുന്നു /tmp/need_create. ഫയൽ നിലവിലുണ്ടെങ്കിൽ, പ്രവർത്തിപ്പിക്കുക createrepo --update.

ഫയലിൽ ഒരു എൻട്രി ദൃശ്യമാകും:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

ഉയർന്ന ലഭ്യത ഉണ്ടാക്കാനുള്ള കഴിവ്

നിലവിലുള്ള ഒരു പരിഹാരത്തിൽ നിന്ന് ഉയർന്ന ലഭ്യത ഉണ്ടാക്കാൻ, നിങ്ങൾക്ക് 2 സെർവറുകൾ ഉപയോഗിക്കാനാകുമെന്ന് ഞാൻ കരുതുന്നു, HA-യ്‌ക്ക് Keepalived, ആർട്ടിഫാക്‌റ്റ് സമന്വയത്തിനായി Lsyncd. Lsyncd - ലോക്കൽ ഡയറക്‌ടറിയിലെ മാറ്റങ്ങൾ നിരീക്ഷിക്കുകയും അവയെ സമാഹരിക്കുകയും ഒരു നിശ്ചിത സമയത്തിനു ശേഷം, rsync അവയെ സമന്വയിപ്പിക്കാൻ തുടങ്ങുകയും ചെയ്യുന്ന ഒരു ഡെമൺ. വിശദാംശങ്ങളും ക്രമീകരണങ്ങളും പോസ്റ്റിൽ വിവരിച്ചിരിക്കുന്നു "ഒരു ബില്യൺ ഫയലുകളുടെ വേഗത്തിലുള്ള സമന്വയം".

വെബ്‌ഡാവ്

ഫയലുകൾ അപ്‌ലോഡ് ചെയ്യാൻ നിരവധി മാർഗങ്ങളുണ്ട്: SSH, NFS, WebDav. WebDav ഒരു ആധുനികവും ലളിതവുമായ ഓപ്ഷനാണെന്ന് തോന്നുന്നു.

WebDav-ന്, ഞങ്ങൾ Apache httpd ഉപയോഗിക്കും. എന്തുകൊണ്ട് 2020-ൽ അപ്പാച്ചെ httpd, nginx അല്ല?

Nginx + മൊഡ്യൂളുകൾ നിർമ്മിക്കുന്നതിന് ഓട്ടോമേറ്റഡ് ടൂളുകൾ ഉപയോഗിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു (ഉദാഹരണത്തിന്, Webdav).

Nginx + മൊഡ്യൂളുകൾ നിർമ്മിക്കുന്നതിന് ഒരു പ്രോജക്റ്റ് ഉണ്ട് - nginx-builder. ഫയലുകൾ അപ്‌ലോഡ് ചെയ്യാൻ നിങ്ങൾ nginx + wevdav ഉപയോഗിക്കുകയാണെങ്കിൽ, നിങ്ങൾക്ക് ഒരു മൊഡ്യൂൾ ആവശ്യമാണ് nginx-dav-ext-module. ഉപയോഗിച്ച് Nginx നിർമ്മിക്കാനും ഉപയോഗിക്കാനും ശ്രമിക്കുമ്പോൾ nginx-dav-ext-module സഹായത്തോടെ nginx-builder ഞങ്ങൾക്ക് ഒരു പിശക് ലഭിക്കും nginx-dav-ext-module-ന് പകരം http_dav_module ഉപയോഗിക്കുന്നു. അതേ ബഗ് വേനൽക്കാലത്ത് അടച്ചു nginx: [emerg] അജ്ഞാത നിർദ്ദേശം dav_methods.

ഞാൻ ഒരു പുൾ അഭ്യർത്ഥന നടത്തി എംബഡഡ്, റീഫാക്റ്റർ ചെയ്ത --with-{}_module-നായി git_url പരിശോധിക്കുക и എങ്കിൽ മൊഡ്യൂൾ == "http_dav_module" അനുബന്ധം --with. എന്നാൽ അവ സ്വീകരിക്കപ്പെട്ടില്ല.

config webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

ബാക്കിയുള്ള അപ്പാച്ചെ httpd കോൺഫിഗറേഷൻ നിങ്ങൾ തന്നെ ചെയ്യുമെന്ന് ഞാൻ കരുതുന്നു.

അപ്പാച്ചെയുടെ മുന്നിൽ Nginx httpd

അപ്പാച്ചെയിൽ നിന്ന് വ്യത്യസ്തമായി, Nginx ഒരു ഇവന്റ് അടിസ്ഥാനമാക്കിയുള്ള അഭ്യർത്ഥന പ്രോസസ്സിംഗ് മോഡൽ ഉപയോഗിക്കുന്നു, അതായത് എത്ര ക്ലയന്റുകൾക്കും ഒരു HTTP സെർവർ പ്രോസസ്സ് മാത്രമേ ആവശ്യമുള്ളൂ എന്നാണ്. നിങ്ങൾക്ക് nginx ഉപയോഗിക്കാനും സെർവർ ലോഡ് കുറയ്ക്കാനും കഴിയും.

nginx-front.conf കോൺഫിഗറേഷൻ. ബാക്കിയുള്ള nginx കോൺഫിഗറേഷൻ നിങ്ങൾ തന്നെ ചെയ്യുമെന്ന് ഞാൻ കരുതുന്നു.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

WebDav വഴി ഫയലുകൾ ഡൗൺലോഡ് ചെയ്യുന്നു

rpm ഡൗൺലോഡ് ചെയ്യുന്നത് വളരെ എളുപ്പമാണ്.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

അവലംബം: www.habr.com