Inotify અને webdav નો ઉપયોગ કરીને સરળ rpm રીપોઝીટરી

આ પોસ્ટમાં, અમે એક સરળ inotify + createrepo સ્ક્રિપ્ટનો ઉપયોગ કરીને rpm આર્ટિફેક્ટ રીપોઝીટરી જોઈશું. apache httpd નો ઉપયોગ કરીને વેબડેવ દ્વારા કલાકૃતિઓ અપલોડ કરવામાં આવે છે. શા માટે apache httpd પોસ્ટના અંતમાં લખવામાં આવશે.

તેથી, સોલ્યુશન માત્ર RPM સ્ટોરેજ ગોઠવવા માટે નીચેની આવશ્યકતાઓને પૂર્ણ કરે છે:

• મફત

• આર્ટિફેક્ટ રિપોઝીટરીમાં અપલોડ કર્યા પછી થોડીક સેકન્ડોમાં રિપોઝીટરીમાં પેકેજની ઉપલબ્ધતા.

• સ્થાપિત કરવા અને જાળવવા માટે સરળ

• ઉચ્ચ ઉપલબ્ધતા બનાવવાની ક્ષમતા

  કેમ નહિ SonaType Nexus અથવા પલ્પ:

• માં સંગ્રહ SonaType Nexus અથવા પલ્પ ઘણા પ્રકારની કલાકૃતિઓ એ હકીકત તરફ દોરી જાય છે SonaType Nexus અથવા પલ્પ નિષ્ફળતાનો એક બિંદુ બનો.

• માં ઉચ્ચ ઉપલબ્ધતા SonaType Nexus ચૂકવવામાં આવે છે.

• પલ્પ મારા માટે ઓવર-એન્જિનિયર્ડ સોલ્યુશન જેવું લાગે છે.

• માં કલાકૃતિઓ SonaType Nexus બ્લોબમાં સંગ્રહિત. અચાનક પાવર આઉટેજની ઘટનામાં, જો તમારી પાસે બેકઅપ ન હોય તો તમે બ્લોબને પુનઃસ્થાપિત કરી શકશો નહીં. અમારી પાસે આ ભૂલ હતી: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. બ્લોબ ક્યારેય પુનઃપ્રાપ્ત થયો ન હતો.

સ્રોત

→ સ્ત્રોત કોડ સ્થિત થયેલ છે અહીં

મુખ્ય સ્ક્રિપ્ટ આના જેવો દેખાય છે:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

સ્થાપન

inotify-createrepo માત્ર CentOS 7 અથવા ઉચ્ચ પર કામ કરે છે. CentOS 6 પર કામ કરવા માટે તેને મળી શક્યું નથી.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

રૂપરેખાંકન

મૂળભૂત રીતે inotify-createrepo ડિરેક્ટરીનું નિરીક્ષણ કરે છે /var/www/repos/rpm-repo/.

તમે ફાઇલમાં આ ડિરેક્ટરી બદલી શકો છો /etc/inotify-createrepo.conf.

ઉપયોગ કરો

ડિરેક્ટરીમાં કોઈપણ ફાઇલ ઉમેરતી વખતે /var/www/repos/rpm-repo/ inotifywait ફાઇલ બનાવશે /tmp/need_create. run_createrepo ફંક્શન અનંત લૂપમાં ચાલે છે અને ફાઇલનું નિરીક્ષણ કરે છે /tmp/need_create. જો ફાઇલ અસ્તિત્વમાં છે, તો ચલાવો createrepo --update.

ફાઇલમાં એક એન્ટ્રી દેખાશે:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

ઉચ્ચ ઉપલબ્ધતા બનાવવાની ક્ષમતા

હાલના સોલ્યુશનમાંથી ઉચ્ચ ઉપલબ્ધતા બનાવવા માટે, મને લાગે છે કે તમે 2 સર્વર્સનો ઉપયોગ કરી શકો છો, HA માટે Keepalived અને આર્ટિફેક્ટ સિંક્રોનાઇઝેશન માટે Lsyncd. Lsyncd - એક ડિમન કે જે સ્થાનિક ડિરેક્ટરીમાં ફેરફારોનું નિરીક્ષણ કરે છે, તેમને એકીકૃત કરે છે, અને ચોક્કસ સમય પછી, rsync તેમને સુમેળ કરવાનું શરૂ કરે છે. વિગતો અને સેટિંગ્સ પોસ્ટમાં વર્ણવેલ છે "એક અબજ ફાઇલોનું ઝડપી સિંક્રનાઇઝેશન".

વેબડેવ

ફાઇલો અપલોડ કરવાની ઘણી રીતો છે: SSH, NFS, WebDav. WebDav આધુનિક અને સરળ વિકલ્પ લાગે છે.

WebDav માટે, અમે Apache httpd નો ઉપયોગ કરીશું. શા માટે 2020 માં અપાચે httpd અને nginx નહીં?

હું Nginx + મોડ્યુલ્સ (ઉદાહરણ તરીકે, Webdav) બનાવવા માટે સ્વચાલિત સાધનોનો ઉપયોગ કરવા માંગુ છું.

Nginx + મોડ્યુલો બનાવવા માટે એક પ્રોજેક્ટ છે - nginx-બિલ્ડર. જો તમે ફાઇલો અપલોડ કરવા માટે nginx + wevdav નો ઉપયોગ કરો છો, તો તમારે મોડ્યુલની જરૂર છે nginx-dav-ext-module. સાથે Nginx બનાવવા અને ઉપયોગ કરવાનો પ્રયાસ કરતી વખતે nginx-dav-ext-module મદદ સાથે nginx-બિલ્ડર અમને એક ભૂલ મળશે nginx-dav-ext-module ને બદલે http_dav_module દ્વારા વપરાયેલ. ઉનાળામાં આ જ ભૂલ બંધ થઈ ગઈ હતી nginx: [emerg] અજ્ઞાત નિર્દેશક dav_methods.

મેં ખેંચવાની વિનંતી કરી એમ્બેડેડ, રિફેક્ટેડ --with-{}_module માટે ચેક git_url ઉમેરો и જો મોડ્યુલ == "http_dav_module" જોડો --સાથે. પરંતુ તેઓ સ્વીકારાયા ન હતા.

રૂપરેખા webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

મને લાગે છે કે તમે બાકીની Apache httpd રૂપરેખાંકન જાતે કરશો.

અપાચે httpd ની સામે Nginx

અપાચેથી વિપરીત, Nginx ઇવેન્ટ-આધારિત વિનંતી પ્રોસેસિંગ મોડલનો ઉપયોગ કરે છે, જેનો અર્થ છે કે કોઈપણ સંખ્યામાં ક્લાયંટ માટે માત્ર એક HTTP સર્વર પ્રક્રિયા જરૂરી છે. તમે nginx નો ઉપયોગ કરી શકો છો અને સર્વર લોડ ઘટાડી શકો છો.

nginx-front.conf રૂપરેખા. મને લાગે છે કે તમે બાકીનું nginx રૂપરેખાંકન જાતે કરશો.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

વેબડેવ દ્વારા ફાઇલો ડાઉનલોડ કરી રહ્યાં છીએ

આરપીએમ ડાઉનલોડ કરવું ખૂબ જ સરળ છે.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

સોર્સ: www.habr.com