ProHoster > BLOG > administrare > Depozitare rpm simplă folosind Inotify și webdav

Depozitare rpm simplă folosind Inotify și webdav

În această postare, ne vom uita la un depozit de artefacte rpm folosind un simplu script inotify + createrepo. Artefactele sunt încărcate prin webdav folosind apache httpd. De ce apache httpd va fi scris spre sfârșitul postării.

Deci, soluția trebuie să îndeplinească următoarele cerințe pentru organizarea doar a stocării RPM:

  • Gratuit

  • Disponibilitatea pachetului în depozit la câteva secunde după încărcare în depozitul de artefacte.

  • Ușor de instalat și întreținut

  • Abilitatea de a face disponibilitate ridicată

    De ce nu SonaType Nexus sau Pulpă:

  • Depozitare în SonaType Nexus sau Pulpă multe tipuri de artefacte duce la faptul că SonaType Nexus sau Pulpă devin un singur punct de eșec.

  • Disponibilitate ridicată în SonaType Nexus este platit.

  • Pulpă Mi se pare o soluție supraproiectată.

  • Artefacte în SonaType Nexus stocat în blob. În cazul unei întreruperi bruște de curent, nu veți putea restabili blob-ul dacă nu aveți o copie de rezervă. Am avut aceasta eroare: ERROR [ForkJoinPool.commonPool-worker-2] *SYSTEM [com.orientechnologies.orient.core.storage](http://com.orientechnologies.orient.core.storage/).fs.OFileClassic - $ANSI{green {db=security}} Error during data read for file 'privilege_5.pcl' 1-th attempt [java.io](http://java.io/).IOException: Bad address. Blob nu a fost niciodată recuperat.

Cod sursă

→ Se află codul sursă aici

Scriptul principal arată astfel:

#!/bin/bash

source /etc/inotify-createrepo.conf
LOGFILE=/var/log/inotify-createrepo.log

function monitoring() {
    inotifywait -e close_write,delete -msrq --exclude ".repodata|.olddata|repodata" "${REPO}" | while read events 
    do
      echo $events >> $LOGFILE
      touch /tmp/need_create
    done
}

function run_createrepo() {
  while true; do
    if [ -f /tmp/need_create ];
    then
      rm -f /tmp/need_create
      echo "start createrepo $(date --rfc-3339=seconds)"
      /usr/bin/createrepo --update "${REPO}"
      echo "finish createrepo $(date --rfc-3339=seconds)"
    fi
    sleep 1
  done
}

echo "Start filesystem monitoring: Directory is $REPO, monitor logfile is $LOGFILE"
monitoring >> $LOGFILE &
run_createrepo >> $LOGFILE &

Instalare

inotify-createrepo funcționează numai pe CentOS 7 sau o versiune ulterioară. Nu l-am putut face să funcționeze pe CentOS 6.

yum -y install yum-plugin-copr
yum copr enable antonpatsev/inotify-createrepo
yum -y install inotify-createrepo
systemctl start inotify-createrepo

Configurare

În mod implicit, inotify-createrepo monitorizează un director /var/www/repos/rpm-repo/.

Puteți schimba acest director în fișier /etc/inotify-createrepo.conf.

Folosi

Când adăugați orice fișier într-un director /var/www/repos/rpm-repo/ inotifywait va crea un fișier /tmp/need_create. Funcția run_createrepo rulează într-o buclă infinită și monitorizează fișierul /tmp/need_create. Dacă fișierul există, atunci rulați createrepo --update.

În fișier va apărea o intrare:

/var/www/repos/rpm-repo/ CREATE nginx-1.16.1-1.el7.ngx.x86_64.rpm
start createrepo 2020-03-02 09:46:21+03:00
Spawning worker 0 with 1 pkgs
Spawning worker 1 with 0 pkgs
Spawning worker 2 with 0 pkgs
Spawning worker 3 with 0 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete
finish createrepo 2020-03-02 09:46:22+03:00

Abilitatea de a face disponibilitate ridicată

Pentru a face o disponibilitate ridicată dintr-o soluție existentă, cred că puteți folosi 2 servere, Keepalived pentru HA și Lsyncd pentru sincronizarea artefactelor. Lsyncd - un demon care monitorizează modificările din directorul local, le agregează și, după un anumit timp, rsync începe să le sincronizeze. Detaliile și setările sunt descrise în postarea „Sincronizare rapidă a unui miliard de fișiere".

WebDav

Există mai multe moduri de a încărca fișiere: SSH, NFS, WebDav. WebDav pare a fi o opțiune modernă și simplă.

Pentru WebDav, vom folosi Apache httpd. De ce Apache httpd în 2020 și nu nginx?

Aș dori să folosesc instrumente automate pentru construirea modulelor Nginx + (de exemplu, Webdav).

Există un proiect pentru construirea modulelor Nginx + - nginx-builder. Dacă utilizați nginx + wevdav pentru a încărca fișiere, atunci aveți nevoie de un modul nginx-dav-ext-modul. Când încercați să construiți și să utilizați Nginx cu nginx-dav-ext-modul cu ajutorul nginx-builder vom primi o eroare Folosit de http_dav_module în loc de nginx-dav-ext-module. Același bug a fost închis în vară nginx: [emerg] directivă necunoscută dav_methods.

Am făcut o cerere de tragere Adăugați verificați git_url pentru încorporat, refactorizat --with-{}_module и if module == "http_dav_module" append --with. Dar nu au fost acceptați.

config webdav.conf

DavLockDB /var/www/html/DavLock
<VirtualHost localhost:80>
    ServerAdmin webmaster@localhost
    DocumentRoot /var/www/html
    ErrorLog /var/log/httpd/error.log
    CustomLog /var/log/httpd/access.log combined

    Alias /rpm /var/www/repos/rpm-repo
    <Directory /var/www/repos/rpm-repo>
        DAV On
        Options Indexes FollowSymlinks SymLinksifOwnerMatch IncludesNOEXEC
        IndexOptions NameWidth=* DescriptionWidth=*
        AllowOverride none
        Require all granted
    </Directory>
</VirtualHost>

Cred că veți face singur restul configurației Apache httpd.

Nginx în fața Apache httpd

Spre deosebire de Apache, Nginx folosește un model de procesare a cererilor bazat pe evenimente, ceea ce înseamnă că este necesar un singur proces de server HTTP pentru orice număr de clienți. Puteți utiliza nginx și puteți reduce încărcarea serverului.

nginx-front.conf config. Cred că veți face singur restul configurației nginx.

upstream nginx_front {
    server localhost:80;
}

server {
    listen 443 ssl;
    server_name ваш-виртуальных-хост;
    access_log /var/log/nginx/nginx-front-access.log main;
    error_log /var/log/nginx/nginx-front.conf-error.log warn;

    location / {
        proxy_pass http://nginx_front;
    }
}

Descărcarea fișierelor prin WebDav

Descărcarea rpm este foarte ușoară.

curl -T ./nginx-1.16.1-1.el7.ngx.x86_64.rpm https://ваш-виртуальный-хост/rpm/

Sursa: www.habr.com

Adauga un comentariu