ProHoster > Blogg > Administration > Installation av distribuerad redundansobjektslagring LeoFS, kompatibel med klienter som anvÀnder S3, NFS

Installation av distribuerad redundansobjektslagring LeoFS, kompatibel med klienter som anvÀnder S3, NFS

Enligt Opennet: LeoFS — ett distribuerat fel tolerant objektlagringssystem LeoFS, kompatibelt med klienter som anvĂ€nder Amazon S3 API och REST-API, samt som stöder NFS-serverlĂ€ge. Det finns optimeringar för att lagra bĂ„de smĂ„ och mycket stora objekt, en inbyggd cachemekanism, och lagringsreplikering mellan datacenter. Bland projektets mĂ„l nĂ€mns att nĂ„ en tillförlitlighet pĂ„ 99.9999999% genom överskott av replikerade kopior och eliminering av en enda felpunkt. Projektets kod Ă€r skriven i Erlang.

LeoFS bestÄr av tre komponenter:

  • LeoFS Storage — hanterar operationer för att lĂ€gga till, hĂ€mta och ta bort objekt och metadata, ansvarar för att genomföra replikering, Ă„terstĂ€llning och prioritera kundens förfrĂ„gningar.
  • LeoFS Gateway — hanterar HTTP-förfrĂ„gningar och omdirigerar svar till kunder med hjĂ€lp av REST-API eller S3-API, tillhandahĂ„ller cache för de mest efterfrĂ„gade data i minnet och pĂ„ disk.
  • LeoFS Manager — övervakar LeoFS Gateway och LeoFS Storage-noder, föreskriver statuskontroll och validerar checksumor. SĂ€kerstĂ€ller dataintegritet och hög tillgĂ€nglighet i lagringssystemet.

I det hÀr inlÀgget installerar vi LeoFS med hjÀlp av ansible-playbook, testar S3, NFS.

Om du försöker installera LeoFS med de officiella playbooks kan du förvÀnta dig olika fel: 1,2. I detta inlÀgg kommer jag att förklara vad som kan göras för att undvika dessa fel.

DÀr du kör ansible-playbook mÄste netcat vara installerad.

Exempel pÄ inventory

Exempel pÄ inventory (i repositoriet hosts.sample):

# Please check roles/common/vars/leofs_releases for available versions
[all:vars]
leofs_version=1.4.3
build_temp_path="/tmp/leofs_builder"
build_install_path="/tmp/"
build_branch="master"
source="package"

#[builder]
#172.26.9.177

# nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all
[leo_manager_0]
172.26.9.176

# nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all
[leo_manager_1]
172.26.9.178

[leo_storage]
172.26.9.179 leofs_module_nodename=S0@172.26.9.179
172.26.9.181 leofs_module_nodename=S0@172.26.9.181
172.26.9.182 leofs_module_nodename=S0@172.26.9.182
172.26.9.183 leofs_module_nodename=S0@172.26.9.183

[leo_gateway]
172.26.9.180 leofs_module_nodename=G0@172.26.9.180
172.26.9.184 leofs_module_nodename=G0@172.26.9.184

[leofs_nodes:children]
leo_manager_0
leo_manager_1
leo_gateway
leo_storage

Förbereda servrar

Inaktivera Selinux. Jag hoppas att communityn skapar Selinux-policys för LeoFS.

    - name: Installera libselinux som förutsÀttning för SELinux Ansible-modulen
      yum:
        name: "{{item}}"
        state: latest
      with_items:
        - libselinux-python
        - libsemanage-python

    - name: Inaktivera SELinux vid nÀsta omstart
      selinux:
        state: disabled

    - name: SÀtta SELinux i permissivt lÀge tills maskinen startas om
      command: setenforce 0
      ignore_errors: true
      changed_when: false

Installation netcat och redhat-lsb-core. netcat behövs för leofs-adm, redhat-lsb-core behövs för att faststÀlla OS-versionen hÀr.

    - name: Installera paket
      yum: name={{ item }} state=present
      with_items:
        - nmap-ncat
        - redhat-lsb-core

Skapa anvÀndaren leofs och lÀgga till den i gruppen wheel

    - name: Skapa anvÀndare leofs
      group:
        name: leofs
        state: present

    - name: TillÄt 'wheel'-gruppen att ha lösenordsfri sudo
      lineinfile:
        dest: /etc/sudoers
        state: present
        regexp: '^%wheel'
        line: '%wheel ALL=(ALL) NOPASSWD: ALL'
        validate: 'visudo -cf %s'

    - name: LÀgg till anvÀndaren 'leofs' i gruppen 'wheel'
      user:
        name: leofs
        groups: wheel
        append: yes

Installation av Erlang

    - namn: Remote erlang-20.3.8.23-1.el7.x86_64.rpm installera med yum
      yum: name=https://github.com/rabbitmq/erlang-rpm/releases/download/v20.3.8.23/erlang-20.3.8.23-1.el7.x86_64.rpm

Den fullstÀndiga versionen av de korrigerade ansible playbookarna finns hÀr: https://github.com/patsevanton/leofs_ansible

Installation, konfigurering, start

FortsÀtt med att utföra som skrivet i https://github.com/leo-project/leofs_ansible utan build_leofs.yml

## Install LeoFS
$ ansible-playbook -i hosts install_leofs.yml

## Config LeoFS
$ ansible-playbook -i hosts config_leofs.yml

## Start LeoFS
$ ansible-playbook -i hosts start_leofs.yml

Kontrollera status för klustret pÄ Primary LeoManager

leofs-adm status

Primary och Secondary kan ses i ansible-playbook-loggarna

Installation av distribuerad redundansobjektslagring LeoFS, kompatibel med klienter som anvÀnder S3, NFS

Installation av distribuerad redundansobjektslagring LeoFS, kompatibel med klienter som anvÀnder S3, NFS

Utdata kommer att se ungefÀr ut sÄ hÀr

 [Systemkonfiguration]
-----------------------------------+----------
 Objekt                            | VĂ€rde    
-----------------------------------+----------
 Grund-/KonsistensnivÄ
-----------------------------------+----------
                    system version | 1.4.3
                        cluster Id | leofs_1
                             DC Id | dc_1
                    Totala replikat | 2
          antal framgÄngar av R  | 1
          antal framgÄngar av W  | 1
          antal framgÄngar av D  | 1
 antal rackmedvetna replikat    | 0
                         ring storlek | 2^128
-----------------------------------+----------
 Multi DC replikationsinstÀllningar
-----------------------------------+----------
 [mdcr] max antal anslutna DCs  | 2
 [mdcr] totalt antal replikat per DC | 1
 [mdcr] antal framgÄngar av R     | 1
 [mdcr] antal framgÄngar av W     | 1
 [mdcr] antal framgÄngar av D     | 1
-----------------------------------+----------
 Manager RING hash
-----------------------------------+----------
                 nuvarande ring-hash | a0314afb
                föregÄende ring-hash | a0314afb
-----------------------------------+----------

 [TillstÄnd av nod(er)]
-------+----------------------+--------------+---------+----------------+----------------+----------------------------
 typ  |         nod         |    tillstÄnd  | rack id |  nuvarande ring  |   föreg ring    |          uppdaterat vid         
-------+----------------------+--------------+---------+----------------+----------------+----------------------------
  S    | S0@172.26.9.179      | kör          |         | a0314afb       | a0314afb       | 2019-12-05 10:33:47 +0000
  S    | S0@172.26.9.181      | kör          |         | a0314afb       | a0314afb       | 2019-12-05 10:33:47 +0000
  S    | S0@172.26.9.182      | kör          |         | a0314afb       | a0314afb       | 2019-12-05 10:33:47 +0000
  S    | S0@172.26.9.183      | kopplad      |         |                |                | 2019-12-05 10:33:58 +0000
  G    | G0@172.26.9.180      | kör          |         | a0314afb       | a0314afb       | 2019-12-05 10:33:49 +0000
  G    | G0@172.26.9.184      | kör          |         | a0314afb       | a0314afb       | 2019-12-05 10:33:49 +0000
-------+----------------------+--------------+---------+----------------+----------------+----------------------------

Skapa anvÀndare

Skapa anvÀndare leofs:

leofs-adm create-user leofs leofs

  access-key-id: 9c2615f32e81e6a1caf5
  secret-access-key: 8aaaa35c1ad78a2cbfa1a6cd49ba8aaeb3ba39eb

Lista över anvÀndare:

leofs-adm get-users
user_id     | role_id | access_key_id          | created_at                
------------+---------+------------------------+---------------------------
_test_leofs | 9       | 05236                  | 2019-12-02 06:56:49 +0000
leofs       | 1       | 9c2615f32e81e6a1caf5   | 2019-12-02 10:43:29 +0000

Skapa Bucket

Jag har skapat en bucket

leofs-adm add-bucket leofs 9c2615f32e81e6a1caf5
OK

Lista över bucket:

 leofs-adm get-buckets
cluster id   | bucket   | Àgare  | behörigheter      | skapat den                
-------------+----------+--------+------------------+---------------------------
leofs_1      | leofs    | leofs  | Jag(full_control) | 2019-12-02 10:44:02 +0000

Konfigurering av s3cmd

I fÀltet Namn pÄ HTTP-proxyserver ange Gateway-serverns IP

s3cmd --configure 

Ange nya vÀrden eller acceptera standardinstÀllningar i hakparenteser med Enter.
Se anvÀndarmanualen för en detaljerad beskrivning av alla alternativ.

Åtkomstnyckel och hemlig nyckel Ă€r dina identifierare för Amazon S3. LĂ€mna dem tomma för att anvĂ€nda miljövariabler.
Åtkomstnyckel [9c2615f32e81e6a1caf5]: 
Hemlig nyckel [8aaaa35c1ad78a2cbfa1a6cd49ba8aaeb3ba39eb]: 
Standardregion [US]: 

AnvÀnd "s3.amazonaws.com" som S3-endpunkt och modifiera inte den till mÄlet Amazon S3.
S3-endpunkt [s3.amazonaws.com]: 

AnvÀnd "%(bucket)s.s3.amazonaws.com" för mÄlet Amazon S3. "%(bucket)s" och "%(location)s" variabler kan anvÀndas
om mÄlsystemet för S3 stöder DNS-baserade buckets.
DNS-stil för bucket+vÀrdnamn:portmall för att komma Ät en bucket [%(bucket)s.s3.amazonaws.com]: leofs

Krypteringslösenord anvÀnds för att skydda dina filer frÄn att lÀsas
av obehöriga personer under överföring till S3
Krypteringslösenord: 
SökvÀg till GPG-program [\/usr\/bin\/gpg]: 

NÀr du anvÀnder den sÀkra HTTPS-protokollet Àr all kommunikation med Amazon S3
servrar skyddad mot lyssning frÄn tredje part. Denna metod Àr
lÄngsammare Àn vanlig HTTP och kan bara anvÀndas med Python 2.7 eller nyare.
AnvÀnd HTTPS-protokoll [Nej]: 

PÄ vissa nÀtverk mÄste all internetÄtkomst gÄ genom en HTTP-proxy.
Försök att konfigurera det hÀr om du inte kan ansluta till S3 direkt.
Namn pÄ HTTP-proxyserver [172.26.9.180]: 
HTTP-proxyserverns port [8080]: 

Nya instÀllningar:
  Åtkomstnyckel: 9c2615f32e81e6a1caf5
  Hemlig nyckel: 8aaaa35c1ad78a2cbfa1a6cd49ba8aaeb3ba39eb
  Standardregion: US
  S3-endpunkt: s3.amazonaws.com
  DNS-stil för bucket+vÀrdnamn:portmall för att komma Ät en bucket: leofs
  Krypteringslösenord: 
  SökvÀg till GPG-program: \/usr\/bin\/gpg
  AnvÀnd HTTPS-protokoll: Falskt
  Namn pÄ HTTP-proxyserver: 172.26.9.180
  HTTP-proxyserverns port: 8080

Testa Ă„tkomst med angivna autentiseringsuppgifter? [Y\/n] Y
VÀnligen vÀnta, försöker lista alla buckets...
FramgÄng. Din Ätkomstnyckel och hemliga nyckel fungerade fint :-)

Verifierar nu att kryptering fungerar...
Inte konfigurerad. Ingen fara.

Spara instÀllningar? [y\/N] y
Konfiguration sparades till '\/home\/user\/.s3cfg'

Om du fĂ„r felet ERROR: S3-fel: 403 (AccessDenied): Åtkomst nekad:

s3cmd put test.py s3:\/\/leofs\/
upload: 'test.py' -> 's3:\/\/leofs\/test.py'  [1 av 1]
 382 av 382   100% pÄ    0s     3.40 kB\/s  klart
ERROR: S3-fel: 403 (AccessDenied): Åtkomst nekad

DÄ behöver du Àndra signature_v2 till True i s3cmd-konfigurationen. Mer information finns i detta problem.

Om signature_v2 Àr False kommer du fÄ ett sÄdant fel:

WARNING: Retrying failed request: /?delimiter=%2F (getaddrinfo() argument 2 must be integer or string)
WARNING: Waiting 3 sec...
WARNING: Retrying failed request: /?delimiter=%2F (getaddrinfo() argument 2 must be integer or string)
WARNING: Waiting 6 sec...
ERROR: Test failed: Request failed for: /?delimiter=%2F

Testa uppladdning

Skapar en fil pÄ 1 GB

fallocate -l 1GB 1gb

Laddar upp den till Leofs

time s3cmd put 1gb s3:\/\/leofs\/
real    0m19.099s
user    0m7.855s
sys 0m1.620s

Statistik

leofs-adm du för 1 nod:

leofs-adm du S0@172.26.9.179
 aktivt antal objekt: 156
  totalt antal objekt: 156
   aktiv storlek pÄ objekt: 602954495
    total storlek av objekt: 602954495
     förhÄllande av aktiv storlek: 100.0%
    senaste komprimeringsstart: ____-__-__ __:__:__
      senaste komprimeringsslut: ____-__-__ __:__:__

Vi ser att utdata inte Àr sÀrskilt informativ.

LÄt oss se var den hÀr filen ligger.
leofs-adm whereis leofs\/1gb

leofs-adm var Àr leofs/1gb
-------+----------------------+--------------------------------------+------------+--------------+----------------+----------------+----------------+----------------------------
 del?  |         nod          |             ringadress              |    storlek  |   kontrollsumma |  har barn      |  totalt bitar  |     klocka     |             nÀr            
-------+----------------------+--------------------------------------+------------+--------------+----------------+----------------+----------------+----------------------------
       | S0@172.26.9.181      | 657a9f3a3db822a7f1f5050925b26270     |    976563K |   a4634eea55  | true           |             64 | 598f2aa976a4f  | 2019-12-05 10:48:15 +0000
       | S0@172.26.9.182      | 657a9f3a3db822a7f1f5050925b26270     |    976563K |   a4634eea55  | true           |             64 | 598f2aa976a4f  | 2019-12-05 10:48:15 +0000

Aktiverar NFS

Aktiverar NFS pÄ servern Leo Gateway 172.26.9.184.

Installera nfs-utils pÄ servern och klienten

sudo yum install nfs-utils

Korrigera konfigurationsfilen enligt instruktionerna /usr/local/leofs/current/leo_gateway/etc/leo_gateway.conf

protocol = nfs

Starta rpcbind och leofs-gateway pÄ servern 172.26.9.184

sudo service rpcbind start
sudo service leofs-gateway restart

Skapa en bucket för NFS pÄ servern dÀr leo_manager körs och generera en nyckel för anslutning till NFS

leofs-adm add-bucket test 05236
leofs-adm gen-nfs-mnt-key test 05236 ip-adress-nfs-klient

Anslutning till NFS

sudo mkdir /mnt/leofs
## för Linux - "sudo mount -t nfs -o nolock <host>:/<bucket>/<token> <dir>"
sudo mount -t nfs -o nolock ip-adress-nfs-server-dÀr-gateway-Àr-installerad:bucket/access_key_id/nyckel-frÄn-gen-nfs-mnt-key /mnt/leofs
sudo mount -t nfs -o nolock 172.26.9.184:/test/05236/bb5034f0c740148a346ed663ca0cf5157efb439f /mnt/leofs

Visa diskutrymme via NFS-klienten

Diskutrymmet beaktande att varje storage-nod har en disk pÄ 40GB (3 noder som körs, 1 nod som Àr ansluten):

df -hP
Filsystem                                                            Storlek  AnvÀnt  TillgÀngligt AnvÀndning% Monterad pÄ
172.26.9.184:/test/05236/e7298032e78749149dd83a1e366afb328811c95b   60G  3.6G   57G   6% /mnt/leofs

Installation av LeoFS med 6 storage-noder.

Inventering (utan builder):

# Please check roles/common/vars/leofs_releases for available versions
[all:vars]
leofs_version=1.4.3
build_temp_path="/tmp/leofs_builder"
build_install_path="/tmp/"
build_branch="master"
source="package"

# nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all
[leo_manager_0]
172.26.9.177

# nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all
[leo_manager_1]
172.26.9.176

[leo_storage]
172.26.9.178 leofs_module_nodename=S0@172.26.9.178
172.26.9.179 leofs_module_nodename=S0@172.26.9.179
172.26.9.181 leofs_module_nodename=S0@172.26.9.181
172.26.9.182 leofs_module_nodename=S0@172.26.9.182
172.26.9.183 leofs_module_nodename=S0@172.26.9.183
172.26.9.185 leofs_module_nodename=S0@172.26.9.185

[leo_gateway]
172.26.9.180 leofs_module_nodename=G0@172.26.9.180
172.26.9.184 leofs_module_nodename=G0@172.26.9.184

[leofs_nodes:children]
leo_manager_0
leo_manager_1
leo_gateway
leo_storage

Utdata leofs-adm status

Utdata leofs-adm status

 [System Confiuration]
-----------------------------------+----------
 Item                              | Value    
-----------------------------------+----------
 Basic/Consistency level
-----------------------------------+----------
                    system version | 1.4.3
                        cluster Id | leofs_1
                             DC Id | dc_1
                    Total replicas | 2
          number of successes of R | 1
          number of successes of W | 1
          number of successes of D | 1
 number of rack-awareness replicas | 0
                         ring size | 2^128
-----------------------------------+----------
 Multi DC replication settings
-----------------------------------+----------
 [mdcr] max number of joinable DCs | 2
 [mdcr] total replicas per a DC    | 1
 [mdcr] number of successes of R   | 1
 [mdcr] number of successes of W   | 1
 [mdcr] number of successes of D   | 1
-----------------------------------+----------
 Manager RING hash
-----------------------------------+----------
                 current ring-hash | d8ff465e
                previous ring-hash | d8ff465e
-----------------------------------+----------

 [State of Node(s)]
-------+----------------------+--------------+---------+----------------+----------------+----------------------------
 type  |         node         |    state     | rack id |  current ring  |   prev ring    |          updated at         
-------+----------------------+--------------+---------+----------------+----------------+----------------------------
  S    | S0@172.26.9.178      | running      |         | d8ff465e       | d8ff465e       | 2019-12-06 05:18:29 +0000
  S    | S0@172.26.9.179      | running      |         | d8ff465e       | d8ff465e       | 2019-12-06 05:18:29 +0000
  S    | S0@172.26.9.181      | running      |         | d8ff465e       | d8ff465e       | 2019-12-06 05:18:30 +0000
  S    | S0@172.26.9.182      | running      |         | d8ff465e       | d8ff465e       | 2019-12-06 05:18:29 +0000
  S    | S0@172.26.9.183      | running      |         | d8ff465e       | d8ff465e       | 2019-12-06 05:18:29 +0000
  S    | S0@172.26.9.185      | running      |         | d8ff465e       | d8ff465e       | 2019-12-06 05:18:29 +0000
  G    | G0@172.26.9.180      | running      |         | d8ff465e       | d8ff465e       | 2019-12-06 05:18:31 +0000
  G    | G0@172.26.9.184      | running      |         | d8ff465e       | d8ff465e       | 2019-12-06 05:18:31 +0000
-------+----------------------+--------------+---------+----------------+----------------+----------------------------

Diskutrymme med hÀnsyn till att varje lagringsnod har en 40GB disk (6 noder körs):

df -hP
Filesystem                                                         Size  Used Avail Use% Mounted on
172.26.9.184:/test/05236/e7298032e78749149dd83a1e366afb328811c95b  120G  3.6G  117G   3% /mnt/leofs

Om 5 noder anvÀnds för lagring

[leo_storage]
172.26.9.178 leofs_module_nodename=S0@172.26.9.178
172.26.9.179 leofs_module_nodename=S1@172.26.9.179
172.26.9.181 leofs_module_nodename=S2@172.26.9.181
172.26.9.182 leofs_module_nodename=S3@172.26.9.182
172.26.9.183 leofs_module_nodename=S4@172.26.9.183

df -hP
172.26.9.184:/test/05236/e7298032e78749149dd83a1e366afb328811c95b  100G  3.0G   97G   3% /mnt/leofs

Loggar

Loggar finns i katalogerna /usr/local/leofs/current/*/log

Telegram-kanal: SDS och Kluster-FS

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster