🥇Travail de laboratoire : configuration de lvm, raid sur linux

Une petite digression : ce TP est synthétique.
Certaines tâches décrites ici peuvent être effectuées beaucoup plus simplement, mais puisque l'objectif du TP est de se familiariser
avec les fonctionnalités de RAID et LVM, certaines opérations sont artificiellement compliquées.

Exigences en matière d'outils pour réaliser le TP :

Outils de virtualisation, par exemple VirtualBox
Image d'installation de Linux, par exemple Debian 9
Accès à Internet pour télécharger plusieurs paquets
Connexion SSH à la machine virtuelle installée (optionnel)

ATTENTION

Ce travail pratique concerne une matière aussi délicate que la sauvegarde des données — c'est un domaine
qui permet de perdre toutes vos données à cause d'une petite erreur — une lettre ou un chiffre en trop.
Puisque vous réalisez un TP, rien ne vous menace, excepté le fait de devoir recommencer.
Dans la vraie vie, c'est beaucoup plus sérieux, c'est pourquoi il est essentiel de saisir avec précision les noms des disques, en comprenant
quelles commandes vous exécutez actuellement et avec quels disques vous travaillez.

Un deuxième point important — la nomination des disques et des partitions : selon la situation, les numéros des disques peuvent différer
des valeurs présentées dans les commandes du TP.
Ainsi, par exemple, si vous supprimez le disque sda du tableau, puis ajoutez un nouveau disque, le nouveau disque sera affiché
dans le système avec le nom sda. Si vous effectuez un redémarrage avant d'ajouter un nouveau disque, alors le nouveau
disque sera nommé sdb, tandis que l'ancien sera désigné par sda.

Le travail pratique doit être réalisé sous l'utilisateur superutilisateur (root) car la plupart des commandes nécessitent
des privilèges élevés et il n'est pas judicieux d'augmenter continuellement les privilèges avec sudo.

Matériaux d'étude

RAID
LVM
Nommer les disques dans le système d'exploitation Linux
Qu'est-ce qu'une partition
Qu'est-ce qu'une table de partitions et où est-elle stockée
Qu'est-ce que GRUB

Utilitaires utilisés

1) Consultation des informations sur les disques

lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
fdisk -l
2) Consultation des informations et travail avec LVM
pvs
pvextend
pvcreate
pvresize
vgs
vgreduce
lvs
lvextend
3) Consultation des informations et travail avec le RAID
cat /proc/mdstat
mdadm
4) Points de montage
mount
umount
cat /etc/fstab
cat /etc/mtab
5) Redimensionnement du disque
fdisk /dev/XXX
6) Copie de partitions
dd if=/dev/xxx of=/dev/yyy
7) Travail avec la table de partitions
partx
sfdisk
mkfs.ext4
8) Travail avec le chargeur de démarrage
grub-install /dev/XXX
update-grub
9) Divers
lsof
apt
rsync

Le travail pratique se compose de 3 parties :

configuration d'un système fonctionnel utilisant LVM, RAID
émulation de la défaillance d'un des disques
remplacement des disques à chaud, avec ajout de nouveaux disques et transfert de partitions.

Tâche 1 (Installation du système d'exploitation et configuration de LVM, RAID)

1) Créez une nouvelle machine virtuelle en lui attribuant les caractéristiques suivantes :

1 Go de RAM
1 CPU
2 disques durs (les nommer ssd1, ssd2 et leur attribuer la même taille, cocher les options hot swap et ssd)
Le contrôleur SATA est configuré sur 4 ports

2) Commencez l'installation de Linux et, lors du choix des disques durs, faites comme suit :

Méthode de partitionnement : manuelle, après quoi vous devez voir l'image suivante :
Configuration d'une partition séparée pour /boot : sélectionnez le premier disque et créez une nouvelle table de partitions dessus
- Taille de la partition : 512M
- Point de montage : /boot
- Répétez la configuration pour le second disque, mais comme vous ne pouvez pas monter /boot deux fois en même temps, choisissez point de montage : none, obtenant ainsi ce qui suit (image présentant un souci, rien d'autre à faire) :
Configuration du RAID :
- Sélectionnez l'espace libre sur le premier disque et configurez-le comme type de partition volume physique pour RAID
- Sélectionnez « Terminer la configuration de la partition »
- Répétez exactement la même configuration pour le second disque, au résultat vous obtenez ce qui suit :
- Sélectionnez l'option « Configurer le RAID logiciel »
- Créer un appareil MD
- Type de dispositif RAID logiciel : Sélectionnez un tableau miroir
- Dispositifs actifs pour le tableau RAID XXXX : sélectionnez les deux disques
- Dispositifs de secours : laissez 0 par défaut
- Dispositifs actifs pour le tableau RAID XX : sélectionnez les partitions que vous avez créées pour le raid
- Terminer
- En fin de compte, vous devez obtenir l'image suivante :
Configuration de LVM : sélectionnez Configurer le Gestionnaire de Volume Logique
- Conserver la configuration de partition actuelle et configurer LVM : Oui
- Créer un groupe de volumes
- Nom du groupe de volumes : system
- Dispositifs pour le nouveau groupe de volumes : sélectionnez votre RAID créé
- Créer un volume logique
- nom du volume logique : root
- taille du volume logique : 25 de la taille de votre disque
- Créer un volume logique
- nom du volume logique : var
- taille du volume logique : 25 de la taille de votre disque
- Créer un volume logique
- nom du volume logique : log
- taille du volume logique : 15 de la taille de votre disque
- En choisissant Afficher les détails de la configuration, vous devez obtenir l'image suivante :
- Après avoir terminé la configuration de LVM, vous devez voir ce qui suit :
Partitionnement : sélectionnez successivement chaque volume créé dans LVM et partitionnez-les, par exemple, pour root comme suit :
- Utiliser comme : ext4
- point de montage : /
- le résultat du partitionnement de la partition racine doit être comme suit :
- répétez l'opération de partitionnement pour var et log en sélectionnant les points de montage correspondants (/var et /var/log à entrer manuellement), obtenant le résultat suivant :
- Sélectionnez Terminer le partitionnement
- On vous posera plusieurs questions sur le fait qu'il vous reste une partition non montée et que le swap n'est pas configuré. Il convient de répondre négativement aux deux questions.
Le résultat final doit être le suivant :

3) Terminez l'installation du système d'exploitation en installant grub sur le premier périphérique (sda) et démarrez le système.
4) Copiez le contenu de la partition /boot du disque sda (ssd1) sur le disque sdb (ssd2)
```
dd if=/dev/sda1 of=/dev/sdb1
```
5) Installez grub sur le deuxième périphérique :

vérifiez les disques dans le système :

fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT

Énumérez tous les disques indiqués par la commande précédente et décrivez ce que c'est.
Trouvez le disque sur lequel grub n'a pas été installé et effectuez cette installation :
grub-install /dev/sdb
consultez les informations sur le raid actuel avec la commande cat /proc/mdstat et notez ce que vous avez vu.
regardez les résultats des commandes : pvs, vgs, lvs, mount et notez ce que vous avez vu.

Décrivez avec vos propres mots ce que vous avez fait et quel résultat vous avez obtenu à l'issue de la tâche réalisée.

Après avoir effectué cette tâche, il est recommandé de sauvegarder le dossier contenant la machine virtuelle ou de faire
vagrant box : https://t.me/bykvaadm/191

Résultat : Machine virtuelle avec les disques ssd1, ssd2

Tâche 2 (Émulation de la défaillance de l'un des disques)

1) Si vous avez coché la case hot swap, vous pouvez supprimer les disques à chaud.

Supprimez le disque ssd1 dans les propriétés de la machine.
Trouvez le répertoire où sont stockés les fichiers de votre machine virtuelle et supprimez ssd1.vmdk.
2) Assurez-vous que votre machine virtuelle fonctionne toujours.
3) Redémarrez la machine virtuelle et assurez-vous qu'elle fonctionne toujours.
4) vérifiez l'état du tableau RAID : cat /proc/mdstat
5) ajoutez un nouveau disque de la même taille dans l'interface VM et appelez-le ssd3.
6) effectuez les opérations :
vérifiez que le nouveau disque est reconnu dans le système avec la commande fdisk -l.
copiez la table de partitions de l'ancien disque sur le nouveau : sfdisk -d /dev/XXXX | sfdisk /dev/YYY
vérifiez le résultat avec la commande fdisk -l.
Ajoutez le nouveau disque au tableau RAID : mdadm —manage /dev/md0 —add /dev/YYY
Vérifiez le résultat : cat /proc/mdstat. Vous devriez voir que la synchronisation a commencé.
7) Vous devez maintenant procéder manuellement à la synchronisation des partitions ne faisant pas partie du RAID.
Pour cela, nous utiliserons l'outil dd, en copiant d'un disque « vivant » vers le nouveau disque que vous venez d'installer.
```
dd if=/dev/XXX of=/dev/YYY
```
8) Après la synchronisation, installez grub sur le nouveau disque.
9) Redémarrez la VM pour vous assurer que tout fonctionne.
Décrivez avec vos propres mots ce que vous avez fait et quel résultat vous avez obtenu à l'issue de la tâche réalisée.
Résultat : Disque ssd1 supprimé, disque ssd2 conservé, disque ssd3 ajouté.
Tâche 3 (Ajout de nouveaux disques et transfert de la partition)
C'est la tâche la plus complexe et volumineuse de toutes celles présentées.
Vérifiez très attentivement ce que vous faites et avec quels disques et partitions.
Il est recommandé de faire une copie avant de l'exécuter.
Cette tâche est indépendante de la tâche n°2, elle peut être réalisée après la tâche n°1 en tenant compte des noms des disques.
La deuxième partie de la tâche de ce laboratoire doit ramener à exactement le même état qu'après l'exécution de la première partie.
Pour vous faciliter le travail, je recommande de ne pas supprimer physiquement les disques de la machine hôte, mais simplement de
les détacher dans les propriétés de la machine. Du point de vue du système d'exploitation dans la VM, cela aura exactement l'air identique, mais vous pourrez
en cas de problème reconnecter le disque et continuer votre travail en revenant quelques étapes en arrière, si
vous avez rencontré des problèmes. Par exemple, vous avez pu commettre une erreur ou oublier de copier la partition /boot sur le nouveau disque.
Je ne peux que vous conseiller de vérifier plusieurs fois avec quels disques et partitions vous travaillez, et mieux encore
noter sur un papier la correspondance entre les disques, les partitions et le numéro de disque « physique ». Un bel et clair arbre
est produit par la commande lsblk, utilisez-le aussi souvent que possible pour analyser ce que vous avez fait et ce qui doit être fait.
À propos de l'histoire…
Imaginez que votre serveur ait fonctionné longtemps avec 2 disques SSD, puis soudain…
1) Émulez la défaillance du disque ssd2 en le supprimant des propriétés de la VM et en redémarrant.
2) Vérifiez l'état actuel des disques et du RAID :
```
cat /proc/mdstat
fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
3) Vous avez de la chance - la direction a autorisé l'achat de nouveaux disques :
2 SATA de grande capacité pour une tâche attendue depuis longtemps consistant à déplacer la partition des journaux sur un disque séparé.
2 SSD pour remplacer l'un mort, ainsi qu'un autre qui fonctionne encore.
Il convient de noter que le panier de serveurs ne prend en charge que 4 disques à la fois,
donc il n'est pas possible d'ajouter tous les disques en même temps.
La capacité du HDD doit être choisie deux fois supérieure à celle des SSD.
La capacité du SSD doit être choisie 1,25 fois supérieure à celle des anciens SSD.
4) Ajoutez un nouveau disque SSD, nommé ssd4, puis après l'ajout, vérifiez ce qui s'est passé :
```
fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
5) En premier lieu, il convient de s'assurer de la sécurité des données de l'ancien disque.
Cette fois, nous allons transférer les données à l'aide de LVM :
- Tout d'abord, il est nécessaire de copier la table des fichiers de l'ancien disque vers le nouveau :
```
sfdisk -d /dev/XXX | sfdisk /dev/YYY
```
  Remplacez x, y par les disques appropriés et analysez ce que fait cette commande.
  Exécutez la commande lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT et comparez sa sortie avec l'appel précédent.
  Qu'est-ce qui a changé ?
  Utilisez la commande dd pour copier les données /boot sur le nouveau disque.
```
dd if=/dev/XXX of=/dev/YYY
```
  Si /boot est encore monté sur l'ancien disque, il doit être remonté sur le disque actif :
```
mount | grep boot # vérifiez où le disque est monté
lsblk # vérifiez quels disques sont dans le système et vérifiez s'il y a le disque obtenu de l'étape précédente
umount /boot # démontez /boot
mount -a # montez tous les points selon /etc/fstab.
# Comme le point de montage /dev/sda est spécifié, cela remontera correctement sur le disque actif.
```
  Installez le chargeur d'amorçage sur le nouveau disque SSD.
```
grub-install /dev/YYY
```
  Pourquoi effectuons-nous cette opération ?
  Créez un nouveau tableau RAID en n'incluant qu'un seul nouveau disque SSD :
```
mdadm --create --verbose /dev/md63 --level=1 --raid-devices=1 /dev/YYY
```
  La commande ci-dessus ne fonctionnera pas sans l'indication d'une option spéciale.
  Lisez l'aide et ajoutez cette option à la commande.
  Avec la commande cat /proc/mdstat, vérifiez le résultat de votre opération. Qu'est-ce qui a changé ?
  Exécutez la commande lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT et comparez sa sortie avec l'appel précédent.
  Qu'est-ce qui a changé ?
  6) La prochaine étape consiste à configurer LVM.
  Exécutez la commande pvs pour voir les informations sur les volumes physiques actuels.
  Créez un nouveau volume physique en incluant le tableau RAID précédemment créé :
```
pvcreate /dev/md63
```
  Exécutez la commande lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT et comparez sa sortie avec l'appel précédent.
  Qu'est-ce qui a changé ?
  Exécutez à nouveau la commande pvs. Qu'est-ce qui a changé ?
  Augmentons la taille du groupe de volumes system avec cette commande :
```
vgextend system /dev/md63
```
  Exécutez les commandes et notez ce que vous avez vu et ce qui a changé.
```
vgdisplay system -v
pvs
vgs
lvs -a -o+devices
```
  Sur quel disque physique se trouvent actuellement les LV var, log, root ?
  Déplacez les données de l'ancien disque vers le nouveau, en remplaçant les noms des dispositifs par les bons.
```
pvmove -i 10 -n /dev/system/root /dev/md0 /dev/md63 
```
  Répétez l'opération pour tous les volumes logiques.
  Exécutez les commandes et notez ce que vous avez vu et ce qui a changé.
```
vgdisplay system -v
pvs
vgs
lvs -a -o+devices
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
  Modifions notre VG, en retirant le disque de l'ancien RAID. Remplacez par le bon nom du RAID.
```
vgreduce system /dev/md0
```
  Exécutez les commandes et notez ce que vous avez vu et ce qui a changé.
```
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
pvs
vgs
```
  Pour une meilleure apparence, remontez /boot sur le deuxième disque SSD (ssd4) et exécutez lsblk. En fin de compte, rien ne devrait être monté sur le disque ssd3.
  Vérifiez attentivement que la partition /boot n'est pas vide ! ls /boot devrait montrer
  plusieurs fichiers et dossiers. Examinez ce qui est stocké dans cette section et notez quel fichier ou répertoire correspond à quoi.
  7) retirez le disque ssd3 et ajoutez ssd5, hdd1, hdd2 conformément aux spécifications ci-dessus, obtenant ainsi :
  ssd4 — premier nouveau ssd
  ssd5 — deuxième nouveau ssd
  hdd1 — premier nouveau hdd
  hdd2 — deuxième nouveau hdd
  8) Vérifiez ce qui s'est passé après l'ajout des disques :
```
fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
  9) Restaurons le fonctionnement du tableau RAID principal :
  - effectuez la copie de la table des partitions, en utilisant les bons disques :
```
sfdisk -d /dev/XXX | sfdisk /dev/YYY
```
  - Notez que lorsque nous avons copié la table des partitions depuis l'ancien disque, il s'est avéré que la nouvelle taille
    n'utilise pas toute la capacité du disque dur.
    Nous devrons donc prochainement ajuster la taille de cette partition et étendre le RAID.
    Assurez-vous de cela vous-même en entrant la commande :
```
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    10) copiez la partition de démarrage /boot du disque ssd4 sur ssd5
```
dd if=/dev/XXX of=/dev/YYY
```
    11) Installez grub sur le nouveau disque (ssd5)
    12) modifions la taille de la deuxième partition du disque ssd5
    lancez l'outil de gestion des partitions :
```
fdisk /dev/XXX
```
    entrez la clé d pour supprimer la partition existante (choisissez 2)
    entrez la clé n pour créer une nouvelle partition
    entrez la clé p pour indiquer que le type de partition est « primaire »
    entrez la clé 2 pour que la nouvelle partition ait le numéro deux
    Premier secteur : appuyez sur entrer pour accepter la taille de début de partition calculée automatiquement
    Dernier secteur : appuyez sur entrer pour accepter la taille de fin de partition calculée automatiquement
    entrez la clé l pour voir la liste de tous les types de partitions possibles et trouvez Linux raid auto dans cette liste
    entrez la clé t pour modifier le type de partition créée (2) et entrez le numéro trouvé à l'étape précédente.
    entrez la clé w pour appliquer les modifications sur le disque.
    12) Relisons la table des partitions et vérifions le résultat
```
partx -u /dev/XXX
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    ajoutons un nouveau disque au tableau RAID actuel (n'oubliez pas de substituer les bons disques)
```
mdadm --manage /dev/md63 --add /dev/sda2
```
    Augmentons le nombre de disques dans notre tableau à 2 :
```
mdadm --grow /dev/md63 --raid-devices=2
```
    Regardez le résultat : nous avons 2 tableaux, mais les deux partitions de ce tableau ont des tailles différentes
```
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    13) augmentons la taille de la partition sur le disque ssd4
    lancez l'outil de gestion des partitions :
```
fdisk /dev/XXX
```
    entrez la clé d pour supprimer la partition existante (choisissez 2)
    entrez la clé n pour créer une nouvelle partition
    entrez la clé p pour indiquer que le type de partition est « primaire »
    entrez la clé 2 pour que la nouvelle partition ait le numéro deux
    Premier secteur : appuyez sur entrer pour accepter la taille de début de partition calculée automatiquement
    Dernier secteur : appuyez sur entrer pour accepter la taille de fin de partition calculée automatiquement
    À la fin du partitionnement, choisissez Non, pour laisser la signature d'appartenance de la partition au tableau.
    entrez la clé w pour appliquer les modifications sur le disque.
    12) Relisons la table des partitions et vérifions le résultat
```
partx -u /dev/XXX
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    notez maintenant que les partitions sda2, sdc2 ont une taille > que la taille de l'appareil RAID.
    13) À ce stade, la taille du raid peut maintenant être étendue
```
mdadm --grow /dev/md63 --size=max
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT # vérifier le résultat
```
    Examinez lsblk et notez ce qui a changé
    14) Cependant, bien que nous ayons modifié la taille du raid, les tailles des vg root, var, log ne changent pas
    - vérifiez quelle est la taille du PV :
```
pvs
```
    - étendons la taille de notre PV :
```
pvresize /dev/md63
```
    - vérifiez quelle est la taille du PV :
```
pvs
```
      15) Ajoutons l'espace nouvellement créé au VG var, root
```
lvs # voyons combien est alloué maintenant
lvextend -l +50%FREE /dev/system/root
lvextend -l +100%FREE /dev/system/var
lvs # vérifiez le résultat
```
      À ce stade, vous avez terminé la migration du tableau principal vers les nouveaux disques. Le travail avec ssd1, ssd2 est terminé
      16) Notre prochaine tâche est de déplacer /var/log vers les nouveaux disques, pour cela nous créerons un nouveau tableau et lvm sur des disques hdd.
      - voyons quels noms ont les nouveaux disques hdd
        fdisk -l
      - créons un tableau raid
        mdadm --create /dev/md127 --level=1 --raid-devices=2 /dev/sdc /dev/sdd
      - créons un nouveau PV sur le raid des grands disques
        pvcreate data /dev/md127
      - créons dans ce PV un groupe nommé data
        vgcreate data /dev/md127
      - créons un volume logique de toute l'espace libre et nommons-le var_log
        lvcreate -l 100%FREE -n var_log data # lvs # voyons le résultat
      - formatons la partition créée en ext4
        mkfs.ext4 /dev/mapper/data-var_log
      - voyons le résultat
        lsblk
        17) déplaçons les données de logs de l'ancienne partition vers la nouvelle
        montons temporairement le nouveau stockage de logs
        mount /dev/mapper/data-var_log /mnt
        effectuons la synchronisation des partitions
        apt install rsync rsync -avzr /var/log/ /mnt/
        découvrons quels processus fonctionnent actuellement avec /var/log
        apt install lsof lsof | grep '/var/log'
        arrêtons ces processus
        systemctl stop rsyslog.service syslog.socket
        effectuons la synchronisation finale des partitions (des données qui ont pu changer depuis la dernière synchronisation)
        rsync -avzr /var/log/ /mnt/
        swappons les partitions
        umount /mnt umount /var/log mount /dev/mapper/data-var_log /var/log
        vérifions ce que nous avons obtenu
        lsblk
        18) Corrigeons /etc/fstab
        fstab - fichier dans lequel sont enregistrées les règles selon lesquelles les partitions seront montées au démarrage
        notre tâche est de trouver la ligne où /var/log est monté et de corriger le dispositif system-log sur data-var_log
        19) Le plus important à ce stade est de ne pas oublier de modifier la table des partitions (ext4, par exemple). Peu importe comment nous modifions les raids, lvm - tant que le FS sur la partition n'est pas informé que la taille de la partition a changé, nous ne pourrons pas utiliser le nouvel espace. Utilisez la commande resize2fs pour modifier le FS.
        20) Accord final
        
        nous allons redémarrer. Si vous avez tout fait correctement, vous retrouverez votre système d'exploitation (cela vise à s'assurer que tout fonctionne. Ce pas n'a aucune autre signification que le contrôle personnel).
        
        effectuez des vérifications pour vous assurer que tout ce que nous voulions faire a bien été accompli :
        pvs lvs vgs lsblk cat /proc/mdstat
        21) [OPTIONNEL] Effectuez les actions
        
        redémarrez en appuyant sur F12 pour choisir différents disques au démarrage, afin de vous assurer que vous pouvez démarrer
        à partir de n'importe quel disque SSD, afin que nous n'ayons pas à craindre la défaillance de l'un d'entre eux.
        
        vous avez maintenant un LV log inutile dans VG system. Répartissez cet espace entre root ou var, mais au lieu d'utiliser
        la structure 100%FREE, indiquez la taille manuellement avec l'option -L :
        -L 500M
        
        corrigez le problème de ce que /boot se trouve sur deux partitions sans synchronisation, ce n'est pas correct de faire ainsi,
        cela a été ajouté ici à titre d'exemple. N'oubliez pas de copier au préalable le contenu de /boot ailleurs.
        
        créez un nouveau raid et incluez sda1, sda2.
        
        ajoutez ces partitions au raid existant et restaurez /boot dans le raid principal, mais sans le monter.

Source : habr.com

Travaux pratiques : configurer lvm, raid sur linux