🥇Laboratorio: configurando lvm, raid en linux

Una pequeña digresión: este laboratorio es sintético.
Algunas de las tareas descritas aquí se pueden realizar de manera mucho más simple, pero dado que el objetivo del laboratorio es familiarizarse
con la funcionalidad de RAID y LVM, algunas operaciones están artificialmente complicadas.

Requisitos de herramientas para realizar el laboratorio:

Herramientas de virtualización, como VirtualBox
Imagen de instalación de Linux, por ejemplo, Debian 9
Acceso a Internet para descargar varios paquetes
Conexión por SSH a la VM instalada (opcional)

ATENCIÓN

Este trabajo de laboratorio está relacionado con un asunto tan delicado como la integridad de los datos: es un área
que permite, debido a un error mínimo — una letra o número de más, perder todos sus datos.
Dado que usted está realizando un trabajo de laboratorio, no corre ningún riesgo, salvo que tenga que comenzar a hacerlo de nuevo.
En la vida real, todo es mucho más serio, por lo que debe tener mucho cuidado al ingresar los nombres de los discos, entendiendo
qué es lo que está haciendo con el comando actual y con qué discos está trabajando.

Un segundo punto importante es la nomenclatura de discos y particiones: dependiendo de la situación, los números de los discos pueden variar
de los valores presentados en los comandos en el trabajo de laboratorio.
Por ejemplo, si se elimina el disco sda del array y luego se añade un nuevo disco, el nuevo disco aparecerá
en el sistema con el nombre sda. Si se reinicia antes de añadir el nuevo disco, entonces el nuevo
disco tendrá el nombre sdb, y el viejo se llamará sda.

El trabajo de laboratorio debe realizarse como superusuario (root) ya que la mayoría de los comandos requieren
privilegios elevados y no tiene sentido aumentar privilegios constantemente a través de sudo.

Materiales de estudio

RAID
LVM
Nomenclatura de discos en el sistema operativo Linux
¿Qué es una partición?
¿Qué es una tabla de particiones y dónde se almacena?
¿Qué es GRUB?

Utilidades utilizadas

1) Visualización de información sobre discos

lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
fdisk -l
2) Visualización de información y trabajo con LVM
pvs
pvextend
pvcreate
pvresize
vgs
vgreduce
lvs
lvextend
3) Visualización de información y trabajo con RAID
cat /proc/mdstat
mdadm
4) Puntos de montaje
mount
umount
cat /etc/fstab
cat /etc/mtab
5) Reparticionamiento del disco
fdisk /dev/XXX
6) Copia de particiones
dd if=/dev/xxx of=/dev/yyy
7) Trabajo con la tabla de particiones
partx
sfdisk
mkfs.ext4
8) Trabajo con el gestor de arranque
grub-install /dev/XXX
update-grub
9) Miscelánea
lsof
apt
rsync

El trabajo de laboratorio consta de 3 partes:

configuración de un sistema operativo funcional utilizando lvm, raid
emulación de la falla de uno de los discos
sustitución de discos en caliente, añadiendo nuevos discos y trasladando particiones.

Tarea 1 (Instalación del sistema operativo y configuración de LVM, RAID)

1) Cree una nueva máquina virtual, otorgándole las siguientes características:

1 gb de ram
1 cpu
2 hdd (llámalos ssd1, ssd2 y asigna el mismo tamaño, activa las opciones de intercambio en caliente y SSD)
El controlador SATA está configurado para 4 puertos

2) Comienza la instalación de Linux y al llegar a la selección de discos duros haz lo siguiente:

Método de particionado: manual, después deberías ver esta imagen:
Configuración de una partición separada para /boot: Selecciona el primer disco y crea una nueva tabla de particiones en él
- Tamaño de la partición: 512M
- Punto de montaje: /boot
- Repite la configuración para el segundo disco, pero como no se puede montar /boot dos veces a la vez, selecciona punto de montaje: none, obteniendo así lo siguiente (imagen con un error, da pereza rehacerlo):
Configuración de RAID:
- Selecciona el espacio libre en el primer disco y configúralo como tipo de partición volumen físico para RAID
- Selecciona 'Hecho configurando la partición'
- Repite exactamente la misma configuración para el segundo disco, obteniendo así lo siguiente:
- Selecciona la opción 'Configurar software RAID'
- Crear dispositivo MD
- Tipo de dispositivo RAID de software: Selecciona conjunto espejo
- Dispositivos activos para el arreglo RAID XXXX: Selecciona ambos discos
- Dispositivos de reserva: Deja 0 por defecto
- Dispositivos activos para el arreglo RAID XX: seleccionar las particiones que creaste para RAID
- Finalizar
- Al final deberías obtener esta imagen:
Configuración de LVM: Selecciona 'Configurar el Gestor de Volúmenes Lógicos'
- Mantener el diseño de particiones actual y configurar LVM: Sí
- Crear grupo de volúmenes
- Nombre del grupo de volúmenes: system
- Dispositivos para el nuevo grupo de volúmenes: selecciona tu RAID creado
- Crear volumen lógico
- nombre del volumen lógico: root
- tamaño del volumen lógico: 25 del tamaño de tu disco
- Crear volumen lógico
- nombre del volumen lógico: var
- tamaño del volumen lógico: 25 del tamaño de tu disco
- Crear volumen lógico
- nombre del volumen lógico: log
- tamaño del volumen lógico: 15 del tamaño de tu disco
- Al seleccionar 'Mostrar detalles de configuración' deberías obtener esta imagen:
- Al finalizar la configuración de LVM deberías ver lo siguiente:
Particionado de las particiones: selecciona cada volumen creado en LVM y particiona, por ejemplo, para root así:
- Usar como: ext4
- punto de montaje: /
- el resultado de la partición del volumen raíz debería ser el siguiente:
- repite la operación de particionado para var y log seleccionando los puntos de montaje correspondientes (/var y /var/log introducir manualmente), obteniendo el siguiente resultado:
- Selecciona 'Finalizar particionado'
- Te harán algunas preguntas sobre la partición no montada que te queda y sobre la falta de swap. Debes responder negativamente a ambas preguntas.
El resultado final debe ser así:

3) Finaliza la instalación del SO instalando grub en el primer dispositivo (sda) y arranca el sistema.
4) Copia el contenido de la partición /boot desde el disco sda (ssd1) al disco sdb (ssd2)
```
dd if=/dev/sda1 of=/dev/sdb1
```
5) Instala grub en el segundo dispositivo:

verifica los discos en el sistema:

fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT

Enumera todos los discos que la anterior comando te mostró y describe qué disco es.
Encuentra el disco en el que no se ha instalado grub y realiza esta instalación:
grub-install /dev/sdb
mira la información sobre el raid actual con el comando cat /proc/mdstat y anota lo que viste.
observa las salidas de los comandos: pvs, vgs, lvs, mount y anota lo que realmente viste.

Describe con tus propias palabras qué hiciste y qué resultado obtuviste al final de la tarea.

Después de completar esta tarea, se recomienda hacer una copia de seguridad de la carpeta de la máquina virtual o hacer
vagrant box: https://t.me/bykvaadm/191

Resultado: Máquina virtual con discos ssd1, ssd2

Tarea 2 (Emulación de la falla de uno de los discos)

1) Si marcaste la opción hot swap, entonces puedes eliminar discos en vivo.

Realiza la eliminación del disco ssd1 en las propiedades de la máquina.
Encuentra el directorio donde se almacenan los archivos de tu máquina virtual y elimina ssd1.vmdk.
2) Asegúrate de que tu máquina virtual siga funcionando.
3) Reinicia la máquina virtual y asegúrate de que siga funcionando.
4) verifica el estado del arreglo RAID: cat /proc/mdstat
5) añade un nuevo disco del mismo tamaño en la interfaz de VM y nómbralo ssd3.
6) realiza las operaciones:
mira que el nuevo disco haya llegado al sistema con el comando fdisk -l.
copia la tabla de particiones del antiguo disco al nuevo: sfdisk -d /dev/XXXX | sfdisk /dev/YYY
verifica el resultado con el comando fdisk -l.
Añade el nuevo disco al arreglo raid: mdadm —manage /dev/md0 —add /dev/YYY.
Mira el resultado: cat /proc/mdstat. Deberías ver que ha comenzado la sincronización.
7) Ahora es necesario sincronizar manualmente las particiones que no forman parte de RAID.
Para esto, usaremos la herramienta dd, copiando desde el disco "en vivo" al nuevo que acabas de instalar.
```
dd if=/dev/XXX of=/dev/YYY
```
8) Después de completar la sincronización, instala grub en el nuevo disco.
9) Reinicia la VM para asegurarte de que todo funcione.
Describe con tus propias palabras qué hiciste y qué resultado obtuviste al final de la tarea.
Resultado: Se eliminó el disco ssd1, se mantuvo el disco ssd2 y se añadió el disco ssd3.
Tarea 3 (Adición de nuevos discos y transferencia de particiones)
Esta es la tarea más complicada y extensa de todas las presentadas.
Verifique muy atentamente lo que está haciendo y con qué discos y particiones.
Se recomienda hacer una copia de seguridad antes de realizarla.
Esta tarea es independiente de la tarea número 2, se puede realizar después de la tarea número 1, teniendo en cuenta los nombres de los discos.
La segunda parte de esta tarea del laboratorio debe llevar el estado a exactamente el mismo que se tenía después de completar la primera parte.
Para facilitar su trabajo, recomiendo no eliminar físicamente los discos de la máquina host, sino solo
desconectarlos en las propiedades de la máquina. Desde el punto de vista del sistema operativo en la VM, se verá absolutamente igual, pero podrá
si es necesario, conectar el disco nuevamente y continuar el trabajo retrocediendo un par de puntos, en caso de que
tenga problemas. Por ejemplo, pudo haber realizado incorrectamente o olvidó copiar la partición /boot al nuevo disco.
Solo puedo aconsejar que revise varias veces con qué discos y particiones está trabajando, y aún mejor
anote en un papel la correspondencia entre los discos, las particiones y el número "físico" del disco. Un árbol bien organizado y claro
lo dibuja el comando lsblk, utilice este comando con la mayor frecuencia posible para analizar lo que ha hecho y lo que necesita hacer.
A la historia…
Imaginen que su servidor ha estado funcionando durante mucho tiempo con 2 discos SSD, cuando de repente…
1) Emule la falla del disco SSD2, eliminando el disco de las propiedades de la VM y reiniciando
2) Verifique el estado actual de los discos y RAID:
```
cat /proc/mdstat
fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
3) Tuviste suerte: la dirección permitió comprar varios discos nuevos:
2 SATA de gran capacidad para una tarea muy necesaria: trasladar la partición de los registros a un disco separado
2 SSD en reemplazo del que falló, así como para reemplazar el que aún está funcionando.
Se debe tener en cuenta que la papelera servidores solo admite la instalación de 4 discos simultáneamente,
por lo que no se pueden agregar todos los discos a la vez.
El volumen del HDD debe ser el doble que el de los SSD.
El volumen del SSD debe ser 1.25 veces mayor que el de los SSD anteriores.
4) Agregue un nuevo disco SSD, llamándolo SSD4, y después de agregarlo, verifique qué ocurrió:
```
fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
5) Primero, debe preocuparse por la seguridad de los datos del antiguo disco.
Esta vez transferiremos los datos usando LVM:
- Primero, es necesario copiar la tabla de archivos del disco antiguo al nuevo:
```
sfdisk -d /dev/XXX | sfdisk /dev/YYY
```
  Reemplace x e y por los discos correctos y entienda qué hace este comando.
  Ejecute el comando lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT y compare su salida con la llamada anterior.
  ¿Qué ha cambiado?
  Con el comando dd, copie los datos de /boot al nuevo disco
```
dd if=/dev/XXX of=/dev/YYY
```
  si /boot sigue montado en el disco antiguo, debe ser desmontado y montado en el disco activo:
```
mount | grep boot # ver dónde está montado el disco
lsblk # ver qué discos hay en el sistema y si existe el disco obtenido del paso anterior
umount /boot # desmontamos /boot
mount -a # montamos todos los puntos según /etc/fstab.
# Dado que la entrada de montaje señala /dev/sda, se realizará un correcto montaje en el disco activo
```
  Instale el cargador de arranque en el nuevo disco SSD
```
grub-install /dev/YYY
```
  ¿Por qué realizamos esta operación?
  Cree un nuevo conjunto RAID incluyendo solo el nuevo disco SSD:
```
mdadm --create --verbose /dev/md63 --level=1 --raid-devices=1 /dev/YYY
```
  El comando anterior no funcionará sin un argumento especial.
  Lea la ayuda y agregue este argumento al comando.
  Verifique el resultado de su operación con el comando cat /proc/mdstat. ¿Qué ha cambiado?
  Ejecute el comando lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT y compare su salida con la llamada anterior.
  ¿Qué ha cambiado?
  6) En la siguiente etapa, es necesario configurar LVM
  Ejecute el comando pvs para ver información sobre los volúmenes físicos actuales
  Cree un nuevo volumen físico incluyendo el conjunto RAID creado anteriormente:
```
pvcreate /dev/md63
```
  Ejecute el comando lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT y compare su salida con la llamada anterior.
  ¿Qué ha cambiado?
  Ejecute nuevamente el comando pvs. ¿Qué ha cambiado?
  Aumentemos el tamaño del grupo de volúmenes system con este comando:
```
vgextend system /dev/md63
```
  Ejecute los comandos y anote lo que vio y lo que ha cambiado.
```
vgdisplay system -v
pvs
vgs
lvs -a -o+devices
```
  ¿En qué disco físico se encuentran ahora los LV var, log, root?
  Realice la transferencia de datos del disco antiguo al nuevo, usando los nombres de dispositivos correctos.
```
pvmove -i 10 -n /dev/system/root /dev/md0 /dev/md63 
```
  Repita la operación para todos los volúmenes lógicos
  Ejecute los comandos y anote lo que vio y lo que ha cambiado.
```
vgdisplay system -v
pvs
vgs
lvs -a -o+devices
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
  Cambiemos nuestro VG, eliminando el disco antiguo del raid. Sustituya por el nombre correcto del raid.
```
vgreduce system /dev/md0
```
  Ejecute los comandos y anote lo que vio y lo que ha cambiado.
```
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
pvs
vgs
```
  Para una mejor visualización, monte /boot en el segundo disco SSD (ssd4) y ejecute lsblk. Como resultado, no debe haber nada montado en el disco ssd3.
  ¡Verifique atentamente que la partición /boot no esté vacía! ls /boot debe mostrar
  varios archivos y carpetas. Examine qué se almacena en esta sección y anote qué archivo o directorio es responsable de qué.
  7) elimine el disco ssd3 y agregue ssd5, hdd1, hdd2 según las especificaciones mencionadas anteriormente, obteniendo:
  ssd4 — el primer nuevo ssd
  ssd5 — el segundo nuevo ssd
  hdd1 — el primer nuevo hdd
  hdd2 — el segundo nuevo hdd
  8) Verifique qué ocurrió después de agregar los discos:
```
fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
  9) Restauraremos el funcionamiento del arreglo raid principal:
  - realice la copia de la tabla de particiones, insertando los discos correctos:
```
sfdisk -d /dev/XXX | sfdisk /dev/YYY
```
  - Tenga en cuenta que cuando copiamos la tabla de particiones desde el antiguo disco, parecía que el nuevo tamaño
    no utiliza toda la capacidad del disco duro.
    Por lo tanto, pronto necesitaremos cambiar el tamaño de esta partición y ampliar el raid.
    Verifique esto usted mismo ingresando el comando:
```
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    10) Copie la partición de arranque /boot desde el disco ssd4 al ssd5
```
dd if=/dev/XXX of=/dev/YYY
```
    11) Instale grub en el nuevo disco (ssd5)
    12) Cambiaremos el tamaño de la segunda partición del disco ssd5
    inicie la utilidad para trabajar con la partición de discos:
```
fdisk /dev/XXX
```
    ingrese la tecla d para eliminar la partición existente (elija 2)
    ingrese la tecla n para crear una nueva partición
    ingrese la tecla p para especificar el tipo de partición como "primaria"
    ingrese la tecla 2 para que la nueva partición tenga el segundo número
    Primer sector: presione enter para aceptar el tamaño automáticamente calculado del inicio de la partición
    Último sector: presione enter para aceptar el tamaño automáticamente calculado del final de la partición
    ingrese la tecla l para ver la lista de todos los tipos de particiones posibles y encuentre en ella Linux raid auto
    ingrese la tecla t para cambiar el tipo de partición creada (2) e ingrese el número encontrado en el paso anterior.
    ingrese la tecla w para guardar los cambios en el disco.
    12) Volvamos a leer la tabla de particiones y verifiquemos el resultado
```
partx -u /dev/XXX
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    agreguemos el nuevo disco al arreglo raid actual (no olvide insertar los discos correctos)
```
mdadm --manage /dev/md63 --add /dev/sda2
```
    Ampliaremos el número de discos en nuestro arreglo a 2:
```
mdadm --grow /dev/md63 --raid-devices=2
```
    Mire el resultado: hemos asignado 2 arreglos, pero ambas particiones que forman parte de este arreglo tienen diferentes tamaños
```
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    13) Aumentaremos el tamaño de la partición en el disco ssd4
    inicie la utilidad para trabajar con la partición de discos:
```
fdisk /dev/XXX
```
    ingrese la tecla d para eliminar la partición existente (elija 2)
    ingrese la tecla n para crear una nueva partición
    ingrese la tecla p para especificar el tipo de partición como "primaria"
    ingrese la tecla 2 para que la nueva partición tenga el segundo número
    Primer sector: presione enter para aceptar el tamaño automáticamente calculado del inicio de la partición
    Último sector: presione enter para aceptar el tamaño automáticamente calculado del final de la partición
    Al final de la partición, debe elegir No para dejar la firma que indica que la partición pertenece al arreglo.
    ingrese la tecla w para guardar los cambios en el disco.
    12) Volvamos a leer la tabla de particiones y verifiquemos el resultado
```
partx -u /dev/XXX
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    tenga en cuenta que ahora las particiones sda2, sdc2 tienen tamaños > que el tamaño del dispositivo raid.
    13) En esta etapa, el tamaño del RAID ahora se puede expandir.
```
mdadm --grow /dev/md63 --size=max
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT # verifica el resultado
```
    Revisa lsblk y anota lo que ha cambiado.
    14) Sin embargo, aunque hemos cambiado el tamaño del RAID, los tamaños de vg root,var,log no han cambiado.
    - verifica cuál es el tamaño de PV:
```
pvs
```
    - ampliemos el tamaño de nuestro PV:
```
pvresize /dev/md63
```
    - verifica cuál es el tamaño de PV:
```
pvs
```
      15) Agreguemos el nuevo espacio a VG var,root.
```
lvs # veamos cuánto está asignado ahora
lvextend -l +50%FREE /dev/system/root
lvextend -l +100%FREE /dev/system/var
lvs # verifica lo que obtuviste
```
      En esta etapa, has completado la migración del conjunto principal a los nuevos discos. El trabajo con ssd1,ssd2 ha terminado.
      16) Nuestra siguiente tarea es mover /var/log a los nuevos discos, para eso crearemos un nuevo conjunto y LVM en discos HDD.
      - veremos qué nombres tienen los nuevos discos HDD.
        fdisk -l
      - crearemos un conjunto RAID.
        mdadm --create /dev/md127 --level=1 --raid-devices=2 /dev/sdc /dev/sdd
      - crearemos un nuevo PV en el RAID de discos grandes.
        pvcreate data /dev/md127
      - crearemos un grupo en este PV llamado data.
        vgcreate data /dev/md127
      - crearemos un volumen lógico que ocupe todo el espacio libre y lo llamaremos val_log.
        lvcreate -l 100%FREE -n var_log data # lvs # veamos el resultado
      - formatearemos la sección creada en ext4.
        mkfs.ext4 /dev/mapper/data-var_log
      - veremos el resultado.
        lsblk
        17) trasladaremos los datos de los logs de la antigua sección a la nueva.
        montaremos temporalmente el nuevo almacenamiento de logs.
        mount /dev/mapper/data-var_log /mnt
        haremos la sincronización de las secciones.
        apt install rsync rsync -avzr /var/log/ /mnt/
        averiguaremos qué procesos están trabajando actualmente con /var/log.
        apt install lsof lsof | grep '/var/log'
        detendremos estos procesos.
        systemctl stop rsyslog.service syslog.socket
        realizaremos la sincronización final de las secciones (los datos que podrían haber cambiado desde la última sincronización).
        rsync -avzr /var/log/ /mnt/
        cambiaremos las secciones de lugar.
        umount /mnt umount /var/log mount /dev/mapper/data-var_log /var/log
        verificamos lo que se ha logrado.
        lsblk
        18) Modificamos /etc/fstab.
        fstab es el archivo donde se registran las reglas para que las secciones se monten al arrancar.
        nuestra tarea es encontrar la línea donde se monta /var/log y corregir el dispositivo. system-log en data-var_log
        19) Lo más importante en esta etapa es no olvidar cambiar la tabla de particiones (ext4, por ejemplo). Porque, por mucho que cambiemos los RAID, LVM, la FS en la partición no estará informada de que el tamaño de la partición ha cambiado, no podremos utilizar el nuevo espacio. Usa el comando . Hará esto en línea; incluso en ese momento los scripts estaban funcionando y escribiendo en el disco. para cambiar la FS.
        20) El acorde final
        
        realizaremos un reinicio. Si lo hiciste correctamente, volverás a acceder a tu sistema operativo (esto es solo para asegurarte de que todo funciona. Este paso no tiene otro sentido además de la autoevaluación)
        
        realiza las verificaciones para asegurarte de que lo que queríamos hacer se llevó a cabo:
        pvs lvs vgs lsblk cat /proc/mdstat
        21) [OPCIONAL] Realiza las acciones
        
        reinicia presionando F12 para seleccionar diferentes discos al iniciar, para asegurarte de que puedes arrancar
        desde cualquiera de los discos SSD, de modo que no temamos la falla de uno de ellos
        
        ahora tienes un LV log innecesario en VG system. Distribuye este espacio entre root o var, pero en lugar de usar
        la construcción 100%FREE, especifica el tamaño manualmente usando la opción -L:
        -L 500M
        
        soluciona el problema de que /boot está en dos particiones sin sincronización, no se debería hacer así correctamente,
        esto se añadió aquí como un ejemplo. No olvides copiar previamente el contenido de /boot a otro lugar.
        
        crea un nuevo raid e incluye sda1, sda2
        
        incluye estas particiones en el raid existente y restaura /boot en el raid principal, pero ya sin montarlo.