🥇Laborationsarbete: konfigurera LVM, RAID på Linux

Ett kort avbrott: detta laboration är syntetisk.
Vissa uppgifter som beskrivs här kan göras betydligt enklare, men eftersom syftet med laborationen är att bekanta sig
med funktionaliteten hos RAID, LVM, är vissa operationer avsiktligt komplicerade.

Krav på verktyg för att utföra laborationen:

Virtualiseringsverktyg, till exempel VirtualBox
Installationsavbild av Linux, till exempel Debian 9
Tillgång till internet för att ladda ner flera paket
Anslutning via SSH till den installerade VM (valfritt)

UPPMRKSAMHET

Denna laboration handlar om en mycket känslig fråga som dataskydd — detta är ett område,
som kan resultera i att alla dina data går förlorade på grund av ett litet misstag — en extra bokstav eller siffra.
Eftersom du genomför en laboration riskerar du ingenting, förutom att du kanske får börja om.
I verkliga livet är allt mycket mer seriöst, så det är viktigt att vara mycket noggrann när man anger diskens namn, och förstå
vad du gör med den aktuella kommandot och vilka diskar du arbetar med.

En annan viktig punkt — namngivning av diskar och partitioner: beroende på situationen kan diskarnas nummer skilja sig
från de värden som anges i kommandona i laborationen.
Till exempel, om du tar bort disken sda från matrisen och sedan lägger till en ny disk, så kommer den nya disken att visas
i systemet med namnet sda. Om du istället omstartar innan du lägger till den nya disken, kommer den nya
disken att få namnet sdb, medan den gamla kommer att kallas sda.

Laborationen ska utföras som superanvändare (root) eftersom de flesta kommandon kräver
höga privilegier och det är meningslöst att ständigt behöva höja privilegierna via sudo.

Material för studier

RAID
LVM
Namngivning av diskar i Linux OS
Vad är en partition
Vad är en partitionstabell och var lagras den
Vad är grub

Använda verktyg

1) visa information om diskar

lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
fdisk -l
2) visa information och arbete med LVM
pvs
pvextend
pvcreate
pvresize
vgs
vgreduce
lvs
lvextend
3) visa information och arbete med RAID
cat /proc/mdstat
mdadm
4) monteringspunkter
mount
umount
cat /etc/fstab
cat /etc/mtab
5) ompartitionering av disken
fdisk /dev/XXX
6) kopiera partitioner
dd if=/dev/xxx of=/dev/yyy
7) arbeta med partitionstabellen
partx
sfdisk
mkfs.ext4
8) arbeta med bootloadern
grub-install /dev/XXX
update-grub
9) diverse
lsof
apt
rsync

Laborationen består av 3 delar:

konfigurering av ett fungerande system med hjälp av lvm, raid
simulering av ett diskfel
byte av diskar under drift, med tillsats av nya diskar och överföring av partitioner.

Uppgift 1 (Installation av operativsystem och konfiguration av LVM, RAID)

1) Skapa en ny virtuell maskin med följande specifikationer:

1 GB RAM
1 CPU
2 HDD (benämna dem ssd1, ssd2 och ge dem lika storlek, sätt kryss i hot swap och ssd)
SATA-kontroller är inställd på 4 portar

2) Starta installationen av Linux och vid val av hårddiskar, gör följande:

Partitioneringsmetod: manuell, då ska du se något liknande:
Konfigurera en separat partition för /boot: Välj den första disken och skapa en ny partitionsschema
- Partitionsstorlek: 512M
- Monteringspunkt: /boot
- Gör samma inställning för den andra disken, men eftersom du inte kan montera /boot två gånger samtidigt, välj monteringspunkt: none, vilket ger följande resultat (bild med fel, lathet att göra om):
Konfigurering av RAID:
- Välj ledigt utrymme på den första disken och konfigurera som partitionstypen fysisk volym för RAID
- Välj "Klar med att ställa in partitionen"
- Gör exakt samma inställning för den andra disken, vilket ger följande:
- Välj "Konfigurera mjukvaru-RAID"
- Skapa MD-enhet
- Typ av mjukvaru-RAID-enhet: Välj speglad matrisk
- Aktiva enheter för RAID XXXX-matrisk: Välj båda diskar
- Reservdelar: Lämna 0 som standard
- Aktiva enheter för RAID XX-matrisk: välj de partitioner som du har skapat för raid
- Avsluta
- Som ett resultat bör du se något liknande:
Konfigurering av LVM: Välj "Konfigurera Logical Volume Manager"
- Behåll nuvarande partitionslayout och konfigurera LVM: Ja
- Skapa volymgrupp
- Namn på volymgrupp: system
- Enheter för den nya volymgruppen: Välj ditt skapade RAID
- Skapa logisk volym
- namn på logisk volym: root
- storlek på logisk volym: 25 av din disks storlek
- Skapa logisk volym
- namn på logisk volym: var
- storlek på logisk volym: 25 av din disks storlek
- Skapa logisk volym
- namn på logisk volym: log
- storlek på logisk volym: 15 av din disks storlek
- Genom att välja "Visa konfigurationsdetaljer" bör du se något som följer:
- När du har slutfört konfigurationen av LVM bör du se följande:
Partitionering av partitioner: välj i tur och ordning varje skapad logisk volym i LVM och partitionera dem, till exempel för root så här:
- Använd som: ext4
- monteringspunkt: /
- resultatet av partitioneringen av rotpartitionen bör bli så här:
- upprepa partitioneringsoperationen för var och log, välj motsvarande monteringspunkter (/var och /var/log skriv in manuellt), vilket ger följande resultat:
- Välj "Avsluta partitionering"
- Du kommer att få några frågor om att du har kvar en omonterad partition och inget swap är konfigurerat. Du ska svara nej på båda frågorna.
Det slutliga resultatet bör bli så här:

3) Avsluta installationen av operativsystemet genom att installera grub på den första enheten (sda) och starta systemet.
4) Kopiera innehållet i partitionen /boot från disk sda (ssd1) till disk sdb (ssd2)
```
dd if=/dev/sda1 of=/dev/sdb1
```
5) Installera grub på den andra enheten:

visa diskar i systemet:

fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT

Lista alla diskar som tidigare kommando gav och beskriv vad det är för disk
Hitta disken där grub inte har installerats och genomför denna installation:
grub-install /dev/sdb
granska information om aktuell raid med kommandot cat /proc/mdstat och skriv ner vad du såg.
granska utskrifterna av kommandona: pvs, vgs, lvs, mount och skriv ner vad du faktiskt såg

Beskriv med egna ord vad du har gjort och vilket resultat du fått av uppgiften

Efter att ha utfört denna uppgift rekommenderas det att spara en säkerhetskopiering av mappen med den virtuella maskinen eller göra
vagrant box: https://t.me/bykvaadm/191

Resultat: Virtuell maskin med diskar ssd1, ssd2

Uppgift 2 (Emulering av fel på en av diskarna)

1) Om du har bockat för hot swap, kan du ta bort diskar under drift

Genomför borttagning av disk ssd1 i maskinens inställningar
Hitta katalogen där filer för din virtuella maskin lagras och ta bort ssd1.vmdk
2) Kontrollera att din virtuella maskin fortfarande fungerar
3) Starta om den virtuella maskinen och kontrollera att den fortfarande fungerar
4) Kontrollera status för RAID-massan: cat /proc/mdstat
5) Lägg till en ny disk av samma storlek i VM-gränssnittet och namnge den ssd3
6) genomföra operationer:
kontrollera att den nya disken har kommit till systemet med kommandot fdisk -l
kopiera partitions tabellen från den gamla disken till den nya: sfdisk -d /dev/XXXX | sfdisk /dev/YYY
kontrollera resultatet med kommandot fdisk -l
Lägg till den nya disken till raid-massan: mdadm —manage /dev/md0 —add /dev/YYY
Se resultatet: cat /proc/mdstat. Du bör se att synkronisering har påbörjats
7) Nu måste du manuellt synkronisera partitionerna som inte är en del av RAID.
För detta ändamål använder vi verktyget dd, genom att kopiera från den "levande" disken till den nya som du precis har installerat
```
dd if=/dev/XXX of=/dev/YYY
```
8) Efter att synkroniseringen är klar, installera grub på den nya disken
9) Starta om VMS för att säkerställa att allt fungerar
Beskriv med egna ord vad du har gjort och vilket resultat du fått av uppgiften
Resultat: Disk ssd1 borttagen, disk ssd2 bevarad, disk ssd3 tillagd.
Uppgift 3 (Tillägg av nya diskar och överföring av partition)
Det här är den svåraste och mest omfattande uppgiften bland alla som presenteras.
Var mycket noga med vad du gör och vilka diskar och partitioner du arbetar med.
Det rekommenderas att ta en kopia innan du genomför detta.
Denna uppgift är oberoende av uppgift nr 2, den kan utföras efter uppgift nr 1 med hänsyn till disknamn.
Den andra delen av uppgiften i detta laboratorium bör återföra systemet till exakt det tillstånd som rådde efter genomförandet av den första delen.
För att underlätta för dig rekommenderar jag att du inte fysiskt tar bort diskar från värdmaskinen, utan bara
kopplar bort dem i maskinens egenskaper. Ur ett operativsystemsperspektiv kommer det att se helt likadant ut i VM, men du kan
om något går fel, återansluta disken och fortsätta arbetet, och återgå några punkt tillbaka om du skulle
få problem. Till exempel kan du ha utfört något fel eller glömt att kopiera partitionen /boot till den nya disken.
Jag kan bara råda dig att noggrant kontrollera vilka diskar och partitioner du arbetar med, och ännu bättre
skrif till en lapp motsvarigheten mellan diskar, partitioner och det "fysiska" disknumret. Ett vackert och tydligt träd
kan ritas av kommandot lsblk, använd det så ofta som möjligt för att analysera vad du har gjort och vad som behöver göras.
Till historien...
Föreställ dig att din server har arbetat länge med 2 SSD-diskar, när plötsligt...
1) Emulera ett diskfel på SSD2 genom att ta bort disken från VM:ns egenskaper och starta om
2) Kontrollera den aktuella statusen för diskarna och RAID:
```
cat /proc/mdstat
fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
3) Du har tur – ledningen har gett tillstånd att köpa några nya diskar:
2 stora SATA-diskar för den länge uppskjutna uppgiften att flytta logpartitionen till en separat disk
2 SSD-diskar för att ersätta den trasiga, samt för att ersätta den som fortfarande fungerar.
Tänk på att korgen servern stöder installation av högst 4 diskar samtidigt,
så att det inte går att lägga till alla diskar samtidigt.
HDD-kapaciteten bör vara dubbelt så stor som SSD.
SSD-kapaciteten bör vara 1,25 gånger större än de tidigare SSD-diskarna.
4) Lägg till en ny SSD-disk, kalla den ssd4, och efter tillägg, kontrollera vad som hände:
```
fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
5) Först och främst bör du säkerställa att data från den gamla disken är tryggad.
Denna gång kommer vi att överföra data med hjälp av LVM:
- Först måste du kopiera filsystemet från den gamla disken till den nya:
```
sfdisk -d /dev/XXX | sfdisk /dev/YYY
```
  Ersätt x,y med rätt diskar och förklara vad detta kommando gör.
  Kör kommandot lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT och jämför dess utdata med den tidigare anropningen.
  Vad har ändrats?
  Använd kommandot dd för att kopiera data från /boot till den nya disken.
```
dd if=/dev/XXX of=/dev/YYY
```
  Om /boot är monterad på den gamla disken, bör den monteras på den aktiva disken:
```
mount | grep boot # kolla vart disken är monterad
lsblk # se vilka diskar som finns i systemet och kontrollera om disken från föregående punkt finns
umount /boot # avmontera /boot
mount -a # monterar alla punkter enligt /etc/fstab. 
# Eftersom monteringspunkten /dev/sda anges där, kommer den att bli korrekt monterad på den aktiva disken.
```
  Installera bootloadern på den nya SSD-disken.
```
grub-install /dev/YYY
```
  Varför utför vi denna operation?
  Skapa en ny RAID-array med endast en ny SSD-disk:
```
mdadm --create --verbose /dev/md63 --level=1 --raid-devices=1 /dev/YYY
```
  Kommandot ovan kommer inte att fungera utan att ange en speciell parameter.
  Läs hjälptexten och lägg till denna parameter till kommandot.
  Använd kommandot cat /proc/mdstat för att kontrollera resultatet av din operation. Vad har ändrats?
  Kör kommandot lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT och jämför dess utdata med den tidigare anropningen.
  Vad har ändrats?
  6) Nästa steg är att konfigurera LVM.
  Kör kommandot pvs för att se information om de aktuella fysiska volymerna.
  Skapa en ny fysisk volym som inkluderar den tidigare skapade RAID-arrayen:
```
pvcreate /dev/md63
```
  Kör kommandot lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT och jämför dess utdata med den tidigare anropningen.
  Vad har ändrats?
  Kör kommandot pvs igen. Vad har ändrats?
  Vi ökar storleken på Volume Group system med följande kommando:
```
vgextend system /dev/md63
```
  Kör kommandona och skriv ner vad du såg och vad som har ändrats.
```
vgdisplay system -v
pvs
vgs
lvs -a -o+devices
```
  På vilken fysisk disk finns nu LV var,log,root?
  Flytta data från den gamla disken till den nya, med rätt enhetsnamn.
```
pvmove -i 10 -n /dev/system/root /dev/md0 /dev/md63 
```
  Upprepa operationen för alla logiska volymer.
  Kör kommandona och skriv ner vad du såg och vad som har ändrats.
```
vgdisplay system -v
pvs
vgs
lvs -a -o+devices
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
  Ändra vår VG genom att ta bort disken från den gamla raiden. Ersätt med rätt namn för raiden.
```
vgreduce system /dev/md0
```
  Kör kommandona och skriv ner vad du såg och vad som har ändrats.
```
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
pvs
vgs
```
  För att göra det fint, montera /boot på den andra SSD-disken (ssd4) och kör lsblk. I slutändan bör det inte vara något monterat på disken ssd3.
  Kontrollera noga att partitionen /boot inte är tom! ls /boot borde visa
  några filer och mappar. Utforska vad som lagras i denna sektion och notera vilken filkatalog som ansvarar för vad.
  7) ta bort ssd3-disk och lägg till ssd5, hdd1, hdd2 enligt den ovan beskrivna specifikationen, vilket ger:
  ssd4 – första nya ssd
  ssd5 – andra nya ssd
  hdd1 – första nya hdd
  hdd2 – andra nya hdd
  8) Kontrollera vad som hände efter att diskarna lades till:
```
fdisk -l
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
  9) Återställ driften av den primära RAID-matrisen:
  - kopiera partitionstabellen genom att använda rätt diskar:
```
sfdisk -d /dev/XXX | sfdisk /dev/YYY
```
  - Observera att när vi kopierade partitionstabellen från den gamla disken verkade den nya storleken
    inte använda hela kapaciteten på hårddisken.
    Därför kommer vi snart att behöva ändra storleken på denna partition och expandera RAID.
    Kontrollera själv genom att ange kommandot:
```
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    10) kopiera den bootbara partitionen /boot från disken ssd4 till ssd5
```
dd if=/dev/XXX of=/dev/YYY
```
    11) Installera grub på den nya disken (ssd5)
    12) ändra storleken på den andra partitionen på disken ssd5
    starta verktyget för att arbeta med diskpartitionering:
```
fdisk /dev/XXX
```
    ange nyckel d för att ta bort den befintliga partitionen (välj 2)
    ange nyckel n för att skapa en ny partition
    ange nyckel p för att ange partitionstypen "primär"
    ange nyckel 2 så att den nya partitionen får nummer två
    First sector: tryck enter för att godkänna den automatiskt beräknade storleken på partitionens början
    Last sector: tryck enter för att godkänna den automatiskt beräknade storleken på partitionens slut
    ange nyckel l för att se listan över alla möjliga partitionstyper och hitta Linux raid auto
    ange nyckel t för att ändra typen av den skapade partitionen (2) och ange numret som hittades i föregående steg.
    ange nyckel w för att spara ändringen på disken.
    12) läs om partitionstabellen och kontrollera resultatet
```
partx -u /dev/XXX
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    lägga till den nya disken till den aktuella RAID-matrisen (glöm inte att ange rätt diskar)
```
mdadm --manage /dev/md63 --add /dev/sda2
```
    Vi kommer att öka antalet diskar i vår matris till 2 stycken:
```
mdadm --grow /dev/md63 --raid-devices=2
```
    Se resultatet: vi har partitionerat 2 matriser, men båda partitionerna som ingår i denna matris har olika storlekar
```
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    13) öka storleken på partitionen på disken ssd4
    starta verktyget för att arbeta med diskpartitionering:
```
fdisk /dev/XXX
```
    ange nyckel d för att ta bort den befintliga partitionen (välj 2)
    ange nyckel n för att skapa en ny partition
    ange nyckel p för att ange partitionstypen "primär"
    ange nyckel 2 så att den nya partitionen får nummer två
    First sector: tryck enter för att godkänna den automatiskt beräknade storleken på partitionens början
    Last sector: tryck enter för att godkänna den automatiskt beräknade storleken på partitionens slut
    I slutet av partitioneringen bör du välja No för att behålla signaturen av partitionens tillhörighet till matrisen.
    ange nyckel w för att spara ändringen på disken.
    12) läs om partitionstabellen och kontrollera resultatet
```
partx -u /dev/XXX
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
```
    observera nu att sda2, sdc2 partitionerna har en storlek > än storleken på RAID-enheten.
    13) I detta steg kan vi nu utöka storleken på RAID-systemet.
```
mdadm --grow /dev/md63 --size=max
lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT # kontrollera resultatet
```
    Granska lsblk och notera vad som har ändrats.
    14) Men även om vi har ändrat storleken på RAID, har storlekarna på vg root, var, log inte förändrats.
    - kontrollera vad storleken på PV är:
```
pvs
```
    - Vi kommer att utöka storleken på vår PV:
```
pvresize /dev/md63
```
    - kontrollera vad storleken på PV är:
```
pvs
```
      15) Låt oss lägga till den nyfunna platsen till VG var, root.
```
lvs # vi kontrollerar hur mycket som är tilldelat just nu
lvextend -l +50%FREE /dev/system/root
lvextend -l +100%FREE /dev/system/var
lvs # kontrollera resultatet
```
      Vid detta steg har du slutfört migreringen av det primära RAID-systemet till de nya diskarna. Arbetet med ssd1, ssd2 är avslutat.
      16) Vår nästa uppgift är att flytta /var/log till de nya diskarna, för detta kommer vi att skapa en ny RAID och LVM på HDD-diskarna.
      - Vi ska kontrollera vilka namn de nya HDD-diskarna har.
        fdisk -l
      - Vi skapar ett RAID-system.
        mdadm --create /dev/md127 --level=1 --raid-devices=2 /dev/sdc /dev/sdd
      - Vi skapar en ny PV på RAID-systemet med de större diskarna.
        pvcreate data /dev/md127
      - Vi kommer att skapa en grupp i denna PV med namnet data.
        vgcreate data /dev/md127
      - Vi skapar en logisk volym med storlek av allt ledigt utrymme och kallar den var_log.
        lvcreate -l 100%FREE -n var_log data # lvs # kontrollera resultatet
      - Vi formaterar den skapade partitionen i ext4.
        mkfs.ext4 /dev/mapper/data-var_log
      - Vi kontrollerar resultatet.
        lsblk
        17) Vi flyttar loggdata från den gamla partitionen till den nya.
        Vi monterar tillfälligt det nya logglagret.
        mount /dev/mapper/data-var_log /mnt
        Vi utför en synkronisering av partitionerna.
        apt install rsync rsync -avzr /var/log/ /mnt/
        Vi tar reda på vilka processer som arbetar med /var/log.
        apt install lsof lsof | grep '/var/log'
        Vi stoppar dessa processer.
        systemctl stop rsyslog.service syslog.socket
        Vi utför en slutlig synkronisering av partitionerna (de data som kan ha ändrats sedan sista synkronisering).
        rsync -avzr /var/log/ /mnt/
        Vi byter platser på partitionerna.
        umount /mnt umount /var/log mount /dev/mapper/data-var_log /var/log
        Vi kontrollerar resultatet.
        lsblk
        18) Vi redigerar /etc/fstab.
        fstab är en fil där reglerna skrivs ner för hur partitionerna ska monteras vid uppstart.
        Vårt mål är att hitta den rad där /var/log monteras och justera enheten. system-log till data-var_log
        19) Det viktigaste i detta steg är att inte glömma att ändra partitionstabellen (ext4, till exempel). Eftersom hur mycket RAID, LVM vi än ändrar - så länge filsystemet på partitionen inte har meddelats om att storleken på partitionen nu har ändrats, kan vi inte använda det nya utrymmet. Använd kommandot resize2fs för att ändra filsystemet.
        20) Det sista steget.
        
        Vi kommer att starta om. Om du har gjort allt rätt - kommer du återigen att komma in i ditt OS (detta behövs för att säkerställa att allt fungerar. Det finns ingen annan mening med detta steg förutom självkontroll).
        
        Gör kontroller för att se att allt vi ville göra faktiskt har genomförts:
        pvs lvs vgs lsblk cat /proc/mdstat
        21) [VALFRITT] Utför åtgärder
        
        Starta om genom att trycka på F12 för att ange olika diskar vid uppstart, för att säkerställa att du kan starta
        från valfri SSD-disk, så att vi inte behöver vara rädda för ett misslyckande med någon av dem.
        
        Nu har du ett onödigt LV-logg i VG-systemet. Fördela detta utrymme mellan root eller var, men istället för att använda
        konstruktionen 100%FREE, ange storleken manuellt med hjälp av nyckeln -L:
        -L 500M
        
        Åtgärda problemet med att /boot finns på två partitioner utan synkronisering, detta bör inte göras på rätt sätt,
        detta har lagts till här som exempel. Glöm inte att kopiera innehållet i /boot någonstans i förväg.
        
        Skapa en ny RAID och inkludera sda1, sda2 i den.
        
        Inkludera dessa partitioner i den befintliga RAID och återställ /boot i den huvudsakliga RAID, men montera den inte.