Kopiera volymer på lagringssystem via Linux-server med XCOPY

Ibland behöver man få en fullständig kopia av en volym inom ett lagringssystem (SAN), inte en snapshot, utan en riktig volym. Men det är inte alltid som SAN kan erbjuda detta med sina egna medel. Det verkar som den enda lösningen är att kopiera via servern, men då kommer hela datamängden att skickas genom själva servern, nätverket till SAN och SAN-portarna, vilket belastar alla dessa komponenter. Men det finns SCSI-kommandon som kan möjliggöra detta inom SAN, och om ditt system stöder VAAI från VMware, är det nästan 100% säkert att kommandot XCOPY (EXTENDED COPY) stöds, vilket anvisar arrayen vad som ska kopieras och vart, utan att involvera dessa processer. server och nätverket.

Det borde vara ganska enkelt, men jag kunde inte snabbt hitta några färdiga skript, så jag fick hitta på något själv. För operativsystemet servern valdes Linux, och som kopieringsmedel användes kommandot ddpt (http://sg.danny.cz/sg/ddpt.html). Med denna kombination kan man kopiera alla volymer från vilket operativsystem som helst, eftersom kopieringen går blockvis på SAN-sidan. Eftersom blocken måste kopieras blockvis och antalet block måste räknas, användes kommandot blockdev för att räkna antalet iterationer. Den maximala blockstorleken erhölls genom försök, med ett större block fungerade ddpt inte i praktiken. Resultatet blev följande ganska enkla skript:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Låt oss göra en liten kontroll! Ja, en liten så, en 1TB-fil skapades och md5sum kontrollerades inte så snabbt 🙂

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: felaktig filsystemstyp, dåligt alternativ, dålig superblock på /dev/mapper/mpathfs, saknad teckenkod eller hjälpprogram, eller annat fel.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-mar-2018)
Avbryter enhetens block: klart
Skapar filsystem med 314572800 4k block och 78643200 inoder
Filsystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock säkerhetskopior lagrade på block:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allokerar grupp tabeller: klart
Skriver inode-tabeller: klart
Skriver superblock och filsystem konto-information: klart

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: felaktig filsystemstyp, dåligt alternativ, dålig superblock på /dev/mapper/mpathfr, saknad teckenkod eller hjälpprogram, eller annat fel.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#! /bin/bash
# första parametern = in-enhet
# andra parametern = ut-enhet
# enhetsstorleken måste vara densamma
# ändra bs-variabeln kan minska hastighet, maximal hastighet bör vara vid bs=32768. 32768 är högsta inställningen, lägre inställningar bör beräknas genom att dela med 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Vad som hände vid detta tillfälle på Lagringssystemet:

Vi fortsätter med Linux.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Allt fungerade, men testa och använd på egen risk! Som källvolym är det bäst att ta snapshots först.

Källa: habr.com