Kopírování svazků do úložných systémů přes server Linux pomocí XCOPY

Stává se, že potřebujete získat úplnou kopii svazku v rámci jednoho systému ukládání dat (DSS), nikoli snímek, klon, ale celý svazek. Systém úložiště však ne vždy umožňuje, aby to bylo provedeno interně pomocí vlastních prostředků. Zdá se, že jedinou možností je kopírování přes server, ale v tomto případě bude celý objem dat veden přes samotný server, síť do úložného systému a úložné porty, přičemž budou načteny všechny tyto komponenty. Existují však příkazy SCSI, které vám umožní dělat vše v rámci samotného úložného systému, a pokud váš systém podporuje VAAI od VMware, pak je téměř 100% podporován příkaz XCOPY (EXTENDED COPY), který poli říká, co a kam kopírovat, bez zapojení procesního serveru a sítě.

Zdá se, že vše by mělo být jednoduché, ale nemohl jsem hned najít žádné hotové skripty, takže jsem musel znovu vynalézt kolo. Jako serverový OS byl vybrán Linux a jako kopírovací nástroj byl zvolen příkaz ddpt (http://sg.danny.cz/sg/ddpt.html). Pomocí této kombinace můžete kopírovat libovolné svazky z libovolného OS, protože kopírování probíhá blok po bloku na straně úložného systému. Vzhledem k tomu, že je nutné kopírovat blok po bloku a počet bloků se musí počítat, byl k počítání těchto iterací použit příkaz blockdev. Maximální velikost bloku byla získána experimentálně; ddpt ve skutečnosti nefungoval s velkým blokem. Výsledkem byl následující poměrně jednoduchý skript:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Pojďme si udělat malou kontrolu! No, jako malý nebyl 1TB soubor rychle vytvořen a zkontrolován md5sum :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Co se v tu chvíli dělo na úložném systému:

Pokračujme s Linuxem.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Vše fungovalo, ale test a použití na vlastní nebezpečí! Jako zdrojový svazek je pro začátek lepší pořizovat snímky.

Zdroj: www.habr.com