Volumes kopiëren naar opslagsystemen via een Linux-server met behulp van XCOPY

Het komt voor dat u een volledige kopie van een volume binnen één gegevensopslagsysteem (DSS) nodig heeft, geen momentopname, een kloon, maar een volledig volume. Maar het opslagsysteem laat niet altijd toe dat dit intern met eigen middelen gebeurt. Het lijkt erop dat de enige optie is om via de server te kopiëren, maar in dit geval wordt het volledige gegevensvolume via de server zelf, het netwerk naar het opslagsysteem en de opslagpoorten gestuurd, waardoor al deze componenten worden geladen. Maar er zijn SCSI-opdrachten waarmee je alles binnen het opslagsysteem zelf kunt doen, en als je systeem VAAI van VMware ondersteunt, dan is het bijna 100% dat de opdracht XCOPY (EXTENDED COPY) wordt ondersteund, die de array vertelt wat en waar te kopiëren, zonder tussenkomst van processerver en netwerk.

Het lijkt erop dat alles eenvoudig zou moeten zijn, maar ik kon niet meteen kant-en-klare scripts vinden, dus moest ik het wiel opnieuw uitvinden. Linux werd geselecteerd als serverbesturingssysteem en de opdracht ddpt (http://sg.danny.cz/sg/ddpt.html) werd geselecteerd als kopieerhulpmiddel. Met deze combinatie kunt u alle volumes vanuit elk besturingssysteem kopiëren, aangezien het kopiëren blok voor blok plaatsvindt aan de kant van het opslagsysteem. Omdat het nodig is om blok voor blok te kopiëren en het aantal blokken moet worden geteld, werd de opdracht blockdev gebruikt om het aantal van dergelijke iteraties te tellen. De maximale blokgrootte werd experimenteel verkregen; ddpt werkte niet echt met een groot blok. Het resultaat was het volgende vrij eenvoudige script:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Laten we een kleine controle doen! Nou, als klein bestand werd een bestand van 1TB niet snel gemaakt en gecontroleerd door md5sum :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Wat gebeurde er op dat moment op het opslagsysteem:

Laten we doorgaan met Linux.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Alles is gelukt, maar testen en gebruiken op eigen risico! Als bronvolume is het om te beginnen beter om momentopnamen te maken.

Bron: www.habr.com