🥇Volumes kopiëren naar opslag via Linux server die XCOPY gebruikt

Soms is het nodig om een volledige kopie van een volume te maken binnen een Single Storage System (SSS) – geen snapshot of kloon, maar een volledig volume. Het SSS staat dit echter niet altijd intern toe. De enige optie lijkt kopiëren via de server te zijn, maar dit betekent dat het volledige datavolume via de server zelf, het netwerk naar het SSS en de SSS-poorten wordt overgedragen, wat al deze componenten belast. Er zijn echter SCSI-opdrachten waarmee dit binnen het SSS zelf kan worden gedaan, en als uw systeem VMware's VAAI ondersteunt, is het vrijwel zeker dat de XCOPY (EXTENDED COPY)-opdracht wordt ondersteund. Deze opdracht vertelt de array wat en waar te kopiëren zonder het hele proces te doorlopen. server en het netwerk.

Het lijkt simpel, maar ik kon niet meteen kant-en-klare scripts vinden, dus moest ik het wiel opnieuw uitvinden. Voor het besturingssysteem. server werd gekozen LinuxEn de opdracht ddpt (http://sg.danny.cz/sg/ddpt.html) werd gebruikt als kopieertool. Deze combinatie kan worden gebruikt om elk volume van elk besturingssysteem te kopiëren, aangezien het kopiëren blok voor blok plaatsvindt aan de kant van het opslagsysteem. Omdat kopiëren blok voor blok vereist is en het aantal blokken geteld moet worden, werd de opdracht blockdev gebruikt om het aantal iteraties te berekenen. De maximale blokgrootte werd empirisch bepaald; ddpt werkte niet met grotere blokken. Het resulterende script was vrij eenvoudig:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Laten we een kleine controle doen! Nou ja, zo klein als een bestand van 1 TB is aangemaakt en gecontroleerd door md5sum, niet snel 🙂

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Wat gebeurde er op dat moment in het opslagsysteem:

Laten we verdergaan met Linux.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Alles is gelukt, maar testen en gebruiken is op eigen risico! Het is beter om eerst snapshots te maken als bronvolume.

Bron: www.habr.com

Volumes kopiëren naar opslag via Linux server met behulp van XCOPY