Copia di volumi su sistemi di storage tramite un server Linux utilizzando XCOPY

Succede che è necessario ottenere una copia completa del volume all'interno di un sistema di archiviazione dati (DSS), non un'istantanea, un clone, ma un volume completo. Ma il sistema di stoccaggio non sempre consente di farlo internamente con i propri mezzi. Sembra che l'unica opzione sia copiare attraverso il server, ma in questo caso l'intero volume di dati verrà trasportato attraverso il server stesso, la rete fino al sistema di storage e alle porte di storage, caricando tutti questi componenti. Ma ci sono comandi SCSI che possono permetterti di fare tutto all'interno del sistema di storage stesso, e se il tuo sistema supporta VAAI di VMware, allora è quasi al 100% che il comando XCOPY (EXTENDED COPY) sia supportato, che dice all'array cosa e dove copiare, senza coinvolgere il server di processo e la rete.

Sembra che tutto dovrebbe essere semplice, ma non sono riuscito a trovare subito nessuno script già pronto, quindi ho dovuto reinventare la ruota. Linux è stato selezionato per il sistema operativo del server e il comando ddpt (http://sg.danny.cz/sg/ddpt.html) è stato selezionato come strumento di copia. Utilizzando questa combinazione, è possibile copiare qualsiasi volume da qualsiasi sistema operativo, poiché la copia avviene blocco per blocco sul lato del sistema di storage. Poiché è necessario copiare blocco per blocco e il numero di blocchi deve essere contato, è stato utilizzato il comando blockdev per contare il numero di tali iterazioni. La dimensione massima del blocco è stata ottenuta sperimentalmente; ddpt in realtà non funzionava con un blocco di grandi dimensioni. Il risultato è stato il seguente script abbastanza semplice:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Facciamo un piccolo controllo! Bene, essendo piccolo, un file da 1 TB non è stato creato e controllato rapidamente da md5sum :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Cosa stava succedendo sul sistema di storage in quel momento:

Continuiamo con Linux.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Tutto ha funzionato, ma prova e utilizza a tuo rischio e pericolo! Come volume di origine, è meglio scattare istantanee, per cominciare.

Fonte: habr.com