🥇Copiar volúmenes a sistemas de almacenamiento a través de un servidor Linux usando XCOPY

Sucede que necesita obtener una copia completa de un volumen dentro de un sistema de almacenamiento de datos (DSS), no una instantánea, un clon, sino un volumen completo. Pero el sistema de almacenamiento no siempre permite hacerlo internamente con sus propios medios. Parece que la única opción es copiar a través del servidor, pero en este caso todo el volumen de datos será conducido a través del propio servidor, la red hasta el sistema de almacenamiento y los puertos de almacenamiento, cargando todos estos componentes. Pero existen comandos SCSI que pueden permitirle hacer todo dentro del propio sistema de almacenamiento, y si su sistema admite VAAI de VMware, entonces es casi al 100% que el comando XCOPY (COPIA EXTENDIDA) es compatible, que le indica a la matriz qué y dónde copiar, sin involucrar al servidor de procesos y la red.

Parece que todo debería ser simple, pero no pude encontrar ningún guión ya preparado de inmediato, así que tuve que reinventar la rueda. Se seleccionó Linux como sistema operativo del servidor y se seleccionó el comando ddpt (http://sg.danny.cz/sg/ddpt.html) como herramienta de copia. Con esta combinación, puede copiar cualquier volumen desde cualquier sistema operativo, ya que la copia se realiza bloque por bloque en el lado del sistema de almacenamiento. Dado que es necesario copiar bloque por bloque y se debe contar el número de bloques, se utilizó el comando blockdev para contar el número de dichas iteraciones. El tamaño máximo de bloque se obtuvo experimentalmente; ddpt en realidad no funcionó con un bloque grande. El resultado fue el siguiente script bastante simple:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

¡Hagamos un pequeño control! Bueno, como es pequeño, md1sum no creó ni verificó rápidamente un archivo de 5 TB :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Qué estaba pasando en el sistema de almacenamiento en ese momento:

Sigamos con Linux.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Todo salió bien, ¡pero pruébalo y úsalo bajo tu propia responsabilidad! Como volumen fuente, es mejor tomar instantáneas, para empezar.

Fuente: habr.com

Copiar volúmenes a sistemas de almacenamiento a través de un servidor Linux usando XCOPY

Añadir un comentario Cancelar respuesta