XCOPY를 사용하여 Linux 서버를 통해 스토리지 시스템에 볼륨 복사

스냅샷이나 클론이 아닌 전체 볼륨이 아닌 하나의 데이터 스토리지 시스템(DSS) 내에서 볼륨의 전체 복사본을 가져와야 하는 경우가 있습니다. 그러나 스토리지 시스템이 자체 수단을 사용하여 내부적으로 이 작업을 수행하는 것을 항상 허용하는 것은 아닙니다. 유일한 옵션은 서버를 통해 복사하는 것 같지만 이 경우 전체 데이터 볼륨은 서버 자체, 네트워크, 스토리지 시스템 및 스토리지 포트를 통해 이러한 모든 구성 요소를 로드하게 됩니다. 그러나 스토리지 시스템 자체 내에서 모든 작업을 수행할 수 있는 SCSI 명령이 있으며 시스템이 VMware의 VAAI를 지원하는 경우 XCOPY(EXTENDED COPY) 명령이 거의 100% 지원됩니다. 프로세스 서버 및 네트워크를 포함하지 않고 복사할 위치입니다.

모든 것이 단순해야 할 것 같지만 기성 스크립트를 바로 찾을 수 없어서 바퀴를 다시 만들어야 했습니다. 서버 OS로는 Linux를 선택했고, 복사 도구로는 ddpt 명령(http://sg.danny.cz/sg/ddpt.html)을 선택했습니다. 이 조합을 사용하면 스토리지 시스템 측에서 블록별로 복사가 발생하므로 모든 OS에서 모든 볼륨을 복사할 수 있습니다. 블록 단위로 복사해야 하고 블록 수를 계산해야 하므로 이러한 반복 횟수를 계산하기 위해 blockdev 명령을 사용했습니다. 최대 블록 크기는 실험적으로 얻어졌으며 ddpt는 실제로 큰 블록에서는 작동하지 않았습니다. 결과는 다음과 같은 매우 간단한 스크립트였습니다.

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

조금 확인해 봅시다! 뭐, 작은 파일이라 md1sum으로 5TB 파일이 빨리 생성되고 확인되지는 않더라구요 :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

그 순간 스토리지 시스템에서 무슨 일이 일어나고 있었습니까?

계속해서 리눅스를 사용해보자.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

모든 것이 잘 진행되었지만 테스트 및 사용에 따른 책임은 사용자 본인에게 있습니다! 소스 볼륨으로서 우선 스냅샷을 찍는 것이 좋습니다.

출처 : habr.com