ProHoster > блог > адміністраванне > Капіраванне тамоў на СХД праз Linux сервер з выкарыстаннем XCOPY

Капіраванне тамоў на СХД праз Linux сервер з выкарыстаннем XCOPY

Бывае, што трэба атрымаць поўную копію тома ў рамках адной сістэмы захоўвання дадзеных (СГД), не здымак, клон, а менавіта паўнавартасны том. Але не заўсёды СГД дае гэта зрабіць унутры сябе ўласнымі сродкамі. Накшталт адзіны варыянт капіяваць праз сервер, але пры гэтым увесь аб'ём дадзеных будзе ганяцца праз сам сервер, сетка да СХД і парты СХД, нагружаючы ўсе гэтыя кампаненты. Але ёсць SCSI каманды, якія могуць дазволіць зрабіць усё ў рамках самой СХД і калі ваша сістэма падтрымлівае VAAI ад VMware, то практычна 100%, што падтрымліваецца каманда XCOPY (EXTENDED COPY), якая і кажа масіву што і куды скапіяваць, не залучаючы ў гэты працэс сервер і сетка.

Накшталт як усё павінна быць проста, але так адразу я гатовых скрыптоў не знайшоў, прыйшлося вынаходзіць ровар. Для АС сервера быў абраны Linux, а ў якасці сродку капіявання каманда ddpt (http://sg.danny.cz/sg/ddpt.html). Капіяваць з дапамогай такой камбінацыі можна любыя тамы ад любой АС, паколькі капіраванне ідзе паблочна на баку СХД. Паколькі трэба капіяваць паблочна, а колькасць блокаў трэба палічыць, то для падліку колькасці такіх ітэрацый выкарыстоўвалася каманда blockdev. Максімальны памер блока быў атрыманы дасведчаным шляхам, з вялікім блокам ddpt не працаваў па факце. У выніку атрымаўся наступны даволі просты скрыпт:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Давайце зробім невялікую праверку! Ну як невялікую, 1ТБ файл ствараўся і правяраўся md5sum няхутка 🙂

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Што ў гэты момант адбывалася на СГД:

Капіраванне тамоў на СХД праз Linux сервер з выкарыстаннем XCOPY
Працягнем з Лінукс.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Усё атрымалася, але тэстуйце і выкарыстоўвайце на свой страх і рызыку! Як зыходны том лепш браць снежкі, для пачатку.

Крыніца: habr.com

Дадаць каментар