Pagkopya ng mga volume sa mga storage system sa pamamagitan ng Linux server gamit ang XCOPY

Nangyayari na kailangan mong makakuha ng isang buong kopya ng isang volume sa loob ng isang data storage system (DSS), hindi isang snapshot, isang clone, ngunit isang buong volume. Ngunit hindi palaging pinapayagan ng sistema ng imbakan na gawin ito sa loob gamit ang sarili nitong paraan. Tila na ang tanging pagpipilian ay upang kopyahin sa pamamagitan ng server, ngunit sa kasong ito ang buong dami ng data ay dadalhin sa pamamagitan ng server mismo, ang network sa sistema ng imbakan at ang mga port ng imbakan, na naglo-load ng lahat ng mga sangkap na ito. Ngunit may mga SCSI command na maaaring magpapahintulot sa iyo na gawin ang lahat sa loob mismo ng storage system, at kung sinusuportahan ng iyong system ang VAAI mula sa VMware, halos 100% na ang XCOPY (EXTENDED COPY) command ay sinusuportahan, na nagsasabi sa array kung ano at kung saan kokopyahin, nang hindi kinasasangkutan ng proseso ng server at network.

Parang dapat simple lang ang lahat, pero wala akong mahanap na anumang handa na script kaagad, kaya kinailangan kong muling likhain ang gulong. Pinili ang Linux para sa OS ng server, at ang ddpt command (http://sg.danny.cz/sg/ddpt.html) ay pinili bilang tool sa pagkopya. Gamit ang kumbinasyong ito, maaari mong kopyahin ang anumang mga volume mula sa anumang OS, dahil ang pagkopya ay nangyayari block-by-block sa gilid ng storage system. Dahil kinakailangan na kopyahin ang block sa pamamagitan ng block, at dapat bilangin ang bilang ng mga block, ginamit ang blockdev command upang mabilang ang bilang ng mga naturang pag-ulit. Ang maximum na laki ng bloke ay nakuha sa eksperimento; ang ddpt ay hindi aktwal na gumana sa isang malaking bloke. Ang resulta ay ang sumusunod na medyo simpleng script:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Magsagawa tayo ng kaunting pagsusuri! Well, bilang isang maliit, isang 1TB na file ay hindi mabilis na nalikha at nasuri ng md5sum :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Ano ang nangyayari sa sistema ng imbakan sa sandaling iyon:

Ipagpatuloy natin ang Linux.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Lahat ay gumana, ngunit subukan at gamitin sa iyong sariling peligro! Bilang isang mapagkukunan ng dami, mas mahusay na kumuha ng mga snapshot, para sa mga nagsisimula.

Pinagmulan: www.habr.com