Kopiante volumojn al stokadsistemoj per Linuksa servilo uzante XCOPY

Okazas, ke vi devas akiri plenan kopion de volumo ene de unu datuma stokadosistemo (DSS), ne momentfoton, klonon, sed plenan volumon. Sed la konserva sistemo ne ĉiam permesas tion fari interne per siaj propraj rimedoj. Ŝajnas, ke la sola eblo estas kopii tra la servilo, sed en ĉi tiu kazo la tuta volumo de datumoj estos movita tra la servilo mem, la reto al la stokadosistemo kaj la stokaj havenoj, ŝarĝante ĉiujn ĉi tiujn komponantojn. Sed ekzistas SCSI-komandoj, kiuj povas permesi al vi fari ĉion ene de la stokada sistemo mem, kaj se via sistemo subtenas VAAI de VMware, tiam estas preskaŭ 100% ke la komando XCOPY (ETENDITA KOPIO) estas subtenata, kiu diras al la tabelo kio kaj kie kopii, sen impliki processervilon kaj reton.

Ŝajnas, ke ĉio devus esti simpla, sed mi ne povis trovi pretajn skriptojn tuj, do mi devis reinventi la radon. Linukso estis elektita por la servila OS, kaj la ddpt komando (http://sg.danny.cz/sg/ddpt.html) estis elektita kiel la kopiilo. Uzante ĉi tiun kombinaĵon, vi povas kopii iujn ajn volumojn de iu ajn OS, ĉar kopiado okazas bloko-post-bloke ĉe la stokada sistemo. Ĉar necesas kopii blokon post bloko, kaj la nombro da blokoj devas esti nombrita, la komando blockdev estis uzata por nombri la nombron da tiaj ripetoj. La maksimuma blokgrandeco estis akirita eksperimente; ddpt fakte ne funkciis kun granda bloko. La rezulto estis la sekva sufiĉe simpla manuskripto:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Ni faru etan kontrolon! Nu, kiel malgranda, 1TB-dosiero ne estis rapide kreita kaj kontrolita de md5sum :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Kio okazis en la stokada sistemo en tiu momento:

Ni daŭrigu kun Linukso.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Ĉio funkciis, sed provu kaj uzu laŭ via risko! Kiel fontovolumo, estas pli bone preni momentfotojn, por komenci.

fonto: www.habr.com