Kopiranje volumena u sustave za pohranu putem Linux poslužitelja koristeći XCOPY

Dešava se da trebate dobiti punu kopiju volumena unutar jednog sustava za pohranu podataka (DSS), ne snimku, klon, već puni volumen. Ali sustav za pohranu ne dopušta uvijek da se to učini interno koristeći vlastita sredstva. Čini se da je jedina opcija kopiranje preko poslužitelja, ali u ovom slučaju cjelokupna količina podataka proći će kroz sam poslužitelj, mrežu do sustava za pohranu i priključaka za pohranu, učitavajući sve te komponente. Ali postoje SCSI naredbe koje vam mogu omogućiti da radite sve unutar samog sustava za pohranu, a ako vaš sustav podržava VAAI iz VMware-a, tada je gotovo 100% da je podržana naredba XCOPY (PROŠIRENA KOPIJA), koja govori nizu što i gdje kopirati, bez uključivanja poslužitelja procesa i mreže.

Čini se da bi sve trebalo biti jednostavno, ali nisam mogao odmah pronaći gotove skripte, pa sam morao ponovno izmisliti kotač. Za OS poslužitelja odabran je Linux, a kao alat za kopiranje odabrana je naredba ddpt (http://sg.danny.cz/sg/ddpt.html). Koristeći ovu kombinaciju, možete kopirati bilo koji volumen iz bilo kojeg OS-a, budući da se kopiranje odvija blok po blok na strani sustava za pohranu. Budući da je potrebno kopirati blok po blok, a broj blokova mora se brojati, za brojanje takvih ponavljanja korištena je naredba blockdev. Maksimalna veličina bloka dobivena je eksperimentalno; ddpt zapravo nije radio s velikim blokom. Rezultat je bila sljedeća prilično jednostavna skripta:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Idemo malo provjeriti! Pa, kao mala, 1TB datoteka nije brzo kreirana i provjerena od strane md5sum :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Što se u tom trenutku događalo na sustavu za pohranu:

Nastavimo s Linuxom.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Sve je uspjelo, ali testirajte i koristite na vlastitu odgovornost! Kao izvorni volumen, za početak je bolje napraviti snimke.

Izvor: www.habr.com