Sējumu kopēšana uzglabāšanas sistēmās, izmantojot Linux serveri, izmantojot XCOPY

Gadās, ka vienas datu glabāšanas sistēmas (DSS) ietvaros ir jāiegūst pilna sējuma kopija, nevis momentuzņēmums, klons, bet gan pilns sējums. Bet uzglabāšanas sistēma ne vienmēr ļauj to izdarīt iekšēji, izmantojot savus līdzekļus. Šķiet, ka vienīgā iespēja ir kopēt caur serveri, taču šajā gadījumā viss datu apjoms tiks virzīts caur pašu serveri, tīklu uz uzglabāšanas sistēmu un uzglabāšanas portiem, ielādējot visus šos komponentus. Bet ir SCSI komandas, kas var ļaut darīt visu pašā krātuves sistēmā, un, ja jūsu sistēma atbalsta VAAI no VMware, tad gandrīz 100% tiek atbalstīta komanda XCOPY (EXTENDED COPY), kas masīvam norāda, ko un kur kopēt, neiesaistot procesa serveri un tīklu.

Šķiet, ka visam vajadzētu būt vienkārši, bet es nevarēju uzreiz atrast nevienu gatavu skriptu, tāpēc man nācās izgudrot riteni no jauna. Servera operētājsistēmai tika atlasīta Linux, un kā kopēšanas rīks tika atlasīta komanda ddpt (http://sg.danny.cz/sg/ddpt.html). Izmantojot šo kombināciju, varat kopēt jebkuru sējumu no jebkuras operētājsistēmas, jo kopēšana notiek pa blokiem uzglabāšanas sistēmas pusē. Tā kā ir nepieciešams kopēt bloku pēc bloka, un bloku skaits ir jāuzskaita, tad šādu iterāciju skaita saskaitīšanai tika izmantota komanda blockdev. Maksimālais bloka izmērs tika iegūts eksperimentāli; ddpt faktiski nedarbojās ar lielu bloku. Rezultāts bija šāds diezgan vienkāršs skripts:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Veiksim nelielu pārbaudi! Nu, kā mazs, 1TB fails netika ātri izveidots un pārbaudīts md5sum :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Kas tajā brīdī notika uzglabāšanas sistēmā:

Turpināsim ar Linux.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Viss izdevās, bet pārbaudi un lieto uz savu risku! Kā avota sējumu iesākumam labāk ir uzņemt momentuzņēmumus.

Avots: www.habr.com