Tomų kopijavimas į saugojimo sistemas per Linux serverį naudojant XCOPY

Taip atsitinka, kad reikia gauti pilną tomo kopiją vienoje duomenų saugojimo sistemoje (DSS), o ne momentinę nuotrauką, kloną, o visą tomą. Tačiau saugojimo sistema ne visada leidžia tai padaryti viduje, naudojant savo priemones. Atrodo, kad vienintelė galimybė yra kopijuoti per serverį, tačiau tokiu atveju visas duomenų kiekis bus nukeliamas per patį serverį, tinklą į saugojimo sistemą ir saugojimo prievadus, įkeliant visus šiuos komponentus. Tačiau yra SCSI komandų, kurios leidžia daryti viską pačioje saugojimo sistemoje, o jei jūsų sistema palaiko VAAI iš VMware, tai beveik 100% palaikoma komanda XCOPY (EXTENDED COPY), kuri nurodo masyvui, kas ir kur kopijuoti, neįtraukiant proceso serverio ir tinklo.

Atrodo, viskas turėtų būti paprasta, bet iš karto neradau jokių paruoštų scenarijų, todėl teko išradinėti dviratį iš naujo. Serverio OS pasirinkta Linux, o kaip kopijavimo įrankis pasirinkta ddpt komanda (http://sg.danny.cz/sg/ddpt.html). Naudodami šį derinį galite nukopijuoti bet kokius tomus iš bet kurios OS, nes saugojimo sistemos pusėje kopijuojama blokas po bloko. Kadangi reikia kopijuoti blokus po bloko, o blokų skaičius turi būti skaičiuojamas, tokių iteracijų skaičiui buvo skaičiuojama komanda blockdev. Maksimalus bloko dydis buvo gautas eksperimentiškai; ddpt iš tikrųjų neveikė su dideliu bloku. Rezultatas buvo toks gana paprastas scenarijus:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Atlikime nedidelį patikrinimą! Na, kaip mažas, 1TB failas nebuvo greitai sukurtas ir patikrintas md5sum :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Kas tuo metu vyko saugojimo sistemoje:

Tęskime su Linux.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Viskas pavyko, tačiau išbandykite ir naudokite savo pačių rizika! Pradedantiesiems geriau daryti momentines nuotraukas kaip šaltinio tomą.

Šaltinis: www.habr.com