Köidete kopeerimine salvestussüsteemidesse Linuxi serveri kaudu XCOPY abil

Juhtub, et peate hankima ühe andmesalvestussüsteemi (DSS) mahu täiskoopia, mitte hetktõmmise, klooni, vaid kogu köite. Kuid salvestussüsteem ei võimalda seda alati sisemiselt oma vahenditega teha. Tundub, et ainus võimalus on kopeerida läbi serveri, kuid sel juhul juhitakse kogu andmemaht läbi serveri enda, võrgu salvestussüsteemi ja salvestusportide juurde, laadides kõik need komponendid. Kuid on SCSI-käske, mis võimaldavad teil teha kõike salvestussüsteemis endas ja kui teie süsteem toetab VMware'i VAAI-d, siis on peaaegu 100% toetatud käsk XCOPY (EXTENDED COPY), mis ütleb massiivile, mida ja kuhu kopeerida, ilma protsessiserverit ja võrku kaasamata.

Tundub, et kõik peaks olema lihtne, kuid ma ei leidnud kohe ühtegi valmis skripti, nii et pidin ratta uuesti leiutama. Serveri OS-i jaoks valiti Linux ja kopeerimistööriistaks ddpt käsk (http://sg.danny.cz/sg/ddpt.html). Seda kombinatsiooni kasutades saate kopeerida mis tahes köiteid mis tahes OS-ist, kuna kopeerimine toimub salvestussüsteemi poolel plokkide kaupa. Kuna on vaja kopeerida plokkide kaupa ja plokkide arv tuleb lugeda, kasutati selliste iteratsioonide loendamiseks käsku blockdev. Maksimaalne ploki suurus saadi katseliselt; ddpt tegelikult suure plokiga ei töötanud. Tulemuseks oli järgmine üsna lihtne skript:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Teeme väikese kontrolli! Noh, väiksena 1TB faili kiiresti ei loodud ja md5sum kontrollis :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Mis toimus sel hetkel salvestussüsteemis:

Jätkame Linuxiga.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Kõik õnnestus, kuid katsetage ja kasutage omal vastutusel! Algköitena on parem teha hetktõmmiseid.

Allikas: www.habr.com