Mahtude kopeerimine salvestusseadmest Linuxi serverisse kasutades XCOPY

Juhtub, et on vaja saada täielik koopia mahust ühe andmesalvestussüsteemi (SAN) raames, mitte lihtsalt hetkefoto, vaid just täisfunktsionaalne maht. Kuid mitte alati ei võimalda SAN seda ise teha. Tundub, et ainus variant on kopeerida serveri kaudu, kuid sel juhul liigub kogu andmemaht läbi serveri, võrgu SAN-ini ja SAN-i portide, koormates kõiki neid komponente. Kuid on olemas SCSI käsklused, mis võivad lubada kõike teha SAN-i raames ning kui teie süsteem toetab VMware'i VAAI-d, siis on praktiliselt 100%, et toetatakse käsku XCOPY (EXTENDED COPY), mis ütleb massiivile, mida ja kuhu kopeerida, kaasamata sellesse protsessi. server ja võrku.

Tundub, et kõik peaks olema lihtne, kuid kohe valmis skripte ma ei leidnud, pidin ratast uuesti leiutama. Operatsioonisüsteemiks serverilt valiti Linux ja kopeerimisvahendiks käsk ddpt (http://sg.danny.cz/sg/ddpt.html). Sellise kombinatsiooniga saab kopeerida igasuguseid mahte mis tahes opsüsteemist, kuna kopeerimine toimub plokkide kaupa SAN-i poolel. Kuna tuleb kopeerida plokkide kaupa ja plokkide arvu tuleb lugeda, kasutati selleks käsku blockdev. Maksimaalne ploki suurus saadi katse-eksitusmeetodil, suurema plokiga ddpt ei töötanud. Lõpptulemusena sai valminud järgmine üsna lihtne skript:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Teeme väikese kontrolldi! No hästi, 1TB faili loomine ja md5sum'i kontrollimine ei olnud just kiirusest pungil 🙂

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: vale tüüp vale, halb valik, halvaks superblokk /dev/mapper/mpathfs, puuduv koodileht või abiprogramm või muu viga.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Seadmest blokeerimine: tehtud
Loome failisüsteemi 314572800 4k ploki ja 78643200 inoodiga
Failisüsteemi UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superbloki varukoopiad salvestatud plokkides:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Rühmate tabelite eraldamine: tehtud
Inooditabelite kirjutamine: tehtud
Superblokkide ja failisüsteemi arvestusteabe kirjutamine: tehtud

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: vale tüüp vale, halb valik, halvaks superblokk /dev/mapper/mpathfr, puuduv koodileht või abiprogramm või muu viga.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#! /bin/bash
# esimene parameeter = sisendi seade
# teine parameeter = väljundi seade
# seadme suurus peab olema sama
# bs muutuja muutmine võib kiirus vähendada, maksimaalne kiirus peaks olema bs=32768. 32768 on maksimaalne seade, madalamad seaded tuleks arvutada, jagades 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Mis sel ajal SÄHD-s toimus:

Jätkame Linuxiga.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Kõik läks hästi, kuid katsetage ja kasutage omal vastutusel! Algse mahuna on parem võtta snapshot'e.

Allikas: habr.com