Kopieren von Volumes auf ein SAN über einen Linux-Server mit XCOPY

Es kommt vor, dass man eine vollständige Kopie eines Volumes innerhalb eines Speichersystems (SAN) benötigt – nicht als Snapshot oder Klon, sondern als echtes Volume. Doch nicht immer ermöglicht es SAN, dies mit eigenen Mitteln zu tun. Die einzige Möglichkeit scheint, über einen Server zu kopieren, wobei das gesamte Datenvolumen über den Server, das Netzwerk zum SAN und die Ports des SAN geleitet wird, was all diese Komponenten belastet. Es gibt jedoch SCSI-Befehle, die es ermöglichen können, alles innerhalb des SAN selbst zu erledigen, und wenn Ihr System VAAI von VMware unterstützt, besteht fast 100-prozentige Sicherheit, dass der Befehl XCOPY (EXTENDED COPY) unterstützt wird, der dem Array sagt, was und wohin kopiert werden soll, ohne diesen Prozess einzubeziehen. Server und das Netzwerk.

Es sollte eigentlich einfach sein, aber so auf die Schnelle habe ich keine fertigen Skripte gefunden und musste das Rad neu erfinden. Für das Betriebssystem Server wurde Linux gewählt, und als Kopierwerkzeug die ddpt-Befehlszeile (http://sg.danny.cz/sg/ddpt.html). Mit dieser Kombination kann man beliebige Volumes von jedem Betriebssystem kopieren, da das Kopieren blockweise auf der Seite des SAN erfolgt. Da blockweise kopiert werden muss und die Anzahl der Blöcke zu berechnen ist, wurde der Befehl blockdev verwendet, um die Anzahl dieser Iterationen zu ermitteln. Die maximale Blockgröße wurde experimentell ermittelt, mit großen Blöcken funktionierte ddpt tatsächlich nicht. Am Ende entstand folgendes recht einfaches Skript:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

Lassen Sie uns eine kleine Überprüfung durchführen! Naja, eine kleine, eine 1TB große Datei wurde erstellt und md5sum wurde nicht schnell überprüft 🙂

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: falscher Dateisystemtyp, schlechte Option, schlechter Superblock auf /dev/mapper/mpathfs, fehlender Codepage oder Hilfsprogramm, oder anderer Fehler.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mär-2018)
Löschen der Gerätblöcke: erledigt
Erstellen des Dateisystems mit 314572800 4k Blöcken und 78643200 Inodes
Dateisystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock-Backups gespeichert auf Blöcken:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Zuweisen der Gruppentabellen: erledigt
Schreiben der Inode-Tabellen: erledigt
Schreiben der Superblöcke und der Informationen zur Dateisystemabrechnung: erledigt

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: falscher Dateisystemtyp, schlechte Option, schlechter Superblock auf /dev/mapper/mpathfr, fehlender Codepage oder Hilfsprogramm, oder anderer Fehler.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#! /bin/bash
# erster Parameter = Eingabegerät
# zweiter Parameter = Ausgabegerät
# die Gerätegröße muss gleich sein
# Ändern der bs-Variable kann die Geschwindigkeit reduzieren, die maximale Geschwindigkeit sollte bei bs=32768 liegen. 32768 ist die maximale Einstellung, niedrigere Einstellungen sollten durch 2 geteilt werden.

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

Was zu diesem Zeitpunkt im Speicher-Array geschah:

Lass uns mit Linux fortfahren.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

Alles hat geklappt, aber teste und benutze es auf eigene Gefahr! Es ist besser, Snapshots des Quellvolumes zu erstellen, um zu beginnen.

Quelle: habr.com