ტომების კოპირება შენახვის სისტემებში Linux სერვერის მეშვეობით XCOPY-ის გამოყენებით

ეს ხდება, რომ თქვენ უნდა მიიღოთ მოცულობის სრული ასლი მონაცემთა შენახვის ერთ სისტემაში (DSS), არა სნეპშოტი, კლონი, არამედ სრული მოცულობა. მაგრამ შენახვის სისტემა ყოველთვის არ იძლევა ამის საშუალებას, რომ მოხდეს შიდა, საკუთარი საშუალებების გამოყენებით. როგორც ჩანს, ერთადერთი ვარიანტია სერვერის საშუალებით კოპირება, მაგრამ ამ შემთხვევაში მონაცემთა მთელი მოცულობა გადაინაცვლებს თავად სერვერის, ქსელის საშუალებით შენახვის სისტემაში და შენახვის პორტებში, იტვირთება ყველა ეს კომპონენტი. მაგრამ არსებობს SCSI ბრძანებები, რომლებიც საშუალებას მოგცემთ გააკეთოთ ყველაფერი თავად შენახვის სისტემაში და თუ თქვენი სისტემა მხარს უჭერს VAAI-ს VMware-დან, მაშინ თითქმის 100%-ით არის მხარდაჭერილი XCOPY (EXTENDED COPY) ბრძანება, რომელიც ეუბნება მასივს რა და სად კოპირება, პროცესის სერვერისა და ქსელის ჩართვის გარეშე.

როგორც ჩანს, ყველაფერი მარტივი უნდა იყოს, მაგრამ მზა სკრიპტები მაშინვე ვერ ვიპოვე, ამიტომ ბორბლის ხელახლა გამოგონება მომიწია. სერვერის OS-სთვის შეირჩა Linux, ხოლო კოპირების ინსტრუმენტად არჩეული იყო ddpt ბრძანება (http://sg.danny.cz/sg/ddpt.html). ამ კომბინაციის გამოყენებით, შეგიძლიათ დააკოპიროთ ნებისმიერი ტომი ნებისმიერი OS-დან, რადგან კოპირება ხდება ბლოკად-ბლოკად შენახვის სისტემის მხარეს. ვინაიდან აუცილებელია ბლოკად კოპირება და ბლოკების რაოდენობა უნდა დაითვალოს, ასეთი გამეორებების რაოდენობის დასათვლელად გამოიყენეს blockdev ბრძანება. ბლოკის მაქსიმალური ზომა მიღებული იქნა ექსპერიმენტულად; ddpt რეალურად არ მუშაობდა დიდ ბლოკთან. შედეგი იყო შემდეგი საკმაოდ მარტივი სკრიპტი:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

მოდით, ცოტა შევამოწმოთ! ისე, როგორც პატარა, 1TB ფაილი სწრაფად არ შექმნილა და შემოწმდა md5sum-ის მიერ :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

რა ხდებოდა შენახვის სისტემაში იმ მომენტში:

გავაგრძელოთ Linux-ით.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

ყველაფერი დამუშავდა, მაგრამ შეამოწმეთ და გამოიყენეთ თქვენი რისკის ქვეშ! როგორც წყაროს მოცულობა, უმჯობესია გადაიღოთ კადრები, დამწყებთათვის.

წყარო: www.habr.com