🥇کپی کردن حجم ها در سیستم های ذخیره سازی از طریق سرور لینوکس با استفاده از XCOPY

این اتفاق می افتد که شما باید یک نسخه کامل از یک حجم را در یک سیستم ذخیره سازی داده (DSS) دریافت کنید، نه یک عکس فوری، یک کلون، بلکه یک حجم کامل. اما سیستم ذخیره سازی همیشه اجازه نمی دهد که این کار به صورت داخلی با استفاده از وسایل خود انجام شود. به نظر می رسد تنها گزینه کپی کردن از طریق سرور است، اما در این حالت کل حجم داده ها از طریق خود سرور، شبکه به سیستم ذخیره سازی و پورت های ذخیره سازی هدایت می شود و همه این اجزا را بارگذاری می کند. اما دستورات SCSI وجود دارد که به شما امکان می دهد همه چیز را در خود سیستم ذخیره سازی انجام دهید، و اگر سیستم شما از VAAI از VMware پشتیبانی می کند، تقریباً 100٪ است که فرمان XCOPY (EXTENDED COPY) پشتیبانی می شود، که به آرایه می گوید که چه و کجا کپی کنیم، بدون اینکه سرور و شبکه فرآیند را در برگیرد.

به نظر می رسد همه چیز باید ساده باشد، اما من نتوانستم فیلمنامه آماده ای پیدا کنم، بنابراین مجبور شدم چرخ را دوباره اختراع کنم. لینوکس برای سیستم عامل سرور انتخاب شد و دستور ddpt (http://sg.danny.cz/sg/ddpt.html) به عنوان ابزار کپی انتخاب شد. با استفاده از این ترکیب، می توانید هر حجمی را از هر سیستم عاملی کپی کنید، زیرا کپی کردن بلوک به بلوک در سمت سیستم ذخیره سازی انجام می شود. از آنجایی که لازم است بلوک به بلوک کپی شود و تعداد بلوک ها باید شمارش شود، از دستور blockdev برای شمارش تعداد چنین تکرارهایی استفاده شد. حداکثر اندازه بلوک به صورت تجربی به دست آمد؛ ddpt در واقع با یک بلوک بزرگ کار نمی کند. نتیجه اسکریپت نسبتا ساده زیر بود:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

بیایید کمی بررسی کنیم! خب، به عنوان یک فایل کوچک، یک فایل 1 ترابایتی به سرعت توسط md5sum ایجاد و بررسی نشد :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

آنچه در آن لحظه در سیستم ذخیره سازی اتفاق می افتاد:

بیایید با لینوکس ادامه دهیم.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

همه چیز درست شد، اما تست کنید و با مسئولیت خود استفاده کنید! به عنوان حجم منبع، برای شروع بهتر است عکس های فوری بگیرید.

منبع: www.habr.com

کپی کردن حجم ها به سیستم های ذخیره سازی از طریق سرور لینوکس با استفاده از XCOPY

اضافه کردن نظر انصراف از پاسخ