🥇نسخ المجلدات إلى أنظمة التخزين عبر خادم Linux باستخدام XCOPY

يحدث أنك تحتاج إلى الحصول على نسخة كاملة من المجلد ضمن نظام تخزين بيانات واحد (DSS)، وليس لقطة، أو نسخة، ولكن المجلد الكامل. لكن نظام التخزين لا يسمح دائمًا بالقيام بذلك داخليًا باستخدام وسائله الخاصة. يبدو أن الخيار الوحيد هو النسخ عبر الخادم، ولكن في هذه الحالة سيتم نقل حجم البيانات بالكامل عبر الخادم نفسه، والشبكة إلى نظام التخزين ومنافذ التخزين، وتحميل كل هذه المكونات. ولكن هناك أوامر SCSI يمكنها أن تسمح لك بالقيام بكل شيء داخل نظام التخزين نفسه، وإذا كان نظامك يدعم VAAI من VMware، فإن الأمر XCOPY (نسخة ممتدة) مدعوم بنسبة 100٪ تقريبًا، والذي يخبر المصفوفة بماذا و مكان النسخ، دون إشراك خادم العملية والشبكة.

يبدو أن كل شيء يجب أن يكون بسيطًا، لكنني لم أتمكن من العثور على أي نصوص جاهزة على الفور، لذلك كان علي إعادة اختراع العجلة. تم اختيار Linux لنظام تشغيل الخادم، وتم اختيار الأمر ddpt (http://sg.danny.cz/sg/ddpt.html) كأداة للنسخ. باستخدام هذه المجموعة، يمكنك نسخ أي مجلدات من أي نظام تشغيل، حيث يتم النسخ كتلة تلو الأخرى على جانب نظام التخزين. نظرًا لأنه من الضروري نسخ كتلة تلو الأخرى، ويجب حساب عدد الكتل، فقد تم استخدام أمر blockdev لحساب عدد هذه التكرارات. تم الحصول على الحد الأقصى لحجم الكتلة بشكل تجريبي؛ ولم يعمل ddpt فعليًا مع كتلة كبيرة. وكانت النتيجة النص التالي البسيط إلى حد ما:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

دعونا نفعل الاختيار قليلا! حسنًا، نظرًا لكونه ملفًا صغيرًا، لم يتم إنشاء ملف بحجم 1 تيرابايت وفحصه بسرعة بواسطة md5sum :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

ماذا كان يحدث في نظام التخزين في تلك اللحظة:

دعونا نواصل مع لينكس.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

تم كل شيء على ما يرام، لكن الاختبار والاستخدام على مسؤوليتك الخاصة! كمجلد مصدر، من الأفضل أن تأخذ لقطات، كبداية.

المصدر: www.habr.com

نسخ المجلدات إلى أنظمة التخزين عبر خادم Linux باستخدام XCOPY

إضافة تعليق إلغاء الرد