XCOPY استعمال ڪندي لينڪس سرور ذريعي اسٽوريج سسٽم ڏانهن حجم نقل ڪرڻ

اهو ٿئي ٿو ته توهان کي هڪ ڊيٽا اسٽوريج سسٽم (DSS) جي اندر حجم جي مڪمل ڪاپي حاصل ڪرڻ جي ضرورت آهي، هڪ سنيپ شاٽ نه، هڪ کلون، پر مڪمل حجم. پر اسٽوريج سسٽم هميشه هن کي اجازت نه ڏيندو آهي اندروني طور تي ان جي پنهنجي وسيلن کي استعمال ڪندي. اهو لڳي ٿو ته سرور ذريعي نقل ڪرڻ جو واحد آپشن آهي، پر ان صورت ۾ ڊيٽا جو سڄو حجم سرور ذريعي ئي هليو ويندو، نيٽ ورڪ کي اسٽوريج سسٽم ۽ اسٽوريج بندرگاهن تائين، انهن سڀني حصن کي لوڊ ڪندي. پر اتي SCSI حڪم آھن جيڪي توھان کي اجازت ڏئي سگھن ٿا ھر شيء کي اسٽوريج سسٽم اندر اندر، ۽ جيڪڏھن توھان جو سسٽم VMware کان VAAI کي سپورٽ ڪري ٿو، پوء اھو تقريبا 100٪ آھي جيڪو XCOPY (EXTENDED COPY) ڪمانڊ کي سپورٽ ڪري ٿو، جيڪو صف کي ٻڌائي ٿو ۽ ڇا. ڪٿي ڪاپي ڪرڻ، بغير پروسيس سرور ۽ نيٽ ورڪ کي شامل ڪرڻ کان سواء.

اهو لڳي ٿو ته سڀ ڪجهه سادو هجڻ گهرجي، پر مون کي فوري طور تي ڪا به تيار ٿيل اسڪرپٽ نه ملي سگهي، تنهنڪري مون کي ڦيٿي کي ٻيهر ٺاهڻو پيو. لينڪس سرور OS لاءِ چونڊيو ويو، ۽ ddpt ڪمانڊ (http://sg.danny.cz/sg/ddpt.html) چونڊيو ويو ڪاپي ڪرڻ وارو اوزار. هن ميلاپ کي استعمال ڪندي، توهان ڪنهن به او ايس مان ڪنهن به حجم کي نقل ڪري سگهو ٿا، ڇاڪاڻ ته نقل ڪرڻ واري اسٽوريج سسٽم جي پاسي تي بلاڪ بلاڪ ٿيندي آهي. جيئن ته اهو ضروري آهي ته بلاڪ طرفان بلاڪ کي نقل ڪيو وڃي، ۽ بلاڪ جي تعداد کي ڳڻڻ گهرجي، blockdev ڪمانڊ استعمال ڪيو ويو اهڙي قسم جي تکرار جي تعداد کي ڳڻڻ لاء. وڌ ۾ وڌ بلاڪ سائيز تجرباتي طور تي حاصل ڪئي وئي؛ ddpt اصل ۾ وڏي بلاڪ سان ڪم نه ڪيو. نتيجو هيٺ ڏنل سادي اسڪرپٽ هئي:

#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done

اچو ته ٿورو چيڪ ڪريون! خير، هڪ ننڍڙي وانگر، هڪ 1TB فائل جلدي ٺاهي نه وئي هئي ۽ md5sum پاران چڪاس ڪئي وئي هئي :)

root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s

ان وقت اسٽوريج سسٽم تي ڇا ٿي رهيو هو:

اچو ته لينڪس سان جاري رکون.

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#

سڀ ڪجھ ڪم ڪيو، پر ٽيسٽ ۽ استعمال ڪريو پنھنجي خطري تي! ماخذ جي مقدار جي طور تي، اهو بهتر آهي ته سنيپ شاٽ وٺڻ لاء، شروعاتي لاء.

جو ذريعو: www.habr.com