Anamnesis เพื่อที่จะพูด:
เซิร์ฟเวอร์ Fujitsu rx300 s6, RAID6 จากดิสก์ 6TB จำนวน 1 ตัว, ติดตั้ง XenServer 6.2, เซิร์ฟเวอร์หลายตัวกำลังหมุนอยู่, ในจำนวนนี้เป็น Ubuntu ที่มีหลายลูก, ไฟล์ 3,5 ล้านไฟล์, ข้อมูล 1,5 TB ทั้งหมดนี้ค่อยๆ เติบโตและบวมขึ้น
งาน: ตั้งค่าการสำรองข้อมูลจากไฟล์เซิร์ฟเวอร์ รายวันบางส่วน รายสัปดาห์บางส่วน
เรามีเครื่องสำรองข้อมูล Windows ที่มี RAID5 (ยูนิตระบบมาตรฐานที่ไม่ดีซึ่งมีตัวควบคุม RAID ในตัว) พร้อมด้วยดิสก์ขนาด 2TB แยกต่างหากสำหรับการคัดลอกสถานะปัจจุบันของไฟล์ระดับกลาง คุณสามารถใช้การกระจาย Linux ใดก็ได้ แต่เครื่องนี้พร้อมใช้งานแล้วกับอาร์เรย์การโจมตีและใบอนุญาต Windows
ติดตั้งบนเซิร์ฟเวอร์สำรอง เราได้ตั้งค่า "มิเรอร์" ของทุกสิ่งติดต่อกันจากไฟล์เซิร์ฟเวอร์ทั้งหมดที่แชร์วันละครั้งในตอนเย็นหลังจากผ่านไป 18 ชั่วโมงโดยเรียกใช้ผ่านตัวกำหนดตารางเวลา
จุดสำคัญ: เมื่อบันทึกงานแบทช์ อย่าลืมทำเครื่องหมายที่ “ปิดหน้าต่างงานเมื่อเสร็จสิ้น” มิฉะนั้นกระบวนการจะทวีคูณและทวีคูณ
เราโยนไฟล์ชั่วคราวลงในข้อยกเว้นของมาสก์: *.dwl, *.dwl2, *.tmp
FreeFileSync ใช้เครือข่ายได้เป็นอย่างดี การคัดลอกเกิดขึ้นในหลายเธรด ความเร็วถึง 80 Mbps เมื่อคัดลอกไฟล์ขนาดใหญ่ ไม่พบการบล็อกในไฟล์ขนาดเล็ก
การเก็บถาวรจะดำเนินการบนเซิร์ฟเวอร์สำรองข้อมูลในเครื่อง แทนที่จะเป็นเซิร์ฟเวอร์ที่ใช้ก่อนหน้านี้ ด้วยการเก็บถาวรเครือข่าย อย่างไรก็ตาม TheCopier นั้นยอดเยี่ยมมาก! แต่ด้วยปริมาณดังกล่าวจึงไม่มีเวลาถ่ายโอนทุกอย่างแม้ว่าจะมีอินเทอร์เฟซ 1Gbps ในการสำรองข้อมูลและ 2Gbps ในไฟล์เดียว (เชื่อมโยงการ์ดเครือข่ายสองใบ)
เคยใช้มาก่อนด้วย แต่เมื่อจำนวนไฟล์เกิน 1,5-2 ล้านไฟล์ มันก็หยุดทำงานตามปกติ ไม่สามารถรับมือได้
หากต้องการเก็บถาวรโฟลเดอร์ที่จำเป็นให้เขียนไฟล์แบตช์ไว้ :
ตั้งค่าตอนนี้=%เวลา:~0,-3%
ตั้งค่าตอนนี้=%ตอนนี้::=.%
ตั้งค่าตอนนี้=%ตอนนี้: =0%
ตั้งตอนนี้=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C: "ไฟล์โปรแกรม" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C: "ไฟล์โปรแกรม" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C: "ไฟล์โปรแกรม" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C: “ไฟล์โปรแกรม” 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C: “ไฟล์โปรแกรม” 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C: "ไฟล์โปรแกรม" 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C: “ไฟล์โปรแกรม” 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C: “ไฟล์โปรแกรม” 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C: “ไฟล์โปรแกรม” 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C: “ไฟล์โปรแกรม” 7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - การสร้างไฟล์เก็บถาวร
:: -tzip หรือ -t7z - ประเภทไฟล์เก็บถาวร (zip เร็วกว่า 1.5-2 เท่า)
:: -mx=1 — อัตราการบีบอัด (1 ขั้นต่ำ, 9 ค่าสูงสุด x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - เปิดใช้งานมัลติเธรดโดยที่ไม่ได้เปิดใช้งาน
:: -mtc=off - ปิดการใช้งานการประทับเวลาระบบไฟล์ (เมื่อบันทึก แก้ไข ฯลฯ )
:: -ssw - บีบอัดไฟล์ที่เปิดเพื่อเขียนด้วย
:: -xr!.Sync* - ไม่รวมไฟล์ BtSync ชั่วคราวจากการเก็บถาวร เหลือไฟล์ถาวรไว้
การสร้าง set now=% และอื่นๆ ช่วยให้คุณสามารถบันทึกรูปแบบเวลาในการบันทึกในชื่อไฟล์ได้โดยไม่มีปัญหาที่เกิดขึ้นเมื่อจำนวนวันหรือเดือนน้อยกว่า 10 นั่นคือเราแทนที่ศูนย์
ความคิดเห็น -xr!.Sync* เป็นพื้นฐานที่เหลือจากการใช้งานครั้งแรก .
มากถึง 500 GB และ 700-800 ไฟล์ BTSync ยังคงทำงานได้ดี ซิงโครไนซ์ได้ทันที แต่ด้วยปริมาณปัจจุบัน ทำให้ใช้ทรัพยากรหน่วยความจำและโปรเซสเซอร์อย่างมากทั้งบนเซิร์ฟเวอร์ไฟล์ Ubuntu และในการสำรองข้อมูล Windows ที่เปิดตัวโดย บริการและยังข่มขืนระบบดิสก์ด้วยการอ่านและเขียนอย่างต่อเนื่อง
แม้ว่าตัวจัดเก็บจะเป็น 7-zip แต่เราเก็บถาวรในรูปแบบ zip แทนที่จะเป็น 7z ดั้งเดิม เนื่องจากเร็วกว่ามากและแทบไม่มีความแตกต่างในการบีบอัดด้วย mx=1 สิ่งนี้ได้รับการตรวจสอบจากการทดลองหลายครั้ง
ไฟล์เก็บถาวรจะถูกดำเนินการทีละรายการ
โฟลเดอร์ที่มีไฟล์เก็บถาวรจะถูกล้างผ่านงานที่กำหนดเวลาไว้โดยใช้ยูทิลิตี้ fpurge โดยปล่อยให้ไฟล์เก็บถาวรมีอายุไม่เกินหนึ่งสัปดาห์
เป็นผลให้เรามีสำเนาของไฟล์สำหรับวันก่อนหน้ารวมถึงไฟล์เก็บถาวรสำหรับสัปดาห์ที่แล้ว FreeFileSync จะเก็บไฟล์ที่ถูกลบไปไว้ในถังขยะ
ที่มา: will.com