วิธีถ่ายโอนไฟล์จากคลาวด์หนึ่งไปยังอีกคลาวด์หนึ่งโดยไม่ต้องผ่านพีซีของคุณ

ความตาย การหย่าร้าง และการย้ายบ้านเป็นสามสถานการณ์ที่ตึงเครียดที่สุดในชีวิตของใครก็ตาม
"เรื่องสยองขวัญอเมริกัน".

- Andryukh ฉันจะออกจากบ้านช่วยฉันย้ายทุกอย่างจะไม่เข้ากับฉัน :(
- โอเค มีกี่คน?
— ตัน* 7-8...
*ตัน (jarg) - เทราไบต์

เมื่อเร็ว ๆ นี้ในขณะที่ท่องอินเทอร์เน็ตฉันสังเกตเห็นว่าแม้จะมีHabréและแหล่งข้อมูลที่คล้ายกันมากมายเกี่ยวกับวิธีการและแบบจำลองในการย้ายข้อมูลประเภทต่าง ๆ แต่คำถามในหัวข้อนี้ยังคงปรากฏบนอินเทอร์เน็ต ซึ่งด้วยเหตุผลบางอย่างอาจไม่ได้รับคำตอบโดยละเอียดเสมอไป ข้อเท็จจริงนี้ทำให้ฉันต้องรวบรวมบันทึกเกี่ยวกับการใช้งานโซลูชันที่คล้ายกันในวันหนึ่ง และจัดเรียงไว้ในรูปแบบโพสต์แยกต่างหาก

โดยทั่วไปแล้ว ฉันต้องถ่ายโอนข้อมูลจากอุปกรณ์ ระบบ และบริการหนึ่งไปยังอีกเครื่องหนึ่งด้วยความถี่ที่น่ารำคาญ ซึ่งจากการลองผิดลองถูกทำให้ฉันไม่เพียงแต่ได้ทำความคุ้นเคยกับผลิตภัณฑ์ที่น่าสนใจมากมาย แต่ยังพบความสมดุลระหว่างฟังก์ชันการทำงานและต้นทุนของโซลูชันที่ฉันต้องการพูดถึง

ออกแบบ

จากผลการออกแบบและการสำรวจ คุณภาพและประสิทธิภาพของกระบวนการย้ายข้อมูลไม่เพียงแต่ขึ้นอยู่กับลักษณะทางเทคนิคของ “ไซต์” ที่ข้อมูลอยู่หรือจะตั้งอยู่เท่านั้น แต่ยังขึ้นอยู่กับตำแหน่งทางกายภาพด้วย

ตัวจัดการการย้ายข้อมูลคือโหนดคอมพิวเตอร์ซึ่ง "ตรรกะ" ของกระบวนการซอฟต์แวร์สำหรับจัดการการย้ายข้อมูลทำหน้าที่

นั่นคือมีสองรูปแบบในการวาง “ผู้จัดการการย้ายข้อมูล”

• รุ่น A. หากสามารถเข้าถึงไซต์อย่างน้อยหนึ่งแห่งจากภายในเครือข่ายท้องถิ่นเท่านั้น ก็คุ้มค่าที่จะวาง "ผู้จัดการการย้ายข้อมูล" ในเครือข่ายเดียวกัน เนื่องจากประสิทธิภาพและเวลาในการโยกย้ายยังคงถูกจำกัดด้วยความเร็วและสถานะการออนไลน์ของช่องทางที่เชื่อมต่อกับไซต์
• รุ่นบี. หากทั้งแหล่งที่มาและผู้รับข้อมูลสามารถเข้าถึงนอกเครือข่ายท้องถิ่นได้ "ตัวจัดการการย้ายข้อมูล" ควรอยู่ในตำแหน่งที่ความเร็วและสถานะการออนไลน์ของช่องทางระหว่างกันจะดีกว่าอย่างเห็นได้ชัด

เพื่อแยกย่อยสิ่งที่กล่าวมาข้างต้นฉันขอเสนอให้กลับไปที่งานจากคำถามหลักของบทความและจัดรูปแบบให้เป็นข้อกำหนดทางเทคนิค

ก่อนอื่น ฉันต้องค้นหาก่อนว่าซอฟต์แวร์ที่ฉันใช้รองรับระบบคลาวด์หรือไม่: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

คำตอบสั้นๆ คือ “ใช่!”

ฉันใช้ Rclone.

Rclone - rsync สำหรับการจัดเก็บข้อมูลบนคลาวด์ ซอฟต์แวร์โอเพ่นซอร์สที่ออกแบบมาเพื่อซิงโครไนซ์ไฟล์และโฟลเดอร์กับพื้นที่เก็บข้อมูลมากกว่า 45 ประเภทและประเภทต่างๆ

นี่เป็นเพียงบางส่วน:
— ระบบจัดเก็บข้อมูลอ็อบเจ็กต์ (OSS) ของอาลีบาบาคลาวด์ (Aliyun)
- อเมซอน S3
— เซ็ฟ
—ดิจิทัลโอเชียนสเปซ
—ดรอปบ็อกซ์
- ที่เก็บข้อมูลคลาวด์ของ Google
- Google ไดรฟ์
- Google รูปภาพ
- HTTP
-ไอบีเอ็ม คอส S3
— Mail.ru คลาวด์
—เมก้า
- ที่เก็บข้อมูล Microsoft Azure Blob
- ไมโครซอฟต์ วันไดรฟ์
— มินิโอ
— เน็กซ์คลาวด์
- OpenStack สวิฟท์
— ออราเคิลคลาวด์สตอเรจ
— เป็นเจ้าของคลาวด์
— ไฟล์คลาวด์ของ Rackspace
- rsync.net
- เอสเอฟทีพี
- เว็บDAV
— ยานเดกซ์ดิสก์

Основной функционаล:
— การตรวจสอบความสมบูรณ์ของไฟล์โดยใช้แฮช MD5/SHA1
— บันทึกการประทับเวลาสำหรับการสร้าง/เปลี่ยนแปลงไฟล์
- รองรับการซิงโครไนซ์บางส่วน
— คัดลอกเฉพาะไฟล์ใหม่
— การซิงโครไนซ์ (ทางเดียว)
— การตรวจสอบไฟล์ (ตามแฮช)
— ความสามารถในการซิงโครไนซ์จากบัญชีคลาวด์หนึ่งไปยังอีกบัญชีหนึ่ง
- รองรับการเข้ารหัส
- รองรับการแคชไฟล์ในเครื่อง
— ความสามารถในการติดตั้งบริการคลาวด์ผ่าน FUSE

ฉันจะเสริมด้วยตัวเองว่า Rclone ยังช่วยฉันแก้ปัญหาส่วนใหญ่ที่เกี่ยวข้องกับการสำรองข้อมูลอัตโนมัติใน โครงการ "Väinämöinen".

ภารกิจต่อไปคือการเลือกแบบจำลองการจัดวาง "ผู้จัดการการย้ายข้อมูล"

แหล่งข้อมูลทั้งหมดซึ่งเป็นบริการคลาวด์สาธารณะต่างๆ สามารถเข้าถึงได้ผ่านทางอินเทอร์เน็ต รวมถึงผ่านทาง API ผู้รับสองในสามทำเช่นเดียวกัน ยังไม่ชัดเจนว่า Nextcloud ถูกนำไปใช้งานที่ไหน และสามารถเข้าถึงได้อะไรบ้าง

ฉันนับได้ห้าตัวเลือกที่เป็นไปได้:

1. บนเซิร์ฟเวอร์ของคุณเองในเครือข่ายภายในบ้าน/องค์กรของคุณ
2. บนเซิร์ฟเวอร์ของคุณเองในชั้นเช่าของศูนย์ข้อมูลของผู้ให้บริการ
3. บนเซิร์ฟเวอร์ที่เช่าจากผู้ให้บริการ
4. บนเซิร์ฟเวอร์เสมือน (VDS/VPS) กับผู้ให้บริการ/โฮสติ้ง 
5. จากผู้ให้บริการ ตามโมเดล SaaS

เมื่อพิจารณาว่า Nextcloud ยังคงเป็นซอฟต์แวร์สำหรับการสร้างและใช้ที่เก็บข้อมูลบนคลาวด์ เราสามารถพูดได้อย่างปลอดภัยว่าการเข้าถึงผ่านทางอินเทอร์เน็ตนั้นมีอยู่ในทั้งห้าตัวเลือก และในกรณีนี้ รูปแบบที่เหมาะสมที่สุดสำหรับการวาง "ผู้จัดการการย้ายข้อมูล" จะเป็น - รุ่นบี.

ตามแบบจำลองที่เลือกเป็นแพลตฟอร์มสำหรับ "ตัวจัดการการย้ายข้อมูล" ฉันจะเลือกหนึ่งในตัวเลือกที่เหมาะสมที่สุดจากมุมมองของฉัน - เซิร์ฟเวอร์เสมือนใน ศูนย์ข้อมูล M9 จุดแลกเปลี่ยนการรับส่งข้อมูลทางอินเทอร์เน็ตที่ใหญ่ที่สุดของรัสเซีย MSK-IX

การตัดสินใจครั้งที่สามที่ต้องทำคือการตัดสินใจเกี่ยวกับการกำหนดค่าเซิร์ฟเวอร์เสมือน 

เมื่อเลือกพารามิเตอร์การกำหนดค่า VDS คุณจะต้องได้รับคำแนะนำจากประสิทธิภาพที่ต้องการ ซึ่งขึ้นอยู่กับความกว้างของช่องทางระหว่างไซต์ จำนวนและขนาดของไฟล์ที่ถูกย้าย จำนวนสตรีมการโยกย้าย และการตั้งค่า สำหรับระบบปฏิบัติการนั้น Rclone เป็นซอฟต์แวร์ข้ามแพลตฟอร์มที่ทำงานบนระบบปฏิบัติการต่าง ๆ รวมถึง Windows และ Linux

หากคุณวางแผนที่จะเริ่มกระบวนการย้ายข้อมูลหลายๆ กระบวนการ และแม้แต่ในความถี่หนึ่งๆ ก็คุ้มค่าที่จะพิจารณาตัวเลือกในการเช่า VDS โดยชำระค่าทรัพยากร

การสร้าง

จากข้อมูลข้างต้น เมื่อสร้างต้นแบบสำหรับบทความนี้ ฉันเลือก VDS ในการกำหนดค่าต่อไปนี้

ราคา 560 รูเบิล/เดือน รวมถึงส่วนลด 15% โดยใช้คูปอง ไม่มีความเครียด.

ตัวเลือกนี้เกิดจากการที่โหนดภายใต้ระบบปฏิบัติการ Windows เพื่อให้สอดคล้องกับเงื่อนไขข้อกำหนดทางเทคนิคของเรา จะสามารถกำหนดค่าได้ง่ายกว่าระบบปฏิบัติการอื่นๆ ที่มีให้สั่งซื้อ

นอกประเด็น: อย่างไรก็ตาม เพื่อความปลอดภัยที่มากขึ้น เซิร์ฟเวอร์เสมือนนี้จึงถูกกำหนดให้กับโหนดใดโหนดหนึ่ง เครือข่ายเสมือนที่ปลอดภัย. และเข้าถึงได้ผ่าน RDP จากที่นั่นเท่านั้น...

หลังจากสร้าง VDS และเข้าถึงเดสก์ท็อปผ่าน RDP แล้ว สิ่งแรกที่คุณต้องทำคือเตรียมสภาพแวดล้อมสำหรับ Rclone และ Web-GUI เหล่านั้น. ติดตั้งเบราว์เซอร์เริ่มต้นใหม่ เช่น Chrome เนื่องจากน่าเสียดายที่ IE 11 ที่ติดตั้งครั้งแรกอาจไม่ทำงานอย่างถูกต้องกับซอฟต์แวร์ที่ใช้เสมอไป 

หลังจากเตรียมสภาพแวดล้อมแล้ว ให้ดาวน์โหลดไฟล์เก็บถาวรด้วยแพ็คเกจซอฟต์แวร์ RClone สำหรับ Windows และแกะมันออก 

จากนั้นในโหมดบรรทัดคำสั่งของ Windows ให้ดำเนินการคำสั่งเพื่อไปยังโฟลเดอร์ที่มีไฟล์ที่แตกออกมา สำหรับฉันมันอยู่ในโฟลเดอร์โฮมของผู้ดูแลระบบ:

C:UsersAdministrator>cd rclone

หลังจากการเปลี่ยนแปลง เราจะดำเนินการคำสั่งเพื่อเปิดใช้ Rclone จาก Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

โดยที่ “เข้าสู่ระบบ” และ “รหัสผ่าน” คือข้อมูลเข้าสู่ระบบและรหัสผ่านที่คุณระบุ โดยไม่มีเครื่องหมายคำพูด

เมื่อดำเนินการตามคำสั่ง เทอร์มินัลจะแสดงขึ้น

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

และเว็บอินเตอร์เฟสแบบกราฟิก Rclone จะเปิดขึ้นในเบราว์เซอร์โดยอัตโนมัติ

แม้ว่า Web-GUI จะยังอยู่ในช่วงเวอร์ชันทดสอบและยังไม่มีความสามารถในการจัดการ Rclone ทั้งหมดที่อินเทอร์เฟซบรรทัดคำสั่งมี แต่ความสามารถของ Web-GUI ก็เพียงพอสำหรับการย้ายข้อมูล และอีกสักหน่อย

การตั้งค่า

ขั้นตอนต่อไปคือการตั้งค่าการเชื่อมต่อกับไซต์ที่มีข้อมูลอยู่หรือจะตั้งอยู่ และบรรทัดแรกจะเป็นตัวรับข้อมูลหลัก - Nextcloud

1. โดยไปที่ส่วนนี้ การตั้งค่า เว็บ-GUI 

2. เริ่มต้นการสร้างการกำหนดค่าใหม่ - ปุ่ม การกำหนดค่าใหม่.

3. ตั้งชื่อเว็บไซต์ - ฟิลด์ ชื่อของไดรฟ์นี้ (สำหรับการอ้างอิงของคุณ): เน็กซ์คลาวด์.

4. การเลือกประเภทหรือประเภทของการจัดเก็บ เลือก: สำหรับ Nextcloud และ Owncloud อินเทอร์เฟซการแลกเปลี่ยนข้อมูลหลักคือ WebDAV

5. ถัดไปคลิกที่ ขั้นตอนที่ 2: ตั้งค่า ขับเปิดรายการพารามิเตอร์การเชื่อมต่อแล้วกรอกข้อมูล 

- 5.1 URL ของโฮสต์ http ที่จะเชื่อมต่อกับ URL — ลิงค์ไฮเปอร์เท็กซ์ของอินเทอร์เฟซ WebDAV ใน Nextcloud จะอยู่ในการตั้งค่า - มุมซ้ายล่างของอินเทอร์เฟซ
- 5.2 ชื่อของไซต์/บริการ/ซอฟต์แวร์ Webdav ที่คุณใช้ — ชื่ออินเทอร์เฟซ WebDAV ฟิลด์นี้เป็นทางเลือกสำหรับตัวคุณเอง เพื่อไม่ให้สับสนหากมีการเชื่อมต่อดังกล่าวมากมาย
- ฮิต ชื่อผู้ใช้ — ชื่อผู้ใช้สำหรับการอนุญาต
- 5.4 รหัสผ่าน — รหัสผ่านสำหรับการอนุญาต
- 5.5 โทเค็นผู้ถือแทนผู้ใช้/ผ่าน (เช่น Macaroon) และคำสั่งให้เรียกใช้เพื่อรับโทเค็นผู้ถือ ในตัวเลือกขั้นสูงจะมีพารามิเตอร์เพิ่มเติมและคำสั่งการอนุญาต ไม่ได้ใช้ใน Nextcloud ของฉัน

6. คลิกถัดไป สร้างการกำหนดค่า และเพื่อให้แน่ใจว่ามีการสร้างการกำหนดค่าแล้ว ให้ไปที่ส่วนนี้ การกำหนดค่า เว็บอินเตอร์เฟส... ในหน้าเดียวกันสามารถลบหรือแก้ไขการกำหนดค่าที่สร้างขึ้นใหม่ได้

หากต้องการตรวจสอบฟังก์ชันการเชื่อมต่อกับไซต์ ให้ไปที่ส่วนนี้ สำรวจ. В ปอล รีโมท ป้อนชื่อของไซต์ที่กำหนดค่าแล้วคลิก จุดเปิด. หากคุณเห็นรายการไฟล์และไดเร็กทอรี แสดงว่าการเชื่อมต่อกับไซต์ใช้งานได้

เพื่อให้น่าเชื่อถือยิ่งขึ้น คุณสามารถสร้าง/ลบโฟลเดอร์หรือดาวน์โหลด/ลบไฟล์ผ่านทางเว็บอินเตอร์เฟส

แพลตฟอร์มที่สองที่จะเชื่อมต่อคือดิสก์ Yandex

• สี่ขั้นตอนแรกจะคล้ายกับกระบวนการเชื่อมต่อ Nextcloud
• ต่อไปเราจะปล่อยให้ทุกอย่างเหมือนเดิมนั่นคือทุ่งนา ขั้นตอนที่ 2: ตั้งค่าไดรฟ์ เราปล่อยว่างไว้และไม่เปลี่ยนแปลงสิ่งใดในตัวเลือกขั้นสูง
• เรากด สร้างการกำหนดค่า.
• หน้าการอนุญาต Yandex จะเปิดขึ้นในเบราว์เซอร์ หลังจากนั้นคุณจะได้รับข้อความเกี่ยวกับการเชื่อมต่อที่สำเร็จและข้อเสนอให้กลับสู่ Rclone
• สิ่งที่เราทำคือตรวจสอบส่วน การกำหนดค่า.

การย้ายถิ่น

เมื่อเราเชื่อมต่อสองไซต์เข้าด้วยกัน เราก็สามารถย้ายข้อมูลระหว่างไซต์เหล่านั้นได้แล้ว กระบวนการนี้คล้ายกับการตรวจสอบการทำงานของการเชื่อมต่อกับ Nextcloud ซึ่งเราดำเนินการก่อนหน้านี้

• ไปที่ สำรวจ.
• การเลือกเทมเพลต 2 ข้าง.
• ในแต่ละ รีโมท ระบุชื่อเว็บไซต์ของคุณ
• เรากด จุดเปิด.
• เราเห็นไดเร็กทอรีของไฟล์และโฟลเดอร์สำหรับแต่ละไฟล์

เพื่อเริ่มกระบวนการย้ายข้อมูล สิ่งที่เหลืออยู่คือเลือกโฟลเดอร์ที่ต้องการพร้อมไฟล์ในไดเร็กทอรีแหล่งข้อมูลแล้วลากด้วยเมาส์ไปยังไดเร็กทอรีปลายทาง

กลไกในการเพิ่มไซต์ที่เหลือและการย้ายข้อมูลระหว่างไซต์เหล่านั้นจะคล้ายกับการดำเนินการข้างต้น หากคุณพบข้อผิดพลาดระหว่างการทำงาน คุณสามารถศึกษารายละเอียดเกี่ยวกับข้อผิดพลาดเหล่านั้นได้ในเทอร์มินัลที่ Rclone พร้อม Web-GUI กำลังทำงานอยู่

โดยทั่วไปแล้วเอกสารประกอบสำหรับ Rclone มีมากมายและมีอยู่บนเว็บไซต์และบนอินเทอร์เน็ต และไม่ควรทำให้เกิดปัญหาในการใช้งาน ด้วยเหตุนี้ ฉันจะพิจารณาโพสต์แรกเกี่ยวกับวิธีถ่ายโอนไฟล์จากคลาวด์หนึ่งไปยังอีกระบบหนึ่งโดยข้ามพีซีของคุณไปเลย

PS หากคุณไม่เห็นด้วยกับข้อความสุดท้าย ให้เขียนความคิดเห็นว่า "หัวข้อใดที่ไม่ครอบคลุม" และควรดำเนินการต่อในด้านใด

ที่มา: will.com