როგორ გადავიტანოთ ფაილები ერთი ღრუბლიდან მეორეზე თქვენი კომპიუტერის გავლის გარეშე

სიკვდილი, განქორწინება და გადაადგილება არის სამი ყველაზე სტრესული სიტუაცია ნებისმიერი ადამიანის ცხოვრებაში.
"Ამერიკული საშინელებათა ისტორია".

- ანდრიუხ, სახლიდან გავდივარ, დამეხმარე გადაადგილებაში, ყველაფერი არ ჯდება :(
- კარგი, რამდენია?
— ტონა* 7-8...
*ტონა (ჟარგ) - ტერაბაიტი.

ცოტა ხნის წინ, ინტერნეტში სერფინგის დროს, შევამჩნიე, რომ მიუხედავად იმისა, რომ Habré-ზე და მსგავსი რესურსების ხელმისაწვდომობის უამრავი მასალაა სხვადასხვა ტიპის მონაცემების მიგრაციის მეთოდებისა და მოდელების შესახებ, კითხვები ამ თემაზე მაინც ჩნდება ინტერნეტში. რომლებიც, რატომღაც, ყოველთვის არ იღებენ დეტალურ პასუხებს. ამ ფაქტმა მიბიძგა, რომ ერთ მშვენიერ დღეს შემეგროვებინა ჩანაწერები მსგავსი გადაწყვეტის განხორციელების შესახებ და დამეწყო ცალკე პოსტის სახით.

ზოგადად, მე უნდა გადავიტანო მონაცემები ერთი მოწყობილობიდან, სისტემიდან და სერვისიდან მეორეზე რაღაც შემაწუხებელი სიხშირით. რამაც საცდელი და შეცდომის საშუალებით მომცა საშუალება არა მხოლოდ გამეცნობინა ბევრი საინტერესო პროდუქტი, არამედ მეპოვა ბალანსი ფუნქციონალურობასა და გადაწყვეტის ღირებულებას შორის, რაზეც მინდა ვისაუბრო.

პროექტირება

როგორც საპროექტო და კვლევითი სამუშაოების შედეგად გაირკვა, მიგრაციის პროცესის ხარისხი და ეფექტურობა დამოკიდებულია არა მხოლოდ იმ „საიტების“ ტექნიკურ მახასიათებლებზე, სადაც არის ან განთავსდება მონაცემები, არამედ მათ ფიზიკურ მდებარეობაზეც.

მიგრაციის მენეჯერი არის გამოთვლითი კვანძი, რომელზედაც ფუნქციონირებს პროცესის „ლოგიკა“ - მიგრაციის მართვის პროგრამული უზრუნველყოფა.

ანუ „მიგრაციის მენეჯერის“ განთავსების ორი მოდელი არსებობს.

• მოდელი ა. თუ ერთ-ერთ საიტზე წვდომა შესაძლებელია მხოლოდ ლოკალური ქსელიდან, მაშინ ღირს იმავე ქსელში „მიგრაციის მენეჯერის“ განთავსება. იმის გამო, რომ შესრულება და მიგრაციის დრო კვლავ შეზღუდულია საიტების დამაკავშირებელი არხის სიჩქარითა და დროით.
• მოდელი B. თუ მონაცემთა წყაროსაც და მიმღებსაც აქვს წვდომა ლოკალური ქსელის გარეთ, მაშინ „მიგრაციის მენეჯერი“ უნდა განთავსდეს იქ, სადაც მათ შორის არხის სიჩქარე და დრო აშკარად უკეთესი იქნება.

იმისათვის, რომ როგორმე დავშალოთ ზემოაღნიშნული, მე ვთავაზობ ამოცანებს დავუბრუნდეთ სტატიის მთავარი კითხვიდან და მათ ტექნიკურ მახასიათებლებად ჩამოვაყალიბოთ.

პირველ რიგში, უნდა გავარკვიო, მხარს უჭერს თუ არა პროგრამული უზრუნველყოფა, რომელსაც ვიყენებ ღრუბლებს: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

მოკლე პასუხია: "დიახ!"

მე ვიყენებ რკლონი.

Rclone - rsync ღრუბლოვანი შენახვისთვის. ღია კოდის პროგრამული უზრუნველყოფა შექმნილია ფაილებისა და საქაღალდეების სინქრონიზაციისთვის 45-ზე მეტი ტიპისა და ტიპის შენახვისთვის.

აქ არის მხოლოდ რამდენიმე მათგანი:
- Alibaba Cloud (Aliyun) ობიექტების შენახვის სისტემა (OSS)
- Amazon S3
- კეფ
- ციფრული ოკეანის სივრცეები
- Dropbox
- Google Cloud Storage
- Გუგლ დრაივი
- Google Photos
- HTTP
-IBM COS S3
- Mail.ru Cloud
-მეგა
- Microsoft Azure Blob Storage
- Microsoft OneDrive
-მინიო
- შემდეგი ღრუბელი
- Openstack Swift
- Oracle Cloud Storage
- საკუთარი ღრუბელი
- Rackspace Cloud ფაილები
- rsync.net
- SFTP
- WebDAV
- Yandex Disk

ძირითადი ფუნქციონირება:
— ფაილების მთლიანობის შემოწმება MD5/SHA1 ჰეშების გამოყენებით.
— ფაილების შექმნის/შეცვლის დროის ანაბეჭდების შენახვა.
- მხარს უჭერს ნაწილობრივ სინქრონიზაციას.
— მხოლოდ ახალი ფაილების კოპირება.
— სინქრონიზაცია (ცალმხრივი).
— ფაილების შემოწმება (ჰეშებით).
— ერთი ღრუბლოვანი ანგარიშიდან მეორეზე სინქრონიზაციის შესაძლებლობა.
- დაშიფვრის მხარდაჭერა.
- ადგილობრივი ფაილების ქეშირების მხარდაჭერა.
— ღრუბლოვანი სერვისების დამონტაჟების შესაძლებლობა FUSE-ის საშუალებით.

მე თვითონ დავამატებ, რომ Rclone ასევე მეხმარება პრობლემების ლომის წილის გადაჭრაში, რომლებიც დაკავშირებულია მონაცემთა სარეზერვო ასლის ავტომატიზაციასთან პროექტი "Väinämöinen".

შემდეგი ამოცანაა „მიგრაციის მენეჯერის“ განთავსების მოდელის შერჩევა.

მონაცემთა ყველა წყარო, რომელიც წარმოადგენს სხვადასხვა საჯარო ღრუბლოვან სერვისს, ხელმისაწვდომია ინტერნეტის საშუალებით. მათ შორის API-ის საშუალებით. სამი მიმღებიდან ორი იგივეს აკეთებს. გაურკვეველია, სად არის განლაგებული თავად Nextcloud და რა წვდომა აქვს მასზე?

მე დავთვალე ხუთი შესაძლო ვარიანტი:

1. საკუთარ სერვერზე თქვენს სახლში/კორპორატიულ ქსელში.
2. საკუთარ სერვერზე სერვისის პროვაიდერის მონაცემთა ცენტრის დაქირავებულ თაროზე.
3. სერვისის პროვაიდერისგან დაქირავებულ სერვერზე.
4. ვირტუალურ სერვერზე (VDS/VPS) სერვისის/ჰოსტინგის პროვაიდერთან 
5. სერვისის პროვაიდერისგან SaaS მოდელის მიხედვით

იმის გათვალისწინებით, რომ Nextcloud კვლავ არის პროგრამული უზრუნველყოფა ღრუბლოვანი მეხსიერების შესაქმნელად და გამოყენებისთვის, თამამად შეგვიძლია ვთქვათ, რომ მასზე წვდომა ინტერნეტის საშუალებით ხუთივე ვარიანტშია შესაძლებელი. და ამ შემთხვევაში, "მიგრაციის მენეჯერის" განთავსების ოპტიმალური მოდელი იქნება - მოდელი B.

„მიგრაციის მენეჯერის“ პლატფორმად არჩეული მოდელის მიხედვით, მე ავირჩევ ერთ-ერთ ოპტიმალურ, ჩემი აზრით, ვარიანტს - ვირტუალურ სერვერს M9 მონაცემთა ცენტრი რუსეთის უმსხვილესი ინტერნეტ ტრაფიკის გაცვლის პუნქტი MSK-IX.

მესამე გადაწყვეტილება, რომელიც უნდა იქნას მიღებული, არის ვირტუალური სერვერის კონფიგურაციის გადაწყვეტილება. 

VDS კონფიგურაციის პარამეტრების არჩევისას, თქვენ უნდა იხელმძღვანელოთ საჭირო შესრულებით, რაც დამოკიდებულია საიტებს შორის არხების სიგანეზე, გადატანილი ფაილების რაოდენობასა და ზომაზე, მიგრაციის ნაკადების რაოდენობაზე და პარამეტრებზე. რაც შეეხება OS-ს, Rclone არის კროს-პლატფორმული პროგრამა, რომელიც მუშაობს სხვადასხვა ოპერაციულ სისტემაზე, მათ შორის Windows-სა და Linux-ზე.

თუ თქვენ აპირებთ რამდენიმე მიგრაციის პროცესის დაწყებას და თუნდაც გარკვეული სიხშირით, მაშინ ღირს VDS-ის დაქირავების ვარიანტი რესურსების გადახდით.

შექმნა

ზემოაღნიშნულიდან გამომდინარე, ამ სტატიის პროტოტიპის შექმნისას ავირჩიე VDS შემდეგი კონფიგურაციით.

ღირს 560 რუბლი / თვე. კუპონით 15%-იანი ფასდაკლების ჩათვლით ნოსტრესი.

ეს არჩევანი განპირობებულია იმით, რომ Windows OS-ის ქვეშ არსებული კვანძი, ჩვენი ტექნიკური მახასიათებლების პირობების შესასრულებლად, უფრო ადვილია კონფიგურაცია, ვიდრე შეკვეთისთვის ხელმისაწვდომი სხვა OS-ებისთვის.

ოფტოპიკი: სხვათა შორის, მეტი უსაფრთხოებისთვის, ეს ვირტუალური სერვერი ენიჭება ერთ-ერთ კვანძს უსაფრთხო ვირტუალური ქსელი. და RDP-ით მასზე წვდომა მხოლოდ იქიდან არის დაშვებული...

VDS-ის შექმნისა და RDP-ის საშუალებით სამუშაო მაგიდაზე წვდომის შემდეგ, პირველი რაც უნდა გააკეთოთ არის გარემოს მომზადება Rclone-ისთვის და Web-GUI-სთვის. იმათ. დააინსტალირეთ ახალი ნაგულისხმევი ბრაუზერი, მაგალითად Chrome, რადგან თავდაპირველად დაინსტალირებული IE 11, სამწუხაროდ, ყოველთვის არ მუშაობს სწორად გამოყენებული პროგრამული უზრუნველყოფით. 

გარემოს მომზადების შემდეგ გადმოწერეთ არქივი პროგრამული პაკეტით Rclone Windows-ისთვის და ამოალაგეთ. 

შემდეგი, Windows ბრძანების რეჟიმში, შეასრულეთ ბრძანება, რომ გადახვიდეთ საქაღალდეში ამოღებული ფაილებით. ჩემთვის ის მდებარეობს ადმინისტრატორის მთავარ საქაღალდეში:

C:UsersAdministrator>cd rclone

გადასვლის შემდეგ, ჩვენ ვასრულებთ ბრძანებას Rclone-ის გაშვების ვებ-GUI-დან:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

სადაც „login“ და „password“ არის თქვენ მიერ მითითებული შესვლა და პაროლი, რა თქმა უნდა, ციტატების გარეშე.

ბრძანების შესრულების შემდეგ ტერმინალი გამოჩნდება

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

და Rclone გრაფიკული ვებ ინტერფეისი ავტომატურად იხსნება ბრაუზერში.

იმისდა მიუხედავად, რომ Web-GUI ჯერ კიდევ სატესტო ვერსიის ეტაპზეა და ჯერ არ აქვს Rclone მართვის ყველა შესაძლებლობა, რაც აქვს ბრძანების ხაზის ინტერფეისს, მისი შესაძლებლობები საკმაოდ საკმარისია მონაცემთა მიგრაციისთვის. და კიდევ ცოტა მეტიც.

რეგულირება

შემდეგი ნაბიჯი არის კავშირების დაყენება საიტებთან, სადაც არის ან იქნება განთავსებული მონაცემები. და პირველი რიგში იქნება მონაცემთა მთავარი მიმღები - Nextcloud.

1. ამისათვის გადადით განყოფილებაში კონფიგურაციები ვებ-GUI. 

2. ახალი კონფიგურაციის შექმნის ინიცირება - ღილაკი ახალი კონფიგურაცია.

3. დააყენეთ საიტის სახელი - ველი ამ დისკის სახელი (თქვენი მითითებისთვის): შემდეგი ღრუბელი.

4. შენახვის ტიპის ან ტიპის შერჩევა აირჩიეთ: Nextcloud-ისა და Owncloud-ისთვის, მონაცემთა გაცვლის მთავარი ინტერფეისია WebDAV.

5. შემდეგი, დააწკაპუნეთ ნაბიჯი 2: დაყენება დისკზე გახსენით კავშირის პარამეტრების სია და შეავსეთ. 

- 5.1. http ჰოსტის URL URL-თან დასაკავშირებლად — WebDAV ინტერფეისის ჰიპერტექსტური ბმული. Nextcloud-ში ისინი განლაგებულია პარამეტრებში - ინტერფეისის ქვედა მარცხენა კუთხეში.
- 5.2. Webdav საიტის/სერვისის/პროგრამული უზრუნველყოფის სახელი, რომელსაც იყენებთ - WebDAV ინტერფეისის სახელი. ველი არჩევითია, თქვენთვის, რათა არ დაიბნეთ, თუ ბევრი ასეთი კავშირია.
- 5.3 მომხმარებლის სახელი - ავტორიზაციის მომხმარებლის სახელი
- 5.4. პაროლი - ავტორიზაციის პაროლი
- 5.5. Bearer ჟეტონი მომხმარებლის/პასის ნაცვლად (მაგ. Macaroon) და დაავალეთ გაშვება, რომ მიიღოთ მატარებელი გაფართოებულ ოფციებში არის დამატებითი პარამეტრები და ავტორიზაციის ბრძანებები. ისინი არ გამოიყენება ჩემს Nextcloud-ში.

6. შემდეგი დააწკაპუნეთ კონფიგურაციის შექმნა და იმისათვის, რომ დარწმუნდეთ, რომ კონფიგურაცია შეიქმნა, გადადით განყოფილებაში კონფიგურაცია ვებ ინტერფეისი... ამავე გვერდის საშუალებით შესაძლებელია ახლად შექმნილი კონფიგურაციის წაშლა ან რედაქტირება.

იმისათვის, რომ შეამოწმოთ საიტთან კავშირის ფუნქციონირება, გადადით განყოფილებაში მკვლევარირა В поле Remotes შეიყვანეთ კონფიგურირებული საიტის სახელი და დააწკაპუნეთ ღიაა. თუ ხედავთ ფაილების და დირექტორიების სიას, საიტთან კავშირი მუშაობს.

უფრო დამაჯერებლად, შეგიძლიათ შექმნათ/წაშალოთ საქაღალდე ან ჩამოტვირთოთ/წაშალოთ ფაილი ვებ ინტერფეისის საშუალებით.

მეორე დასაკავშირებელი პლატფორმა იქნება Yandex დისკი.

• პირველი ოთხი ნაბიჯი მსგავსია Nextcloud კავშირის პროცესის.
• შემდეგი, ჩვენ ვტოვებთ ყველაფერს, როგორც არის, ანუ ველებს შიგნით ნაბიჯი 2: დისკის დაყენება ჩვენ მათ ცარიელი ვტოვებთ და გაფართოებულ ვარიანტებში არაფერს ვცვლით.
• ვაჭერთ შექმენით კონფიგურაცია.
• ბრაუზერში იხსნება Yandex ავტორიზაციის გვერდი, რის შემდეგაც ჩნდება შეტყობინება წარმატებული კავშირისა და Rclone-ში დაბრუნების შეთავაზების შესახებ.
• რასაც ჩვენ ვაკეთებთ არის განყოფილების შემოწმება config.

მიგრაცია

როდესაც ჩვენ გვაქვს ორი საიტი დაკავშირებული, ჩვენ უკვე შეგვიძლია მონაცემთა მიგრაცია მათ შორის. თავად პროცესი მსგავსია Nextcloud-თან კავშირის ფუნქციონირების შემოწმებას, რომელიც ადრე განვახორციელეთ.

• Წადი მკვლევარი.
• შაბლონის არჩევა 2-გვერდით.
• თითოეულში Remotes მიუთითეთ თქვენი საიტის სახელი.
• ვაჭერთ ღიაა.
• ჩვენ ვხედავთ ფაილებისა და საქაღალდეების დირექტორიას თითოეული მათგანისთვის.

მიგრაციის პროცესის დასაწყებად, რჩება მხოლოდ მონაცემთა წყაროს დირექტორიაში ფაილებით სასურველი საქაღალდის არჩევა და მაუსის საშუალებით გადაიტანეთ დანიშნულების დირექტორიაში.

დარჩენილი საიტების დამატების და მათ შორის მონაცემების მიგრაციის მექანიზმი მსგავსია ზემოთ შესრულებული ოპერაციების. თუ შეცდომებს წააწყდებით სამუშაოს დროს, შეგიძლიათ შეისწავლოთ მათ შესახებ დეტალები ტერმინალში, სადაც მუშაობს Rclone Web-GUI.

ზოგადად, დოკუმენტაცია რკლონი არის ვრცელი და ხელმისაწვდომი ვებსაიტზე და ინტერნეტში და არ უნდა გამოიწვიოს რაიმე სირთულე გამოყენებაში. ამით, დასრულებულად მიმაჩნია პირველი პოსტი იმის შესახებ, თუ როგორ გადაიტანოთ ფაილები ერთი ღრუბლიდან მეორეზე, თქვენი კომპიუტერის გვერდის ავლით.

PS თუ არ ეთანხმებით ბოლო განცხადებას, დაწერეთ კომენტარებში: რა "თემა არ არის დაფარული" და რა მიმართულებით ღირს გაგრძელება.

წყარო: www.habr.com