Ինչպես փոխանցել ֆայլերը մի ամպից մյուսը՝ առանց ձեր համակարգչի միջով անցնելու

Մահը, ամուսնալուծությունը և տեղափոխությունը յուրաքանչյուր մարդու կյանքում ամենասթրեսային իրավիճակներից երեքն են:
«Ամերիկյան սարսափ պատմություն».

- Անդրյուխ, ես տանից եմ գնում, օգնիր շարժվել, ամեն ինչ ինձ հետ չի տեղավորվի :(
-Լավ, քանի՞սն են:
— տոննա* 7-8...
*Տոն (ժարգ) – Տերաբայթ։

Վերջերս, համացանցում ճամփորդելիս, ես նկատեցի, որ չնայած Habré-ում և նմանատիպ ռեսուրսների բազմաթիվ նյութերի առկայությանը տարբեր տեսակի տվյալների տեղափոխման մեթոդների և մոդելների մասին, այս թեմայի վերաբերյալ հարցեր դեռևս հայտնվում են համացանցում: Որոնք, չգիտես ինչու, միշտ չէ, որ մանրամասն պատասխաններ են ստանում։ Այս փաստը ինձ դրդեց մի օր հավաքել գրառումներ նմանատիպ լուծման իրագործման վերաբերյալ և դասավորել դրանք առանձին գրառման տեսքով։

Ընդհանրապես, ես պետք է տվյալներ փոխանցեմ մի սարքից, համակարգից և ծառայությունից մյուսին ինչ-որ տհաճ հաճախականությամբ։ Ինչը փորձության և սխալի միջոցով թույլ տվեց ինձ ոչ միայն ծանոթանալ շատ հետաքրքիր ապրանքների հետ, այլև գտնել հավասարակշռություն այն լուծման ֆունկցիոնալության և արժեքի միջև, որի մասին ուզում եմ խոսել:

Նախագծում

Ինչպես պարզվեց նախագծային և հետազոտական ​​աշխատանքների արդյունքում, միգրացիոն գործընթացի որակն ու արդյունավետությունը կախված է ոչ միայն «կայքերի» տեխնիկական բնութագրերից, որտեղ գտնվում են կամ կտեղակայվեն տվյալները, այլև դրանց ֆիզիկական գտնվելու վայրից:

Միգրացիայի կառավարիչը հաշվողական հանգույց է, որի վրա գործում է գործընթացի «տրամաբանությունը»՝ միգրացիայի կառավարման ծրագրակազմը:

Այսինքն՝ «միգրացիոն մենեջեր» տեղադրելու երկու մոդել կա.

• Մոդել Ա. Եթե ​​կայքերից գոնե մեկին կարելի է մուտք գործել միայն տեղական ցանցից, ապա արժե նույն ցանցում տեղադրել «միգրացիոն մենեջեր»: Քանի որ կատարողականը և միգրացիայի ժամանակը դեռևս սահմանափակված են կայքերը միացնող ալիքի արագությամբ և աշխատաժամանակով:
• Մոդել Բ. Եթե ​​տվյալների աղբյուրը և ստացողը մուտք ունեն տեղական ցանցից դուրս, ապա «միգրացիոն մենեջերը» պետք է տեղակայվի այնտեղ, որտեղ նրանց միջև ալիքի արագությունն ու գործունակությունը ակնհայտորեն ավելի լավ կլինեն:

Վերը նշվածը ինչ-որ կերպ տարրալուծելու համար առաջարկում եմ հոդվածի հիմնական հարցից վերադառնալ առաջադրանքներին և դրանք ձևակերպել տեխնիկական բնութագրերի:

Նախ, ես պետք է պարզեմ, թե արդյոք իմ օգտագործած ծրագրաշարն աջակցում է ամպերին. Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Կարճ պատասխանն է՝ «ԱՅՈ»:

Ես օգտագործում եմ Rclone.

Rclone - rsync ամպային պահեստավորման համար: Բաց կոդով ծրագրակազմ, որը նախատեսված է ֆայլերն ու թղթապանակները համաժամեցնելու ավելի քան 45 տեսակի և տեսակի պահեստավորման հետ:

Ահա դրանցից ընդամենը մի քանիսը.
— Alibaba Cloud (Aliyun) Օբյեկտների պահպանման համակարգ (OSS)
- Amazon S3
- Քեֆ
-Թվային օվկիանոսի տարածքներ
- Dropbox
- Google Cloud Storage
- Google Drive
- Google Լուսանկարներ
- HTTP
-IBM COS S3
— Mail.ru Cloud
- Մեգա
- Microsoft Azure Blob Storage
- Microsoft OneDrive
- Մինիո
- Հաջորդ ամպը
- Openstack Swift
- Oracle Cloud Storage-ը
- սեփական Cloud
- Rackspace Cloud Ֆայլեր
- rsync.net
- SFTP
- WebDAV
- Yandex սկավառակ

Հիմնական ֆունկցիոնալությունը.
— MD5/SHA1 հեշերի միջոցով ֆայլերի ամբողջականության ստուգում:
— Ֆայլեր ստեղծելու/փոխելու ժամանակային դրոշմանիշերի պահպանում:
- Աջակցում է մասնակի համաժամացմանը:
— Պատճենում է միայն նոր ֆայլեր:
— Համաժամացում (միակողմանի):
— Ֆայլերի ստուգում (ըստ հեշերի):
— Մի ամպային հաշվից մյուսը համաժամեցնելու ունակություն:
- Կոդավորման աջակցություն:
- Աջակցություն տեղական ֆայլերի քեշավորմանը:
— Ամպային ծառայություններ FUSE-ի միջոցով տեղադրելու հնարավորություն:

Ես ինքնուրույն կավելացնեմ, որ Rclone-ը նաև օգնում է ինձ լուծել տվյալների կրկնօրինակման ավտոմատացման հետ կապված խնդիրների առյուծի բաժինը: «Väinämöinen» նախագիծ.

Հաջորդ խնդիրը «միգրացիոն մենեջեր» տեղաբաշխման մոդելի ընտրությունն է:

Բոլոր տվյալների աղբյուրները, որոնք տարբեր հանրային ամպային ծառայություններ են, հասանելի են ինտերնետի միջոցով: Այդ թվում՝ API-ի միջոցով: Երեք ընդունիչներից երկուսը նույնն են անում: Պարզ չէ, թե որտեղ է տեղակայված Nextcloud-ը և ինչ հասանելիություն է դրան հասանելի:

Ես թվարկեցի հինգ հնարավոր տարբերակներ.

1. Ձեր սեփական սերվերի վրա ձեր տան/կորպորատիվ ցանցում:
2. Ձեր սեփական սերվերի վրա՝ ծառայության մատակարարի տվյալների կենտրոնի վարձակալված դարակում:
3. Ծառայությունների մատակարարից վարձակալված սերվերի վրա:
4. Վիրտուալ սերվերի վրա (VDS/VPS) ծառայության/հոսթինգ մատակարարի հետ 
5. Ծառայությունների մատակարարից ըստ SaaS մոդելի

Հաշվի առնելով, որ Nextcloud-ը դեռևս ամպային պահեստ ստեղծելու և օգտագործելու ծրագրակազմ է, կարելի է վստահորեն ասել, որ ինտերնետի միջոցով մուտքը հասանելի է բոլոր հինգ տարբերակներով։ Եվ այս դեպքում «միգրացիոն մենեջեր» տեղադրելու օպտիմալ մոդելը կլինի. մոդել Բ.

«Միգրացիոն մենեջերի» համար որպես հարթակ ընտրված մոդելի համաձայն, ես կընտրեմ օպտիմալ, իմ տեսանկյունից, տարբերակներից մեկը՝ վիրտուալ սերվեր. M9 տվյալների կենտրոն Ռուսաստանի խոշորագույն ինտերնետ տրաֆիկի փոխանակման MSK-IX կետը:

Երրորդ որոշումը, որը պետք է կայացվի, վիրտուալ սերվերի կազմաձևումն է: 

VDS-ի կազմաձևման պարամետրերն ընտրելիս պետք է առաջնորդվել պահանջվող կատարողականությամբ, որը կախված է կայքերի միջև ալիքների լայնությունից, տեղափոխվող ֆայլերի քանակից և չափից, միգրացիոն հոսքերի քանակից և կարգավորումներից: Ինչ վերաբերում է ՕՀ-ին, Rclone-ը միջպլատֆորմային ծրագիր է, որն աշխատում է տարբեր օպերացիոն համակարգերով, ներառյալ Windows-ը և Linux-ը:

Եթե ​​դուք նախատեսում եք գործարկել միգրացիոն մի քանի գործընթացներ, և նույնիսկ որոշակի հաճախականությամբ, ապա արժե հաշվի առնել VDS-ը ռեսուրսների համար վճարումով վարձակալելու տարբերակը:

ստեղծում

Ելնելով վերը նշվածից, այս հոդվածի նախատիպը ստեղծելիս ես ընտրեցի VDS-ը հետևյալ կոնֆիգուրացիայի մեջ.

արժե 560 ռուբլի / ամիս: ներառյալ 15% զեղչ կտրոնի օգտագործմամբ ՆՈՍՏՐԵՍ.

Այս ընտրությունը պայմանավորված է նրանով, որ Windows OS-ի տակ գտնվող հանգույցը, մեր տեխնիկական բնութագրերի պայմաններին համապատասխանելու համար, ավելի հեշտ է կարգավորել, քան պատվերի համար մատչելի այլ ՕՀ-ների համար:

Offtopic. Ի դեպ, ավելի մեծ անվտանգության համար այս վիրտուալ սերվերը նշանակված է հանգույցներից մեկին անվտանգ վիրտուալ ցանց. իսկ RDP-ով դրան մուտք գործելը թույլատրվում է միայն այնտեղից...

VDS ստեղծելուց և RDP-ի միջոցով աշխատասեղան մուտք գործելուց հետո, առաջին բանը, որ դուք պետք է անեք, միջավայրը պատրաստելն է Rclone-ի և Web-GUI-ի համար: Նրանք. տեղադրել նոր լռելյայն զննարկիչ, օրինակ՝ Chrome, քանի որ ի սկզբանե տեղադրված IE 11-ը, ցավոք, միշտ չէ, որ ճիշտ է աշխատում օգտագործված ծրագրաշարի հետ: 

Միջավայրը պատրաստելուց հետո ներբեռնեք արխիվը ծրագրային փաթեթով Rclone Windows-ի համար և բացիր այն: 

Հաջորդը, Windows հրամանի տողի ռեժիմում, կատարեք արդյունահանված ֆայլերով թղթապանակ գնալու հրամանը: Ինձ համար այն գտնվում է ադմինիստրատորի գլխավոր թղթապանակում.

C:UsersAdministrator>cd rclone

Անցումից հետո մենք կատարում ենք Rclone-ը Web-GUI-ից գործարկելու հրամանը.

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

որտեղ «մուտք» և «գաղտնաբառ» ձեր նշած մուտքն ու գաղտնաբառը են, իհարկե, առանց չակերտների:

Հրամանի կատարումից հետո տերմինալը ցուցադրվում է

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

իսկ Rclone գրաֆիկական վեբ ինտերֆեյսը ավտոմատ կերպով բացվում է բրաուզերում:

Չնայած այն հանգամանքին, որ Web-GUI-ն դեռ գտնվում է թեստային տարբերակի փուլում և դեռ չունի Rclone կառավարման բոլոր հնարավորությունները, որոնք ունի հրամանի տողի ինտերֆեյսը, դրա հնարավորությունները բավականին բավարար են տվյալների միգրացիայի համար: Եվ նույնիսկ մի փոքր ավելին:

հարմարեցում

Հաջորդ քայլը կապեր հաստատելն է այն կայքերին, որտեղ գտնվում են կամ կտեղակայվեն տվյալները: Իսկ շարքում առաջինը կլինի տվյալների հիմնական ստացողը` Nextcloud-ը:

1. Դա անելու համար անցեք բաժին Կազմաձևեր Web-GUI. 

2. Նոր կոնֆիգուրացիայի՝ կոճակի ստեղծման նախաձեռնում Նոր կոնֆիգուրացիա.

3. Սահմանեք կայքի անվանումը` դաշտը Այս սկավառակի անվանումը (Ձեր տեղեկանքի համար): Nextcloud.

4. Ընտրելով պահեստավորման տեսակը կամ տեսակը ընտրելNextcloud-ի և Owncloud-ի համար տվյալների փոխանակման հիմնական ինտերֆեյսը WebDAV-ն է:

5. Հաջորդը, սեղմեք Քայլ 2. Կարգավորում քշել, բացել կապի պարամետրերի ցանկը և լրացնել: 

- 5.1. http հոսթի URL՝ URL-ին միանալու համար — WebDAV ինտերֆեյսի հիպերտեքստային հղում: Nextcloud-ում դրանք գտնվում են կարգավորումներում՝ ինտերֆեյսի ստորին ձախ անկյունում:
- 5.2. Webdav կայքի/ծառայության/ծրագրի անվանումը, որն օգտագործում եք — WebDAV ինտերֆեյսի անունը: Դաշտը ընտրովի է, ինքներդ ձեզ համար, որպեսզի չշփոթվեք, եթե նման կապերը շատ են։
- 5.3 Աբոնենտի անունը — Լիցենզավորման համար օգտագործողի անուն
- 5.4. Գաղտնաբառ — Լիցենզավորման գաղտնաբառ
- 5.5. Օգտատիրոջ/անցագրի փոխարեն (օրինակ՝ Macaroon) և հրամայեք գործարկել՝ կրող նշան ստանալու համար Ընդլայնված տարբերակներում կան լրացուցիչ պարամետրեր և թույլտվության հրամաններ: Նրանք չեն օգտագործվում իմ Nextcloud-ում:

6. Հաջորդ սեղմեք Ստեղծեք կոնֆիգուր և համոզվելու համար, որ կոնֆիգուրացիան ստեղծված է, անցեք բաժին Կազմաձև վեբ ինտերֆեյս... Նույն էջի միջոցով կարելի է ջնջել կամ խմբագրել նորաստեղծ կոնֆիգուրացիան։

Կայքի հետ կապի ֆունկցիոնալությունը ստուգելու համար անցեք բաժին Հետազոտող... Դաշտում Հեռացում մուտքագրեք կազմաձևված կայքի անունը և սեղմեք բաց. Եթե ​​տեսնում եք ֆայլերի և դիրեկտորիաների ցանկ, կապը կայքի հետ աշխատում է:

Ավելի համոզիչ լինելու համար կարող եք ստեղծել/ջնջել թղթապանակ կամ ներբեռնել/ջնջել ֆայլ վեբ ինտերֆեյսի միջոցով:

Երկրորդ հարթակը, որը պետք է միացվի, կլինի Yandex սկավառակը:

• Առաջին չորս քայլերը նման են Nextcloud միացման գործընթացին:
• Հաջորդը, մենք ամեն ինչ թողնում ենք այնպես, ինչպես կա, այսինքն, դաշտերը Քայլ 2. Կարգավորեք սկավառակը Մենք դրանք դատարկ ենք թողնում և առաջադեմ տարբերակներում ոչինչ չենք փոխում:
• Մենք սեղմում ենք Ստեղծեք Config.
• Բրաուզերում բացվում է Yandex-ի թույլտվության էջը, որից հետո դուք ստանում եք հաղորդագրություն հաջող միացման մասին և Rclone վերադառնալու առաջարկ:
• Այն, ինչ մենք անում ենք, ստուգում ենք բաժինը Config.

Միգրացիա

Երբ մենք ունենք երկու կայք միացված, մենք արդեն կարող ենք տվյալների տեղափոխում նրանց միջև: Գործընթացն ինքնին նման է Nextcloud-ի հետ կապի ֆունկցիոնալությունը ստուգելուն, որն ավելի վաղ իրականացրել ենք։

• Գնալ Հետազոտող.
• Կաղապար ընտրելը 2-կողք կողքի.
• Յուրաքանչյուրում Հեռացում նշեք ձեր կայքի անունը.
• Մենք սեղմում ենք բաց.
• Նրանցից յուրաքանչյուրի համար մենք տեսնում ենք ֆայլերի և թղթապանակների գրացուցակ:

Միգրացիայի գործընթացը սկսելու համար մնում է միայն ընտրել տվյալների աղբյուրի գրացուցակում գտնվող ֆայլերով ցանկալի թղթապանակը և այն մկնիկի հետ քաշել դեպի նպատակակետ գրացուցակ:

Մնացած կայքերի ավելացման և դրանց միջև տվյալների տեղափոխման մեխանիզմը նման է վերը կատարված գործողություններին: Եթե ​​աշխատանքի ընթացքում սխալներ եք հանդիպում, կարող եք դրանց մասին մանրամասներ ուսումնասիրել տերմինալում, որտեղ աշխատում է Rclone-ը Web-GUI-ով:

Ընդհանուր առմամբ, փաստաթղթերը Rclone լայնածավալ է և հասանելի է կայքում և ինտերնետում, և չպետք է որևէ դժվարություն առաջացնի օգտագործման մեջ: Սրանով ես ավարտված եմ համարում առաջին գրառումը, թե ինչպես փոխանցել ֆայլերը մի ամպից մյուսը՝ շրջանցելով համակարգիչը։

PS Եթե ​​համաձայն չեք վերջին պնդման հետ, գրեք մեկնաբանություններում, թե ինչ «թեման չի լուսաբանվում» և ինչ հունով արժե շարունակել։

Source: www.habr.com