अपने पीसी पर जाए बिना फ़ाइलों को एक क्लाउड से दूसरे क्लाउड में कैसे स्थानांतरित करें

मृत्यु, तलाक और पलायन किसी भी व्यक्ति के जीवन की तीन सबसे तनावपूर्ण स्थितियाँ हैं।
"अमेरिकी डरावनी कहानी"।

- एंड्रियुख, मैं घर छोड़ रहा हूं, मुझे चलने में मदद करें, सब कुछ मेरे साथ फिट नहीं होगा :(
- ठीक है, कितने हैं?
— टन* 7-8...
*टन (जर्ग) - टेराबाइट।

हाल ही में, इंटरनेट पर सर्फिंग करते समय, मैंने देखा कि विभिन्न प्रकार के डेटा को स्थानांतरित करने के तरीकों और मॉडलों के बारे में हैबे और इसी तरह के संसाधनों पर बहुत सारी सामग्रियों की उपलब्धता के बावजूद, इस विषय पर प्रश्न अभी भी इंटरनेट पर दिखाई देते हैं। जिनका, किसी कारण से, हमेशा विस्तृत उत्तर नहीं मिलता है। इस तथ्य ने मुझे एक दिन इसी तरह के समाधान के कार्यान्वयन पर नोट्स एकत्र करने और उन्हें एक अलग पोस्ट के रूप में व्यवस्थित करने के लिए प्रेरित किया।

सामान्य तौर पर, मुझे कुछ कष्टप्रद आवृत्ति के साथ डेटा को एक डिवाइस, सिस्टम और सेवा से दूसरे में स्थानांतरित करना पड़ता है। जिसने, परीक्षण और त्रुटि के माध्यम से, मुझे न केवल बहुत सारे दिलचस्प उत्पादों से परिचित होने की अनुमति दी, बल्कि उस समाधान की कार्यक्षमता और लागत के बीच संतुलन खोजने की भी अनुमति दी, जिसके बारे में मैं बात करना चाहता हूं।

डिज़ाइन

जैसा कि डिज़ाइन और सर्वेक्षण कार्य के परिणामस्वरूप पता चला, माइग्रेशन प्रक्रिया की गुणवत्ता और दक्षता न केवल "साइटों" की तकनीकी विशेषताओं पर निर्भर करती है जहां डेटा स्थित है या स्थित होगा, बल्कि उनके भौतिक स्थान पर भी निर्भर करता है।

माइग्रेशन प्रबंधक एक कंप्यूटिंग नोड है जिस पर प्रक्रिया का "तर्क" - माइग्रेशन के प्रबंधन के लिए सॉफ़्टवेयर - कार्य करता है।

अर्थात्, "माइग्रेशन मैनेजर" रखने के लिए दो मॉडल हैं

• मॉडल ए. यदि कम से कम एक साइट को केवल स्थानीय नेटवर्क के भीतर से ही एक्सेस किया जा सकता है, तो उसी नेटवर्क पर "माइग्रेशन मैनेजर" रखना उचित है। क्योंकि प्रदर्शन और माइग्रेशन का समय अभी भी साइटों को जोड़ने वाले चैनल की गति और अपटाइम द्वारा सीमित है।
• मॉडल बी. यदि डेटा के स्रोत और रिसीवर दोनों की स्थानीय नेटवर्क के बाहर पहुंच है, तो "माइग्रेशन मैनेजर" को वहां स्थित किया जाना चाहिए जहां उनके बीच चैनल की गति और अपटाइम स्पष्ट रूप से बेहतर होगा।

उपरोक्त को किसी तरह विघटित करने के लिए, मैं लेख के मुख्य प्रश्न से कार्यों पर लौटने और उन्हें तकनीकी विशिष्टताओं में औपचारिक रूप देने का प्रस्ताव करता हूं।

सबसे पहले, मुझे यह पता लगाना होगा कि मैं जिस सॉफ़्टवेयर का उपयोग कर रहा हूं वह क्लाउड का समर्थन करता है या नहीं: Mail.ru, यांडेक्स, गूगल ड्राइव, मेगा, नेक्स्टलाउड?

छोटा जवाब हां है!"

मैं उपयोग करता हूं Rclone.

Rclone - क्लाउड स्टोरेज के लिए rsync। ओपन सोर्स सॉफ़्टवेयर को 45 से अधिक प्रकारों और प्रकार के स्टोरेज वाली फ़ाइलों और फ़ोल्डरों को सिंक्रनाइज़ करने के लिए डिज़ाइन किया गया है।

यहां उनमें से कुछ दिए गए हैं:
- अलीबाबा क्लाउड (अलियुन) ऑब्जेक्ट स्टोरेज सिस्टम (ओएसएस)
- अमेज़न S3
- सेफ
-डिजिटलओशन स्पेस
-ड्रॉपबॉक्स
- गूगल क्लाउड स्टोरेज
- गूगल हाँकना
- गूगल फ़ोटो
- एचटीटीपी
-आईबीएम COS S3
— Mail.ru क्लाउड
-मेगा
- माइक्रोसॉफ्ट एज़्योर ब्लॉब स्टोरेज
- माइक्रोसॉफ्ट वनड्राइव
-मिनियो
- नेक्स्टक्लाउड
- ओपनस्टैक स्विफ्ट
- ओरेकल क्लाउड स्टोरेज
- खुद का बादल
- रैकस्पेस क्लाउड फ़ाइलें
- rsync.net
- एसएफटीपी
- वेबडीएवी
- यांडेक्स डिस्क

उत्तर:
— MD5/SHA1 हैश का उपयोग करके फ़ाइलों की अखंडता की जाँच करना।
- फ़ाइलें बनाने/बदलने के लिए टाइमस्टैम्प सहेजना।
- आंशिक तुल्यकालन का समर्थन करता है.
- केवल नई फ़ाइलें कॉपी करना।
- तुल्यकालन (एकतरफ़ा)।
- फ़ाइलों की जाँच करना (हैश द्वारा)।
— एक क्लाउड खाते से दूसरे में सिंक्रनाइज़ करने की क्षमता।
- एन्क्रिप्शन समर्थन.
- स्थानीय फ़ाइल कैशिंग के लिए समर्थन।
- FUSE के माध्यम से क्लाउड सेवाओं को माउंट करने की क्षमता।

मैं स्वयं यह जोड़ूंगा कि Rclone मुझे डेटा बैकअप को स्वचालित करने से संबंधित अधिकांश समस्याओं को हल करने में भी मदद करता है परियोजना "वैनामोइनेन".

अगला कार्य "माइग्रेशन मैनेजर" प्लेसमेंट मॉडल का चयन करना है।

सभी डेटा स्रोत, जो विभिन्न सार्वजनिक क्लाउड सेवाएँ हैं, इंटरनेट के माध्यम से सुलभ हैं। एपीआई के माध्यम से भी शामिल है। तीन में से दो रिसीवर भी ऐसा ही करते हैं। यह स्पष्ट नहीं है कि नेक्स्टक्लाउड स्वयं कहाँ तैनात है और इसके लिए क्या पहुँच उपलब्ध है?

मैंने पाँच संभावित विकल्प गिनाये:

1. आपके घर/कॉर्पोरेट नेटवर्क में आपके अपने सर्वर पर।
2. सेवा प्रदाता के डेटा सेंटर के किराए के रैक में अपने स्वयं के सर्वर पर।
3. किसी सेवा प्रदाता से किराए पर लिए गए सर्वर पर.
4. किसी सेवा/होस्टिंग प्रदाता के साथ वर्चुअल सर्वर (वीडीएस/वीपीएस) पर 
5. सेवा प्रदाता से SaaS मॉडल के अनुसार

यह देखते हुए कि नेक्स्टक्लाउड अभी भी क्लाउड स्टोरेज बनाने और उपयोग करने के लिए सॉफ्टवेयर है, हम सुरक्षित रूप से कह सकते हैं कि इंटरनेट के माध्यम से इस तक पहुंच सभी पांच विकल्पों में उपलब्ध है। और इस मामले में, "माइग्रेशन मैनेजर" रखने का इष्टतम मॉडल होगा - मॉडल बी.

"माइग्रेशन मैनेजर" के लिए एक मंच के रूप में चुने गए मॉडल के अनुसार, मैं अपने दृष्टिकोण से, इष्टतम विकल्पों में से एक चुनूंगा - एक वर्चुअल सर्वर M9 डेटा सेंटर रूस का सबसे बड़ा इंटरनेट ट्रैफ़िक एक्सचेंज पॉइंट MSK-IX।

तीसरा निर्णय जो करने की आवश्यकता है वह है वर्चुअल सर्वर कॉन्फ़िगरेशन पर निर्णय लेना। 

वीडीएस कॉन्फ़िगरेशन पैरामीटर चुनते समय, आपको आवश्यक प्रदर्शन द्वारा निर्देशित होने की आवश्यकता होती है, जो साइटों के बीच चैनलों की चौड़ाई, स्थानांतरित की जाने वाली फ़ाइलों की संख्या और आकार, माइग्रेशन स्ट्रीम की संख्या और सेटिंग्स पर निर्भर करता है। जहां तक ​​ओएस की बात है, आरक्लोन एक क्रॉस-प्लेटफ़ॉर्म सॉफ़्टवेयर है जो विंडोज़ और लिनक्स सहित विभिन्न ऑपरेटिंग सिस्टम पर चलता है।

यदि आप कई माइग्रेशन प्रक्रियाएं शुरू करने की योजना बना रहे हैं, और यहां तक ​​कि एक निश्चित आवृत्ति पर भी, तो संसाधनों के भुगतान के साथ वीडीएस किराए पर लेने के विकल्प पर विचार करना उचित है।

सृजन

उपरोक्त के आधार पर, इस आलेख के लिए प्रोटोटाइप बनाते समय, मैंने निम्नलिखित कॉन्फ़िगरेशन में वीडीएस को चुना।

लागत 560 रूबल/माह। कूपन का उपयोग करके 15% छूट भी शामिल है कोई तनाव नहीं है.

यह विकल्प इस तथ्य के कारण है कि विंडोज ओएस के तहत एक नोड, हमारी तकनीकी विशिष्टताओं की शर्तों का अनुपालन करने के लिए, ऑर्डर के लिए उपलब्ध अन्य ओएस की तुलना में कॉन्फ़िगर करना आसान है।

ऑफटॉपिक: वैसे, अधिक सुरक्षा के लिए, इस वर्चुअल सर्वर को एक नोड को सौंपा गया है सुरक्षित वर्चुअल नेटवर्क. और आरडीपी के माध्यम से इस तक पहुंच की अनुमति केवल वहीं से है...

वीडीएस बनाने और आरडीपी के माध्यम से डेस्कटॉप तक पहुंच प्राप्त करने के बाद, पहली चीज जो आपको करने की ज़रूरत है वह आरक्लोन और वेब-जीयूआई के लिए वातावरण तैयार करना है। वे। एक नया डिफ़ॉल्ट ब्राउज़र स्थापित करें, उदाहरण के लिए क्रोम, क्योंकि प्रारंभ में स्थापित IE 11, दुर्भाग्य से, उपयोग किए गए सॉफ़्टवेयर के साथ हमेशा सही ढंग से काम नहीं करता है। 

परिवेश तैयार करने के बाद, सॉफ़्टवेयर पैकेज के साथ संग्रह डाउनलोड करें विंडोज़ के लिए आरक्लोन और इसे खोलो. 

इसके बाद, विंडोज़ कमांड लाइन मोड में, निकाली गई फ़ाइलों वाले फ़ोल्डर में जाने के लिए कमांड निष्पादित करें। मेरे लिए यह व्यवस्थापक के होम फ़ोल्डर में स्थित है:

C:UsersAdministrator>cd rclone

संक्रमण के बाद, हम वेब-जीयूआई से आरक्लोन लॉन्च करने के लिए कमांड निष्पादित करते हैं:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

जहां "लॉगिन" और "पासवर्ड" आपके द्वारा निर्दिष्ट लॉगिन और पासवर्ड हैं, निश्चित रूप से, बिना उद्धरण के।

आदेश के निष्पादन पर, टर्मिनल प्रदर्शित होता है

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

और Rclone ग्राफ़िकल वेब इंटरफ़ेस स्वचालित रूप से ब्राउज़र में खुल जाता है।

इस तथ्य के बावजूद कि वेब-जीयूआई अभी भी परीक्षण संस्करण चरण में है और इसमें अभी तक कमांड लाइन इंटरफ़ेस की सभी आरक्लोन प्रबंधन क्षमताएं नहीं हैं, इसकी क्षमताएं डेटा माइग्रेशन के लिए काफी पर्याप्त हैं। और थोड़ा और भी.

समायोजन

अगला कदम उन साइटों से कनेक्शन स्थापित करना है जहां डेटा स्थित है या स्थित होगा। और पहली पंक्ति में मुख्य डेटा रिसीवर होगा - नेक्स्टक्लाउड।

1. ऐसा करने के लिए, अनुभाग पर जाएँ कॉन्फ़िगरेशन वेब-जीयूआई. 

2. एक नए कॉन्फ़िगरेशन का निर्माण आरंभ करना - बटन नया विन्यास.

3. साइट का नाम - फ़ील्ड सेट करें इस ड्राइव का नाम (आपके संदर्भ के लिए): नेक्स्टक्लाउड.

4. भंडारण के प्रकार या प्रकार का चयन करना चुनते हैं: नेक्स्टक्लाउड और ओनक्लाउड के लिए, मुख्य डेटा एक्सचेंज इंटरफ़ेस WebDAV है।

5. अगला, पर क्लिक करें चरण 2: सेटअप ड्राइव करें, कनेक्शन मापदंडों की सूची खोलें और भरें। 

- 5.1। यूआरएल से कनेक्ट करने के लिए http होस्ट का यूआरएल - WebDAV इंटरफ़ेस का हाइपरटेक्स्ट लिंक। नेक्स्टक्लाउड में वे सेटिंग्स में स्थित हैं - इंटरफ़ेस के निचले बाएँ कोने में।
- 5.2। आपके द्वारा उपयोग की जा रही वेबडेव साइट/सेवा/सॉफ़्टवेयर का नाम — WebDAV इंटरफ़ेस नाम. यह फ़ील्ड आपके लिए वैकल्पिक है, ताकि यदि ऐसे कई कनेक्शन हों तो भ्रमित न हों।
- 5.3 यूज़र नेम - प्राधिकरण के लिए उपयोगकर्ता नाम
- 5.4। पासवर्ड - प्राधिकरण के लिए पासवर्ड
- 5.5। उपयोगकर्ता/पास के बजाय बियरर टोकन (उदाहरण के लिए मैकरून) और बियरर टोकन प्राप्त करने के लिए चलाने के लिए कमांड उन्नत विकल्पों में अतिरिक्त पैरामीटर और प्राधिकरण आदेश हैं। इनका उपयोग मेरे नेक्स्टक्लाउड में नहीं किया जाता है।

6. अगला क्लिक कॉन्फिग बनाएं और यह सुनिश्चित करने के लिए कि कॉन्फ़िगरेशन बन गया है, अनुभाग पर जाएँ कॉन्फ़िग वेब इंटरफ़ेस... उसी पृष्ठ के माध्यम से, नव निर्मित कॉन्फ़िगरेशन को हटाया या संपादित किया जा सकता है।

साइट से कनेक्शन की कार्यक्षमता की जाँच करने के लिए, अनुभाग पर जाएँ एक्सप्लोरर. оле दूरस्थ कॉन्फ़िगर की गई साइट का नाम दर्ज करें और क्लिक करें प्रारंभिक. यदि आप फ़ाइलों और निर्देशिकाओं की सूची देखते हैं, तो साइट से कनेक्शन काम कर रहा है।

अधिक आश्वस्त करने के लिए, आप वेब इंटरफ़ेस के माध्यम से एक फ़ोल्डर बना/हटा सकते हैं या एक फ़ाइल डाउनलोड/हटा सकते हैं।

कनेक्ट होने वाला दूसरा प्लेटफ़ॉर्म यांडेक्स डिस्क होगा।

• पहले चार चरण नेक्स्टक्लाउड कनेक्शन प्रक्रिया के समान हैं।
• इसके बाद, हम सब कुछ वैसे ही छोड़ देते हैं, यानी फ़ील्ड्स को अंदर चरण 2: सेटअप ड्राइव हम उन्हें खाली छोड़ देते हैं और उन्नत विकल्पों में कुछ भी नहीं बदलते हैं।
• Ёмём कॉन्फिग बनाएं.
• ब्राउज़र में यांडेक्स प्राधिकरण पृष्ठ खुलता है, जिसके बाद आपको सफल कनेक्शन और आरक्लोन पर लौटने के प्रस्ताव के बारे में एक संदेश प्राप्त होता है।
• हम जो करते हैं वह अनुभाग की जाँच करते हैं कॉन्फिग.

प्रवास

जब हमारे पास दो साइटें जुड़ी होती हैं, तो हम पहले से ही उनके बीच डेटा स्थानांतरित कर सकते हैं। यह प्रक्रिया नेक्स्टक्लाउड से कनेक्शन की कार्यक्षमता की जांच करने के समान है, जिसे हमने पहले किया था।

• के लिए जाओ एक्सप्लोरर.
• एक टेम्पलेट चुनना 2- अगल-बगल.
• प्रत्येक में दूरस्थ अपनी साइट का नाम बताएं.
• Ёмём प्रारंभिक.
• हम उनमें से प्रत्येक के लिए फ़ाइलों और फ़ोल्डरों की एक निर्देशिका देखते हैं।

माइग्रेशन प्रक्रिया शुरू करने के लिए, केवल डेटा स्रोत निर्देशिका में फ़ाइलों के साथ वांछित फ़ोल्डर का चयन करना और उसे माउस से गंतव्य निर्देशिका तक खींचना बाकी है।

शेष साइटों को जोड़ने और उनके बीच डेटा स्थानांतरित करने का तंत्र ऊपर किए गए कार्यों के समान है। यदि आप अपने काम के दौरान त्रुटियों का सामना करते हैं, तो आप टर्मिनल में उनके बारे में विवरण का अध्ययन कर सकते हैं जहां वेब-जीयूआई के साथ आरक्लोन चल रहा है।

सामान्य तौर पर, के लिए दस्तावेज़ीकरण Rclone व्यापक है और वेबसाइट और इंटरनेट पर उपलब्ध है, और इसके उपयोग में कोई कठिनाई नहीं होनी चाहिए। इसके साथ, मैं आपके पीसी को दरकिनार करते हुए फ़ाइलों को एक क्लाउड से दूसरे क्लाउड में कैसे स्थानांतरित किया जाए, इस पर पहली पोस्ट को पूरा मानता हूं।

पुनश्च यदि आप अंतिम कथन से सहमत नहीं हैं, तो टिप्पणियों में लिखें: कौन सा "विषय शामिल नहीं है" और किस प्रकार इसे जारी रखना उचित है।

स्रोत: www.habr.com