কিভাবে আপনার পিসিকে বাইপাস করে এক ক্লাউড থেকে অন্য ক্লাউডে ফাইল ট্রান্সফার করবেন

মৃত্যু, বিবাহবিচ্ছেদ এবং স্থানান্তর যে কোনও ব্যক্তির জীবনের তিনটি সবচেয়ে চাপযুক্ত পরিস্থিতি।
"আমেরিকান ভূতের গল্প".

- আন্দ্রুখ, আমি বাড়ি ছেড়ে যাচ্ছি, আমাকে সরাতে সাহায্য করুন, সবকিছু আমার সাথে খাপ খাবে না :(
- ঠিক আছে, কয়জন আছে?
— টন*7-8...
*টন (জার্গ) - টেরাবাইট।

সম্প্রতি, ইন্টারনেট সার্ফিং করার সময়, আমি লক্ষ্য করেছি যে হাব্রে এবং বিভিন্ন ধরণের ডেটা স্থানান্তরিত করার পদ্ধতি এবং মডেল সম্পর্কে প্রচুর উপকরণের অনুরূপ সংস্থান থাকা সত্ত্বেও, এই বিষয়ে প্রশ্নগুলি এখনও ইন্টারনেটে উপস্থিত হয়। যা, কিছু কারণে, সবসময় বিস্তারিত উত্তর পাবেন না। এই সত্যটি আমাকে একদিন অনুরূপ সমাধান বাস্তবায়নে নোট সংগ্রহ করতে এবং একটি পৃথক পোস্টের আকারে সাজানোর জন্য প্ররোচিত করেছিল।

সাধারণভাবে, আমাকে কিছু বিরক্তিকর ফ্রিকোয়েন্সি সহ একটি ডিভাইস, সিস্টেম এবং পরিষেবা থেকে অন্যটিতে ডেটা স্থানান্তর করতে হবে। যা, ট্রায়াল এবং ত্রুটির মাধ্যমে, আমাকে শুধুমাত্র অনেক আকর্ষণীয় পণ্যের সাথে পরিচিত হতে দেয়নি, কিন্তু আমি যে সমাধানের বিষয়ে কথা বলতে চাই তার কার্যকারিতা এবং খরচের মধ্যে একটি ভারসাম্য খুঁজে পেতেও অনুমতি দেয়।

নকশা

নকশা এবং জরিপ কাজের ফলাফল হিসাবে এটি পরিণত হয়েছে, মাইগ্রেশন প্রক্রিয়ার গুণমান এবং দক্ষতা কেবলমাত্র "সাইট" এর প্রযুক্তিগত বৈশিষ্ট্যের উপর নির্ভর করে না যেখানে ডেটা রয়েছে বা থাকবে, তবে তাদের শারীরিক অবস্থানের উপরও।

মাইগ্রেশন ম্যানেজার হল একটি কম্পিউটিং নোড যার উপর প্রক্রিয়াটির "যুক্তি"-মাইগ্রেশন পরিচালনার জন্য সফ্টওয়্যার-ফাংশন।

অর্থাৎ, "মাইগ্রেশন ম্যানেজার" রাখার জন্য দুটি মডেল রয়েছে

• মডেল এ. যদি অন্তত একটি সাইট শুধুমাত্র স্থানীয় নেটওয়ার্কের মধ্যে থেকে অ্যাক্সেস করা যায়, তাহলে একই নেটওয়ার্কে একটি "মাইগ্রেশন ম্যানেজার" স্থাপন করা মূল্যবান। কারণ পারফরম্যান্স এবং মাইগ্রেশন সময় এখনও সাইটগুলির সাথে সংযোগকারী চ্যানেলের গতি এবং আপটাইম দ্বারা সীমিত৷
• মডেল বি. যদি ডেটার উত্স এবং প্রাপক উভয়েরই স্থানীয় নেটওয়ার্কের বাইরে অ্যাক্সেস থাকে, তবে "মাইগ্রেশন ম্যানেজার" অবস্থিত হওয়া উচিত যেখানে তাদের মধ্যে চ্যানেলের গতি এবং আপটাইম স্পষ্টতই আরও ভাল হবে।

উপরের বিষয়গুলিকে কোনওভাবে পচানোর জন্য, আমি নিবন্ধের মূল প্রশ্ন থেকে কাজগুলিতে ফিরে আসার এবং প্রযুক্তিগত বৈশিষ্ট্যগুলিতে সেগুলিকে আনুষ্ঠানিক করার প্রস্তাব করছি।

প্রথমত, আমি যে সফ্টওয়্যারটি ব্যবহার করছি তা ক্লাউড সমর্থন করে কিনা তা খুঁজে বের করতে হবে: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

সংক্ষিপ্ত উত্তর হল হ্যাঁ!"

আমি ব্যবহার করি Rclone.

Rclone - ক্লাউড স্টোরেজের জন্য rsync। ওপেন সোর্স সফ্টওয়্যার 45 টিরও বেশি প্রকার এবং ধরণের স্টোরেজ সহ ফাইল এবং ফোল্ডার সিঙ্ক্রোনাইজ করার জন্য ডিজাইন করা হয়েছে।

এখানে তাদের মাত্র কয়েকটি রয়েছে:
— আলিবাবা ক্লাউড (আলিয়ুন) অবজেক্ট স্টোরেজ সিস্টেম (ওএসএস)
- Amazon S3
-সেফ
—ডিজিটাল ওশান স্পেস
- ড্রপবক্স
- গুগল ক্লাউড স্টোরেজ
- গুগল ড্রাইভ
- গুগল ফটো
- HTTP
-IBM COS S3
— Mail.ru ক্লাউড
-মেগা
- Microsoft Azure Blob স্টোরেজ
- মাইক্রোসফ্ট ওয়ানড্রাইভ
- মিনিও
- পরবর্তী মেঘ
- ওপেনস্ট্যাক সুইফট
- ওরাকল ক্লাউড স্টোরেজ
— নিজস্ব ক্লাউড
- র্যাকস্পেস ক্লাউড ফাইল
- rsync.net
- SFTP
- ওয়েবডিএভি
- ইয়ানডেক্স ডিস্ক

অস্নোভনোই ফঙ্কসিওনাল:
— MD5/SHA1 হ্যাশ ব্যবহার করে ফাইলের অখণ্ডতা পরীক্ষা করা হচ্ছে।
- ফাইল তৈরি/পরিবর্তনের জন্য টাইমস্ট্যাম্প সংরক্ষণ করা হচ্ছে।
- আংশিক সিঙ্ক্রোনাইজেশন সমর্থন করে।
- শুধুমাত্র নতুন ফাইল কপি করা হচ্ছে।
— সিঙ্ক্রোনাইজেশন (একমুখী)।
— ফাইল চেক করা হচ্ছে (হ্যাশ দ্বারা)।
- এক ক্লাউড অ্যাকাউন্ট থেকে অন্য ক্লাউড অ্যাকাউন্টে সিঙ্ক্রোনাইজ করার ক্ষমতা।
- এনক্রিপশন সমর্থন।
- স্থানীয় ফাইল ক্যাশিং জন্য সমর্থন.
— FUSE এর মাধ্যমে ক্লাউড পরিষেবাগুলি মাউন্ট করার ক্ষমতা৷

আমি নিজে থেকে যোগ করব যে Rclone আমাকে ডেটা ব্যাকআপ স্বয়ংক্রিয় করার সাথে সম্পর্কিত সমস্যার সিংহভাগ সমাধান করতেও সাহায্য করে প্রকল্প "Väinämöinen".

পরবর্তী কাজ হল একটি "মাইগ্রেশন ম্যানেজার" প্লেসমেন্ট মডেল নির্বাচন করা।

সমস্ত ডেটা উত্স, যা বিভিন্ন পাবলিক ক্লাউড পরিষেবা, ইন্টারনেটের মাধ্যমে অ্যাক্সেসযোগ্য। API এর মাধ্যমে সহ। তিনটি রিসিভারের মধ্যে দুটি একই কাজ করে। এটি স্পষ্ট নয় যে নেক্সটক্লাউড নিজেই কোথায় স্থাপন করা হয়েছে এবং এতে কী অ্যাক্সেস পাওয়া যায়?

আমি পাঁচটি সম্ভাব্য বিকল্প গণনা করেছি:

1. আপনার হোম/কর্পোরেট নেটওয়ার্কে আপনার নিজের সার্ভারে।
2. পরিষেবা প্রদানকারীর ডেটা সেন্টারের ভাড়া করা র‌্যাকে আপনার নিজের সার্ভারে।
3. একটি পরিষেবা প্রদানকারীর কাছ থেকে ভাড়া করা একটি সার্ভারে।
4. একটি ভার্চুয়াল সার্ভারে (VDS/VPS) একটি পরিষেবা/হোস্টিং প্রদানকারীর সাথে 
5. পরিষেবা প্রদানকারীর কাছ থেকে SaaS মডেল অনুযায়ী

বিবেচনা করে নেক্সটক্লাউড এখনও ক্লাউড স্টোরেজ তৈরি এবং ব্যবহার করার জন্য সফ্টওয়্যার, আমরা নিরাপদে বলতে পারি যে ইন্টারনেটের মাধ্যমে এটির অ্যাক্সেস পাঁচটি বিকল্পেই উপলব্ধ। এবং এই ক্ষেত্রে, "মাইগ্রেশন ম্যানেজার" স্থাপনের জন্য সর্বোত্তম মডেল হবে - মডেল বি.

"মাইগ্রেশন ম্যানেজার"-এর প্ল্যাটফর্ম হিসাবে নির্বাচিত মডেল অনুসারে, আমি আমার দৃষ্টিকোণ থেকে, বিকল্পগুলির মধ্যে একটি সেরা বেছে নেব - একটি ভার্চুয়াল সার্ভার M9 ডেটা সেন্টার রাশিয়ার বৃহত্তম ইন্টারনেট ট্রাফিক এক্সচেঞ্জ পয়েন্ট MSK-IX।

তৃতীয় যে সিদ্ধান্ত নেওয়া দরকার তা হল ভার্চুয়াল সার্ভার কনফিগারেশনের বিষয়ে সিদ্ধান্ত নেওয়া। 

VDS কনফিগারেশন পরামিতি নির্বাচন করার সময়, আপনাকে প্রয়োজনীয় কর্মক্ষমতা দ্বারা নির্দেশিত হতে হবে, যা সাইটগুলির মধ্যে চ্যানেলগুলির প্রস্থ, স্থানান্তরিত ফাইলের সংখ্যা এবং আকার, স্থানান্তর স্ট্রীম এবং সেটিংসের সংখ্যার উপর নির্ভর করে। OS এর জন্য, Rclone হল ক্রস-প্ল্যাটফর্ম সফ্টওয়্যার যা Windows এবং Linux সহ বিভিন্ন অপারেটিং সিস্টেমে চলে।

আপনি যদি বেশ কয়েকটি মাইগ্রেশন প্রক্রিয়া চালু করার পরিকল্পনা করেন এবং এমনকি একটি নির্দিষ্ট ফ্রিকোয়েন্সিতেও, তবে সম্পদের জন্য অর্থপ্রদান সহ একটি ভিডিএস ভাড়া নেওয়ার বিকল্পটি বিবেচনা করা উচিত।

সৃষ্টি

উপরের উপর ভিত্তি করে, এই নিবন্ধটির প্রোটোটাইপ তৈরি করার সময়, আমি নিম্নলিখিত কনফিগারেশনে VDS বেছে নিয়েছি।

খরচ 560 রুবেল/মাস। কুপন ব্যবহার করে 15% ছাড় সহ ঠিকানা নাই.

এই পছন্দটি এই কারণে যে Windows OS এর অধীনে একটি নোড, আমাদের প্রযুক্তিগত বৈশিষ্ট্যগুলির শর্তগুলি মেনে চলার জন্য, অর্ডারের জন্য উপলব্ধ অন্যান্য OSগুলির তুলনায় কনফিগার করা সহজ।

অফটপিক: যাইহোক, বৃহত্তর নিরাপত্তার জন্য, এই ভার্চুয়াল সার্ভারটি নোডগুলির একটিতে বরাদ্দ করা হয়েছে সুরক্ষিত ভার্চুয়াল নেটওয়ার্ক. এবং RDP এর মাধ্যমে এটিতে অ্যাক্সেস শুধুমাত্র সেখান থেকে অনুমোদিত...

একটি VDS তৈরি করার পরে এবং RDP এর মাধ্যমে ডেস্কটপে অ্যাক্সেস পাওয়ার পরে, আপনাকে প্রথমে যা করতে হবে তা হল Rclone এবং Web-GUI-এর জন্য পরিবেশ প্রস্তুত করা। সেগুলো. একটি নতুন ডিফল্ট ব্রাউজার ইনস্টল করুন, উদাহরণস্বরূপ Chrome, যেহেতু প্রাথমিকভাবে ইনস্টল করা IE 11, দুর্ভাগ্যবশত, ব্যবহৃত সফ্টওয়্যারের সাথে সবসময় সঠিকভাবে কাজ করে না। 

পরিবেশ প্রস্তুত করার পরে, সফ্টওয়্যার প্যাকেজ সহ সংরক্ষণাগারটি ডাউনলোড করুন উইন্ডোজের জন্য Rclone এবং এটি আনপ্যাক করুন। 

এরপরে, উইন্ডোজ কমান্ড লাইন মোডে, এক্সট্রাক্ট করা ফাইলগুলির সাথে ফোল্ডারে যাওয়ার জন্য কমান্ডটি চালান। আমার জন্য এটি প্রশাসকের হোম ফোল্ডারে অবস্থিত:

C:UsersAdministrator>cd rclone

ট্রানজিশনের পরে, আমরা Web-GUI থেকে Rclone চালু করার কমান্ডটি কার্যকর করি:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

যেখানে "লগইন" এবং "পাসওয়ার্ড" হল আপনার নির্দিষ্ট করা লগইন এবং পাসওয়ার্ড, অবশ্যই, উদ্ধৃতি ছাড়াই।

কমান্ড কার্যকর করার পরে, টার্মিনাল প্রদর্শন করে

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

এবং Rclone গ্রাফিকাল ওয়েব ইন্টারফেস স্বয়ংক্রিয়ভাবে ব্রাউজারে খোলে।

ওয়েব-জিইউআই এখনও পরীক্ষার সংস্করণ পর্যায়ে রয়েছে এবং কমান্ড লাইন ইন্টারফেসের সমস্ত Rclone পরিচালনার ক্ষমতা এখনও নেই, তবুও এর ক্ষমতাগুলি ডেটা স্থানান্তরের জন্য যথেষ্ট। এবং এমনকি একটু বেশি।

সমন্বয়

পরবর্তী ধাপ হল সাইটগুলিতে সংযোগ স্থাপন করা যেখানে ডেটা আছে বা থাকবে। এবং লাইনে প্রথমটি প্রধান ডেটা রিসিভার হবে - নেক্সটক্লাউড।

1. এটি করতে, বিভাগে যান কনফিগার ওয়েব-জিইউআই। 

2. একটি নতুন কনফিগারেশন তৈরি শুরু করা হচ্ছে - বোতাম নতুন কনফিগারেশন.

3. সাইটের নাম - ক্ষেত্র সেট করুন এই ড্রাইভের নাম (আপনার রেফারেন্সের জন্য): নেক্সট ক্লাউড।

4. স্টোরেজের ধরন বা ধরন নির্বাচন করা নির্বাচন করা: নেক্সটক্লাউড এবং ওউনক্লাউডের জন্য, প্রধান ডেটা এক্সচেঞ্জ ইন্টারফেস হল WebDAV৷

5. পরবর্তী, ক্লিক করুন পদক্ষেপ 2: সেটআপ ড্রাইভ, সংযোগ পরামিতিগুলির তালিকা খুলুন এবং পূরণ করুন। 

- 5.1। URL-এর সাথে সংযোগ করতে HTTP হোস্টের URL — WebDAV ইন্টারফেসের হাইপারটেক্সট লিঙ্ক। নেক্সটক্লাউডে তারা সেটিংসে অবস্থিত - ইন্টারফেসের নীচের বাম কোণে।
- 5.2। আপনি যে Webdav সাইট/পরিষেবা/সফ্টওয়্যার ব্যবহার করছেন তার নাম — WebDAV ইন্টারফেসের নাম। ক্ষেত্রটি ঐচ্ছিক, নিজের জন্য, যাতে অনেকগুলি সংযোগ থাকলে বিভ্রান্ত না হয়।
- 5.3 ব্যবহারকারীর নাম - অনুমোদনের জন্য ব্যবহারকারীর নাম
- 5.4। পাসওয়ার্ড - অনুমোদনের জন্য পাসওয়ার্ড
- 5.5। ব্যবহারকারী/পাসের পরিবর্তে বিয়ারার টোকেন (যেমন একটি ম্যাকারুন) এবং একটি বাহক টোকেন পেতে চালানোর জন্য কমান্ড উন্নত বিকল্পগুলিতে অতিরিক্ত পরামিতি এবং অনুমোদনের আদেশ রয়েছে। এগুলি আমার নেক্সটক্লাউডে ব্যবহার করা হয় না।

6. পরবর্তী ক্লিক করুন কনফিগারেশন তৈরি করুন এবং কনফিগারেশন তৈরি হয়েছে তা নিশ্চিত করতে, বিভাগে যান কনফিগার ওয়েব ইন্টারফেস... একই পৃষ্ঠার মাধ্যমে, নতুন তৈরি কনফিগারেশন মুছে ফেলা বা সম্পাদনা করা যেতে পারে।

সাইটে সংযোগের কার্যকারিতা পরীক্ষা করার জন্য, বিভাগে যান অনুসন্ধানকারী। В поле remotes কনফিগার করা সাইটের নাম লিখুন এবং ক্লিক করুন খোলা. আপনি যদি ফাইল এবং ডিরেক্টরিগুলির একটি তালিকা দেখতে পান, সাইটের সংযোগ কাজ করছে।

আরও বিশ্বাসযোগ্য হতে, আপনি একটি ফোল্ডার তৈরি/মুছে ফেলতে পারেন বা ওয়েব ইন্টারফেসের মাধ্যমে একটি ফাইল ডাউনলোড/মুছে ফেলতে পারেন।

সংযুক্ত করা দ্বিতীয় প্ল্যাটফর্ম Yandex ডিস্ক হবে.

• প্রথম চারটি ধাপ নেক্সটক্লাউড সংযোগ প্রক্রিয়ার অনুরূপ।
• এর পরে, আমরা সবকিছুকে যেমন আছে তেমনই রেখে দিই, অর্থাৎ ক্ষেত্রগুলি ধাপ 2: ড্রাইভ সেটআপ করুন আমরা সেগুলি খালি রাখি এবং উন্নত বিকল্পগুলিতে কিছু পরিবর্তন করি না।
• আমরা প্রেস কনফিগারেশন তৈরি করুন.
• ইয়ানডেক্স অনুমোদন পৃষ্ঠা ব্রাউজারে খোলে, তারপরে আপনি সফল সংযোগ সম্পর্কে একটি বার্তা এবং Rclone-এ ফিরে যাওয়ার প্রস্তাব পাবেন।
• আমরা যা করি তা হল বিভাগটি পরীক্ষা করুন কনফিগ.

অভিপ্রয়াণ

যখন আমাদের দুটি সাইট সংযুক্ত থাকে, আমরা ইতিমধ্যেই তাদের মধ্যে ডেটা স্থানান্তর করতে পারি। প্রক্রিয়াটি নিজেই নেক্সটক্লাউডের সাথে সংযোগের কার্যকারিতা পরীক্ষা করার মতো, যা আমরা আগে চালিয়েছিলাম।

• যাও অনুসন্ধানকারী.
• একটি টেমপ্লেট নির্বাচন করা হচ্ছে 2-পাশে.
• প্রতিটিতে remotes আপনার সাইটের নাম নির্দেশ করুন।
• আমরা প্রেস খোলা.
• আমরা তাদের প্রত্যেকের জন্য ফাইল এবং ফোল্ডারগুলির একটি ডিরেক্টরি দেখতে পাই।

মাইগ্রেশন প্রক্রিয়া শুরু করার জন্য, যা অবশিষ্ট থাকে তা হল ডেটা সোর্স ডিরেক্টরিতে ফাইল সহ পছন্দসই ফোল্ডারটি নির্বাচন করা এবং এটিকে মাউস দিয়ে গন্তব্য ডিরেক্টরিতে টেনে আনা।

অবশিষ্ট সাইটগুলি যোগ করার এবং তাদের মধ্যে ডেটা স্থানান্তর করার পদ্ধতিটি উপরে সম্পাদিত ক্রিয়াকলাপের অনুরূপ। আপনি যদি আপনার কাজের সময় ত্রুটির সম্মুখীন হন, আপনি টার্মিনালে যেখানে ওয়েব-GUI-এর সাথে Rclone চলছে সেখানে আপনি সেগুলি সম্পর্কে বিস্তারিত অধ্যয়ন করতে পারেন।

সাধারণভাবে, জন্য ডকুমেন্টেশন Rclone ওয়েবসাইট এবং ইন্টারনেটে বিস্তৃত এবং উপলব্ধ, এবং ব্যবহারে কোন অসুবিধা সৃষ্টি করা উচিত নয়। এটির সাথে, আমি কীভাবে আপনার পিসিকে বাইপাস করে ফাইলগুলি এক ক্লাউড থেকে অন্য ক্লাউডে স্থানান্তর করতে হয় সে সম্পর্কে প্রথম পোস্টটি বিবেচনা করি।

দ্রষ্টব্য আপনি যদি শেষ বিবৃতিটির সাথে একমত না হন তবে মন্তব্যগুলিতে লিখুন: কী "বিষয়টি কভার করা হয়নি" এবং কী শিরায় এটি চালিয়ে যাওয়া মূল্যবান।

উত্স: www.habr.com