Kompyuteringizdan o'tmasdan fayllarni bir bulutdan boshqasiga qanday o'tkazish mumkin

O'lim, ajralish va ko'chib o'tish har qanday inson hayotidagi eng stressli vaziyatlardan uchtasidir.
"Amerika dahshatli hikoyasi".

- Andryux, men uydan ketyapman, ko'chib o'tishga yordam bering, hammasi menga mos kelmaydi :(
- Yaxshi, nechtasi bor?
— Tonna* 7-8...
*Ton (jarg) - Terabayt.

So'nggi paytlarda Internetda kezish paytida men Habré va shunga o'xshash manbalarda har xil turdagi ma'lumotlarni ko'chirish usullari va modellari haqida ko'plab materiallar mavjudligiga qaramay, Internetda ushbu mavzu bo'yicha savollar paydo bo'layotganini payqadim. Qaysi sabablarga ko'ra har doim ham batafsil javoblar ololmaydi. Bu fakt meni bir kun shunga o'xshash echimni amalga oshirish bo'yicha eslatmalarni yig'ishga va ularni alohida post shaklida tartibga solishga undadi.

Umuman olganda, men ma'lumotlarni bir qurilmadan, tizimdan va xizmatdan boshqasiga zerikarli chastota bilan o'tkazishim kerak. Bu sinov va xato orqali menga nafaqat ko'plab qiziqarli mahsulotlar bilan tanishish, balki men gaplashmoqchi bo'lgan yechimning funksionalligi va narxi o'rtasidagi muvozanatni topishga imkon berdi.

Loyihalashtirish

Loyihalash va tadqiqot ishlari natijasida ma'lum bo'lishicha, migratsiya jarayonining sifati va samaradorligi nafaqat ma'lumotlar joylashgan yoki joylashtiriladigan "saytlar" ning texnik xususiyatlariga, balki ularning jismoniy joylashuviga ham bog'liq.

Migratsiya menejeri - bu jarayonning "mantiqi" - migratsiyani boshqarish uchun dasturiy ta'minot - ishlaydigan hisoblash tugunidir.

Ya'ni, "migratsiya menejeri" ni joylashtirishning ikkita modeli mavjud.

• Model A. Agar saytlardan kamida bittasiga faqat mahalliy tarmoq ichidan kirish mumkin bo'lsa, u holda xuddi shu tarmoqqa "migratsiya menejeri" ni joylashtirishga arziydi. Chunki ishlash va ko'chirish vaqti hali ham saytlarni bog'laydigan kanalning tezligi va ish vaqti bilan cheklangan.
• Model B. Agar ma'lumot manbasi ham, qabul qiluvchisi ham mahalliy tarmoqdan tashqariga kirish imkoniga ega bo'lsa, u holda "migratsiya menejeri" ular orasidagi kanalning tezligi va ishlash muddati aniqroq bo'lgan joyda joylashgan bo'lishi kerak.

Yuqoridagilarni qandaydir tarzda ajratish uchun men maqolaning asosiy savolidan vazifalarga qaytishni va ularni texnik shartlarga rasmiylashtirishni taklif qilaman.

Birinchidan, men foydalanayotgan dasturiy ta'minot bulutlarni qo'llab-quvvatlashini aniqlashim kerak: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Qisqa javob: "HA!"

Men foydalanaman Rklon.

Rclone - bulutli saqlash uchun rsync. 45 dan ortiq turdagi va saqlash turlari bilan fayl va papkalarni sinxronlashtirish uchun mo'ljallangan ochiq kodli dastur.

Mana ulardan bir nechtasi:
— Alibaba Cloud (Aliyun) obyektlarini saqlash tizimi (OSS)
- Amazon S3
- Cef
- Raqamli okean fazolari
- Dropbox
- Google Cloud Storage
- Google Drive
- Google Photos
- HTTP
-IBM COS S3
— Mail.ru buluti
- Mega
- Microsoft Azure Blob xotirasi
- Microsoft OneDrive
- Minio
- Keyingi bulut
- Openstack Swift
- Oracle Cloud Storage
- o'z buluti
— Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
- Yandex Disk

Asosiy funksiya:
— MD5/SHA1 xeshlari yordamida fayllarning yaxlitligini tekshirish.
— Fayllarni yaratish/oʻzgartirish uchun vaqt belgilarini saqlash.
- Qisman sinxronlashni qo'llab-quvvatlaydi.
— Faqat yangi fayllardan nusxa olish.
— Sinxronizatsiya (bir tomonlama).
— Fayllarni tekshirish (xeshlar bo'yicha).
— Bitta bulut hisobidan boshqasiga sinxronlash imkoniyati.
- Shifrlashni qo'llab-quvvatlash.
- Mahalliy fayllarni keshlashni qo'llab-quvvatlash.
— FUSE orqali bulutli xizmatlarni o'rnatish imkoniyati.

Men o'zim qo'shimcha qilamanki, Rclone ham menga ma'lumotlarning zaxira nusxasini avtomatlashtirish bilan bog'liq muammolarni hal qilishda yordam beradi. "Väinämöinen" loyihasi.

Keyingi vazifa - "migratsiya menejeri" joylashtirish modelini tanlash.

Turli ommaviy bulut xizmatlari bo'lgan barcha ma'lumotlar manbalariga Internet orqali kirish mumkin. Shu jumladan API orqali. Har uchta qabul qiluvchidan ikkitasi xuddi shunday qiladi. Nextcloud-ning o'zi qayerda joylashtirilgani va unga qanday kirish mumkinligi aniq emas?

Men beshta mumkin bo'lgan variantni hisobladim:

1. Uy/korporativ tarmog'ingizdagi shaxsiy serveringizda.
2. O'zingizning serveringizda xizmat ko'rsatuvchi provayderning ma'lumotlar markazining ijaraga olingan rafida.
3. Xizmat ko'rsatuvchi provayderdan ijaraga olingan serverda.
4. Xizmat/hosting provayderi bilan virtual serverda (VDS/VPS). 
5. Xizmat ko'rsatuvchi provayderdan SaaS modeliga muvofiq

Nextcloud hali ham bulutli saqlashni yaratish va ishlatish uchun dasturiy ta'minot ekanligini hisobga olsak, biz ishonch bilan aytishimiz mumkinki, unga Internet orqali kirish barcha beshta variantda mavjud. Va bu holda, "migratsiya menejeri" ni joylashtirishning optimal modeli - model B.

"Migratsiya menejeri" platformasi sifatida tanlangan modelga ko'ra, men eng maqbul variantlardan birini tanlayman - virtual serverda M9 ma'lumotlar markazi Rossiyadagi eng yirik Internet-trafik almashinuv punkti MSK-IX.

Qabul qilinishi kerak bo'lgan uchinchi qaror virtual server konfiguratsiyasi haqida qaror qabul qilishdir. 

VDS konfiguratsiya parametrlarini tanlashda siz saytlar orasidagi kanallarning kengligi, ko'chirilayotgan fayllar soni va hajmi, migratsiya oqimlari va sozlamalari soniga bog'liq bo'lgan kerakli ishlashga amal qilishingiz kerak. OTga kelsak, Rclone turli xil operatsion tizimlarda, jumladan Windows va Linuxda ishlaydigan o'zaro faoliyat platformali dasturiy ta'minot.

Agar siz bir nechta migratsiya jarayonlarini va hatto ma'lum bir chastotada boshlashni rejalashtirmoqchi bo'lsangiz, resurslar uchun to'lov bilan VDSni ijaraga olish variantini ko'rib chiqishga arziydi.

yaratilish

Yuqoridagilarga asoslanib, ushbu maqolaning prototipini yaratishda men quyidagi konfiguratsiyada VDS ni tanladim.

oyiga 560 rublni tashkil qiladi. shu jumladan kupon yordamida 15% chegirma NOSTRESS.

Ushbu tanlov, Windows OS ostidagi tugunni bizning texnik tavsiflarimiz shartlariga muvofiq sozlash, buyurtma berish mumkin bo'lgan boshqa operatsion tizimlarga qaraganda osonroq ekanligi bilan bog'liq.

Offtopic: Aytgancha, xavfsizlikni oshirish uchun ushbu virtual server tugunlardan biriga tayinlangan xavfsiz virtual tarmoq. va unga RDP orqali kirishga faqat u yerdan ruxsat beriladi...

VDS-ni yaratganingizdan va RDP orqali ish stoliga kirishga erishganingizdan so'ng, siz qilishingiz kerak bo'lgan birinchi narsa Rclone va Web-GUI uchun muhitni tayyorlashdir. Bular. yangi standart brauzerni o'rnating, masalan, Chrome, chunki dastlab o'rnatilgan IE 11, afsuski, ishlatiladigan dasturiy ta'minot bilan har doim ham to'g'ri ishlamaydi. 

Atrof-muhitni tayyorlaganingizdan so'ng, arxivni dasturiy ta'minot to'plami bilan yuklab oling Windows uchun Rclone va uni o'ramidan oching. 

Keyinchalik, Windows buyruq qatori rejimida chiqarilgan fayllar bilan jildga o'tish buyrug'ini bajaring. Men uchun u administratorning uy papkasida joylashgan:

C:UsersAdministrator>cd rclone

O'tishdan so'ng biz Web-GUI-dan Rclone-ni ishga tushirish buyrug'ini bajaramiz:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

bu erda "login" va "parol" siz ko'rsatgan login va parol, albatta, tirnoqsiz.

Buyruq bajarilgandan so'ng, terminal ko'rsatiladi

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

va Rclone grafik veb-interfeysi brauzerda avtomatik ravishda ochiladi.

Web-GUI hali sinov versiyasi bosqichida va buyruq qatori interfeysi mavjud bo'lgan Rclone boshqaruvining barcha imkoniyatlariga ega emasligiga qaramay, uning imkoniyatlari ma'lumotlarni ko'chirish uchun etarli. Va hatto bir oz ko'proq.

moslashish

Keyingi qadam, ma'lumotlar joylashgan yoki joylashgan saytlarga ulanishni o'rnatishdir. Va birinchi navbatda asosiy ma'lumotlarni qabul qiluvchi - Nextcloud bo'ladi.

1. Buning uchun bo'limga o'ting Konfiguratsiyalar Web-GUI. 

2. Yangi konfiguratsiyani yaratishni boshlash - tugma Yangi konfiguratsiya.

3. Sayt nomi - maydonini o'rnating Ushbu disk nomi (Malumot uchun): Keyingi bulut.

4. Saqlash turini yoki turini tanlash tanlang: Nextcloud va Owncloud uchun asosiy ma'lumot almashish interfeysi WebDAV hisoblanadi.

5. Keyin, ustiga bosing 2 -qadam: sozlash haydovchi, ulanish parametrlari ro'yxatini oching va to'ldiring. 

- 5.1. URLga ulanish uchun http xost URL manzili — WebDAV interfeysining gipermatnli havolasi. Nextcloud-da ular sozlamalarda joylashgan - interfeysning pastki chap burchagida.
- 5.2. Siz foydalanayotgan Webdav sayti/xizmati/dasturiy ta'minoti nomi — WebDAV interfeysi nomi. Bunday ulanishlar ko'p bo'lsa, chalkashmaslik uchun maydon o'zingiz uchun ixtiyoriy.
- 5.3 Foydalanuvchi nomi — Avtorizatsiya uchun foydalanuvchi nomi
- 5.4. Parol - avtorizatsiya uchun parol
- 5.5. Foydalanuvchi/pas (masalan, makaron) oʻrniga tashuvchi tokeni va tashuvchi tokenini olish uchun yugurish buyrugʻi kengaytirilgan variantlarda qo'shimcha parametrlar va avtorizatsiya buyruqlari mavjud. Ular mening Nextcloudimda ishlatilmaydi.

6. Keyingi bosing Konfiguratsiya yarating va konfiguratsiya yaratilganligiga ishonch hosil qilish uchun bo'limga o'ting Konfiguratsiya veb-interfeys... Xuddi shu sahifa orqali yangi yaratilgan konfiguratsiyani o'chirish yoki tahrirlash mumkin.

Saytga ulanishning funksionalligini tekshirish uchun bo'limga o'ting tadqiqotchi. V to'liq Qabul qiladi sozlangan sayt nomini kiriting va bosing ochiq. Agar siz fayllar va kataloglar ro'yxatini ko'rsangiz, saytga ulanish ishlamoqda.

Ishonchliroq bo'lish uchun siz veb-interfeys orqali papka yaratishingiz/o'chirishingiz yoki faylni yuklab olishingiz/o'chirishingiz mumkin.

Ulanadigan ikkinchi platforma Yandex disk bo'ladi.

• Birinchi to'rtta qadam Nextcloud ulanish jarayoniga o'xshaydi.
• Keyinchalik, biz hamma narsani, ya'ni maydonlarni xuddi shunday qoldiramiz 2-qadam: drayverni sozlash Biz ularni bo'sh qoldiramiz va rivojlangan variantlarda hech narsani o'zgartirmaymiz.
• Biz bosamiz Konfiguratsiyani yarating.
• Brauzerda Yandex avtorizatsiya sahifasi ochiladi, shundan so'ng siz muvaffaqiyatli ulanish haqida xabar va Rclone-ga qaytish taklifini olasiz.
• Biz qiladigan narsa bo'limni tekshirish config.

Migratsiya

Bizda ikkita sayt ulangan bo'lsa, biz allaqachon ular o'rtasida ma'lumotlarni ko'chirishimiz mumkin. Jarayonning o'zi biz oldin amalga oshirgan Nextcloud-ga ulanishning funksionalligini tekshirishga o'xshaydi.

• ga boring tadqiqotchi.
• Shablonni tanlash 2 yonma-yon.
• Har birida Qabul qiladi saytingiz nomini ko'rsating.
• Biz bosamiz ochiq.
• Biz ularning har biri uchun fayl va papkalar katalogini ko'ramiz.

Migratsiya jarayonini boshlash uchun faqat ma'lumotlar manbasi katalogidagi fayllar bilan kerakli jildni tanlash va uni sichqoncha bilan belgilangan katalogga sudrab borish qoladi.

Qolgan saytlarni qo'shish va ular o'rtasida ma'lumotlarni ko'chirish mexanizmi yuqorida bajarilgan operatsiyalarga o'xshaydi. Agar ish paytida xatolarga duch kelsangiz, ular haqida ma'lumotlarni Web-GUI bilan Rclone ishlayotgan terminalda o'rganishingiz mumkin.

Umuman olganda, hujjatlar Rklon keng qamrovli va veb-sayt va Internetda mavjud bo'lib, foydalanishda hech qanday qiyinchilik tug'dirmasligi kerak. Shu bilan, men kompyuteringizni chetlab o'tib, fayllarni bir bulutdan boshqasiga qanday o'tkazish haqida birinchi xabarni to'liq deb hisoblayman.

PS Agar siz oxirgi fikrga qo'shilmasangiz, izohlarda yozing: qaysi "mavzu yoritilgan" va qaysi yo'nalishda davom ettirishga arziydi.

Manba: www.habr.com