Faylları kompüterinizdən yan keçərək bir buluddan digərinə necə ötürmək olar

Ölüm, boşanma və köçmək hər hansı bir insanın həyatında ən stresli vəziyyətlərdən üçüdür.
"Amerika Dəhşət Hekayəsi".

- Andryux, mən evdən çıxıram, köçməyimə kömək et, hər şey mənə uyğun gəlməyəcək :(
- Yaxşı, neçə nəfər var?
— Ton* 7-8...
*Ton (jarq) - Terabayt.

Bu yaxınlarda İnternetdə gəzərkən gördüm ki, Habré və oxşar mənbələrdə müxtəlif növ məlumatların köçürülməsi üsulları və modelləri haqqında çoxlu materialların olmasına baxmayaraq, bu mövzuda suallar hələ də İnternetdə görünür. Hansı ki, nədənsə həmişə ətraflı cavablar alınmır. Bu fakt məni bir gün oxşar həllin həyata keçirilməsi ilə bağlı qeydlər toplamağa və onları ayrıca bir yazı şəklində təşkil etməyə sövq etdi.

Ümumiyyətlə, məlumatları bir cihazdan, sistemdən və xidmətdən digərinə bəzi bezdirici tezliklə ötürməli oluram. Bu, sınaq və səhv yolu ilə nəinki çox maraqlı məhsullarla tanış olmağa, həm də danışmaq istədiyim həllin funksionallığı və dəyəri arasında balans tapmağa imkan verdi.

Layihələndirmə

Layihələndirmə və tədqiqat işləri nəticəsində məlum oldu ki, miqrasiya prosesinin keyfiyyəti və səmərəliliyi təkcə məlumatların yerləşdiyi və ya yerləşəcəyi “saytların” texniki xüsusiyyətlərindən deyil, həm də onların fiziki yerindən asılıdır.

Miqrasiya meneceri, prosesin "məntiqi"nin - miqrasiyanın idarə edilməsi üçün proqram təminatının - fəaliyyət göstərdiyi hesablama qovşağıdır.

Yəni “miqrasiya meneceri” yerləşdirməyin iki modeli var.

• Model A. Saytlardan ən azı birinə yalnız yerli şəbəkə daxilindən daxil olmaq mümkündürsə, o zaman eyni şəbəkədə “miqrasiya meneceri” yerləşdirməyə dəyər. Çünki performans və köçmə vaxtı hələ də saytları birləşdirən kanalın sürəti və işləmə müddəti ilə məhdudlaşır.
• Model B. Həm mənbənin, həm də məlumatların qəbuledicisinin yerli şəbəkədən kənarda çıxışı varsa, o zaman “miqrasiya meneceri” aralarındakı kanalın sürəti və işləmə müddəti açıq şəkildə daha yaxşı olacağı yerdə yerləşdirilməlidir.

Yuxarıdakıları bir şəkildə parçalamaq üçün məqalənin əsas sualından vəzifələrə qayıtmağı və onları texniki spesifikasiyalar şəklində rəsmiləşdirməyi təklif edirəm.

Birincisi, istifadə etdiyim proqram təminatının buludları dəstəklədiyini öyrənməliyəm: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Qısa cavab: “BƏLİ!”

Mən istifadə edirəm klon.

Rclone - bulud saxlama üçün rsync. Fayl və qovluqları 45-dən çox növ və saxlama növü ilə sinxronlaşdırmaq üçün nəzərdə tutulmuş Açıq Mənbə proqramı.

Bunlardan yalnız bir neçəsi:
— Alibaba Cloud (Aliyun) Obyekt Saxlama Sistemi (OSS)
- Amazon S3
- Cef
- Rəqəmsal Okean Məkanları
- Dropbox
- Google Cloud Storage
- Google Disk
- Google Foto
- HTTP
-IBM COS S3
— Mail.ru bulud
- Meqa
- Microsoft Azure Blob Storage
- Microsoft OneDrive
- Minio
- Növbəti bulud
- Openstack Swift
— Oracle Cloud Storage
— öz Bulud
— Rackspace Bulud Faylları
- rsync.net
- SFTP
- WebDAV
— Yandex Disk

Основной funksionalal:
— MD5/SHA1 hashlərindən istifadə edərək faylların bütövlüyünün yoxlanılması.
— Faylların yaradılması/dəyişdirilməsi üçün vaxt nişanlarının saxlanması.
- Qismən sinxronizasiyanı dəstəkləyir.
— Yalnız yeni faylların kopyalanması.
— Sinxronizasiya (birtərəfli).
— Faylların yoxlanılması (heshlərlə).
— Bir bulud hesabından digərinə sinxronizasiya etmək imkanı.
- Şifrələmə dəstəyi.
- Yerli faylların keşləşdirilməsinə dəstək.
— FUSE vasitəsilə bulud xidmətlərini quraşdırmaq imkanı.

Özüm əlavə edəcəyəm ki, Rclone həm də məlumatların ehtiyat nüsxəsinin avtomatlaşdırılması ilə bağlı problemlərin ən böyük hissəsini həll etməyə kömək edir. "Väinämöinen" layihəsi.

Növbəti vəzifə “miqrasiya meneceri” yerləşdirmə modelini seçməkdir.

Müxtəlif ictimai bulud xidmətləri olan bütün məlumat mənbələrinə İnternet vasitəsilə daxil olmaq mümkündür. O cümlədən API vasitəsilə. Üç qəbuledicidən ikisi eyni şeyi edir. Nextcloud-un özünün harada yerləşdirildiyi və ona hansı girişin olduğu aydın deyil?

Mən beş mümkün variantı saydım:

1. Ev/korporativ şəbəkənizdə öz serverinizdə.
2. Xidmət provayderinin məlumat mərkəzinin icarəyə götürülmüş rafında öz serverinizdə.
3. Xidmət provayderindən icarəyə götürülmüş serverdə.
4. Xidmət/hostinq provayderi ilə virtual serverdə (VDS/VPS). 
5. Xidmət təminatçısından SaaS modelinə görə

Nextcloud-un hələ də bulud yaddaşının yaradılması və istifadəsi üçün proqram təminatı olduğunu nəzərə alsaq, əminliklə deyə bilərik ki, ona İnternet vasitəsilə giriş bütün beş variantda mövcuddur. Və bu vəziyyətdə "miqrasiya meneceri" yerləşdirmək üçün optimal model olacaq - model B.

“Miqrasiya meneceri” üçün platforma kimi seçilmiş modelə görə, mən öz nöqteyi-nəzərimdən optimal variantlardan birini – virtual serveri seçəcəyəm. M9 məlumat mərkəzi Rusiyanın ən böyük İnternet trafik mübadiləsi nöqtəsi MSK-IX.

Verilməli olan üçüncü qərar virtual server konfiqurasiyasına qərar verməkdir. 

VDS konfiqurasiya parametrlərini seçərkən, saytlar arasındakı kanalların genişliyindən, köçürülən faylların sayı və ölçüsündən, miqrasiya axınlarının və parametrlərin sayından asılı olan tələb olunan performansı rəhbər tutmalısınız. ƏS-ə gəldikdə, Rclone müxtəlif əməliyyat sistemlərində, o cümlədən Windows və Linux-da işləyən çarpaz platforma proqramdır.

Bir neçə miqrasiya prosesini və hətta müəyyən bir tezlikdə başlamağı planlaşdırırsınızsa, o zaman resursların ödənilməsi ilə VDS icarəsi variantını nəzərdən keçirməyə dəyər.

yaradıcılıq

Yuxarıda göstərilənlərə əsaslanaraq, bu məqalənin prototipini yaradan zaman aşağıdakı konfiqurasiyada VDS-i seçdim.

ayda 560 rubl təşkil edir. kupondan istifadə etməklə 15% endirim də daxil olmaqla HEÇ BİR STRESS.

Bu seçim, texniki spesifikasiyalarımızın şərtlərinə uyğun gəlmək üçün Windows OS altında bir qovşağın konfiqurasiya edilməsinin sifariş üçün mövcud olan digər ƏS-lərə nisbətən daha asan olması ilə əlaqədardır.

Offtopic: Yeri gəlmişkən, daha yüksək təhlükəsizlik üçün bu virtual server qovşaqlardan birinə təyin edilmişdir təhlükəsiz virtual şəbəkə. və RDP vasitəsilə ona giriş yalnız oradan icazə verilir...

VDS yaratdıqdan və RDP vasitəsilə iş masasına giriş əldə etdikdən sonra etməli olduğunuz ilk şey Rclone və Web-GUI üçün mühit hazırlamaqdır. Bunlar. yeni standart brauzer quraşdırın, məsələn, Chrome, çünki ilkin olaraq quraşdırılmış IE 11, təəssüf ki, istifadə olunan proqram təminatı ilə həmişə düzgün işləmir. 

Ətraf mühiti hazırladıqdan sonra proqram paketi ilə arxivi yükləyin Windows üçün Rclone və paketdən çıxarın. 

Bundan sonra, Windows əmr satırı rejimində çıxarılan fayllarla qovluğa getmək əmrini yerinə yetirin. Mənim üçün o, administratorun ev qovluğunda yerləşir:

C:UsersAdministrator>cd rclone

Keçiddən sonra Web-GUI-dən Rclone-u işə salmaq əmrini yerinə yetiririk:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

burada "giriş" və "parol" qeyd etdiyiniz login və paroldur, əlbəttə ki, dırnaq işarələri olmadan.

Əmr yerinə yetirildikdən sonra terminal ekranda görünür

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

və Rclone qrafik veb interfeysi avtomatik olaraq brauzerdə açılır.

Web-GUI hələ də test versiyası mərhələsində olmasına və komanda xətti interfeysinin bütün Rclone idarəetmə imkanlarına malik olmamasına baxmayaraq, onun imkanları məlumatların miqrasiyası üçün kifayət qədər kifayətdir. Və hətta bir az daha çox.

nizamlama

Növbəti addım məlumatların yerləşdiyi və ya yerləşəcəyi saytlarla əlaqə qurmaqdır. Və birinci sırada əsas məlumat qəbuledicisi olacaq - Nextcloud.

1. Bunu etmək üçün bölməyə keçin Konfiqurasiya Veb-GUI. 

2. Yeni konfiqurasiyanın yaradılmasına başlamaq - düymə Yeni Konfiqurasiya.

3. Saytın adını təyin edin - sahə Bu diskin adı (Sənəd üçün): Nextbulud.

4. Saxlama növünün və ya növünün seçilməsi seçmək: Nextcloud və Owncloud üçün əsas məlumat mübadiləsi interfeysi WebDAV-dir.

5. Sonra, üzərinə klikləyin Addım 2: Quraşdırma sürücü, əlaqə parametrlərinin siyahısını açın və doldurun. 

- 5.1. URL-ə qoşulmaq üçün http hostunun URL-i — WebDAV interfeysinin hipermətn keçidi. Nextcloud-da onlar parametrlərdə - interfeysin aşağı sol küncündə yerləşirlər.
- 5.2. İstifadə etdiyiniz Webdav saytının/xidmətinin/proqramının adı — WebDAV interfeysinin adı. Sahə özünüz üçün isteğe bağlıdır, belə əlaqələr çox olarsa, çaşqın olmamaq üçün.
- 5.3 İstifadəçi adı — Avtorizasiya üçün istifadəçi adı
- 5.4. parol — Avtorizasiya üçün parol
- 5.5. İstifadəçi/keçid əvəzinə daşıyıcı nişanı (məsələn, Makaron) və daşıyıcı nişanı əldə etmək üçün qaçmaq əmri inkişaf etmiş variantlarda əlavə parametrlər və avtorizasiya əmrləri var. Onlar mənim Nextcloud-da istifadə edilmir.

6. Sonrakı klikləyin konfiqurasiya yaradın və konfiqurasiyanın yaradıldığına əmin olmaq üçün bölməyə keçin konfiqurasiya veb interfeysi... Eyni səhifə vasitəsilə yeni yaradılmış konfiqurasiya silinə və ya redaktə edilə bilər.

Sayta qoşulmanın funksionallığını yoxlamaq üçün bölməyə keçin Tədqiqatçı. Bəli Uzaqlaşmalar konfiqurasiya edilmiş saytın adını daxil edin və vurun açıq. Faylların və qovluqların siyahısını görürsünüzsə, saytla əlaqə işləyir.

Daha inandırıcı olmaq üçün siz veb interfeysi vasitəsilə qovluq yarada/silə və ya faylı yükləyə/silə bilərsiniz.

Qoşulacaq ikinci platforma Yandex diski olacaq.

• İlk dörd addım Nextcloud qoşulma prosesinə bənzəyir.
• Sonra, hər şeyi olduğu kimi buraxırıq, yəni sahələri içəridə Addım 2: Sürücüyü quraşdırın Onları boş qoyuruq və qabaqcıl seçimlərdə heç nəyi dəyişmirik.
• basırıq Konfiqurasiya yaradın.
• Brauzerdə Yandex avtorizasiya səhifəsi açılır, bundan sonra uğurlu əlaqə haqqında mesaj və Rclone-a qayıtmaq təklifi alırsınız.
• Etdiyimiz şey bölməni yoxlamaqdır Config.

Miqrasiya

Bağlı iki saytımız olduqda, biz artıq onların arasında məlumatları köçürə bilərik. Prosesin özü, əvvəllər həyata keçirdiyimiz Nextcloud ilə əlaqənin funksionallığını yoxlamağa bənzəyir.

• Biz keçərik Tədqiqatçı.
• Şablon seçimi 2 yan yana.
• Hər birində Uzaqlaşmalar saytınızın adını göstərin.
• basırıq açıq.
• Onların hər biri üçün fayl və qovluqların kataloqunu görürük.

Miqrasiya prosesinə başlamaq üçün məlumat mənbəyi kataloqunda faylları olan istədiyiniz qovluğu seçmək və onu siçan ilə təyinat qovluğuna çəkmək qalır.

Qalan saytların əlavə edilməsi və onların arasında məlumatların köçürülməsi mexanizmi yuxarıda göstərilən əməliyyatlara bənzəyir. Əgər işiniz zamanı xətalarla qarşılaşsanız, siz Rclone with Web-GUI-nin işlədiyi terminalda onlar haqqında təfərrüatları öyrənə bilərsiniz.

Ümumiyyətlə, sənədlər klon genişdir və vebsaytda və İnternetdə mövcuddur və istifadədə heç bir çətinlik yaratmamalıdır. Bununla, kompüterinizdən yan keçərək faylları bir buluddan digərinə necə köçürmək barədə ilk yazını tamamladım.

PS Son bəyanatla razı deyilsinizsə, şərhlərdə yazın: hansı "mövzu əhatə olunmur" və hansı məcrada davam etməyə dəyər.

Mənbə: www.habr.com