Bilgisayarınızdan geçmeden dosyaları bir buluttan diğerine nasıl aktarabilirsiniz?

Ölüm, boşanma ve taşınmak her insanın hayatındaki en stresli durumlardan üçüdür.
"Amerikan korku hikayesi".

- Andryukh, evden ayrılıyorum, taşınmama yardım et, her şey bana uymuyor :(
- Tamam, kaç tane var?
— Ton* 7-8...
*Ton (jarg) - Terabayt.

Son zamanlarda internette gezinirken, Habré ve benzeri kaynaklarda çeşitli veri türlerinin taşınmasına yönelik yöntemler ve modeller hakkında birçok materyal bulunmasına rağmen, bu konuyla ilgili soruların internette hala göründüğünü fark ettim. Bazı nedenlerden dolayı her zaman ayrıntılı cevaplar alamayabilirsiniz. Bu gerçek beni bir gün benzer bir çözümün uygulanmasına ilişkin notlar toplamaya ve bunları ayrı bir yazı halinde düzenlemeye sevk etti.

Genel olarak, verileri bir cihazdan, sistemden ve hizmetten diğerine sinir bozucu sıklıkta aktarmam gerekiyor. Bu, deneme yanılma yoluyla sadece birçok ilginç ürünle tanışmamı değil, aynı zamanda hakkında konuşmak istediğim çözümün işlevselliği ve maliyeti arasında bir denge bulmamı da sağladı.

Dizayn

Tasarım ve anket çalışması sonucunda ortaya çıktığı üzere, geçiş sürecinin kalitesi ve verimliliği yalnızca verinin bulunduğu veya bulunacağı "sitelerin" teknik özelliklerine değil, aynı zamanda fiziksel konumlarına da bağlıdır.

Geçiş yöneticisi, sürecin "mantığının" (geçişi yönetmeye yönelik yazılım) işlediği bir bilgi işlem düğümüdür.

Yani “geçiş yöneticisi” yerleştirmenin iki modeli var

• Model A. Sitelerden en az birine yalnızca yerel ağ içinden erişilebiliyorsa, aynı ağa bir "geçiş yöneticisi" yerleştirmeye değer. Çünkü performans ve geçiş süresi hala siteleri birbirine bağlayan kanalın hızı ve çalışma süresi ile sınırlıdır.
• ModelB. Verinin hem kaynağının hem de alıcısının yerel ağ dışında erişimi varsa, "geçiş yöneticisi" aralarındaki kanalın hızının ve çalışma süresinin açıkça daha iyi olacağı bir yere yerleştirilmelidir.

Yukarıdakileri bir şekilde ayrıştırmak için makalenin ana sorusundan görevlere dönmeyi ve bunları teknik spesifikasyonlara dönüştürmeyi öneriyorum.

Öncelikle kullandığım yazılımın bulutları destekleyip desteklemediğini öğrenmem gerekiyor: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Kısa cevap: “EVET!”

Kullandığım Rclone.

Rclone - bulut depolama için rsync. 45'ten fazla tür ve depolama türüyle dosya ve klasörleri senkronize etmek için tasarlanmış Açık Kaynak yazılımı.

İşte bunlardan sadece bazıları:
— Alibaba Bulut (Aliyun) Nesne Depolama Sistemi (OSS)
- Amazon S3
— Sef
—DigitalOcean Uzayları
—Dropbox
- Google Bulut Depolama
- Google sürücü
- Google Fotoğraflar
-HTTP
-IBM COS S3
— Mail.ru Bulutu
-Mega
- Microsoft Azure Blob Depolama
-Microsoft OneDrive
— Minio
— Sonraki bulut
- Openstack Swift
— Oracle Bulut Depolama
— ownCloud
— Rackspace Bulut Dosyaları
- rsync.net
-SFTP
-WebDAV
— Yandex Diski

Ana işlevsellik:
— MD5/SHA1 karmalarını kullanarak dosyaların bütünlüğünü kontrol etme.
— Dosya oluşturmak/değiştirmek için zaman damgalarını kaydetme.
- Kısmi senkronizasyonu destekler.
— Yalnızca yeni dosyalar kopyalanıyor.
— Senkronizasyon (tek yönlü).
— Dosyaları kontrol etme (karmalarla).
— Bir bulut hesabından diğerine senkronizasyon yapabilme.
- Şifreleme desteği.
- Yerel dosya önbelleğe alma desteği.
— Bulut hizmetlerini FUSE aracılığıyla bağlama yeteneği.

Rclone'un aynı zamanda veri yedeklemeyi otomatikleştirmeyle ilgili sorunların aslan payını çözmemde bana yardımcı olduğunu da ekleyeceğim. "Väinämöinen" projesi.

Bir sonraki görev bir “geçiş yöneticisi” yerleştirme modeli seçmektir.

Çeşitli genel bulut hizmetleri olan tüm veri kaynaklarına İnternet üzerinden erişilebilmektedir. API aracılığıyla dahil. Üç alıcıdan ikisi aynı şeyi yapıyor. Nextcloud'un nerede konuşlandırıldığı ve ona hangi erişimin mevcut olduğu açık değil mi?

Beş olası seçeneği saydım:

1. Ev/kurum ağınızdaki kendi sunucunuzda.
2. Servis sağlayıcının veri merkezinin kiralık bir rafındaki kendi sunucunuzda.
3. Bir servis sağlayıcıdan kiralanan bir sunucuda.
4. Bir hizmet/barındırma sağlayıcısına sahip bir sanal sunucuda (VDS/VPS) 
5. Servis sağlayıcıdan SaaS modeline göre

Nextcloud'un hala bulut depolama oluşturmaya ve kullanmaya yönelik bir yazılım olduğunu düşünürsek, beş seçeneğin hepsinde İnternet üzerinden erişimin mümkün olduğunu rahatlıkla söyleyebiliriz. Ve bu durumda, bir "göç yöneticisi" yerleştirmek için en uygun model şu şekilde olacaktır: model B.

"Geçiş yöneticisi" için platform olarak seçilen modele göre, benim bakış açıma göre en uygun seçeneklerden birini - sanal bir sunucuyu - seçeceğim M9 veri merkezi Rusya'nın en büyük İnternet trafiği değişim noktası MSK-IX.

Verilmesi gereken üçüncü karar ise sanal sunucu konfigürasyonuna karar vermektir. 

VDS yapılandırma parametrelerini seçerken, siteler arasındaki bant genişliğine, aktarılan dosya sayısına ve boyutuna, taşıma iş parçacığı sayısına ve ayarlara bağlı olan gerekli performansı göz önünde bulundurun. İşletim sistemi açısından, Rclone, çeşitli işletim sistemlerinde çalışan platformlar arası bir yazılımdır. Windows и Linux.

Birkaç geçiş sürecini ve hatta belirli bir sıklıkta başlatmayı planlıyorsanız, kaynaklar için ödeme yaparak bir VDS kiralama seçeneğini düşünmeye değer.

oluşturma

Yukarıdakilere dayanarak bu makalenin prototipini oluştururken aşağıdaki konfigürasyonda VDS'yi seçtim.

ayda 560 rubleye mal oluyor. Kupon kullanıldığında %15 indirim dahil STRES YOK.

Bu tercihin nedeni, düğümün işletim sistemi altında olmasıdır. WindowsTeknik şartnamelerimizin koşullarını karşılamak için, sipariş edilebilen diğer işletim sistemlerine göre yapılandırması daha kolaydır.

Konu Dışı: Bu arada, daha fazla güvenlik için bu sanal sunucu düğümlerden birine atanır güvenli sanal ağ. ve RDP aracılığıyla erişime yalnızca oradan izin veriliyor ...

VDS oluşturup RDP üzerinden masaüstüne erişim sağladıktan sonra yapmanız gereken ilk şey Rclone ve Web-GUI için ortamı hazırlamaktır. Onlar. Başlangıçta yüklenen IE 11 ne yazık ki kullanılan yazılımla her zaman düzgün çalışmadığından Chrome gibi yeni bir varsayılan tarayıcı yükleyin. 

Ortamı hazırladıktan sonra yazılım paketinin bulunduğu arşivi indirin. Rclone için Windows ve paketini açın. 

Sonraki - komut satırı modunda Windows Çıkarılan dosyaların bulunduğu klasöre gitmek için komutu çalıştırıyoruz. Benim durumumda bu klasör, yöneticinin ana klasöründe yer alıyor:

C:UsersAdministrator>cd rclone

Geçişten sonra Web-GUI'den Rclone'u başlatmak için komutu çalıştırıyoruz:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

burada "giriş" ve "şifre", elbette tırnak işaretleri olmadan belirttiğiniz kullanıcı adı ve şifredir.

Komutun yürütülmesi üzerine terminal şunu görüntüler:

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

ve Rclone grafik web arayüzü tarayıcıda otomatik olarak açılır.

Web-GUI'nin henüz test sürümü aşamasında olmasına ve komut satırı arayüzünün sahip olduğu tüm Rclone yönetim yeteneklerine henüz sahip olmamasına rağmen yetenekleri veri geçişi için oldukça yeterlidir. Ve hatta biraz daha fazlası.

Ayar

Bir sonraki adım, verilerin bulunduğu veya bulunacağı sitelere bağlantı kurmaktır. Ve ilk sırada ana veri alıcısı Nextcloud olacak.

1. Bunu yapmak için bölüme gidin Yapılandırmalar Web-GUI. 

2. Yeni bir konfigürasyonun oluşturulmasını başlatma - düğme Yeni Yapılandırma.

3. Site adını ayarlayın - alan Bu sürücünün adı (Referansınız için): Sonraki bulut.

4. Depolama türünü veya türünü seçme Seç: Nextcloud ve Owncloud için ana veri alışverişi arayüzü WebDAV'dır.

5. Sonra, tıklayın Adım 2: Kurulum sürücüsüne gidin, bağlantı parametreleri listesini açın ve doldurun. 

- 5.1. URL'ye bağlanılacak http ana bilgisayarının URL'si — WebDAV arayüzünün köprü metni bağlantısı. Nextcloud'da ayarlarda bulunurlar - arayüzün sol alt köşesinde.
- 5.2. Kullandığınız Webdav sitesinin/hizmetinin/yazılımın adı — WebDAV arayüz adı. Bu tür çok sayıda bağlantı varsa kafanızın karışmaması için alan sizin için isteğe bağlıdır.
- 5.3 kullanıcı adı — Yetkilendirme için kullanıcı adı
- 5.4. Şifre — Yetkilendirme için şifre
- 5.5. Kullanıcı/şifre yerine taşıyıcı jeton (örneğin bir Acıbadem Kurabiyesi) ve hamiline jeton almak için çalıştırma komutu gelişmiş seçeneklerde ek parametreler ve yetkilendirme komutları vardır. Nextcloud'umda kullanılmıyorlar.

6. Sonraki tıklama Yapılandırma oluştur ve konfigürasyonun oluşturulduğundan emin olmak için bölüme gidin Yapılandırma web arayüzü... Aynı sayfa üzerinden yeni oluşturulan konfigürasyon silinebilir veya düzenlenebilir.

Siteye bağlantının işlevselliğini kontrol etmek için bölüme gidin. kâşif... alanında Uzak yapılandırılmış sitenin adını girin ve tıklayın Açılış. Dosya ve dizinlerin bir listesini görüyorsanız siteyle bağlantı çalışıyor demektir.

Daha ikna edici olmak gerekirse, web arayüzü aracılığıyla bir klasör oluşturabilir/silebilir veya bir dosyayı indirebilir/silebilirsiniz.

Bağlanacak ikinci platform Yandex disk olacaktır.

• İlk dört adım Nextcloud bağlantı işlemine benzer.
• Daha sonra her şeyi, yani alanları olduğu gibi bırakıyoruz. 2. Adım: Sürücüyü kurun Bunları boş bırakıyoruz ve gelişmiş seçeneklerde hiçbir şeyi değiştirmiyoruz.
• basıyoruz Yapılandırma Oluştur.
• Tarayıcıda Yandex yetkilendirme sayfası açılır ve ardından başarılı bağlantı hakkında bir mesaj ve Rclone'a dönme teklifi alırsınız.
• Yaptığımız şey bölümü kontrol etmek Yapılandırma.

göç

İki siteye bağlı olduğumuzda, zaten aralarında veri taşıyabiliriz. Sürecin kendisi, daha önce gerçekleştirdiğimiz Nextcloud bağlantısının işlevselliğini kontrol etmeye benzer.

• Biz geçmek kâşif.
• Bir şablon seçme 2-yan yana.
• Her biri içinde Uzak sitenizin adını belirtin.
• basıyoruz Açılış.
• Her biri için bir dosya ve klasör dizini görüyoruz.

Geçiş işlemini başlatmak için geriye kalan tek şey, veri kaynağı dizinindeki dosyaların bulunduğu istediğiniz klasörü seçip fareyle hedef dizine sürüklemektir.

Kalan siteleri ekleme ve bunlar arasında veri taşıma mekanizması yukarıda gerçekleştirilen işlemlere benzer. Çalışmanız sırasında hatalarla karşılaşırsanız, Rclone with Web-GUI'nin çalıştığı terminalde bunlarla ilgili ayrıntıları inceleyebilirsiniz.

Genel olarak, belgeler Rclone Kapsamlı olup, web sitesinde ve internette mevcut olup, kullanımda herhangi bir zorluk yaratmaması gerekmektedir. Bununla, PC'nizi atlayarak dosyaları bir buluttan diğerine nasıl aktaracağınıza dair ilk yazıyı tamamladığımı düşünüyorum.

PS Son ifadeye katılmıyorsanız, yorumlarınıza şunu yazın: hangi "konunun ele alınmadığını" ve hangi açıdan devam etmeye değer olduğunu.

Kaynak: habr.com