Jak przesyłać pliki z jednej chmury do drugiej bez przechodzenia przez komputer

Śmierć, rozwód i przeprowadzka to trzy najbardziej stresujące sytuacje w życiu każdego człowieka.
"Amerykański horror".

- Andryukh, wychodzę z domu, pomóż mi się przenieść, wszystko mi się nie mieści :(
- OK, ilu ich jest?
— Tony* 7-8...
*Ton (jarg) - terabajt.

Ostatnio surfując po Internecie zauważyłem, że pomimo dostępności na Habré i podobnych zasobach wielu materiałów na temat metod i modeli migracji różnego rodzaju danych, w Internecie wciąż pojawiają się pytania na ten temat. Które z jakiegoś powodu nie zawsze otrzymują szczegółowe odpowiedzi. Fakt ten skłonił mnie do tego, aby pewnego dnia zebrać notatki z wdrożenia podobnego rozwiązania i ułożyć je w formie osobnego wpisu.

Ogólnie rzecz biorąc, muszę przesyłać dane z jednego urządzenia, systemu i usługi do drugiego z pewną irytującą częstotliwością. Co metodą prób i błędów pozwoliło mi nie tylko zapoznać się z wieloma ciekawymi produktami, ale także znaleźć balans pomiędzy funkcjonalnością i kosztem rozwiązania, o którym chcę porozmawiać

Design

Jak się okazało w wyniku prac projektowych i ankietowych, jakość i efektywność procesu migracji zależy nie tylko od parametrów technicznych „miejsc”, w których dane są lub będą się znajdować, ale także od ich fizycznej lokalizacji.

Menedżer migracji to węzeł obliczeniowy, na którym funkcjonuje „logika” procesu – oprogramowanie do zarządzania migracją.

Oznacza to, że istnieją dwa modele umieszczania „menedżera migracji”

• Modelka A. Jeśli dostęp do przynajmniej jednej z witryn możliwy jest wyłącznie z poziomu sieci lokalnej, wówczas warto umieścić w tej samej sieci „menedżera migracji”. Ponieważ wydajność i czas migracji są nadal ograniczone szybkością i czasem działania kanału łączącego strony.
• Model B. Jeśli zarówno źródło, jak i odbiorca danych mają dostęp poza siecią lokalną, wówczas „menedżer migracji” powinien być zlokalizowany tam, gdzie prędkość i czas pracy kanału między nimi będą oczywiście lepsze.

Aby jakoś rozłożyć powyższe, proponuję powrócić do zadań z głównego pytania artykułu i sformalizować je w specyfikacje techniczne.

Najpierw muszę się dowiedzieć, czy oprogramowanie, którego używam, obsługuje chmury: Mail.ru, Yandex, Dysk Google, Mega, Nextloud?

Krótka odpowiedź brzmi: „TAK!”

Używam Rclone.

Rclone - rsync do przechowywania w chmurze. Oprogramowanie Open Source przeznaczone do synchronizacji plików i folderów z ponad 45 typami i typami pamięci.

Oto tylko kilka z nich:
— System przechowywania obiektowego Alibaba Cloud (Aliyun) (OSS)
-Amazon S3
— Cef
—Cyfrowe przestrzenie oceaniczne
— Dropbox
- Przechowywanie w chmurze Google
- Dysk Google
- Zdjęcia Google
-HTTP
-IBM COS S3
— Chmura Mail.ru
—Mega
— Magazyn obiektów Blob Microsoft Azure
-MicrosoftOneDrive
— Minio
— Następna chmura
- Openstack Swift
— Pamięć masowa Oracle w chmurze
— własna Chmura
— Pliki w chmurze Rackspace
- rsync.net
-SFTP
- WebDAV
— Dysk Yandex

Główna funkcjonalność:
— Sprawdzanie integralności plików za pomocą skrótów MD5/SHA1.
— Zapisywanie znaczników czasu do tworzenia/zmiany plików.
- Obsługuje częściową synchronizację.
— Kopiowanie tylko nowych plików.
— Synchronizacja (jednokierunkowa).
— Sprawdzanie plików (za pomocą skrótów).
— Możliwość synchronizacji z jednego konta w chmurze na drugie.
- Obsługa szyfrowania.
— Obsługa lokalnego buforowania plików.
— Możliwość montowania usług w chmurze za pośrednictwem FUSE.

Dodam od siebie, że Rclone pomaga mi także rozwiązać lwią część problemów związanych z automatyzacją tworzenia kopii zapasowych danych w projekt „Väinämöinen”.

Kolejnym zadaniem jest wybranie modelu rozmieszczenia „menedżera migracji”.

Wszystkie źródła danych, którymi są różne usługi w chmurze publicznej, są dostępne za pośrednictwem Internetu. W tym poprzez API. Dwóch z trzech odbiorników robi to samo. Nie jest jasne, gdzie wdrożony jest sam Nextcloud i jaki jest do niego dostęp?

Naliczyłem pięć możliwych opcji:

1. Na własnym serwerze w sieci domowej/firmowej.
2. Na własnym serwerze w wynajętej szafie serwerowej centrum danych usługodawcy.
3. Na serwerze wynajętym od usługodawcy.
4. Na serwerze wirtualnym (VDS/VPS) u dostawcy usług/hostingu 
5. Od usługodawcy zgodnie z modelem SaaS

Biorąc pod uwagę, że Nextcloud to w dalszym ciągu oprogramowanie do tworzenia i korzystania z magazynu w chmurze, śmiało można powiedzieć, że dostęp do niego przez Internet możliwy jest we wszystkich pięciu wariantach. W tym przypadku optymalnym modelem umieszczenia „menedżera migracji” będzie - model B.

W zależności od modelu wybranego jako platforma dla „menedżera migracji” wybiorę jedną z optymalnych z mojego punktu widzenia opcji – serwer wirtualny w Centrum danych M9 Największy w Rosji punkt wymiany ruchu internetowego MSK-IX.

Trzecią decyzją, którą należy podjąć, jest decyzja o konfiguracji serwera wirtualnego. 

Przy wyborze parametrów konfiguracyjnych VDS należy kierować się wymaganą wydajnością, która uzależniona jest od szerokości kanałów pomiędzy lokacjami, ilości i rozmiaru przenoszonych plików, ilości strumieni migracji oraz ustawień. Jeśli chodzi o system operacyjny, Rclone to oprogramowanie wieloplatformowe działające na różnych systemach operacyjnych, w tym Windows i Linux.

Jeśli planujesz uruchomić kilka procesów migracji, i to nawet z określoną częstotliwością, to warto rozważyć opcję wynajmu VDS-a z odpłatnością za zasoby.

tworzenie

Bazując na powyższym, tworząc prototyp tego artykułu, wybrałem VDS w poniższej konfiguracji.

kosztuje 560 rubli miesięcznie. w tym 15% zniżki przy użyciu kuponu BEZ STRESU.

Wybór ten wynika z faktu, że węzeł pracujący pod systemem operacyjnym Windows, aby spełnić warunki zawarte w naszej specyfikacji technicznej, jest łatwiejszy w konfiguracji niż w przypadku innych dostępnych na zamówienie systemów operacyjnych.

Offtopic: Swoją drogą dla większego bezpieczeństwa ten serwer wirtualny jest przypisany do jednego z węzłów bezpieczna sieć wirtualna. i dostęp do niego poprzez RDP jest dozwolony tylko stamtąd...

Po utworzeniu VDS i uzyskaniu dostępu do pulpitu poprzez RDP, pierwszą rzeczą, którą musisz zrobić, jest przygotowanie środowiska dla Rclone i Web-GUI. Te. zainstaluj nową domyślną przeglądarkę, np. Chrome, gdyż oryginalnie zainstalowany IE 11 niestety nie zawsze współpracuje poprawnie z używanym oprogramowaniem. 

Po przygotowaniu środowiska pobierz archiwum z pakietem oprogramowania Rclone dla Windows i rozpakuj go. 

Następnie w trybie wiersza poleceń systemu Windows wykonaj polecenie przejścia do folderu z wyodrębnionymi plikami. U mnie znajduje się on w folderze domowym administratora:

C:UsersAdministrator>cd rclone

Po przejściu wykonujemy polecenie uruchomienia Rclone z Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

gdzie „login” i „hasło” to podany przez Ciebie login i hasło, oczywiście bez cudzysłowu.

Po wykonaniu polecenia na terminalu zostanie wyświetlony komunikat

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

a graficzny interfejs sieciowy Rclone automatycznie otworzy się w przeglądarce.

Pomimo tego, że Web-GUI jest wciąż w fazie testowej i nie posiada jeszcze wszystkich możliwości zarządzania Rclone, jakie posiada interfejs wiersza poleceń, jego możliwości są w zupełności wystarczające do migracji danych. A nawet trochę więcej.

regulacja

Kolejnym krokiem jest skonfigurowanie połączeń z witrynami, w których znajdują się lub będą znajdować się dane. A pierwszy w kolejce będzie główny odbiornik danych – Nextcloud.

1. Aby to zrobić, przejdź do sekcji Konfiguracje Internetowy interfejs graficzny. 

2. Rozpoczęcie tworzenia nowej konfiguracji - przycisk Nowa konfiguracja.

3. Ustaw nazwę witryny - pole Nazwa tego dysku (w celach informacyjnych): Następna chmura.

4. Wybór typu lub typu magazynu Wybierz: W przypadku Nextcloud i Owncloud głównym interfejsem wymiany danych jest WebDAV.

5. Następnie kliknij Krok 2: Konfiguracja dysku, otwórz listę parametrów połączenia i uzupełnij. 

- 5.1. Adres URL hosta http, z którym można połączyć się z adresem URL — łącze hipertekstowe interfejsu WebDAV. W Nextcloud znajdują się one w ustawieniach - lewy dolny róg interfejsu.
- 5.2. Nazwa witryny/usługi/oprogramowania Webdav, z którego korzystasz — nazwa interfejsu WebDAV. Pole jest opcjonalne dla Ciebie, aby nie pomylić się, jeśli takich połączeń jest wiele.
- 5.3 nazwa użytkownika — Nazwa użytkownika do autoryzacji
- 5.4. Hasło — Hasło do autoryzacji
- 5.5. Token okaziciela zamiast użytkownika/przepustki (np. makaronik) i polecenie uruchomienia, aby zdobyć token okaziciela w opcjach zaawansowanych znajdują się dodatkowe parametry i polecenia autoryzacyjne. Nie są one używane w moim Nextcloud.

6. Następne kliknięcie Utwórz konfigurację i aby upewnić się, że konfiguracja została utworzona przejdź do sekcji Konfig interfejs sieciowy... Na tej samej stronie nowo utworzoną konfigurację można usunąć lub edytować.

Aby sprawdzić funkcjonalność połączenia z witryną przejdź do sekcji badacz. поле Piloty wprowadź nazwę skonfigurowanej witryny i kliknij Otwarte. Jeśli widzisz listę plików i katalogów, połączenie z witryną działa.

Aby być bardziej przekonującym, możesz utworzyć/usunąć folder lub pobrać/usunąć plik za pośrednictwem interfejsu internetowego.

Drugą platformą, która zostanie podłączona, będzie dysk Yandex.

• Pierwsze cztery kroki są podobne do procesu łączenia z Nextcloud.
• Następnie zostawiamy wszystko bez zmian, czyli pola Krok 2: Skonfiguruj dysk Zostawiamy je puste i nie zmieniamy niczego w opcjach zaawansowanych.
• Naciskamy Utwórz konfigurację.
• W przeglądarce otworzy się strona autoryzacyjna Yandex, po czym otrzymasz wiadomość o pomyślnym połączeniu i ofertę powrotu do Rclone.
• Jedyne, co możemy zrobić, to sprawdzić sekcję Config.

Migracja

Kiedy mamy połączone dwie witryny, możemy już migrować dane między nimi. Sam proces przypomina sprawdzenie funkcjonalności połączenia z Nextcloud, które przeprowadziliśmy wcześniej.

• Iść do badacz.
• Wybór szablonu 2-obok siebie.
• W każdym z Piloty podaj nazwę swojej witryny.
• Naciskamy Otwarte.
• Dla każdego z nich widzimy katalog plików i folderów.

Aby rozpocząć proces migracji, wystarczy wybrać żądany folder z plikami w katalogu źródła danych i przeciągnąć go myszką do katalogu docelowego.

Mechanizm dodawania pozostałych lokalizacji i migracji danych pomiędzy nimi jest podobny do operacji wykonanych powyżej. Jeśli podczas pracy napotkasz błędy, możesz zapoznać się ze szczegółami na ich temat w terminalu, w którym działa Rclone z Web-GUI.

Ogólnie rzecz biorąc, dokumentacja dot Rclone jest obszerny i dostępny na stronie internetowej oraz w Internecie i nie powinien sprawiać trudności w użytkowaniu. W ten sposób uważam pierwszy post na temat przesyłania plików z jednej chmury do drugiej, z pominięciem komputera, za kompletny.

PS Jeśli nie zgadzasz się z ostatnim stwierdzeniem, napisz w komentarzach: jaki „temat nie jest poruszany” i w jakim duchu warto go kontynuować.

Źródło: www.habr.com