Tod, Scheidung und Umzug gehören zu den stressigsten Situationen im Leben eines jeden Menschen.
"Amerikanische Horrorgeschichte".
- Andryukh, ich verlasse mein Zuhause, hilf mir beim Umzug, bei mir passt nicht alles :(
- Okay, wie viele sind es?
— Tonnen* 7-8...
*Ton (jarg) – Terabyte.
Beim Surfen im Internet ist mir kürzlich aufgefallen, dass trotz der Verfügbarkeit zahlreicher Materialien zu Methoden und Modellen für die Migration verschiedener Datentypen auf Habré und ähnlichen Ressourcen immer noch Fragen zu diesem Thema im Internet auftauchen. Auf die man aus irgendeinem Grund nicht immer ausführliche Antworten erhält. Diese Tatsache veranlasste mich, eines Tages Notizen zur Implementierung einer ähnlichen Lösung zu sammeln und sie in Form eines separaten Beitrags zusammenzustellen.
Im Allgemeinen muss ich mit lästiger Häufigkeit Daten von einem Gerät, System oder Dienst auf ein anderes übertragen. Dadurch konnte ich durch Versuch und Irrtum nicht nur viele interessante Produkte kennenlernen, sondern auch ein Gleichgewicht zwischen Funktionalität und Kosten der Lösung finden, über die ich sprechen möchte
Design-
Wie sich als Ergebnis der Entwurfs- und Umfragearbeiten herausstellte, hängt die Qualität und Effizienz des Migrationsprozesses nicht nur von den technischen Merkmalen der „Standorte“ ab, an denen sich die Daten befinden oder befinden werden, sondern auch von deren physischem Standort.
Der Migrationsmanager ist ein Rechenknoten, auf dem die „Logik“ des Prozesses – Software zur Verwaltung der Migration – funktioniert.
Das heißt, es gibt zwei Modelle für die Platzierung eines „Migrationsmanagers“
- Modell A. Wenn mindestens einer der Standorte nur aus dem lokalen Netzwerk erreichbar ist, lohnt es sich, einen „Migrationsmanager“ im selben Netzwerk zu platzieren. Denn die Leistung und Migrationszeit werden immer noch durch die Geschwindigkeit und Verfügbarkeit des Kanals begrenzt, der die Standorte verbindet.
- Modell B. Wenn sowohl die Quelle als auch der Empfänger der Daten Zugriff außerhalb des lokalen Netzwerks haben, sollte sich der „Migrationsmanager“ dort befinden, wo die Geschwindigkeit und Verfügbarkeit des Kanals zwischen ihnen offensichtlich besser ist.
Um das oben Gesagte irgendwie zu zerlegen, schlage ich vor, zu den Aufgaben aus der Hauptfrage des Artikels zurückzukehren und sie in technische Spezifikationen zu formalisieren.
Zuerst muss ich herausfinden, ob die von mir verwendete Software Clouds unterstützt: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
Die kurze Antwort lautet: „JA!“
Ich benutze .
Rclone – rsync für Cloud-Speicher. Open-Source-Software zur Synchronisierung von Dateien und Ordnern mit mehr als 45 Speichertypen und -typen.
Hier sind nur einige davon:
— Alibaba Cloud (Aliyun) Objektspeichersystem (OSS)
- Amazon S3
– Ceph
—DigitalOcean Spaces
– Dropbox
- Google Cloud-Speicher
- Google Drive
- Google Fotos
- HTTP
-IBM COS S3
— Mail.ru Cloud
– Mega
– Microsoft Azure Blob Storage
- Microsoft OneDrive
– Minio
— Nextcloud
- Openstack Swift
– Oracle Cloud Storage
— ownCloud
– Rackspace Cloud-Dateien
- rsync.net
- SFTP
- WebDAV
— Yandex Disk
Die Hauptfunktionalität:
— Überprüfung der Integrität von Dateien mithilfe von MD5/SHA1-Hashes.
— Speichern von Zeitstempeln für das Erstellen/Ändern von Dateien.
- Unterstützt teilweise Synchronisierung.
— Nur neue Dateien kopieren.
— Synchronisierung (einseitig).
— Dateien prüfen (durch Hashes).
— Möglichkeit zur Synchronisierung von einem Cloud-Konto zu einem anderen.
- Verschlüsselungsunterstützung.
- Unterstützung für lokales Datei-Caching.
— Möglichkeit, Cloud-Dienste über FUSE bereitzustellen.
Ich möchte hinzufügen, dass Rclone mir auch dabei hilft, den Löwenanteil der Probleme im Zusammenhang mit der Automatisierung der Datensicherung zu lösen .
Die nächste Aufgabe besteht darin, ein Platzierungsmodell für den „Migrationsmanager“ auszuwählen.
Alle Datenquellen, bei denen es sich um verschiedene öffentliche Cloud-Dienste handelt, sind über das Internet zugänglich. Einschließlich über die API. Zwei von drei Empfängern machen dasselbe. Es ist nicht klar, wo Nextcloud selbst bereitgestellt wird und welcher Zugriff darauf verfügbar ist.
Ich habe fünf mögliche Optionen gezählt:
- Auf Ihrem eigenen Server in Ihrem Heim-/Firmennetzwerk.
- Auf Ihrem eigenen Server in einem gemieteten Rack des Rechenzentrums des Dienstleisters.
- Auf einem von einem Dienstleister gemieteten Server.
- Auf einem virtuellen Server (VDS/VPS) bei einem Dienst-/Hosting-Anbieter
- Vom Dienstleister
Wenn man bedenkt, dass es sich bei Nextcloud immer noch um eine Software zum Erstellen und Nutzen von Cloud-Speichern handelt, können wir mit Sicherheit sagen, dass der Zugriff darauf über das Internet in allen fünf Optionen möglich ist. Und in diesem Fall wird das optimale Modell für die Platzierung eines „Migrationsmanagers“ sein: Modell B.
Entsprechend dem als Plattform für den „Migrationsmanager“ gewählten Modell werde ich eine der aus meiner Sicht optimalen Optionen wählen – einen virtuellen Server in Russlands größter Internet-Verkehrsaustauschpunkt MSK-IX.
Die dritte Entscheidung, die getroffen werden muss, ist die Entscheidung über die Konfiguration des virtuellen Servers.
Bei der Auswahl der VDS-Konfigurationsparameter müssen Sie sich an der erforderlichen Leistung orientieren, die von der Breite der Kanäle zwischen Standorten, der Anzahl und Größe der verschobenen Dateien, der Anzahl der Migrationsströme und den Einstellungen abhängt. Was das Betriebssystem betrifft, handelt es sich bei Rclone um eine plattformübergreifende Software, die auf verschiedenen Betriebssystemen läuft, darunter Windows und Linux.
Wenn Sie planen, mehrere Migrationsprozesse und sogar in einer bestimmten Häufigkeit zu starten, lohnt es sich, über die Anmietung eines VDS gegen Bezahlung der Ressourcen nachzudenken.
Schöpfung
Basierend auf dem oben Gesagten habe ich mich bei der Erstellung des Prototyps für diesen Artikel für VDS in der folgenden Konfiguration entschieden.
kostet 560 Rubel/Monat. inklusive 15 % Rabatt mit Gutschein KEIN STRESS.
Diese Wahl ist auf die Tatsache zurückzuführen, dass ein Knoten unter dem Windows-Betriebssystem, um die Bedingungen unserer technischen Spezifikationen zu erfüllen, einfacher zu konfigurieren ist als für andere bestellbare Betriebssysteme.
Offtopic: Aus Sicherheitsgründen ist dieser virtuelle Server übrigens einem der Knoten zugeordnet . und der Zugriff darauf per RDP ist nur von dort aus erlaubt...
Nachdem Sie ein VDS erstellt und über RDP Zugriff auf den Desktop erhalten haben, müssen Sie zunächst die Umgebung für Rclone und Web-GUI vorbereiten. Diese. Installieren Sie einen neuen Standardbrowser, zum Beispiel Chrome, da der zunächst installierte IE 11 leider nicht immer korrekt mit der verwendeten Software funktioniert.
Laden Sie nach der Vorbereitung der Umgebung das Archiv mit dem Softwarepaket herunter und auspacken.
Führen Sie anschließend im Windows-Befehlszeilenmodus den Befehl aus, um zu dem Ordner mit den extrahierten Dateien zu gelangen. Bei mir liegt es im Home-Ordner des Administrators:
C:UsersAdministrator>cd rclone
Nach dem Übergang führen wir den Befehl aus, um Rclone über die Web-GUI zu starten:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
Dabei sind „Login“ und „Passwort“ der von Ihnen angegebene Login und das Passwort, natürlich ohne Anführungszeichen.
Nach Ausführung des Befehls wird auf dem Terminal Folgendes angezeigt:
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
und die grafische Weboberfläche von Rclone wird automatisch im Browser geöffnet.
Obwohl sich die Web-GUI noch im Testversionsstadium befindet und noch nicht über alle Rclone-Verwaltungsfunktionen der Befehlszeilenschnittstelle verfügt, reichen ihre Fähigkeiten für die Datenmigration völlig aus. Und sogar noch ein bisschen mehr.
Einstellung
Der nächste Schritt besteht darin, Verbindungen zu den Standorten einzurichten, an denen sich die Daten befinden oder befinden werden. Und der erste in der Reihe wird der Hauptdatenempfänger sein – Nextcloud.
1. Gehen Sie dazu zum Abschnitt Konfigurationen Web-GUI.
2. Schaltfläche „Erstellen einer neuen Konfiguration einleiten“. Neue Konfig.
3. Legen Sie den Site-Namen fest – Feld Name dieses Laufwerks (zu Ihrer Information): Nextcloud.
4. Auswahl der Art oder Art der Lagerung Auswählen: Für Nextcloud und Owncloud ist WebDAV die wichtigste Datenaustauschschnittstelle.
5. Klicken Sie anschließend auf Schritt 2: Einrichtung Laufwerk auswählen, die Liste der Verbindungsparameter öffnen und ausfüllen.
- 5.1. URL des http-Hosts, mit dem eine Verbindung hergestellt werden soll — Hypertext-Link der WebDAV-Schnittstelle. In Nextcloud befinden sie sich in den Einstellungen – in der unteren linken Ecke der Benutzeroberfläche.
- 5.2. Name der Webdav-Site/des Webdav-Dienstes/der Software, die Sie verwenden — Name der WebDAV-Schnittstelle. Das Feld ist für Sie selbst optional, um nicht verwirrt zu werden, wenn es viele solcher Verbindungen gibt.
- 5.3 Benutzername — Benutzername zur Autorisierung
- 5.4. Passwort — Passwort zur Autorisierung
- 5.5. Inhaber-Token anstelle von Benutzer/Pass (z. B. ein Makronen) und Befehl zum Ausführen, um einen Inhaber-Token zu erhalten In den erweiterten Optionen gibt es zusätzliche Parameter und Autorisierungsbefehle. Sie werden in meiner Nextcloud nicht verwendet.
6. Weiter klicken Konfiguration erstellen und um sicherzustellen, dass die Konfiguration erstellt wird, gehen Sie zum Abschnitt Konfig Weboberfläche... Über dieselbe Seite kann die neu erstellte Konfiguration gelöscht oder bearbeitet werden.
Um die Funktionalität der Verbindung zur Site zu überprüfen, gehen Sie zum Abschnitt Erkunden. оле Fernbedienungen Geben Sie den Namen der konfigurierten Site ein und klicken Sie auf Offen. Wenn Sie eine Liste mit Dateien und Verzeichnissen sehen, funktioniert die Verbindung zur Site.
Um noch überzeugender zu sein, können Sie über die Weboberfläche einen Ordner erstellen/löschen oder eine Datei herunterladen/löschen.
Die zweite anzubindende Plattform wird Yandex Disk sein.
- Die ersten vier Schritte ähneln dem Nextcloud-Verbindungsprozess.
- Als nächstes lassen wir alles so, wie es ist, also die Felder darin Schritt 2: Laufwerk einrichten Wir lassen sie leer und ändern nichts an den erweiterten Optionen.
- мём Konfiguration erstellen.
- Die Yandex-Autorisierungsseite wird im Browser geöffnet. Anschließend erhalten Sie eine Nachricht über die erfolgreiche Verbindung und ein Angebot, zu Rclone zurückzukehren.
- Wir überprüfen den Abschnitt Config.
Migration
Wenn wir zwei Standorte verbunden haben, können wir bereits Daten zwischen ihnen migrieren. Der Vorgang selbst ähnelt der Überprüfung der Funktionsfähigkeit der Verbindung zu Nextcloud, die wir zuvor durchgeführt haben.
- Wir gehen zu Erkunden.
- Auswahl einer Vorlage 2 nebeneinander.
- In jedem Fernbedienungen Geben Sie den Namen Ihrer Website an.
- мём Offen.
- Wir sehen für jeden von ihnen ein Verzeichnis mit Dateien und Ordnern.
Um den Migrationsprozess zu starten, müssen Sie lediglich den gewünschten Ordner mit Dateien im Datenquellenverzeichnis auswählen und mit der Maus in das Zielverzeichnis ziehen.
Der Mechanismus zum Hinzufügen der verbleibenden Sites und zum Migrieren von Daten zwischen ihnen ähnelt den oben ausgeführten Vorgängen. Sollten Ihnen bei Ihrer Arbeit Fehler auffallen, können Sie sich im Terminal, auf dem Rclone mit Web-GUI läuft, über die Details informieren.
Im Allgemeinen ist die Dokumentation für ist umfangreich und auf der Website und im Internet verfügbar und sollte bei der Nutzung keine Schwierigkeiten bereiten. Damit betrachte ich den ersten Beitrag zum Übertragen von Dateien von einer Cloud in eine andere unter Umgehung Ihres PCs als abgeschlossen.
PS Wenn Sie mit der letzten Aussage nicht einverstanden sind, schreiben Sie in die Kommentare: Welches „Thema wird nicht behandelt“ und in welcher Richtung es sich lohnt, weiterzumachen.
Source: habr.com