La mort, le divorce et le déménagement sont trois des situations les plus stressantes dans la vie d’une personne.
"Histoire d'horreur américaine".
- Andryukh, je pars de chez moi, aide-moi à déménager, tout ne me convient pas :(
- D'accord, combien y en a-t-il ?
— Tonnes* 7-8...
*Ton (jarg) - Téraoctet.
Récemment, en surfant sur Internet, j'ai remarqué que malgré la disponibilité sur Habré et des ressources similaires de nombreux documents sur les méthodes et modèles de migration de divers types de données, des questions sur ce sujet apparaissent toujours sur Internet. Qui, pour une raison quelconque, ne reçoivent pas toujours de réponses détaillées. Ce fait m'a incité un jour à rassembler des notes sur la mise en œuvre d'une solution similaire et à les organiser sous la forme d'un article séparé.
En général, je dois transférer des données d'un appareil, d'un système et d'un service à un autre avec une fréquence ennuyeuse. Ce qui, par essais et erreurs, m'a permis non seulement de me familiariser avec de nombreux produits intéressants, mais aussi de trouver un équilibre entre fonctionnalité et coût de la solution dont je souhaite parler.
conception
Comme il s'est avéré à la suite d'un travail de conception et d'enquête, la qualité et l'efficacité du processus de migration dépendent non seulement des caractéristiques techniques des « sites » où se trouvent ou seront situées les données, mais également de leur localisation physique.
Le gestionnaire de migration est un nœud informatique sur lequel fonctionne la « logique » du processus – un logiciel de gestion de la migration.
Autrement dit, il existe deux modèles pour placer un « gestionnaire de migration »
- Modèle A. Si au moins un des sites n'est accessible qu'à partir du réseau local, alors il vaut la peine de placer un « gestionnaire de migration » sur le même réseau. Car les performances et le temps de migration sont encore limités par la vitesse et la disponibilité du canal connectant les sites.
- Modèle B. Si la source et le destinataire des données ont accès en dehors du réseau local, alors le « gestionnaire de migration » doit être situé là où la vitesse et la disponibilité du canal entre eux seront évidemment meilleures.
Afin de décomposer en quelque sorte ce qui précède, je propose de revenir aux tâches de la question principale de l'article et de les formaliser en spécifications techniques.
Tout d'abord, je dois savoir si le logiciel que j'utilise prend en charge les cloud : Mail.ru, Yandex, Google Drive, Mega, Nextloud?
La reponse courte est oui!"
J'utilise .
Rclone - rsync pour le stockage cloud. Logiciel Open Source conçu pour synchroniser des fichiers et dossiers avec plus de 45 types et types de stockage.
En voici quelques unes:
— Système de stockage d'objets (OSS) Alibaba Cloud (Aliyun)
-Amazon S3
-Céph
—Espaces DigitalOcean
—Boîte de dépôt
- Stockage Google Cloud
- Google Drive
-GooglePhotos
-HTTP
-IBMCOS S3
— Nuage Mail.ru
—Méga
- Stockage Blob Microsoft Azure
-Microsoft OneDrive
-Minio
— Nextcloud
-Openstack Swift
— Stockage Oracle Cloud
— propreCloud
— Fichiers cloud Rackspace
-rsync.net
-SFTP
-WebDAV
— Disque Yandex
сновной нкционал:
— Vérification de l'intégrité des fichiers à l'aide des hachages MD5/SHA1.
— Enregistrement des horodatages pour la création/modification de fichiers.
- Prend en charge la synchronisation partielle.
— Copier uniquement les nouveaux fichiers.
— Synchronisation (unidirectionnelle).
— Vérification des fichiers (par hachages).
— Possibilité de synchroniser d'un compte cloud à un autre.
- Prise en charge du cryptage.
- Prise en charge de la mise en cache des fichiers locaux.
— Possibilité de monter des services cloud via FUSE.
J'ajouterai personnellement que Rclone m'aide également à résoudre la part du lion des problèmes liés à l'automatisation de la sauvegarde des données dans .
La tâche suivante consiste à sélectionner un modèle de placement « gestionnaire de migration ».
Toutes les sources de données, qui sont différents services de cloud public, sont accessibles via Internet. Y compris via l'API. Deux receveurs sur trois font de même. On ne sait pas exactement où Nextcloud lui-même est déployé et quel accès lui est disponible ?
J'ai compté cinq options possibles :
- Sur votre propre serveur dans votre réseau domestique/d'entreprise.
- Sur votre propre serveur dans un rack loué du centre de données du fournisseur de services.
- Sur un serveur loué auprès d'un prestataire.
- Sur un serveur virtuel (VDS/VPS) avec un fournisseur de services/hébergement
- Du fournisseur de services
Considérant que Nextcloud est toujours un logiciel de création et d'utilisation de stockage cloud, nous pouvons affirmer avec certitude que l'accès à celui-ci via Internet est disponible dans les cinq options. Et dans ce cas, le modèle optimal pour placer un « gestionnaire de migration » sera - modèle B.
Selon le modèle choisi comme plateforme pour le « gestionnaire de migration », je choisirai l'une des options optimales, de mon point de vue, - un serveur virtuel dans Le plus grand point d'échange de trafic Internet de Russie, MSK-IX.
La troisième décision à prendre est de décider de la configuration du serveur virtuel.
Lors du choix des paramètres de configuration VDS, vous devez être guidé par les performances requises, qui dépendent de la largeur des canaux entre les sites, du nombre et de la taille des fichiers déplacés, du nombre de flux de migration et des paramètres. Quant au système d'exploitation, Rclone est un logiciel multiplateforme qui fonctionne sur différents systèmes d'exploitation, notamment Windows et Linux.
Si vous envisagez de lancer plusieurs processus de migration, et même à une certaine fréquence, alors il convient d'envisager la possibilité de louer un VDS avec paiement des ressources.
création
Sur la base de ce qui précède, lors de la création du prototype de cet article, j'ai choisi VDS dans la configuration suivante.
coûtant 560 roubles/mois. dont 15 % de réduction en utilisant le coupon PAS DE STRESS.
Ce choix est dû au fait qu'un nœud sous OS Windows, afin de respecter les conditions de nos spécifications techniques, est plus simple à configurer que pour les autres OS disponibles à la commande.
Hors sujet : D'ailleurs, pour plus de sécurité, ce serveur virtuel est attribué à l'un des nœuds . et l'accès via RDP n'est autorisé qu'à partir de là...
Après avoir créé un VDS et accédé au bureau via RDP, la première chose à faire est de préparer l'environnement pour Rclone et Web-GUI. Ceux. installez un nouveau navigateur par défaut, par exemple Chrome, car l'IE 11 initialement installé ne fonctionne malheureusement pas toujours correctement avec le logiciel utilisé.
Après avoir préparé l'environnement, téléchargez l'archive avec le progiciel et déballez-le.
Ensuite, en mode ligne de commande Windows, exécutez la commande pour accéder au dossier contenant les fichiers extraits. Pour moi, il se trouve dans le dossier personnel de l'administrateur :
C:UsersAdministrator>cd rclone
Après la transition, nous exécutons la commande pour lancer Rclone depuis l'interface Web :
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
où « login » et « password » sont le login et le mot de passe que vous avez spécifiés, bien sûr, sans guillemets.
Lors de l'exécution de la commande, le terminal affiche
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
et l'interface Web graphique Rclone s'ouvre automatiquement dans le navigateur.
Malgré le fait que l'interface graphique Web soit encore au stade de la version de test et ne dispose pas encore de toutes les capacités de gestion Rclone dont dispose l'interface de ligne de commande, ses capacités sont tout à fait suffisantes pour la migration des données. Et même un peu plus.
réglage
L'étape suivante consiste à établir des connexions vers les sites où se trouvent ou seront situées les données. Et le premier en ligne sera le principal récepteur de données - Nextcloud.
1. Pour cela, rendez-vous dans la rubrique Configurations Interface graphique Web.
2. Initier la création d'une nouvelle configuration - bouton Nouvelle configuration.
3. Définir le nom du site - champ Nom de ce lecteur (pour votre référence): Nextcloud.
4. Sélection du type ou du type de stockage Sélectionnez: Pour Nextcloud et Owncloud, la principale interface d'échange de données est WebDAV.
5. Ensuite, cliquez sur Étape 2 : configuration lecteur, ouvrez la liste des paramètres de connexion et remplissez-la.
- 5.1. URL de l'hôte http pour se connecter à l'URL — lien hypertexte de l'interface WebDAV. Dans Nextcloud, ils se trouvent dans les paramètres - coin inférieur gauche de l'interface.
- 5.2. Nom du site/service/logiciel Webdav que vous utilisez — Nom de l'interface WebDAV. Le champ est facultatif, pour vous-même, afin de ne pas vous tromper s'il existe de nombreuses connexions de ce type.
- 5.3 nom d'utilisateur — Nom d'utilisateur pour l'autorisation
- 5.4. Mot de Passe — Mot de passe pour l'autorisation
- 5.5. Jeton du porteur au lieu d'un utilisateur/pass (par exemple un macaron) et commande à exécuter pour obtenir un jeton du porteur dans les options avancées, il existe des paramètres supplémentaires et des commandes d'autorisation. Ils ne sont pas utilisés dans mon Nextcloud.
6. Cliquez ensuite Créer une configuration et pour vous assurer que la configuration est créée, rendez-vous dans la rubrique Configuration interface web... Via la même page, la configuration nouvellement créée peut être supprimée ou modifiée.
Afin de vérifier la fonctionnalité de la connexion au site, rendez-vous dans la rubrique Explorer. оле Télécommandes entrez le nom du site configuré et cliquez sur Ouvert. Si vous voyez une liste de fichiers et de répertoires, la connexion au site fonctionne.
Pour être plus convaincant, vous pouvez créer/supprimer un dossier ou télécharger/supprimer un fichier via l'interface web.
La deuxième plate-forme à connecter sera le disque Yandex.
- Les quatre premières étapes sont similaires au processus de connexion Nextcloud.
- Ensuite, nous laissons tout tel quel, c'est-à-dire les champs dans Étape 2 : configurer le lecteur Nous les laissons vides et ne changeons rien aux options avancées.
- ?? Créer une configuration.
- La page d'autorisation Yandex s'ouvre dans le navigateur, après quoi vous recevez un message concernant une connexion réussie et une offre de retour à Rclone.
- Ce que nous faisons, c'est vérifier la section Config.
Migration
Lorsque nous avons deux sites connectés, nous pouvons déjà migrer les données entre eux. Le processus lui-même est similaire à la vérification de la fonctionnalité de connexion à Nextcloud, que nous avons effectuée précédemment.
- Nous passons à Explorer.
- Choisir un modèle 2 côte à côte.
- Dans chacun de Télécommandes indiquez le nom de votre site.
- ?? Ouvert.
- Nous voyons un répertoire de fichiers et de dossiers pour chacun d'eux.
Pour démarrer le processus de migration, il ne reste plus qu'à sélectionner le dossier souhaité contenant les fichiers dans le répertoire source de données et à le faire glisser avec la souris vers le répertoire de destination.
Le mécanisme d'ajout des sites restants et de migration des données entre eux est similaire aux opérations effectuées ci-dessus. Si vous rencontrez des erreurs pendant votre travail, vous pouvez en étudier les détails dans le terminal où s'exécute Rclone avec Web-GUI.
En général, la documentation pour est complet et disponible sur le site Web et sur Internet et ne devrait poser aucune difficulté d'utilisation. Avec cela, je considère le premier article sur la façon de transférer des fichiers d'un cloud à un autre, en contournant votre PC, comme terminé.
PS Si vous n'êtes pas d'accord avec la dernière affirmation, écrivez dans les commentaires : quel « sujet n'est pas abordé » et dans quelle veine cela vaut la peine de continuer.
Source: habr.com