Dood, echtscheiding en verhuizen zijn drie van de meest stressvolle situaties in iemands leven.
"Amerikaans horror verhaal".
- Andryukh, ik ga het huis uit, help me verhuizen, alles past niet bij mij :(
- Oké, hoeveel zijn het er?
— Ton* 7-8...
*Ton (jarg) - Terabyte.
Onlangs merkte ik tijdens het surfen op internet dat ondanks de beschikbaarheid op Habré en soortgelijke bronnen van veel materiaal over methoden en modellen voor het migreren van verschillende soorten gegevens, er nog steeds vragen over dit onderwerp op internet verschijnen. Die om de een of andere reden niet altijd gedetailleerde antwoorden krijgen. Dit feit bracht mij ertoe om op een dag aantekeningen te verzamelen over de implementatie van een soortgelijke oplossing en deze in de vorm van een aparte post te ordenen.
Over het algemeen moet ik met een vervelende frequentie gegevens overbrengen van het ene apparaat, systeem en de andere naar het andere. Waardoor ik, met vallen en opstaan, niet alleen kennis heb kunnen maken met veel interessante producten, maar ook een balans heb kunnen vinden tussen functionaliteit en kosten van de oplossing waar ik het over wil hebben
ontwerp
Zoals uit ontwerp- en onderzoekswerk bleek, hangt de kwaliteit en efficiëntie van het migratieproces niet alleen af van de technische kenmerken van de ‘sites’ waar de gegevens zich bevinden of zullen bevinden, maar ook van hun fysieke locatie.
Migratiemanager is een computerknooppunt waarop de ‘logica’ van het proces – software voor het beheer van migratie – functioneert.
Dat wil zeggen dat er twee modellen zijn voor het plaatsen van een “migratiemanager”
- Model A. Als tenminste één van de sites alleen toegankelijk is vanuit het lokale netwerk, dan is het de moeite waard om een “migratiemanager” op hetzelfde netwerk te plaatsen. Omdat de prestaties en migratietijd nog steeds beperkt zijn door de snelheid en uptime van het kanaal dat de sites verbindt.
- Model B. Als zowel de bron als de ontvanger van de gegevens toegang hebben buiten het lokale netwerk, moet de ‘migratiemanager’ zich daar bevinden waar de snelheid en uptime van het kanaal tussen hen uiteraard beter zijn.
Om het bovenstaande op de een of andere manier te ontleden, stel ik voor om vanuit de hoofdvraag van het artikel terug te keren naar de taken en deze te formaliseren in technische specificaties.
Eerst moet ik uitzoeken of de software die ik gebruik clouds ondersteunt: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
Het korte antwoord is: “JA!”
Ik gebruik .
Rclone - rsync voor cloudopslag. Open Source-software ontworpen om bestanden en mappen te synchroniseren met meer dan 45 soorten en soorten opslag.
Hier zijn er slechts een paar:
— Alibaba Cloud (Aliyun) Objectopslagsysteem (OSS)
- Amazon S3
— Cef
—DigitalOcean-ruimten
—Dropbox
- Google Cloudopslag
- Google Drive
- Google Foto's
-HTTP
-IBM COS S3
— Mail.ru-cloud
—Mega
- Microsoft Azure Blob-opslag
-Microsoft OneDrive
– Minio
— Volgendewolk
- Openstack Swift
— Oracle Cloud-opslag
— eigenCloud
— Rackspace Cloud-bestanden
- rsync.net
- SFTP
-WebDAV
- Yandex-schijf
Belangrijkste functionaliteit:
— Controle van de integriteit van bestanden met behulp van MD5/SHA1-hashes.
— Tijdstempels opslaan voor het maken/wijzigen van bestanden.
- Ondersteunt gedeeltelijke synchronisatie.
— Alleen nieuwe bestanden kopiëren.
— Synchronisatie (enkele reis).
— Bestanden controleren (via hashes).
— Mogelijkheid om van het ene cloudaccount naar het andere te synchroniseren.
- Encryptie-ondersteuning.
- Ondersteuning voor lokale bestandscaching.
— Mogelijkheid om cloudservices te koppelen via FUSE.
Ik zal er zelf aan toevoegen dat Rclone me ook helpt bij het oplossen van het leeuwendeel van de problemen met betrekking tot het automatiseren van gegevensback-ups in .
De volgende taak is het selecteren van een plaatsingsmodel voor een “migratiemanager”.
Alle databronnen, dit zijn verschillende publieke clouddiensten, zijn toegankelijk via internet. Onder meer via de API. Twee op de drie ontvangers doen hetzelfde. Het is niet duidelijk waar Nextcloud zelf wordt ingezet en welke toegang daartoe beschikbaar is?
Ik telde vijf mogelijke opties:
- Op uw eigen server in uw thuis-/bedrijfsnetwerk.
- Op uw eigen server in een gehuurd rack van het datacenter van de dienstverlener.
- Op een server gehuurd van een serviceprovider.
- Op een virtuele server (VDS/VPS) bij een service-/hostingprovider
- Van de dienstverlener
Aangezien Nextcloud nog steeds software is voor het maken en gebruiken van cloudopslag, kunnen we gerust stellen dat toegang daartoe via internet in alle vijf de opties beschikbaar is. En in dit geval zal het optimale model voor het plaatsen van een “migratiemanager” zijn: model B.
Volgens het model dat is gekozen als platform voor de “migratiemanager”, zal ik een van de, vanuit mijn oogpunt, optimale opties kiezen: een virtuele server in Ruslands grootste uitwisselingspunt voor internetverkeer MSK-IX.
De derde beslissing die moet worden genomen, is de beslissing over de configuratie van de virtuele server.
Bij het kiezen van VDS-configuratieparameters moet u zich laten leiden door de vereiste prestaties, die afhangen van de breedte van de kanalen tussen sites, het aantal en de grootte van de bestanden die worden verplaatst, het aantal migratiestromen en instellingen. Wat het besturingssysteem betreft, Rclone is platformonafhankelijke software die op verschillende besturingssystemen draait, waaronder Windows en Linux.
Als u van plan bent meerdere migratieprocessen te starten, en zelfs met een bepaalde frequentie, dan is het de moeite waard om de mogelijkheid te overwegen om een VDS te huren met betaling voor middelen.
schepping
Op basis van het bovenstaande heb ik bij het maken van het prototype voor dit artikel gekozen voor VDS in de volgende configuratie.
kost 560 roebel / maand. inclusief 15% korting met coupon GEEN STRESS.
Deze keuze is te wijten aan het feit dat een knooppunt onder Windows OS, om te voldoen aan de voorwaarden van onze technische specificaties, gemakkelijker te configureren is dan voor andere besturingssystemen die beschikbaar zijn voor bestelling.
Offtopic: Voor meer veiligheid is deze virtuele server trouwens toegewezen aan een van de knooppunten . en toegang daartoe via RDP is alleen vanaf daar toegestaan...
Nadat u een VDS heeft aangemaakt en via RDP toegang heeft gekregen tot de desktop, moet u eerst de omgeving voorbereiden op Rclone en Web-GUI. Die. installeer een nieuwe standaardbrowser, bijvoorbeeld Chrome, aangezien de aanvankelijk geïnstalleerde IE 11 helaas niet altijd correct werkt met de gebruikte software.
Nadat u de omgeving heeft voorbereid, downloadt u het archief met het softwarepakket en pak het uit.
Voer vervolgens in de Windows-opdrachtregelmodus de opdracht uit om naar de map met de uitgepakte bestanden te gaan. Bij mij bevindt het zich in de thuismap van de beheerder:
C:UsersAdministrator>cd rclone
Na de overgang voeren we de opdracht uit om Rclone vanuit de web-GUI te starten:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
waarbij “login” en “wachtwoord” de login en het wachtwoord zijn die u heeft opgegeven, uiteraard zonder aanhalingstekens.
Na uitvoering van de opdracht wordt de terminal weergegeven
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
en de grafische webinterface van Rclone wordt automatisch geopend in de browser.
Ondanks het feit dat de Web-GUI zich nog in de testversiefase bevindt en nog niet over alle Rclone-beheermogelijkheden beschikt die de opdrachtregelinterface heeft, zijn de mogelijkheden ruimschoots voldoende voor gegevensmigratie. En zelfs nog een beetje meer.
afstelling
De volgende stap is het opzetten van verbindingen met de sites waar de gegevens zich bevinden of zullen bevinden. En de eerste in de rij zal de belangrijkste gegevensontvanger zijn: Nextcloud.
1. Ga hiervoor naar de sectie configuraties Web-GUI.
2. Het starten van het aanmaken van een nieuwe configuratie - knop Nieuwe configuratie.
3. Stel de sitenaam in - veld Naam van deze schijf (ter referentie): Volgendewolk.
4. Het type of type opslag selecteren kies: Voor Nextcloud en Owncloud is WebDAV de belangrijkste interface voor gegevensuitwisseling.
5. Klik vervolgens op Stap 2: Installatie station, open de lijst met verbindingsparameters en vul in.
- 5.1. URL van http-host om verbinding te maken met URL — hypertextlink van de WebDAV-interface. In Nextcloud bevinden ze zich in de instellingen - linkerbenedenhoek van de interface.
- 5.2. Naam van de Webdav-site/service/software die u gebruikt — WebDAV-interfacenaam. Het veld is optioneel voor uzelf, zodat u niet in de war raakt als er veel van dergelijke verbindingen zijn.
- 5.3 gebruikersnaam — Gebruikersnaam voor autorisatie
- 5.4. Wachtwoord — Wachtwoord voor autorisatie
- 5.5. Dragertoken in plaats van gebruiker/pas (bijvoorbeeld een Macaroon) en Commando om uit te voeren om een dragertoken te krijgen in geavanceerde opties zijn er extra parameters en autorisatieopdrachten. Ze worden niet gebruikt in mijn Nextcloud.
6. Volgende klik Configuratie maken en om er zeker van te zijn dat de configuratie is gemaakt, gaat u naar de sectie Configuratie webinterface... Via dezelfde pagina kan de nieuw aangemaakte configuratie worden verwijderd of bewerkt.
Ga naar de sectie om de functionaliteit van de verbinding met de site te controleren Ontdekker. оле Remotes voer de naam van de geconfigureerde site in en klik op Openen. Als u een lijst met bestanden en mappen ziet, werkt de verbinding met de site.
Om overtuigender te zijn, kunt u een map maken/verwijderen of een bestand downloaden/verwijderen via de webinterface.
Het tweede platform dat moet worden aangesloten, is de Yandex-schijf.
- De eerste vier stappen zijn vergelijkbaar met het Nextcloud-verbindingsproces.
- Vervolgens laten we alles zoals het is, dat wil zeggen de velden erin Stap 2: Schijf instellen We laten ze leeg en veranderen niets in de geavanceerde opties.
- Жё Configuratie maken.
- De Yandex-autorisatiepagina wordt geopend in de browser, waarna u een bericht ontvangt over een succesvolle verbinding en een aanbod om terug te keren naar Rclone.
- Wat we doen is de sectie controleren Config.
migratie
Als we twee sites met elkaar hebben verbonden, kunnen we al gegevens tussen deze sites migreren. Het proces zelf is vergelijkbaar met het controleren van de functionaliteit van de verbinding met Nextcloud, dat we eerder hebben uitgevoerd.
- Ga naar Ontdekker.
- Een sjabloon kiezen 2-naast elkaar.
- in elk van Remotes geef de naam van uw site op.
- Жё Openen.
- We zien voor elk ervan een map met bestanden en mappen.
Om het migratieproces te starten hoeft u alleen nog maar de gewenste map met bestanden in de gegevensbronmap te selecteren en deze met de muis naar de doelmap te slepen.
Het mechanisme voor het toevoegen van de resterende sites en het migreren van gegevens daartussen is vergelijkbaar met de hierboven uitgevoerde bewerkingen. Als u tijdens uw werk fouten tegenkomt, kunt u de details ervan bestuderen in de terminal waarop Rclone met Web-GUI draait.
Over het algemeen is de documentatie voor is uitgebreid en beschikbaar op de website en op internet, en zou bij het gebruik geen problemen moeten veroorzaken. Hiermee beschouw ik het eerste bericht over het overbrengen van bestanden van de ene cloud naar de andere, zonder je pc te omzeilen, als voltooid.
PS Als u het niet eens bent met de laatste verklaring, schrijf dan in de reacties: welk “onderwerp niet wordt behandeld” en in welke geest het de moeite waard is om door te gaan.
Bron: www.habr.com