Ο θάνατος, το διαζύγιο και η μετακόμιση είναι τρεις από τις πιο αγχωτικές καταστάσεις στη ζωή οποιουδήποτε ανθρώπου.
"Αμερικανική ιστορία τρόμου".
- Andryukh, φεύγω από το σπίτι, βοήθησέ με να κινηθώ, όλα δεν θα ταιριάζουν μαζί μου :(
- Εντάξει, πόσοι είναι;
— Τόνοι* 7-8...
*Ton (jarg) - Terabyte.
Πρόσφατα, ενώ σερφάρω στο Διαδίκτυο, παρατήρησα ότι παρά τη διαθεσιμότητα στο Habré και παρόμοιων πόρων πολλών υλικών σχετικά με μεθόδους και μοντέλα για τη μετεγκατάσταση διαφόρων τύπων δεδομένων, ερωτήσεις σχετικά με αυτό το θέμα εξακολουθούν να εμφανίζονται στο Διαδίκτυο. Τα οποία, για κάποιο λόγο, δεν λαμβάνουν πάντα αναλυτικές απαντήσεις. Αυτό το γεγονός με ώθησε μια μέρα να συγκεντρώσω σημειώσεις για την εφαρμογή μιας παρόμοιας λύσης και να τις κανονίσω με τη μορφή ξεχωριστής ανάρτησης.
Γενικά, πρέπει να μεταφέρω δεδομένα από μια συσκευή, σύστημα και υπηρεσία σε μια άλλη με κάποια ενοχλητική συχνότητα. Το οποίο, μέσω δοκιμής και λάθους, μου επέτρεψε όχι μόνο να εξοικειωθώ με πολλά ενδιαφέροντα προϊόντα, αλλά και να βρω μια ισορροπία μεταξύ λειτουργικότητας και κόστους της λύσης για την οποία θέλω να μιλήσω
Σχεδιασμός
Όπως αποδείχθηκε ως αποτέλεσμα των εργασιών σχεδιασμού και έρευνας, η ποιότητα και η αποτελεσματικότητα της διαδικασίας μετεγκατάστασης εξαρτάται όχι μόνο από τα τεχνικά χαρακτηριστικά των «τόπων» όπου βρίσκονται ή θα βρίσκονται τα δεδομένα, αλλά και από τη φυσική τους θέση.
Ο διαχειριστής μετεγκατάστασης είναι ένας υπολογιστικός κόμβος στον οποίο λειτουργεί η «λογική» της διαδικασίας —λογισμικό για τη διαχείριση της μετεγκατάστασης—.
Δηλαδή, υπάρχουν δύο μοντέλα για την τοποθέτηση ενός "διαχειριστή μετανάστευσης"
- Μοντέλο Α. Εάν τουλάχιστον ένας από τους ιστότοπους είναι προσβάσιμος μόνο μέσα από το τοπικό δίκτυο, τότε αξίζει να τοποθετήσετε έναν «διαχειριστή μετεγκατάστασης» στο ίδιο δίκτυο. Επειδή η απόδοση και ο χρόνος μετεγκατάστασης εξακολουθούν να περιορίζονται από την ταχύτητα και το χρόνο λειτουργίας του καναλιού που συνδέει τους ιστότοπους.
- Μοντέλο Β. Εάν τόσο η πηγή όσο και ο δέκτης των δεδομένων έχουν πρόσβαση εκτός του τοπικού δικτύου, τότε ο "διαχειριστής μετεγκατάστασης" θα πρέπει να βρίσκεται εκεί όπου η ταχύτητα και ο χρόνος λειτουργίας του καναλιού μεταξύ τους θα είναι προφανώς καλύτεροι.
Προκειμένου να αποσυντεθεί με κάποιο τρόπο τα παραπάνω, προτείνω να επιστρέψουμε στις εργασίες από την κύρια ερώτηση του άρθρου και να τις επισημοποιήσουμε σε τεχνικές προδιαγραφές.
Πρώτα, πρέπει να μάθω αν το λογισμικό που χρησιμοποιώ υποστηρίζει cloud: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
Η σύντομη απάντηση είναι: «ΝΑΙ!»
χρησιμοποιώ .
Rclone - rsync για αποθήκευση cloud. Λογισμικό ανοιχτού κώδικα που έχει σχεδιαστεί για να συγχρονίζει αρχεία και φακέλους με περισσότερους από 45 τύπους και τύπους αποθήκευσης.
Εδώ είναι μερικά μόνο από αυτά:
— Σύστημα αποθήκευσης αντικειμένων (OSS) Alibaba Cloud (Aliyun)
- Amazon S3
— Κεφ
—DigitalOcean Spaces
—Dropbox
- Google Cloud Storage
- Google Drive
- Φωτογραφίες Google
- HTTP
-IBM COS S3
— Mail.ru Cloud
— Μέγα
- Αποθήκευση Microsoft Azure Blob
- Microsoft OneDrive
— Μίνιο
— Επόμενο σύννεφο
- Openstack Swift
— Oracle Cloud Storage
— δικό του Cloud
— Αρχεία Rackspace Cloud
- rsync.net
- SFTP
- WebDAV
— Δίσκος Yandex
Κύρια λειτουργικότητα:
— Έλεγχος της ακεραιότητας των αρχείων με χρήση κατακερματισμών MD5/SHA1.
— Αποθήκευση χρονικών σημάνσεων για τη δημιουργία/αλλαγή αρχείων.
- Υποστηρίζει μερικό συγχρονισμό.
— Αντιγραφή μόνο νέων αρχείων.
— Συγχρονισμός (μονόδρομος).
— Έλεγχος αρχείων (κατά κατακερματισμό).
— Δυνατότητα συγχρονισμού από έναν λογαριασμό cloud σε έναν άλλο.
- Υποστήριξη κρυπτογράφησης.
- Υποστήριξη για τοπική προσωρινή αποθήκευση αρχείων.
— Δυνατότητα προσάρτησης υπηρεσιών cloud μέσω FUSE.
Θα προσθέσω μόνος μου ότι το Rclone με βοηθά επίσης να λύσω τη μερίδα του λέοντος των προβλημάτων που σχετίζονται με την αυτοματοποίηση της δημιουργίας αντιγράφων ασφαλείας δεδομένων στο .
Η επόμενη εργασία είναι να επιλέξετε ένα μοντέλο τοποθέτησης "διαχειριστής μετεγκατάστασης".
Όλες οι πηγές δεδομένων, οι οποίες είναι διάφορες δημόσιες υπηρεσίες cloud, είναι προσβάσιμες μέσω του Διαδικτύου. Συμπεριλαμβανομένου του API. Δύο στους τρεις δέκτες κάνουν το ίδιο. Δεν είναι σαφές πού αναπτύσσεται το ίδιο το Nextcloud και ποια πρόσβαση είναι διαθέσιμη σε αυτό;
Μέτρησα πέντε πιθανές επιλογές:
- Στον δικό σας διακομιστή στο οικιακό/ εταιρικό σας δίκτυο.
- Στον δικό σας διακομιστή σε ένα νοικιασμένο rack του κέντρου δεδομένων του παρόχου υπηρεσιών.
- Σε διακομιστή που νοικιάζεται από πάροχο υπηρεσιών.
- Σε εικονικό διακομιστή (VDS/VPS) με πάροχο υπηρεσιών/φιλοξενίας
- Από τον πάροχο υπηρεσιών
Λαμβάνοντας υπόψη ότι το Nextcloud εξακολουθεί να είναι λογισμικό για τη δημιουργία και τη χρήση αποθήκευσης cloud, μπορούμε με ασφάλεια να πούμε ότι η πρόσβαση σε αυτό μέσω Διαδικτύου είναι διαθέσιμη και στις πέντε επιλογές. Και σε αυτή την περίπτωση, το βέλτιστο μοντέλο για την τοποθέτηση ενός "διαχειριστή μετανάστευσης" θα είναι - μοντέλο Β.
Σύμφωνα με το μοντέλο που επιλέχθηκε ως πλατφόρμα για τον "διαχειριστή μετανάστευσης", θα επιλέξω μία από τις βέλτιστες, από την άποψή μου, επιλογές - έναν εικονικό διακομιστή σε Το μεγαλύτερο σημείο ανταλλαγής κίνησης στο Διαδίκτυο της Ρωσίας MSK-IX.
Η τρίτη απόφαση που πρέπει να ληφθεί είναι να αποφασίσετε για τη διαμόρφωση του εικονικού διακομιστή.
Όταν επιλέγετε παραμέτρους διαμόρφωσης VDS, πρέπει να καθοδηγηθείτε από την απαιτούμενη απόδοση, η οποία εξαρτάται από το πλάτος των καναλιών μεταξύ των τοποθεσιών, τον αριθμό και το μέγεθος των αρχείων που μετακινούνται, τον αριθμό των ροών μετεγκατάστασης και τις ρυθμίσεις. Όσον αφορά το λειτουργικό σύστημα, το Rclone είναι λογισμικό πολλαπλών πλατφορμών που τρέχει σε διάφορα λειτουργικά συστήματα, συμπεριλαμβανομένων των Windows και του Linux.
Εάν σκοπεύετε να ξεκινήσετε πολλές διαδικασίες μετεγκατάστασης, και μάλιστα σε μια συγκεκριμένη συχνότητα, τότε αξίζει να εξετάσετε την επιλογή ενοικίασης ενός VDS με πληρωμή για πόρους.
δημιουργία
Με βάση τα παραπάνω, κατά τη δημιουργία του πρωτότυπου αυτού του άρθρου, επέλεξα το VDS στην παρακάτω διαμόρφωση.
κοστίζει 560 ρούβλια/μήνα. συμπεριλαμβανομένης της έκπτωσης 15% με χρήση κουπονιού ΧΩΡΙΣ ΑΓΧΟΣ.
Αυτή η επιλογή οφείλεται στο γεγονός ότι ένας κόμβος στο λειτουργικό σύστημα Windows, προκειμένου να συμμορφώνεται με τις προϋποθέσεις των τεχνικών προδιαγραφών μας, είναι ευκολότερο να διαμορφωθεί από ό,τι για άλλα λειτουργικά συστήματα που είναι διαθέσιμα για παραγγελία.
Offtopic: Παρεμπιπτόντως, για μεγαλύτερη ασφάλεια, αυτός ο εικονικός διακομιστής έχει εκχωρηθεί σε έναν από τους κόμβους . και η πρόσβαση σε αυτό μέσω RDP επιτρέπεται μόνο από εκεί...
Αφού δημιουργήσετε ένα VDS και αποκτήσετε πρόσβαση στην επιφάνεια εργασίας μέσω RDP, το πρώτο πράγμα που πρέπει να κάνετε είναι να προετοιμάσετε το περιβάλλον για το Rclone και το Web-GUI. Εκείνοι. εγκαταστήστε ένα νέο προεπιλεγμένο πρόγραμμα περιήγησης, για παράδειγμα το Chrome, καθώς ο αρχικά εγκατεστημένος IE 11, δυστυχώς, δεν λειτουργεί πάντα σωστά με το λογισμικό που χρησιμοποιείται.
Αφού προετοιμάσετε το περιβάλλον, κατεβάστε το αρχείο με το πακέτο λογισμικού και αποσυσκευάστε το.
Στη συνέχεια, στη λειτουργία γραμμής εντολών των Windows, εκτελέστε την εντολή για να μεταβείτε στον φάκελο με τα εξαγόμενα αρχεία. Για μένα βρίσκεται στον αρχικό φάκελο του διαχειριστή:
C:UsersAdministrator>cd rclone
Μετά τη μετάβαση, εκτελούμε την εντολή εκκίνησης του Rclone από το Web-GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
όπου "login" και "password" είναι τα στοιχεία σύνδεσης και ο κωδικός πρόσβασης που καθορίσατε, φυσικά, χωρίς εισαγωγικά.
Με την εκτέλεση της εντολής, εμφανίζεται το τερματικό
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
και η γραφική διεπαφή ιστού Rclone ανοίγει αυτόματα στο πρόγραμμα περιήγησης.
Παρά το γεγονός ότι το Web-GUI βρίσκεται ακόμα στο στάδιο της δοκιμαστικής έκδοσης και δεν διαθέτει ακόμη όλες τις δυνατότητες διαχείρισης Rclone που διαθέτει η διεπαφή γραμμής εντολών, οι δυνατότητές του είναι αρκετά επαρκείς για τη μετεγκατάσταση δεδομένων. Και μάλιστα λίγο παραπάνω.
προσαρμογή
Το επόμενο βήμα είναι να ρυθμίσετε τις συνδέσεις με τις τοποθεσίες όπου βρίσκονται ή θα βρίσκονται τα δεδομένα. Και ο πρώτος στη σειρά θα είναι ο κύριος δέκτης δεδομένων - Nextcloud.
1. Για να το κάνετε αυτό, μεταβείτε στην ενότητα Διαμορφώσεις Web-GUI.
2. Έναρξη δημιουργίας νέας διαμόρφωσης - κουμπιού Νέα διαμόρφωση.
3. Ορίστε το όνομα της τοποθεσίας - πεδίο Όνομα αυτής της μονάδας δίσκου (Για την αναφορά σας): Nextcloud.
4. Επιλογή του τύπου ή του τύπου αποθήκευσης Αγορά: Για το Nextcloud και το Owncloud, η κύρια διεπαφή ανταλλαγής δεδομένων είναι το WebDAV.
5. Στη συνέχεια, κάντε κλικ στο Βήμα 2: Ρύθμιση μονάδα δίσκου, ανοίξτε τη λίστα παραμέτρων σύνδεσης και συμπληρώστε.
- 5.1. URL του κεντρικού υπολογιστή http για σύνδεση με τη διεύθυνση URL — σύνδεσμος υπερκειμένου της διεπαφής WebDAV. Στο Nextcloud βρίσκονται στις ρυθμίσεις - κάτω αριστερή γωνία της διεπαφής.
- 5.2. Όνομα της τοποθεσίας/υπηρεσίας/λογισμικού Webdav που χρησιμοποιείτε — Όνομα διεπαφής WebDAV. Το πεδίο είναι προαιρετικό, για τον εαυτό σας, για να μην μπερδευτείτε αν υπάρχουν πολλές τέτοιες συνδέσεις.
- 5.3 όνομα χρήστη — Όνομα χρήστη για εξουσιοδότηση
- 5.4. Κωδικός Πρόσβασης — Κωδικός πρόσβασης για εξουσιοδότηση
- 5.5. Bearer token αντί για χρήστη/pass (π.χ. ένα Macaroon) και εντολή να τρέξει για να πάρει ένα bearer token στις σύνθετες επιλογές υπάρχουν πρόσθετες παράμετροι και εντολές εξουσιοδότησης. Δεν χρησιμοποιούνται στο Nextcloud μου.
6. Επόμενο κλικ Δημιουργία διαμόρφωσης και για να βεβαιωθείτε ότι έχει δημιουργηθεί η διαμόρφωση, μεταβείτε στην ενότητα Διαμόρφωση διεπαφή ιστού... Μέσω της ίδιας σελίδας, μπορείτε να διαγράψετε ή να επεξεργαστείτε τη διαμόρφωση που δημιουργήθηκε πρόσφατα.
Για να ελέγξετε τη λειτουργικότητα της σύνδεσης με τον ιστότοπο, μεταβείτε στην ενότητα εξερευνητήςΤο В поле Απομακρύνει πληκτρολογήστε το όνομα του διαμορφωμένου ιστότοπου και κάντε κλικ Ανοικτό. Εάν δείτε μια λίστα αρχείων και καταλόγων, η σύνδεση με τον ιστότοπο λειτουργεί.
Για να είστε πιο πειστικοί, μπορείτε να δημιουργήσετε/διαγράψετε έναν φάκελο ή να κάνετε λήψη/διαγραφή ενός αρχείου μέσω της διεπαφής ιστού.
Η δεύτερη πλατφόρμα που θα συνδεθεί θα είναι ο δίσκος Yandex.
- Τα πρώτα τέσσερα βήματα είναι παρόμοια με τη διαδικασία σύνδεσης Nextcloud.
- Στη συνέχεια, αφήνουμε τα πάντα ως έχουν, δηλαδή τα πεδία μέσα Βήμα 2: Ρύθμιση μονάδας δίσκου Τα αφήνουμε άδεια και δεν αλλάζουμε τίποτα στις σύνθετες επιλογές.
- Κάντε κλικ Δημιουργία Config.
- Ανοίγει η σελίδα εξουσιοδότησης Yandex στο πρόγραμμα περιήγησης, μετά την οποία λαμβάνετε ένα μήνυμα σχετικά με την επιτυχή σύνδεση και μια προσφορά επιστροφής στο Rclone.
- Αυτό που κάνουμε είναι να ελέγξουμε την ενότητα Config.
Η μετανάστευση
Όταν έχουμε δύο ιστότοπους συνδεδεμένους, μπορούμε ήδη να μεταφέρουμε δεδομένα μεταξύ τους. Η ίδια η διαδικασία είναι παρόμοια με τον έλεγχο της λειτουργικότητας της σύνδεσης στο Nextcloud, τον οποίο πραγματοποιήσαμε νωρίτερα.
- Παω σε εξερευνητής.
- Επιλογή προτύπου 2-πλάι-πλάι.
- Σε κάθε ένα από Απομακρύνει αναφέρετε το όνομα του ιστότοπού σας.
- Κάντε κλικ Ανοικτό.
- Βλέπουμε έναν κατάλογο αρχείων και φακέλων για καθένα από αυτά.
Για να ξεκινήσετε τη διαδικασία μετεγκατάστασης, το μόνο που απομένει είναι να επιλέξετε τον επιθυμητό φάκελο με αρχεία στον κατάλογο προέλευσης δεδομένων και να τον σύρετε με το ποντίκι στον κατάλογο προορισμού.
Ο μηχανισμός για την προσθήκη των υπόλοιπων τοποθεσιών και τη μετεγκατάσταση δεδομένων μεταξύ τους είναι παρόμοιος με τους παραπάνω χειρισμούς. Εάν αντιμετωπίσετε σφάλματα κατά τη διάρκεια της εργασίας σας, μπορείτε να μελετήσετε λεπτομέρειες σχετικά με αυτά στο τερματικό όπου εκτελείται το Rclone με Web-GUI.
Γενικά, η τεκμηρίωση για είναι εκτεταμένη και διαθέσιμη στον ιστότοπο και στο Διαδίκτυο και δεν θα πρέπει να προκαλεί δυσκολίες στη χρήση. Με αυτό, θεωρώ ολοκληρωμένη την πρώτη ανάρτηση για το πώς να μεταφέρετε αρχεία από το ένα cloud στο άλλο, παρακάμπτοντας τον υπολογιστή σας.
PS Εάν δεν συμφωνείτε με την τελευταία δήλωση, γράψτε στα σχόλια: ποιο "θέμα δεν καλύπτεται" και σε ποιο πνεύμα αξίζει να συνεχίσετε.
Πηγή: www.habr.com