Как да прехвърляте файлове от един облак в друг, заобикаляйки вашия компютър

Смъртта, разводът и преместването са три от най-стресиращите ситуации в живота на всеки човек.
"Американска хорър история".

- Андрюх, напускам дома, помогни ми да се преместя, всичко няма да ми пасне :(
- Добре, колко са?
— Тона* 7-8...
*Тон (jarg) - Терабайт.

Наскоро, докато сърфирах в интернет, забелязах, че въпреки наличието на Habré и ​​подобни ресурси на много материали за методи и модели за мигриране на различни видове данни, въпроси по тази тема все още се появяват в интернет. Които по някаква причина не винаги получават подробни отговори. Този факт ме подтикна един ден да събера бележки за внедряването на подобно решение и да ги подредя под формата на отделна публикация.

Като цяло трябва да прехвърлям данни от едно устройство, система и услуга към друго с известна досадна честота. Което чрез проба и грешка ми позволи не само да се запозная с много интересни продукти, но и да намеря баланс между функционалност и цена на решението, за което искам да говоря

Дизайн

Както се оказа в резултат на работата по проектиране и проучване, качеството и ефективността на процеса на миграция зависи не само от техническите характеристики на „сайтовете“, където се намират или ще бъдат разположени данните, но и от тяхното физическо местоположение.

Мениджърът на миграцията е изчислителен възел, върху който функционира „логиката“ на процеса – софтуер за управление на миграцията.

Тоест има два модела за поставяне на „миграционен мениджър“

• Модел А. Ако поне един от сайтовете може да бъде достъпен само от локалната мрежа, тогава си струва да поставите „миграционен мениджър“ в същата мрежа. Тъй като производителността и времето за миграция все още са ограничени от скоростта и времето на работа на канала, свързващ сайтовете.
• Модел B. Ако и източникът, и получателят на данните имат достъп извън локалната мрежа, тогава „мениджърът на миграцията“ трябва да се намира там, където скоростта и времето на работа на канала между тях ще бъдат очевидно по-добри.

За да декомпозирам по някакъв начин горното, предлагам да се върна към задачите от основния въпрос на статията и да ги формализирам в технически спецификации.

Първо, трябва да разбера дали софтуерът, който използвам, поддържа облаци: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Краткият отговор е: “ДА!”

Аз използвам Rclone.

Rclone - rsync за облачно съхранение. Софтуер с отворен код, предназначен да синхронизира файлове и папки с повече от 45 вида и типа съхранение.

Ето само няколко от тях:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Цеф
— Пространства на цифровия океан
— Dropbox
- Google Cloud Storage
- Google Диск
- Google Снимки
- HTTP
-IBM COS S3
— Mail.ru Cloud
— Мега
- Microsoft Azure Blob Storage
- Microsoft OneDrive
— Минио
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
— ownCloud
— Rackspace облачни файлове
- rsync.net
- SFTP
- WebDAV
- Яндекс диск

Основна функционалност:
— Проверка на целостта на файловете с помощта на MD5/SHA1 хешове.
— Запазване на времеви марки за създаване/промяна на файлове.
- Поддържа частична синхронизация.
— Копиране само на нови файлове.
— Синхронизация (еднопосочна).
— Проверка на файлове (по хешове).
— Възможност за синхронизиране от един облачен акаунт към друг.
- Поддръжка на криптиране.
- Поддръжка за локално кеширане на файлове.
— Възможност за монтиране на облачни услуги чрез FUSE.

Ще добавя от себе си, че Rclone също ми помага да реша лъвския дял от проблемите, свързани с автоматизирането на архивирането на данни в проект "Väinämöinen".

Следващата задача е да изберете модел на разположение на „миграционния мениджър“.

Всички източници на данни, които са различни обществени облачни услуги, са достъпни през интернет. Включително чрез API. Двама от трима приемници правят същото. Не е ясно къде е разположен самият Nextcloud и какъв достъп има до него?

Преброих пет възможни варианта:

1. На вашия собствен сървър във вашата домашна/корпоративна мрежа.
2. На вашия собствен сървър в нает шкаф от центъра за данни на доставчика на услуги.
3. На сървър, нает от доставчик на услуги.
4. На виртуален сървър (VDS/VPS) с доставчик на услуга/хостинг 
5. От доставчика на услуги според SaaS модела

Като се има предвид, че Nextcloud все още е софтуер за създаване и използване на облачно хранилище, можем спокойно да кажем, че достъпът до него през интернет е наличен във всичките пет опции. И в този случай оптималният модел за поставяне на „миграционен мениджър“ ще бъде - модел Б.

Според модела, избран като платформа за „мениджъра на миграцията“, ще избера една от оптималните, от моя гледна точка, опции - виртуален сървър в M9 център за данни Най-голямата точка за обмен на интернет трафик в Русия MSK-IX.

Третото решение, което трябва да се вземе, е да се вземе решение за конфигурацията на виртуалния сървър. 

Когато избирате VDS конфигурационни параметри, трябва да се ръководите от необходимата производителност, която зависи от ширината на каналите между сайтовете, броя и размера на преместваните файлове, броя на миграционните потоци и настройките. Що се отнася до операционната система, Rclone е междуплатформен софтуер, който работи на различни операционни системи, включително Windows и Linux.

Ако планирате да стартирате няколко миграционни процеса и дори с определена честота, тогава си струва да обмислите възможността за наемане на VDS с плащане за ресурси.

създаване

Въз основа на горното, когато създавах прототипа за тази статия, избрах VDS в следната конфигурация.

струва 560 рубли на месец. включително 15% отстъпка при използване на купон БЕЗ СТРЕС.

Този избор се дължи на факта, че възел под Windows OS, за да отговаря на условията на нашите технически спецификации, е по-лесен за конфигуриране, отколкото за други операционни системи, налични за поръчка.

Offtopic: Между другото, за по-голяма сигурност този виртуален сървър е присвоен на един от възлите защитена виртуална мрежа. и достъпът до него през RDP е разрешен само от там...

След като създадете VDS и получите достъп до работния плот чрез RDP, първото нещо, което трябва да направите, е да подготвите средата за Rclone и Web-GUI. Тези. инсталирайте нов браузър по подразбиране, например Chrome, тъй като първоначално инсталираният IE 11, за съжаление, не винаги работи правилно с използвания софтуер. 

След като подготвите средата, изтеглете архива със софтуерния пакет Rclone за Windows и го разопаковайте. 

След това в режим на команден ред на Windows изпълнете командата, за да отидете в папката с извлечените файлове. За мен се намира в домашната папка на администратора:

C:UsersAdministrator>cd rclone

След прехода изпълняваме командата за стартиране на Rclone от Web-GUI:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

където „вход“ и „парола“ са данните за вход и парола, които сте посочили, разбира се, без кавички.

При изпълнение на командата терминалът показва

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

и графичният уеб интерфейс Rclone автоматично се отваря в браузъра.

Въпреки факта, че Web-GUI все още е в етап на тестова версия и все още няма всички възможности за управление на Rclone, които има интерфейсът на командния ред, неговите възможности са напълно достатъчни за миграция на данни. И дори малко повече.

регулиране

Следващата стъпка е да настроите връзки към сайтовете, където се намират или ще бъдат разположени данните. И първи на линия ще бъде основният приемник на данни - Nextcloud.

1. За да направите това, отидете в раздела Конфигурира Web-GUI. 

2. Иницииране на създаване на нова конфигурация - бутон Нова конфигурация.

3. Задайте име на сайта - поле Име на това устройство (за справка): Nextcloud.

4. Избор на типа или вида на съхранението Изберете: За Nextcloud и Owncloud основният интерфейс за обмен на данни е WebDAV.

5. След това щракнете върху Стъпка 2: Настройка устройство, отворете списъка с параметри на връзката и попълнете. 

- 5.1. URL на http хост за свързване към URL — хипертекстова връзка на интерфейса WebDAV. В Nextcloud те се намират в настройките – долен ляв ъгъл на интерфейса.
- 5.2. Име на уеб сайта/услугата/софтуера, който използвате — Име на интерфейса WebDAV. Полето е незадължително, за себе си, за да не се объркате, ако има много такива връзки.
- 5.3 потребителско име — Потребителско име за оторизация
- 5.4. Парола — Парола за оторизация
- 5.5. Токен на носител вместо потребител/пас (напр. Macaroon) и команда за изпълнение, за да получите токен на носител в разширените опции има допълнителни параметри и команди за оторизация. Те не се използват в моя Nextcloud.

6. Следващ клик Създаване на конфигурация и за да се уверите, че конфигурацията е създадена, отидете в раздела Конфиг уеб интерфейс... През същата страница може да се изтрие или редактира новосъздадената конфигурация.

За да проверите функционалността на връзката към сайта, отидете в раздела Изследовател... В полето Дистанционните въведете името на конфигурирания сайт и щракнете отворено. Ако видите списък с файлове и директории, връзката със сайта работи.

За да бъдете по-убедителни, можете да създадете/изтриете папка или да изтеглите/изтриете файл през уеб интерфейса.

Втората платформа, която ще бъде свързана, ще бъде Yandex disk.

• Първите четири стъпки са подобни на процеса на свързване с Nextcloud.
• След това оставяме всичко както е, т.е. полетата Стъпка 2: Настройте устройство Оставяме ги празни и не променяме нищо в разширените опции.
• Натискаме Създаване на конфигурация.
• В браузъра се отваря страница за оторизация на Yandex, след което се появява съобщение за успешна връзка и предложение за връщане към Rclone.
• Това, което правим, е да проверим секцията Config.

миграция

Когато имаме два свързани сайта, вече можем да мигрираме данни между тях. Самият процес е подобен на проверката на функционалността на връзката към Nextcloud, която извършихме по-рано.

• Отидете на Изследовател.
• Избор на шаблон 2 рамо до рамо.
• Във всяка от Дистанционните посочете името на вашия сайт.
• Натискаме отворено.
• Виждаме директория с файлове и папки за всеки от тях.

За да стартирате процеса на мигриране, остава само да изберете желаната папка с файлове в директорията източник на данни и да я плъзнете с мишката до целевата директория.

Механизмът за добавяне на останалите сайтове и мигриране на данни между тях е подобен на операциите, извършени по-горе. Ако срещнете грешки по време на работата си, можете да проучите подробности за тях в терминала, където работи Rclone с Web-GUI.

Като цяло документацията за Rclone е обширен и достъпен на уебсайта и в интернет и не би трябвало да създава затруднения при използване. С това считам първата публикация за това как да прехвърляте файлове от един облак в друг, заобикаляйки вашия компютър, за завършена.

PS Ако не сте съгласни с последното твърдение, напишете в коментарите: каква „тема не е покрита“ и в какъв смисъл си струва да продължите.

Източник: www.habr.com