Смрт, развод и селидба су три најстресније ситуације у животу сваке особе.
„Америчка хорор прича“.
- Андрјух, идем од куће, помози ми да се померим, неће ми све стати :(
- Добро, колико их има?
— Тона* 7-8...
*Тона (јарг) - терабајт.
Недавно сам, сурфујући интернетом, приметио да се упркос доступности на Хабре и сличним ресурсима великог броја материјала о методама и моделима за миграцију разних врста података, питања на ову тему и даље појављују на Интернету. Које, из неког разлога, не добијају увек детаљне одговоре. Ова чињеница ме је подстакла да једног дана прикупим белешке о примени сличног решења и уредим их у виду посебног поста.
Генерално, морам да преносим податке са једног уређаја, система и услуге на други са неком досадном фреквенцијом. Што ми је, путем покушаја и грешака, омогућило не само да се упознам са много занимљивих производа, већ и да пронађем баланс између функционалности и цене решења о коме желим да причам
Дизајн
Како се показало као резултат пројектовања и истраживања, квалитет и ефикасност процеса миграције зависе не само од техничких карактеристика „локација“ на којима се налазе или ће се налазити подаци, већ и од њихове физичке локације.
Менаџер миграције је рачунарски чвор на коме функционише „логика“ процеса – софтвер за управљање миграцијом.
Односно, постоје два модела за постављање „менаџера миграција“
- Модел А. Ако се бар једној од локација може приступити само из локалне мреже, онда је вредно поставити „менаџера миграције“ на исту мрежу. Зато што су перформансе и време миграције и даље ограничени брзином и временом рада канала који повезује локације.
- Модел Б. Ако и извор и прималац података имају приступ ван локалне мреже, онда би „менаџер миграције“ требало да се налази тамо где ће брзина и време рада канала између њих бити очигледно бољи.
Да бих некако разложио горе наведено, предлажем да се вратимо на задатке из главног питања чланка и формализујемо их у техничке спецификације.
Прво, морам да сазнам да ли софтвер који користим подржава облаке: Маил.ру, Иандек, Гоогле Дриве, Мега, Нектлоуд?
Кратак одговор је: "ДА!"
ја користим .
Рцлоне - рсинц за складиштење у облаку. Софтвер отвореног кода дизајниран за синхронизацију датотека и фасцикли са више од 45 типова и типова складишта.
Ево само неких од њих:
— Алибаба Цлоуд (Алииун) систем за складиштење објеката (ОСС)
- Амазон С3
— Цепх
—ДигиталОцеан Спацес
— Дропбок
– Гоогле Цлоуд Стораге
- Гоогле диск
- Гоогле фотографије
- ХТТП
-ИБМ ЦОС С3
— Маил.ру Цлоуд
—Мега
- Мицрософт Азуре Блоб складиште
- Мицрософт ОнеДриве
— Минио
— Нектцлоуд
- Опенстацк Свифт
— Орацле Цлоуд Стораге
— овнЦлоуд
— Рацкспаце Цлоуд датотеке
- рсинц.нет
- СФТП
- ВебДАВ
— Иандек Диск
Главна функционалност:
— Провера интегритета датотека помоћу МД5/СХА1 хешова.
— Чување временских ознака за креирање/промену датотека.
- Подржава делимичну синхронизацију.
— Копирање само нових датотека.
— Синхронизација (једносмерна).
— Провера датотека (по хешовима).
— Могућност синхронизације са једног налога у облаку на други.
- Подршка за шифровање.
- Подршка за локално кеширање датотека.
— Могућност монтирања услуга у облаку преко ФУСЕ.
Сам ћу додати да ми Рцлоне такође помаже да решим лавовски део проблема у вези са аутоматизацијом резервних копија података у .
Следећи задатак је да изаберете модел пласмана „менаџера миграције“.
Сви извори података, а то су различити јавни сервиси у облаку, доступни су путем Интернета. Укључујући и преко АПИ-ја. Два од три пријемника раде исто. Није јасно где је сам Нектцлоуд распоређен и који приступ му је доступан?
Избројао сам пет могућих опција:
- На сопственом серверу у вашој кућној/пословној мрежи.
- На сопственом серверу у изнајмљеном сталку дата центра провајдера услуга.
- На серверу изнајмљеном од добављача услуга.
- На виртуелном серверу (ВДС/ВПС) са добављачем услуга/хостинга
- Од добављача услуга
С обзиром на то да је Нектцлоуд и даље софтвер за креирање и коришћење цлоуд стораге-а, можемо са сигурношћу рећи да је приступ њему путем Интернета доступан у свих пет опција. И у овом случају, оптималан модел за постављање „менаџера миграција“ биће - модел Б.
Према моделу који је изабран као платформа за „менаџера миграције“, изабраћу једну од оптималних, са моје тачке гледишта, опција - виртуелни сервер у Највећа руска тачка размене интернет саобраћаја МСК-ИКС.
Трећа одлука коју треба донети је одлучивање о конфигурацији виртуелног сервера.
Приликом одабира параметара ВДС конфигурације, морате се руководити потребним перформансама, које зависе од ширине канала између сајтова, броја и величине датотека које се премештају, броја токова миграције и подешавања. Што се тиче ОС-а, Рцлоне је софтвер за више платформи који ради на различитим оперативним системима, укључујући Виндовс и Линук.
Ако планирате да покренете неколико процеса миграције, па чак и на одређеној фреквенцији, онда је вредно размислити о могућности изнајмљивања ВДС-а уз плаћање ресурса.
стварање
На основу горе наведеног, приликом креирања прототипа за овај чланак, изабрао сам ВДС у следећој конфигурацији.
кошта 560 рубаља месечно. укључујући 15% попуста на купон НОСТРЕСС.
Овај избор је због чињенице да је чвор под Виндовс ОС-ом, да би се испунили услови наших техничких спецификација, лакше конфигурисати него за друге ОС доступне за наручивање.
Оффтопиц: Иначе, ради веће сигурности, овај виртуелни сервер је додељен једном од чворова . а приступ њему преко РДП-а је дозвољен само одатле...
Након креирања ВДС-а и добијања приступа десктопу преко РДП-а, прва ствар коју треба да урадите је да припремите окружење за Рцлоне и Веб-ГУИ. Оне. инсталирајте нови подразумевани претраживач, на пример Цхроме, пошто првобитно инсталирани ИЕ 11, нажалост, не ради увек исправно са софтвером који се користи.
Након припреме окружења, преузмите архиву са софтверским пакетом и распакујте га.
Затим, у режиму командне линије оперативног система Виндовс, извршите команду за одлазак у фасциклу са екстрахованим датотекама. За мене се налази у почетној фасцикли администратора:
C:UsersAdministrator>cd rclone
Након транзиције, извршавамо команду за покретање Рцлоне са веб-ГУИ-а:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
где су „логин“ и „пассворд“ логин и лозинка које сте навели, наравно, без наводника.
Након извршења команде, терминал се приказује
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
а Рцлоне графички веб интерфејс се аутоматски отвара у претраживачу.
Упркос чињеници да је Веб-ГУИ још увек у фази тест верзије и још увек нема све могућности управљања Рцлоне-а које има интерфејс командне линије, његове могућности су сасвим довољне за миграцију података. Па чак и мало више.
подешавање
Следећи корак је постављање веза са локацијама на којима се налазе или ће се налазити подаци. А први на реду ће бити главни пријемник података - Нектцлоуд.
1. Да бисте то урадили, идите на одељак подешавања Веб-ГУИ.
2. Покретање креирања нове конфигурације - дугме Нев Цонфиг.
3. Подесите назив сајта - поље Назив овог диска (за вашу референцу): Нектцлоуд.
4. Избор типа или типа складишта одабрати: За Нектцлоуд и Овнцлоуд, главни интерфејс за размену података је ВебДАВ.
5. Затим кликните на Корак 2: Подешавање диск, отворите листу параметара везе и попуните.
- КСНУМКС. УРЛ хттп хоста за повезивање са УРЛ-ом — хипертекстуална веза ВебДАВ интерфејса. У Нектцлоуд-у се налазе у подешавањима - доњем левом углу интерфејса.
- КСНУМКС. Назив Вебдав сајта/услуге/софтвера који користите — Име ВебДАВ интерфејса. Поље је опционо, за себе, да се не збуни ако има много таквих веза.
- КСНУМКС корисничко име — Корисничко име за ауторизацију
- КСНУМКС. лозинка — Лозинка за ауторизацију
- КСНУМКС. Токен носиоца уместо корисника/пропуснице (нпр. макарон) и команда за покретање да бисте добили токен носиоца у напредним опцијама постоје додатни параметри и команде за ауторизацију. Не користе се у мом Нектцлоуду.
6. Следећи клик Креирајте конфигурацију и да бисте били сигурни да је конфигурација креирана, идите на одељак Цонфиг веб интерфејс... Преко исте странице новонастала конфигурација се може обрисати или изменити.
Да бисте проверили функционалност везе са сајтом, идите на одељак истраживач... На терену Ремотес унесите назив конфигурисане локације и кликните отворен. Ако видите листу датотека и директоријума, веза са сајтом ради.
Да бисте били убедљивији, можете креирати/избрисати фасциклу или преузети/избрисати датотеку преко веб интерфејса.
Друга платформа која ће бити повезана биће Иандек диск.
- Прва четири корака су слична процесу повезивања Нектцлоуд.
- Затим остављамо све како јесте, односно поља унутра Корак 2: Подешавање диск јединице Остављамо их празнима и не мењамо ништа у напредним опцијама.
- Жмем Цреате Цонфиг.
- У претраживачу се отвара страница за ауторизацију Иандек-а, након чега добијате поруку о успешној вези и понуду да се вратите на Рцлоне.
- Оно што радимо је да проверимо одељак цонфиг.
Миграција
Када имамо две повезане локације, већ можемо да мигрирамо податке између њих. Сам процес је сличан провери функционалности везе са Нектцлоуд-ом, коју смо раније спровели.
- Иди на истраживач.
- Избор шаблона 2 један поред другог.
- У сваком од Ремотес наведите назив вашег сајта.
- Жмем отворен.
- Видимо директоријум датотека и фасцикли за сваку од њих.
Да бисте започели процес миграције, остаје само да изаберете жељени фолдер са датотекама у директоријуму извора података и превучете га мишем до одредишног директоријума.
Механизам за додавање преосталих локација и миграцију података између њих сличан је операцијама које су изведене изнад. Ако наиђете на грешке током свог рада, можете проучити детаље о њима у терминалу на којем ради Рцлоне витх Веб-ГУИ.
Генерално, документација за је опсежна и доступна на веб страници и на Интернету и не би требало да изазива никакве потешкоће у коришћењу. Овим сматрам да је први пост о томе како да пренесете датотеке из једног облака у други, заобилазећи ваш рачунар, завршен.
ПС Ако се не слажете са последњом тврдњом, напишите у коментарима: која „тема није обрађена“ и у ком смислу вреди наставити.
Извор: ввв.хабр.цом