Mirtis, skyrybos ir persikraustymas yra trys labiausiai įtemptos situacijos bet kurio žmogaus gyvenime.
"Amerikietiška siaubo istorija".
- Andriuk, aš išeinu iš namų, padėk man persikelti, viskas man netilps :(
- Gerai, kiek jų yra?
— Tonos* 7-8...
* Tona (jarg) – terabaitas.
Neseniai naršydamas internete pastebėjau, kad nepaisant to, kad Habré ir panašiuose šaltiniuose yra daug medžiagos apie įvairių tipų duomenų perkėlimo būdus ir modelius, internete vis dar atsiranda klausimų šia tema. Kurie dėl tam tikrų priežasčių ne visada sulaukia išsamių atsakymų. Šis faktas paskatino mane vieną dieną surinkti pastabas apie panašaus sprendimo įgyvendinimą ir išdėstyti juos atskiro įrašo forma.
Apskritai aš turiu perkelti duomenis iš vieno įrenginio, sistemos ir paslaugos į kitą su tam tikru erzinančiu dažnumu. Tai leido man ne tik susipažinti su daugybe įdomių produktų, bet ir rasti pusiausvyrą tarp funkcionalumo ir sprendimo, apie kurį noriu kalbėti, kainos.
Проектирование
Kaip paaiškėjo atlikus projektavimo ir tyrimo darbus, migracijos proceso kokybė ir efektyvumas priklauso ne tik nuo „svetainių“, kuriose yra ar bus duomenys, techninių charakteristikų, bet ir nuo jų fizinės vietos.
Migracijos tvarkyklė yra skaičiavimo mazgas, kuriame veikia proceso „logika“ – programinė įranga, skirta migracijai valdyti.
Tai yra, yra du „migracijos vadybininko“ įkūrimo modeliai.
- Modelis A. Jei bent vieną iš svetainių galima pasiekti tik iš vietinio tinklo, verta tame pačiame tinkle įdėti „migracijos tvarkyklę“. Kadangi našumą ir perkėlimo laiką vis dar riboja svetaines jungiančio kanalo greitis ir veikimo laikas.
- Modelis B. Jei tiek duomenų šaltinis, tiek imtuvas turi prieigą už vietinio tinklo ribų, tada „migracijos tvarkyklė“ turėtų būti ten, kur kanalo tarp jų greitis ir veikimo laikas bus akivaizdžiai geresni.
Siekdamas kažkaip išskaidyti tai, kas išdėstyta aukščiau, siūlau grįžti prie užduočių nuo pagrindinio straipsnio klausimo ir įforminti jas į technines specifikacijas.
Pirmiausia turiu išsiaiškinti, ar mano naudojama programinė įranga palaiko debesis: Mail.ru, Yandex, Google Drive, Mega, Nextloud?
Trumpas atsakymas yra: "TAIP!"
aš naudoju .
Rclone – rsync debesies saugyklai. Atvirojo kodo programinė įranga, skirta sinchronizuoti failus ir aplankus su daugiau nei 45 tipų ir tipų saugyklomis.
Štai tik keletas iš jų:
- „Alibaba Cloud“ („Aliyun“) objektų saugojimo sistema (OSS)
- Amazon S3
– Kefas
-Skaitmeninės vandenyno erdvės
– „Dropbox“.
– „Google Cloud Storage“.
- Google diskas
– „Google“ nuotraukos
- HTTP
-IBM COS S3
— Mail.ru Debesis
– Mega
– „Microsoft Azure Blob Storage“.
- Microsoft OneDrive
– Minia
– Kitas debesis
- Openstack Swift
- „Oracle Cloud Storage“.
- nuosavas debesis
– „Rackspace Cloud Files“.
- rsync.net
- SFTP
- WebDAV
- „Yandex“ diskas
Pagrindinė funkcija:
— Failų vientisumo tikrinimas naudojant MD5/SHA1 maišą.
- Laiko žymų išsaugojimas failams kurti / keisti.
- Palaiko dalinį sinchronizavimą.
— Kopijuoti tik naujus failus.
— Sinchronizavimas (vienpusis).
— Failų tikrinimas (pagal maišą).
- Galimybė sinchronizuoti iš vienos debesies paskyros į kitą.
- Šifravimo palaikymas.
- Vietinių failų talpyklos palaikymas.
- Galimybė prijungti debesies paslaugas per FUSE.
Aš pridursiu, kad Rclone taip pat padeda man išspręsti didžiąją dalį problemų, susijusių su duomenų atsarginių kopijų automatizavimu .
Kita užduotis – pasirinkti „migracijos valdytojo“ paskirties vietos modelį.
Visi duomenų šaltiniai, kurie yra įvairios viešosios debesijos paslaugos, pasiekiami internetu. Įskaitant per API. Du iš trijų imtuvų daro tą patį. Neaišku, kur yra įdiegtas pats Nextcloud ir kokia prieiga prie jo yra?
Suskaičiavau penkis galimus variantus:
- Savo serveryje jūsų namų / įmonės tinkle.
- Savo serveryje, nuomojamame paslaugų teikėjo duomenų centro stove.
- Iš paslaugų teikėjo išsinuomotame serveryje.
- Virtualiajame serveryje (VDS/VPS) su paslaugos / prieglobos teikėju
- Iš paslaugų teikėjo
Atsižvelgiant į tai, kad „Nextcloud“ vis dar yra debesies saugyklos kūrimo ir naudojimo programinė įranga, galime drąsiai teigti, kad prieiga prie jos internetu yra prieinama visomis penkiomis parinktimis. Ir šiuo atveju optimalus „migracijos vadybininko“ įdėjimo modelis bus - modelis B.
Pagal „migracijos vadybininko“ platformą pasirinktą modelį pasirinksiu vieną iš optimaliausių, mano požiūriu, variantų - virtualų serverį Didžiausias Rusijos interneto srauto mainų punktas MSK-IX.
Trečias sprendimas, kurį reikia priimti, yra nuspręsti dėl virtualaus serverio konfigūracijos.
Renkantis VDS konfigūracijos parametrus, reikia vadovautis reikiamu našumu, kuris priklauso nuo kanalų tarp svetainių pločio, perkeliamų failų skaičiaus ir dydžio, migracijos srautų skaičiaus ir nustatymų. Kalbant apie OS, Rclone yra kelių platformų programinė įranga, kuri veikia įvairiose operacinėse sistemose, įskaitant „Windows“ ir „Linux“.
Jei planuojate pradėti kelis migracijos procesus ir net tam tikru dažnumu, verta apsvarstyti galimybę išsinuomoti VDS su mokėjimu už išteklius.
kūrimas
Remdamasis tuo, kas išdėstyta pirmiau, kurdamas šio straipsnio prototipą, pasirinkau VDS pagal šią konfigūraciją.
kainuoja 560 rub./mėn. įskaitant 15% nuolaidą naudojant kuponą JOKIU STRESO.
Tokį pasirinkimą nulėmė tai, kad mazgą su Windows OS, kad jis atitiktų mūsų techninių specifikacijų sąlygas, konfigūruoti yra lengviau nei kitų užsakomų OS.
Offtopic: Beje, siekiant didesnio saugumo, šis virtualus serveris priskiriamas vienam iš mazgų . o prieiti prie jo per KPP leista tik is ten...
Sukūrę VDS ir gavus prieigą prie darbalaukio per RDP, pirmas dalykas, kurį turite padaryti, yra paruošti aplinką Rclone ir Web-GUI. Tie. įdiekite naują numatytąją naršyklę, pvz., Chrome, nes iš pradžių įdiegta IE 11, deja, ne visada tinkamai veikia su naudojama programine įranga.
Paruošę aplinką, atsisiųskite archyvą su programiniu paketu ir išpakuokite.
Tada „Windows“ komandinės eilutės režimu vykdykite komandą, kad pereitumėte į aplanką su ištrauktais failais. Man jis yra administratoriaus namų aplanke:
C:UsersAdministrator>cd rclone
Po perėjimo vykdome komandą paleisti Rclone iš žiniatinklio GUI:
C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L
kur „prisijungimas“ ir „slaptažodis“ yra jūsų nurodytas prisijungimo vardas ir slaptažodis, žinoma, be kabučių.
Įvykdžius komandą, pasirodo terminalas
2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/
ir naršyklėje automatiškai atsidaro Rclone grafinė žiniatinklio sąsaja.
Nepaisant to, kad Web-GUI vis dar yra bandomosios versijos stadijoje ir dar neturi visų Rclone valdymo galimybių, kurias turi komandinės eilutės sąsaja, jos galimybių duomenų perkėlimui visiškai pakanka. Ir net šiek tiek daugiau.
reguliavimas
Kitas žingsnis – nustatyti ryšius su svetainėmis, kuriose yra arba bus pateikti duomenys. Ir pirmasis eilėje bus pagrindinis duomenų imtuvas – Nextcloud.
1. Norėdami tai padaryti, eikite į skyrių Konfigūracijos Web-GUI.
2. Naujos konfigūracijos kūrimo inicijavimas – mygtukas Nauja konfigūracija.
3. Nustatykite svetainės pavadinimą - lauką Šio disko pavadinimas (Jūsų nuoroda): Nextcloud.
4. Saugyklos tipo ar tipo pasirinkimas pasirinkti: „Nextcloud“ ir „Owncloud“ pagrindinė duomenų mainų sąsaja yra „WebDAV“.
5. Toliau spustelėkite 2 veiksmas: sąranka diską, atidarykite ryšio parametrų sąrašą ir užpildykite.
- 5.1. http prieglobos URL, norint prisijungti prie URL — WebDAV sąsajos hipertekstinė nuoroda. „Nextcloud“ jie yra nustatymuose - apatiniame kairiajame sąsajos kampe.
- 5.2. Jūsų naudojamos „Webdav“ svetainės / paslaugos / programinės įrangos pavadinimas — WebDAV sąsajos pavadinimas. Laukas yra neprivalomas, jums patiems, kad nesusipainiotumėte, jei tokių ryšių yra daug.
- 5.3 Vartotojo vardas — Vartotojo vardas autorizacijai
- 5.4. Slaptažodis — Autorizacijos slaptažodis
- 5.5. Teikėjo žetonas vietoj vartotojo / leidimo (pvz., Macaroon) ir komanda paleisti, kad gautumėte nešiklio žetoną išplėstinėse parinktyse yra papildomų parametrų ir autorizacijos komandos. Jie nėra naudojami mano Nextcloud.
6. Kitas spustelėkite Sukurti konfigūraciją ir norėdami įsitikinti, kad konfigūracija sukurta, eikite į skyrių konfig žiniatinklio sąsaja... Tame pačiame puslapyje naujai sukurtą konfigūraciją galima ištrinti arba redaguoti.
Norėdami patikrinti ryšio su svetaine funkcionalumą, eikite į skyrių tyrinėtojas... Lauke Prietaisai įveskite sukonfigūruotos svetainės pavadinimą ir spustelėkite Atviras. Jei matote failų ir katalogų sąrašą, ryšys su svetaine veikia.
Kad būtų įtikinamesni, galite sukurti / ištrinti aplanką arba atsisiųsti / ištrinti failą naudodami žiniatinklio sąsają.
Antroji prijungiama platforma bus „Yandex“ diskas.
- Pirmieji keturi veiksmai yra panašūs į „Nextcloud“ prisijungimo procesą.
- Toliau viską paliekame taip, kaip yra, tai yra, laukus 2 veiksmas: nustatykite diską Mes paliekame juos tuščius ir nieko nekeičiame išplėstinėse parinktyse.
- Paspaudžiame Sukurti konfigūraciją.
- Naršyklėje atidaromas „Yandex“ autorizacijos puslapis, po kurio gaunate pranešimą apie sėkmingą prisijungimą ir pasiūlymą grįžti į Rclone.
- Ką mes darome, tai patikriname skyrių konfigūracijos.
Migracija
Kai turime dvi svetaines, jau galime perkelti duomenis iš vienos jų į kitą. Pats procesas panašus į ryšio su Nextcloud funkcionalumo patikrinimą, kurį atlikome anksčiau.
- Eiti į tyrinėtojas.
- Šablono pasirinkimas 2 vienas šalia kito.
- Kiekviename iš Prietaisai nurodykite savo svetainės pavadinimą.
- Paspaudžiame Atviras.
- Kiekvienam iš jų matome failų ir aplankų katalogą.
Norint pradėti perkėlimo procesą, belieka duomenų šaltinio kataloge pasirinkti norimą aplanką su failais ir nuvilkti jį pele į paskirties katalogą.
Likusių svetainių pridėjimo ir duomenų perkėlimo tarp jų mechanizmas yra panašus į anksčiau atliktas operacijas. Jei darbo metu susiduriate su klaidomis, išsamią informaciją apie jas galite sužinoti terminale, kuriame veikia Rclone su Web-GUI.
Apskritai, dokumentai, skirti yra platus ir prieinamas svetainėje bei internete, todėl naudojant neturėtų kilti jokių sunkumų. Šiuo atžvilgiu pirmasis įrašas apie tai, kaip perkelti failus iš vieno debesies į kitą, apeinant kompiuterį, yra baigtas.
PS Jei nesutinkate su paskutiniu teiginiu, parašykite komentaruose: kokia „tema neaprėpia“ ir kokia tema verta tęsti.
Šaltinis: www.habr.com