Kuinka siirtää tiedostoja pilvestä toiseen ilman tietokonettasi

Kuolema, avioero ja muutto ovat kolme stressaavinta tilannetta jokaisen ihmisen elämässä.
"Amerikkalainen kauhutarina".

- Andryukh, lähden kotoa, auta minua muuttamaan, kaikki ei sovi minulle :(
- Okei, kuinka monta siellä on?
— tonnia* 7-8...
*Ton (jarg) - teratavu.

Äskettäin netissä surffaillessani huomasin, että vaikka Habrén ja vastaavien resurssien saatavuudesta löytyy paljon materiaaleja erilaisten tietojen siirtämisen menetelmistä ja malleista, Internetissä esiintyy edelleen kysymyksiä tästä aiheesta. Jotkin eivät jostain syystä aina saa yksityiskohtaisia ​​vastauksia. Tämä tosiasia sai minut jonain päivänä keräämään muistiinpanoja samanlaisen ratkaisun toteuttamisesta ja järjestämään ne erillisen postauksen muodossa.

Yleensä minun on siirrettävä tietoja yhdestä laitteesta, järjestelmästä ja palvelusta toiseen ärsyttävällä taajuudella. Mikä yrityksen ja erehdyksen kautta antoi minulle mahdollisuuden paitsi tutustua moniin mielenkiintoisiin tuotteisiin, myös löytää tasapainon toiminnallisuuden ja ratkaisun kustannusten välillä, josta haluan puhua.

suunnittelu

Suunnittelu- ja kartoitustyön tuloksena kävi ilmi, että siirtoprosessin laatu ja tehokkuus eivät riipu pelkästään niiden "sivustojen" teknisistä ominaisuuksista, joissa tiedot sijaitsevat tai tulevat olemaan, vaan myös niiden fyysisestä sijainnista.

Migration Manager on laskentasolmu, jossa prosessin "logiikka" - ohjelmisto siirron hallintaan - toimii.

Toisin sanoen "siirtopäällikön" sijoittamiseen on kaksi mallia

• Malli A. Jos ainakin yhteen sivustoista pääsee käsiksi vain paikallisverkon sisältä, niin samaan verkkoon kannattaa sijoittaa "migration manager". Koska suorituskykyä ja siirtoaikaa rajoittavat edelleen sivustoja yhdistävän kanavan nopeus ja käytettävyys.
• Malli B. Jos sekä tiedon lähteellä että vastaanottajalla on pääsy paikallisverkon ulkopuolelle, niin "migration manager" tulisi sijoittaa sinne, missä niiden välisen kanavan nopeus ja käytettävyys ovat selvästi parempia.

Edellä olevan jotenkin hajottamiseksi ehdotan, että palataan artikkelin pääkysymyksen tehtäviin ja muotoillaan ne teknisiksi eritelmiksi.

Ensin minun on selvitettävä, tukeeko käyttämäni ohjelmisto pilviä: Mail.ru, Yandex, Google Drive, Mega, Nextloud?

Lyhyt vastaus on: "KYLLÄ!"

Käytän Rclone.

Rclone - rsync pilvitallennusta varten. Avoimen lähdekoodin ohjelmisto, joka on suunniteltu synkronoimaan tiedostoja ja kansioita yli 45 tallennustyypin ja -tyypin kanssa.

Tässä on vain muutamia niistä:
— Alibaba Cloud (Aliyun) Object Storage System (OSS)
- Amazon S3
— Ceph
-DigitalOcean Spaces
– Dropbox
- Google Cloud Storage
- Google asema
- Google-kuvat
- HTTP
-IBM COS S3
- Mail.ru Pilvi
-Mega
- Microsoft Azure Blob Storage
- Microsoft OneDrive
– Mini
— Nextcloud
- Openstack Swift
— Oracle Cloud Storage
-omapilvi
— Rackspace Cloud Files
- rsync.net
- SFTP
- WebDAV
- Yandex-levy

Päätoiminnot:
— Tiedostojen eheyden tarkistaminen MD5/SHA1-tiivisteillä.
— Aikaleimojen tallentaminen tiedostojen luomista/vaihtamista varten.
- Tukee osittaista synkronointia.
— Vain uusien tiedostojen kopiointi.
— Synkronointi (yksisuuntainen).
— Tiedostojen tarkistaminen (tiivisteillä).
— Mahdollisuus synkronoida pilvitililtä toiselle.
- Salauksen tuki.
- Tuki paikalliselle tiedostovälimuistille.
— Mahdollisuus asentaa pilvipalveluita FUSE:n kautta.

Lisään itse, että Rclone auttaa myös ratkaisemaan leijonanosan ongelmista, jotka liittyvät tietojen varmuuskopioinnin automatisointiin hanke "Väinämöinen".

Seuraava tehtävä on valita "siirtopäällikkö"-sijoittelumalli.

Kaikki tietolähteet, jotka ovat erilaisia ​​julkisia pilvipalveluita, ovat käytettävissä Internetin kautta. Mukaan lukien API:n kautta. Kaksi kolmesta vastaanottimesta tekee saman. Ei ole selvää, missä Nextcloud itse on otettu käyttöön ja mikä pääsy siihen on saatavilla?

Laskin viisi mahdollista vaihtoehtoa:

1. Omalla palvelimellasi koti-/yritysverkossasi.
2. Omalla palvelimellasi palveluntarjoajan konesalin vuokratelineessä.
3. Palveluntarjoajalta vuokratulla palvelimella.
4. Virtuaalipalvelimella (VDS/VPS) palvelun/isännöintipalveluntarjoajan kanssa 
5. Palveluntarjoajalta SaaS-mallin mukaan

Ottaen huomioon, että Nextcloud on edelleen ohjelmisto pilvitallennustilan luomiseen ja käyttöön, voimme turvallisesti sanoa, että pääsy siihen Internetin kautta on saatavilla kaikissa viidessä vaihtoehdossa. Ja tässä tapauksessa optimaalinen malli "siirtopäällikön" sijoittamiseen on - malli B.

"Migration Managerin" alustaksi valitun mallin mukaan valitsen yhden minun kannaltani optimaalisista vaihtoehdoista - virtuaalisen palvelimen M9-palvelinkeskus Venäjän suurin Internet-liikenteen vaihtopiste MSK-IX.

Kolmas päätös, joka on tehtävä, on päättää virtuaalipalvelimen kokoonpanosta. 

Kun valitset VDS-kokoonpanoparametreja, sinun on ohjattava vaadittu suorituskyky, joka riippuu kanavien leveydestä sivustojen välillä, siirrettävien tiedostojen määrästä ja koosta, siirtovirtojen määrästä ja asetuksista. Mitä tulee käyttöjärjestelmään, Rclone on monialustainen ohjelmisto, joka toimii useissa käyttöjärjestelmissä, mukaan lukien Windows ja Linux.

Jos aiot käynnistää useita siirtoprosesseja ja jopa tietyllä taajuudella, kannattaa harkita VDS:n vuokraamista resurssien maksulla.

luominen

Yllä olevan perusteella valitsin tämän artikkelin prototyyppiä luodessaan VDS:n seuraavassa kokoonpanossa.

maksaa 560 ruplaa/kk. sisältää 15% alennuksen kuponkeilla EI STRESSIÄ.

Tämä valinta johtuu siitä, että Windows-käyttöjärjestelmän solmu on helpompi konfiguroida, jotta se noudattaisi teknisten määritystemme ehtoja, kuin muiden tilattavissa olevien käyttöjärjestelmien konfigurointi.

Offtopic: Muuten, turvallisuuden parantamiseksi tämä virtuaalipalvelin on määritetty yhdelle solmuista suojattu virtuaalinen verkko. ja pääsy siihen RDP:n kautta on sallittu vain sieltä...

Kun olet luonut VDS:n ja saanut pääsyn työpöydälle RDP:n kautta, sinun on ensin valmisteltava ympäristö Rclonea ja Web-GUI:ta varten. Nuo. asenna uusi oletusselain, esimerkiksi Chrome, koska alunperin asennettu IE 11 ei valitettavasti aina toimi oikein käytetyn ohjelmiston kanssa. 

Kun ympäristö on valmisteltu, lataa arkisto ohjelmistopaketin kanssa Rclone Windowsille ja purkaa se. 

Suorita seuraavaksi Windowsin komentorivitilassa komento siirtyäksesi kansioon purettujen tiedostojen kanssa. Minulle se sijaitsee järjestelmänvalvojan kotikansiossa:

C:UsersAdministrator>cd rclone

Siirron jälkeen suoritamme komennon käynnistääksesi Rclone Web-GUI:sta:

C:UsersAdministratorrclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

jossa "kirjautuminen" ja "salasana" ovat määrittämäsi käyttäjätunnus ja salasana, tietysti ilman lainausmerkkejä.

Kun komento suoritetaan, pääte tulee näkyviin

2020/05/17 22:34:10 NOTICE: Web GUI exists. Update skipped.
2020/05/17 22:34:10 NOTICE: Serving Web GUI
2020/05/17 22:34:10 NOTICE: Serving remote control on http://127.0.0.1:5572/

ja Rclone graafinen web-käyttöliittymä avautuu automaattisesti selaimeen.

Huolimatta siitä, että Web-GUI on vielä testiversiovaiheessa eikä sillä ole vielä kaikkia komentoriviliittymän Rclone-hallintaominaisuuksia, sen ominaisuudet riittävät tietojen siirtoon. Ja jopa vähän enemmän.

säätö

Seuraava askel on muodostaa yhteydet sivustoihin, joissa tiedot sijaitsevat tai tulevat olemaan. Ja ensimmäinen jonossa on tärkein datavastaanotin - Nextcloud.

1. Voit tehdä tämän siirtymällä osioon Kokoonpanot Web-GUI. 

2. Aloitetaan uuden kokoonpanon luominen - painike Uusi kokoonpano.

3. Aseta sivuston nimi - kenttä Tämän aseman nimi (viitteeksi): Nextcloud.

4. Tallennuksen tyypin tai tyypin valitseminen valita: Nextcloudissa ja Owncloudissa pääasiallinen tiedonsiirtoliittymä on WebDAV.

5. Napsauta seuraavaksi Vaihe 2: Asennus asema, avaa yhteysparametrien luettelo ja täytä. 

- 5.1. http-isännän URL-osoite yhteyden muodostamiseksi URL-osoitteeseen — WebDAV-liitännän hypertekstilinkki. Nextcloudissa ne sijaitsevat asetuksissa - käyttöliittymän vasemmassa alakulmassa.
- 5.2. Käyttämäsi Webdav-sivuston/-palvelun/ohjelmiston nimi — WebDAV-liitännän nimi. Kenttä on valinnainen itsellesi, jotta et hämmentyisi, jos tällaisia ​​​​yhteyksiä on paljon.
- 5.3 käyttäjätunnus — Käyttäjätunnus valtuutusta varten
- 5.4. Salasana — Salasana valtuutusta varten
- 5.5. Kuljetustunnus käyttäjän/passin sijaan (esim. Macaroon) ja Komento juosta saadakseen siirtotunnuksen lisäasetuksissa on lisäparametreja ja valtuutuskomentoja. Niitä ei käytetä Nextcloudissani.

6. Napsauta seuraavaksi Luo konfiguraatio ja varmista, että kokoonpano on luotu, siirry osioon Konfig web-käyttöliittymä... Saman sivun kautta äskettäin luotuja määrityksiä voidaan poistaa tai muokata.

Voit tarkistaa sivuston yhteyden toimivuuden siirtymällä kohtaan tutkimusmatkailija... Kentällä kaukosäätimet kirjoita määritetyn sivuston nimi ja napsauta avoin. Jos näet luettelon tiedostoista ja hakemistoista, yhteys sivustoon toimii.

Voidaksesi olla vakuuttavampi, voit luoda/poistaa kansion tai ladata/poistaa tiedoston verkkokäyttöliittymän kautta.

Toinen yhdistettävä alusta on Yandex-levy.

• Ensimmäiset neljä vaihetta ovat samanlaisia ​​kuin Nextcloud-yhteysprosessi.
• Seuraavaksi jätämme kaiken ennalleen, eli pellot sisään Vaihe 2: Asenna asema Jätämme ne tyhjiksi emmekä muuta lisäasetuksissa mitään.
• Painamme Luo kokoonpano.
• Yandexin valtuutussivu avautuu selaimeen, jonka jälkeen näkyviin tulee viesti onnistuneesta muodostamisesta ja tarjouksesta palata Rclone-palveluun.
• Tarkastamme osion Config.

muutto

Kun kaksi sivustoa on yhdistetty, voimme jo siirtää tietoja niiden välillä. Itse prosessi on samanlainen kuin aiemmin suorittamamme Nextcloud-yhteyden toimivuuden tarkistaminen.

• Mene tutkimusmatkailija.
• Mallin valinta 2 vierekkäin.
• Jokaisessa kaukosäätimet ilmoita sivustosi nimi.
• Painamme avoin.
• Näemme jokaiselle niistä tiedostojen ja kansioiden hakemiston.

Siirtoprosessin aloittamiseksi tarvitsee vain valita haluamasi tiedostot sisältävä kansio tietolähdehakemistosta ja vetää se hiirellä kohdehakemistoon.

Jäljellä olevien sivustojen lisääminen ja tietojen siirtäminen niiden välillä on samanlainen kuin yllä suoritetut toiminnot. Jos kohtaat virheitä työsi aikana, voit tutkia niistä tietoja päätteessä, jossa Rclone with Web-GUI on käynnissä.

Yleensä asiakirjat Rclone on laaja ja saatavilla verkkosivuilla ja Internetissä, eikä sen pitäisi aiheuttaa vaikeuksia käytössä. Tämän myötä pidän ensimmäistä viestiä tiedostojen siirtämisestä pilvestä toiseen, ohittaen tietokoneesi, valmiiksi.

PS. Jos et ole samaa mieltä viimeisestä väitteestä, kirjoita kommentteihin: mitä "aihetta ei käsitellä" ja missä mielessä kannattaa jatkaa.

Lähde: will.com