Valokuvien ja muiden tiedostojen tallennus ja automaattinen lajittelu. Työskentely Synology NAS:iin perustuvan tiedostojen tallennustilan kanssa

Olen pitkään halunnut kirjoittaa siitä, kuinka tallennan tiedostoni ja miten teen varmuuskopioita, mutta en koskaan päässyt siihen. Äskettäin ilmestyi tänne artikkeli, joka oli hieman samanlainen kuin minun, mutta jossa on erilainen lähestymistapa.
Itse artikkeli.

Olen yrittänyt löytää täydellistä menetelmää tiedostojen tallentamiseen jo monta vuotta. Luulen löytäneeni sen, mutta aina on jotain parannettavaa, jos sinulla on ideoita kuinka tehdä se paremmin, luen sen mielelläni.

Aloitan kertomalla muutaman sanan itsestäni, teen verkkokehitystä ja valokuvaan vapaa-ajallani. Tästä johtopäätös, että minun on tallennettava työ- ja henkilökohtaisia ​​projekteja, valokuvia, videoita ja muita tiedostoja.

Minulla on noin 680 Gt tiedostoja, joista 90 prosenttia on valokuvia ja videoita.

Tiedostojen kierto varastoissani:

Valokuvien ja muiden tiedostojen tallennus ja automaattinen lajittelu. Työskentely Synology NAS:iin perustuvan tiedostojen tallennustilan kanssa

Tässä on likimääräinen kaavio siitä, kuinka ja missä kaikki tiedostoni on tallennettu.

Nyt enemmän.

Kuten näette, kaiken sydän on NAS:ni, nimittäin Synology DS214, yksi Synologyn yksinkertaisimmista NAS-laitteista, mutta se selviää kaikesta mitä tarvitsen.

dropbox

Työkoneeni on macbook pro 13, 2015. Minulla on siellä 512GB, mutta tietenkään kaikki tiedostot eivät mahdu, tallennan vain sen, mitä tällä hetkellä tarvitaan. Synkronoin kaikki henkilökohtaiset tiedostoni ja kansiot Dropboxin kanssa, tiedän, että se ei ole kovin luotettava, mutta se suorittaa vain synkronointitoiminnon. Ja hän tekee sen parhaiten, ainakin mitä olen yrittänyt. Ja kokeilin kaikkia kuuluisia ja ei niin kuuluisia pilviä.

Synologylla on myös oma pilvi, voit ottaa sen käyttöön NAS:ssasi, yritin useita kertoja vaihtaa Dropboxista Synology Cloud Stationiin, mutta synkronoinnissa oli aina ongelmia, aina oli virheitä tai en synkronoinut kaikkea.

Kaikki tärkeät tiedostot on tallennettu Dropbox-kansioon, joskus tallennan jotain työpöydälleni, jotta en menettäisi jotain, tein symlinkin Dropbox-kansioon MacDropAny-ohjelmalla.
Download-kansioni ei ole synkronoitu millään tavalla, mutta siellä ei ole mitään tärkeää, vain väliaikaiset tiedostot. Jos lataan jotain tärkeää, kopioin sen Dropboxin oikeaan kansioon.

Seikkailuni Dropboxin kanssaKerran, joskus 2013-2014, tallensin kaikki tiedostoni Dropboxiin ja vain sinne ei ollut varmuuskopioita. Sitten minulla ei ollut 1Tb, eli en maksanut siitä, minulla oli noin 25Gb, jonka ansaitsin kutsumalla ystäviä tai muita tehtäviä.

Eräänä kauniina aamuna käynnistin tietokoneen ja kaikki tiedostoni katosivat, sain myös kirjeen Dropboxista, jossa he pyytävät anteeksi ja että tiedostoni katosivat heidän syytään. He antoivat minulle linkin, josta voin palauttaa tiedostoni, mutta mitään ei tietenkään palautettu. Tästä he antoivat minulle 1Tb vuodeksi, minkä jälkeen minusta tuli heidän asiakkaansa, vaikka se kuulostaa kuinka oudolta, mutta en koskaan luottanut heihin.

Kuten ylempänä kirjoitin, en löytänyt itselleni sopivampaa pilveä, ensinnäkään ei ollut vielä synkronointiongelmia, ja toiseksi monet erilaiset palvelut toimivat vain Dropboxin kanssa.

mennä

Työtiedostot tallennetaan työpalvelimelle, henkilökohtaiset projektit tallennetaan GitLabiin, täällä kaikki on yksinkertaista.

aikakone

Teen myös varmuuskopion koko järjestelmästä, poislukien Dropbox ja Downloads-kansio tietysti, jotta en vie tilaa turhaan. Varmuuskopioin järjestelmän Time Machinella, erinomaisella työkalulla, joka on auttanut minua useammin kuin kerran. Teen sen samalla NAS:lla, onneksi siinä on sellainen toiminto. Voit tietysti tehdä sen ulkoisella kiintolevyllä, mutta se ei ole yhtä kätevää. Joka kerta, kun sinun täytyy liittää ulkoinen asema ja käynnistää Time Machine itse. Laiskuuden vuoksi tein usein tällaisia ​​varmuuskopioita muutaman viikon välein. Hän tekee automaattisesti varmuuskopiot palvelimelle, en edes huomaa, kun hän tekee sen. Työskentelen kotoa käsin, joten minulla on aina tuore varmuuskopio koko järjestelmästäni. Kopio tehdään useita kertoja päivässä, en laskenut kuinka monta kertaa ja kuinka usein.

NAS

Tässä kaikki taika tapahtuu.

Synologylla on erinomainen työkalu, sen nimi on Cloud Sync, mielestäni nimestä on selvää, mitä se tekee.

Se voi synkronoida monia pilvijärjestelmiä keskenään tai tarkemmin sanottuna synkronoida tiedostoja NAS-palvelimelta muiden pilvien kanssa. Luulen, että tästä ohjelmasta on arvostelu verkossa. En mene yksityiskohtiin. Kuvailisin paremmin, miten käytän sitä.

Valokuvien ja muiden tiedostojen tallennus ja automaattinen lajittelu. Työskentely Synology NAS:iin perustuvan tiedostojen tallennustilan kanssa

Palvelimella minulla on levykansio nimeltä Dropbox, se on kopio Dropbox-tilistäni, Cloud Sync vastaa kaiken tämän synkronoinnista. Jos jotain tapahtui Dropboxin tiedostoille, se tapahtuu palvelimella, sillä ei ole väliä onko se poistettu vai luotu. Yleensä klassinen synkronointi.

Yandex-levy

Seuraavaksi heitän kaikki nämä tiedostot Yandex-levylleni, käytän sitä kotitekoisena varmuuskopiolevynä, eli heitän tiedostot sinne, mutta en poista sieltä mitään, se osoittautuu sellaiseksi tiedostokaappaukseksi, mutta se auttoi pari kertaa.

Google Drive

Siellä lähetän vain "Photos" -kansion, myös synkronointitilassa, teen tämän vain valokuvien kätevää katselemista varten Google Kuvissa ja mahdollisuuden poistaa valokuvia sieltä ja ne poistetaan kaikkialta (paitsi tietysti Yandex-levy). Kirjoitan alla olevasta valokuvasta; voit jopa kirjoittaa siihen erillisen artikkelin.

HyperBackup

Mutta kaikki tämä ei ole kovin luotettavaa; jos poistat tiedoston vahingossa, se poistetaan kaikkialta ja voit pitää sen kadonneena. Voit tietysti palauttaa Yandex-levyltä, mutta ensinnäkin varmuuskopiointi yhdessä paikassa ei ole sinänsä kovin luotettava, eikä Yandex-levy itsessään ole palvelu, jossa voit olla 100% varma, vaikka sellaista ei ole koskaan ollutkaan. ongelmia sen kanssa.

Siksi yritin aina tallentaa tiedostoja muualle, tavallisella varmuuskopiointijärjestelmällä.

Valokuvien ja muiden tiedostojen tallennus ja automaattinen lajittelu. Työskentely Synology NAS:iin perustuvan tiedostojen tallennustilan kanssa

Synologylla on myös työkalu tähän, se on nimeltään HyperBackup, joka varmuuskopioi tiedostot joko muille Synology-palvelimille tai joihinkin kolmansien osapuolien valmistajien pilviratkaisuihin.
Se voi myös tehdä varmuuskopioita ulkoisille asemille, jotka on kytketty NAS:iin, mitä tein viime aikoihin asti. Mutta tämä ei myöskään ole luotettava, esimerkiksi jos on tulipalo, niin palvelimen ja kiintolevyn loppu.

Synology C2

Tässä lähestymme vähitellen toista palvelua, tällä kertaa itse Synologylta. Sillä on omat pilvet varmuuskopioiden tallentamista varten. Se on suunniteltu erityisesti HyperBackupille, hän tekee varmuuskopioita sinne joka päivä, mutta tämä on hyvin harkittu varmuuskopio, on tiedostoversioita, aikajana ja jopa asiakkaita Windowsille ja mac OS:lle.

Valokuvien ja muiden tiedostojen tallennus ja automaattinen lajittelu. Työskentely Synology NAS:iin perustuvan tiedostojen tallennustilan kanssa

Siinä kaikki tiedostojen tallennusta varten, toivottavasti tiedostoni ovat turvassa.

Siirrytään nyt tiedostojen lajitteluun.

Lajittelen tavalliset tiedostot, kirjat, asiakirjojen skannaukset ja muut merkityksettömät tiedostot kansioihin käsin, kuten kaiken muunkin. Yleensä niitä ei ole montaa ja avaan niitä harvoin.

Vaikein asia on kuvien ja videoiden lajittelu, minulla on niitä paljon.

Otan muutamasta kymmenestä useaan sataan kuvaa kuukaudessa. Kuvaan DSLR:llä, dronilla ja joskus puhelimella. Kuvat voivat olla henkilökohtaisia ​​tai varastossa. Kuvaan myös joskus kotivideoita (en mitä luulisi, vain perhevideoita, usein tyttäreni kanssa). Se on myös jotenkin säilytettävä ja lajiteltava, jotta siitä ei tule sotkua.

Minulla on samassa Dropboxissa kansio nimeltä Sort Images, siellä on alikansioita, joihin kaikki valokuvat ja videot menevät, sieltä ne otetaan ja lajitellaan tarvittaessa.

Valokuvien ja muiden tiedostojen tallennus ja automaattinen lajittelu. Työskentely Synology NAS:iin perustuvan tiedostojen tallennustilan kanssa

Lajittelu tapahtuu NAS-palvelimella, siellä on käynnissä bash-skriptit, jotka käynnistyvät automaattisesti kerran päivässä ja tekevät tehtävänsä. NAS vastaa myös niiden käynnistämisestä; siellä on tehtävän ajastin, joka vastaa kaikkien komentosarjojen ja muiden tehtävien käynnistämisestä. Voit määrittää, kuinka usein ja milloin tehtäviä käynnistetään, cron käyttöliittymällä, jos se on yksinkertaisempaa.

Valokuvien ja muiden tiedostojen tallennus ja automaattinen lajittelu. Työskentely Synology NAS:iin perustuvan tiedostojen tallennustilan kanssa

Jokaisella kansiolla on oma skriptinsä. Nyt lisää kansioista:

surina - Tässä on kuvia dronista, jotka otin henkilökohtaisiin tarkoituksiin. Ensin käsittelen kaikki valokuvat lightroomissa, sitten vien JPG:t tähän kansioon. Sieltä ne päätyvät toiseen Dropbox-kansioon, "Photo".

Siellä on kansio "Drone" ja siellä ne on jo lajiteltu vuoden ja kuukauden mukaan. Skriptit luovat itse tarvittavat kansiot ja nimeävät valokuvat uudelleen mallipohjani mukaan, yleensä tämä on kuvan ottopäivämäärä ja -aika, lisään myös satunnaisluvun loppuun, jotta samannimiset tiedostot eivät tule näkyviin. En muista, miksi sekuntien asettaminen tiedostonimeen ei sopinut näihin tarkoituksiin.

Puu näyttää tältä: Photo/Drone/2019/05 — May/01 — Toukokuu — 2019_19.25.53_37.jpg

Valokuvien ja muiden tiedostojen tallennus ja automaattinen lajittelu. Työskentely Synology NAS:iin perustuvan tiedostojen tallennustilan kanssa

Drone video — En vielä kuvaa videota dronilla, paljon on opittavaa, minulla ei ole siihen nyt aikaa, mutta olen jo luonut kansion.

Kuvatoiminnot — sisällä on kaksi kansiota, kun sieltä löytyy tiedostoja, ne yksinkertaisesti joko pakataan maksimisivulta 2000px:iin Internetissä julkaisua varten tai kuvia käännetään, en enää tarvitse tätä, mutta en ole vielä poistanut kansiota.

panoraamoja — Panoraamakuvat tulevat tänne, kuten arvata saattaa, säilytän ne erikseen, koska kyseessä on tietyntyyppinen valokuva, otan ne yleensä dronilla. Teen myös tavallisia panoraamoja, mutta teen myös 360 panoraamoja ja joskus palloja, tällaisia ​​panoraamoja kuten pieniä planeettoja, teen myös dronilla. Tästä kansiosta kaikki kuvat menevät myös Photo/Panoramas/2019/01 - toukokuu - 2019_19.25.53_37.jpg -kansioon. Täällä en lajittele kuukausien mukaan, koska panoraamoja ei ole niin paljon.

Henkilökohtainen valokuva — Tässä kuvia, jotka otan DSLR:llä, yleensä nämä ovat perhe- tai matkakuvia, yleensä muistoksi ja itselleni otettuja kuvia. Käsittelen myös raakakuvia Lightroomissa ja vien ne sitten tänne.

Sieltä ne tulevat tänne: Kuva/2019/05 — toukokuu/01 — toukokuu — 2019_19.25.53_37.jpg

Jos kuvasin jonkinlaisen juhlan tai jotain muuta, joka olisi parempi säilyttää erikseen, niin 2019-kansioon luon kansion juhlan nimellä ja kopioin kuvan sinne manuaalisesti.

RAW - tässä ovat valokuvalähteet. Kuvaan aina RAW-muodossa, tallennan kaikki valokuvat JPG-muodossa, mutta joskus haluan tallentaa myös RAW-tiedostoja, joskus haluan käsitellä kehyksen eri tavalla. Yleensä tämä on luonto ja sinne pääsevät vain parhaat otokset, eivät kaikki peräkkäin.

Arkistovalokuva — tänne lataan kuvia arkistokuviin, jotka otan joko DSLR:llä tai dronilla. Lajittelu on sama kuin muissakin kuvissa, vain omaan erilliseen kansioonsa.

Dropboxin juurihakemistossa on Camera Uploads -kansio, tämä on oletuskansio, johon Dropbox-mobiilisovellus lataa kaikki valokuvat ja videot. Kaikki vaimon valokuvat puhelimesta pudotetaan tällä tavalla. Lataan tänne myös kaikki valokuvani ja videoni puhelimestani ja sieltä lajittelen ne erilliseen kansioon. Mutta teen sen eri tavalla, minulle kätevämmin. Androidille on olemassa sellainen ohjelma FolderSync, jonka avulla voit ottaa kaikki valokuvat matkapuhelimesta, ladata ne Dropboxiin ja poistaa ne sitten puhelimesta. Asetuksia on paljon, suosittelen. Myös puhelimesi videot menevät tähän kansioon; ne on myös lajiteltu kuten kaikki valokuvat, vuoden ja kuukauden mukaan.

Keräsin kaikki skriptit itse erilaisista Internetin ohjeista, valmiita ratkaisuja en löytänyt. En tiedä bash-skripteistä juuri mitään, ehkä niissä on virheitä tai joitain asioita voitaisiin tehdä paremmin, mutta minulle tärkeintä on, että he tekevät työnsä ja tekevät mitä tarvitsen.

Skriptit ladattiin GitHubiin: https://github.com/pelinoleg/bash-scripts

Aikaisemmin valokuvien ja videoiden lajitteluun käytin Hazelia mac osissa, siellä kaikki on helpompaa, kaikki tehtävät luodaan visuaalisesti, koodia ei tarvitse kirjoittaa, mutta siinä on kaksi haittaa. Ensinnäkin sinun on säilytettävä kaikki kansiot tietokoneella, jotta kaikki toimii hyvin, ja toiseksi, jos vaihdan yhtäkkiä Windowsiin tai Linuxiin, siellä ei ole sellaisia ​​​​ohjelmia. Yritin etsiä vaihtoehtoa, mutta kaikki eivät auttaneet. Ratkaisu, jossa on komentosarjat palvelimella, on yleisempi ratkaisu.

Kaikki komentosarjat on määritetty suoritettavaksi kerran päivässä, yleensä yöllä. Mutta jos sinulla ei ole aikaa odottaa ja sinun täytyy jotenkin suorittaa vaadittu komentosarja nyt, on kaksi ratkaisua: muodosta yhteys SSH:n kautta palvelimeen ja suorita vaadittu komentosarja tai mene hallintapaneeliin ja suorita vaadittu komentosarja myös manuaalisesti. käsikirjoitus. Kaikki tämä vaikuttaa minusta epämukavalta, joten löysin kolmannen ratkaisun. Androidille on olemassa ohjelma, joka voi lähettää ssh-komentoja. Tein useita komentoja, jokaisessa on oma painike, ja jos nyt täytyy lajitella esimerkiksi dronista ottamiani kuvia, painan vain yhtä painiketta ja skripti toimii. Ohjelman nimi on SSHing, muita vastaavia on, mutta minulle tämä on kätevin.

Valokuvien ja muiden tiedostojen tallennus ja automaattinen lajittelu. Työskentely Synology NAS:iin perustuvan tiedostojen tallennustilan kanssa

Minulla on myös useita omia sivustojani, ne ovat enemmän esittelyä varten, melkein kukaan ei käy siellä, mutta silti varmuuskopiointi ei haittaa. Käytän sivustojani DigitalOceanissa, johon asensin aaPanel-paneelin. Siellä on mahdollista tehdä varmuuskopiot kaikista tiedostoista ja tietokannoista, mutta samalle levylle.

Varmuuskopion tallentaminen samalle levylle ei tapahdu, joten käytän myös bash-skriptiä mennäkseni sinne ja kopioimaan kaiken palvelimelleni, arkistoiden kaiken yhteen arkistoon päivämäärän kanssa.

Toivon, että ainakin joku saa apua käyttämistäni ja jakamistani menetelmistä.

Kuten artikkelista voidaan nähdä, rakastan automaatiota ja yritän automatisoida kaiken mahdollisen, en kuvaillut monia asioita automaation näkökulmasta, koska nämä ovat jo muita aiheita ja muita artikkeleita.

Lähde: will.com

Lisää kommentti