Berging en outomatiese sortering van foto's en ander lêers. Werk met lêerberging gebaseer op NAS Synology

Ek wou lankal skryf oor hoe ek my lêers stoor en hoe ek rugsteun maak, maar ek het nooit daarby uitgekom nie. Onlangs het 'n artikel hier verskyn, ietwat soortgelyk aan myne maar met 'n ander benadering.
Die artikel self.

Ek probeer al baie jare die perfekte metode vind om lêers te stoor. Ek dink ek het dit gevind, maar daar is altyd iets om te verbeter, as jy enige idees het oor hoe om dit beter te doen, sal ek dit met graagte lees.

Ek sal begin deur vir jou 'n paar woorde oor myself te vertel, ek doen webontwikkeling en neem foto's in my vrye tyd. Vandaar die gevolgtrekking dat ek werk en persoonlike projekte, foto's, video's en ander lêers moet stoor.

Ek het ongeveer 680 GB lêers, waarvan 90 persent foto's en video's is.

Sirkulasie van lêers in my bergings:

Berging en outomatiese sortering van foto's en ander lêers. Werk met lêerberging gebaseer op NAS Synology

Hier is 'n benaderde diagram van hoe en waar al my lêers gestoor word.

Nou meer.

Soos jy kan sien, is die hart van alles my NAS, naamlik die Synology DS214, een van die eenvoudigste NAS van Synology, maar dit hanteer alles wat ek nodig het.

Dropbox

My werkmasjien is 'n macbook pro 13, 2015. Ek het 512GB daar, maar natuurlik pas nie al die lêers nie, ek stoor net wat op die oomblik nodig is. Ek sinchroniseer al my persoonlike lêers en vouers met Dropbox, ek weet dat dit nie baie betroubaar is nie, maar dit voer net die sinchronisasiefunksie uit. En hy doen dit die beste, ten minste van wat ek probeer het. En ek het al die bekende en nie so bekende wolke probeer nie.

Synology het ook sy eie wolk, jy kan dit op jou NAS ontplooi, ek het verskeie kere probeer om van Dropbox na Synology Cloud Station oor te skakel, maar daar was altyd probleme met sinchronisasie, daar was altyd 'n paar foute, of ek het nie alles gesinchroniseer nie.

Alle belangrike lêers word in die Dropbox-lêergids gestoor, soms stoor ek iets op my lessenaar, om nie iets te verloor nie, het ek 'n simskakel na die Dropbox-lêergids gemaak met die MacDropAny-program.
My aflaai-lêergids is op geen manier gesinchroniseer nie, maar daar is niks belangrik nie, net tydelike lêers. As ek iets belangrik aflaai, kopieer ek dit na die toepaslike vouer in Dropbox.

My avonture met DropboxEens op 'n tyd, iewers in 2013-2014, het ek al my lêers in Dropbox gestoor en net daar was daar geen rugsteun nie. Toe het ek nie 1Tb gehad nie, dit wil sê, ek het nie daarvoor betaal nie, ek het omtrent 25Gb gehad, wat ek verdien het deur vriende te nooi of ander take.

Ek het een goeie oggend die rekenaar aangeskakel en al my lêers het verdwyn, ek het ook 'n brief van Dropbox gekry waar hulle om verskoning vra en dat my lêers deur hul skuld verdwyn het. Hulle het vir my 'n skakel gegee waar ek my lêers kon herstel, maar natuurlik is niks herstel nie. Hiervoor het hulle vir my 1Tb vir 'n jaar gegee, waarna ek hul kliënt geword het, al klink dit hoe vreemd, maar ek het hulle nooit vertrou nie.

Soos ek hierbo geskryf het, kon ek nie 'n wolk vind wat meer geskik is vir my nie, eerstens was daar nog geen sinchronisasieprobleme nie, en tweedens werk baie verskillende dienste net met Dropbox.

gaan

Werklêers word op die werkbediener gestoor, persoonlike projekte word op GitLab gestoor, alles is eenvoudig hier.

Tyd masjien

Ek maak ook 'n rugsteun van die hele stelsel, die Dropbox en Downloads-lêergids uitgesluit natuurlik, om nie verniet spasie op te neem nie. Ek rugsteun die stelsel met Time Machine, 'n uitstekende hulpmiddel wat my al meer as een keer gehelp het. Ek doen dit op dieselfde NAS, gelukkig het dit so 'n funksie. U kan dit natuurlik op 'n eksterne HDD doen, maar dit is nie so gerieflik nie. Elke keer as jy 'n eksterne skyf moet koppel en Time Machine self moet begin. Weens luiheid het ek dikwels een keer elke paar weke sulke rugsteun gemaak. Hy maak outomaties rugsteun na die bediener, ek sien nie eers agter wanneer hy dit doen nie. Ek werk van die huis af, so ek het altyd 'n vars rugsteun van my hele stelsel. 'n Kopie word verskeie kere per dag gemaak, ek het nie getel hoeveel keer en hoe gereeld nie.

NAS

Dit is waar al die magie gebeur.

Synology het 'n uitstekende hulpmiddel, dit word Cloud Sync genoem, ek dink uit die naam is dit duidelik wat dit doen.

Dit kan baie wolkstelsels met mekaar sinchroniseer, of meer presies, lêers vanaf die NAS-bediener met ander wolke sinchroniseer. Ek dink daar is 'n resensie van hierdie program aanlyn. Ek gaan nie in besonderhede in nie. Ek moet beter beskryf hoe ek dit gebruik.

Berging en outomatiese sortering van foto's en ander lêers. Werk met lêerberging gebaseer op NAS Synology

Op die bediener het ek 'n skyfvouer genaamd Dropbox, dit is 'n kopie van my Dropbox-rekening, Cloud Sync is verantwoordelik om dit alles te sinchroniseer. As iets met die lêers in Dropbox gebeur het, sal dit op die bediener gebeur, dit maak nie saak of dit uitgevee of geskep is nie. In die algemeen, klassieke sinchronisasie.

Yandex ry

Vervolgens gooi ek al hierdie lêers op my Yandex-skyf, ek gebruik dit as 'n tuisgemaakte rugsteunskyf, dit wil sê, ek gooi die lêers daarheen, maar vee niks van daar uit nie, dit blyk so 'n storting van lêers te wees, maar dit het 'n paar keer gehelp.

Google Drive

Daar stuur ek net die "Foto's"-lêergids, ook in sinchronisasiemodus, ek doen dit net vir gerieflike besigtiging van foto's in Google Foto's en met die vermoë om foto's daarvandaan uit te vee en dit word oral uitgevee (behalwe vir Yandex-skyf natuurlik). Ek sal oor die foto hieronder skryf; jy kan selfs 'n aparte artikel daar skryf.

HiperBackup

Maar dit alles is nie baie betroubaar nie; as jy per ongeluk 'n lêer uitvee, sal dit oral uitgevee word en jy kan dit as verlore beskou. U kan natuurlik vanaf Yandex-skyf herstel, maar eerstens is 'n rugsteun op een plek op sigself nie baie betroubaar nie, en Yandex-skyf self is nie 'n diens waarin u 100% vertroue kan hê nie, al was daar nog nooit enige probleme daarmee.

Daarom het ek altyd probeer om lêers iewers anders te stoor, met 'n normale rugsteunstelsel.

Berging en outomatiese sortering van foto's en ander lêers. Werk met lêerberging gebaseer op NAS Synology

Synology het ook 'n instrument hiervoor, dit word HyperBackup genoem, dit rugsteun lêers óf na ander Synology-bedieners óf na sommige wolkoplossings van derdeparty-vervaardigers.
Dit kan ook rugsteun maak na eksterne aandrywers wat aan 'n NAS gekoppel is, wat ek tot onlangs gedoen het. Maar dit is ook nie betroubaar nie, byvoorbeeld, as daar 'n brand is, dan is die einde van beide die bediener en die HDD.

Synologie C2

Hier nader ons geleidelik 'n ander diens, hierdie keer van Synology self. Dit het sy eie wolke vir die stoor van rugsteun. Dit is spesifiek ontwerp vir HyperBackup, hy maak elke dag rugsteun daar, maar dit is 'n weldeurdagte rugsteun, daar is lêerweergawes, 'n tydlyn, en selfs kliënte vir Windows en Mac OS.

Berging en outomatiese sortering van foto's en ander lêers. Werk met lêerberging gebaseer op NAS Synology

Dit is alles vir lêerberging, ek hoop my lêers is veilig.

Kom ons gaan nou aan om die lêers te sorteer.

Ek sorteer gewone lêers, boeke, skanderings van dokumente en ander onbelangrike lêers met die hand in dopgehou, net soos alles anders. Gewoonlik is daar nie baie van hulle nie en ek maak hulle selde oop.

Die moeilikste ding is om foto's en video's te sorteer, ek het baie daarvan.

Ek neem van 'n paar dosyn tot 'n paar honderd foto's per maand. Ek skiet met 'n DSLR, 'n hommeltuig en soms op my foon. Foto's kan persoonlik of vir voorraad wees. Ek skiet ook soms huisvideo's (nie wat jy dalk dink nie, net familievideo's, dikwels saam met my dogter). Dit moet ook op een of ander manier gestoor en gesorteer word sodat dit nie 'n gemors word nie.

Ek het 'n vouer in dieselfde Dropbox genaamd Sorteer beelde, daar is subgidse waar al die foto's en video's gaan, van daar af word dit geneem en gesorteer waar nodig.

Berging en outomatiese sortering van foto's en ander lêers. Werk met lêerberging gebaseer op NAS Synology

Sortering vind plaas op die NAS-bediener, daar loop bash scripts wat outomaties een keer per dag geloods word en hul werk doen. Die NAS is ook verantwoordelik vir die bekendstelling daarvan; daar is 'n taakskeduleerder wat verantwoordelik is vir die bekendstelling van alle skrifte en ander take. U kan opstel hoe gereeld en wanneer take geloods sal word, cron met 'n koppelvlak as dit eenvoudiger is.

Berging en outomatiese sortering van foto's en ander lêers. Werk met lêerberging gebaseer op NAS Synology

Elke gids het sy eie skrif. Nou meer oor dopgehou:

dreun — hier is foto's van 'n hommeltuig wat ek vir persoonlike doeleindes geneem het. Eers verwerk ek al die foto's in lightroom, voer dan JPG uit na hierdie vouer. Van daar beland hulle in 'n ander Dropbox-lêergids, "Foto".

Daar is 'n vouer "Drone" en daar is hulle reeds volgens jaar en maand gesorteer. Die skrifte skep self die nodige vouers en hernoem die foto's self volgens my sjabloon, gewoonlik is dit die datum en tyd wat die foto geneem is, ek voeg ook 'n ewekansige nommer aan die einde by sodat lêers met dieselfde naam nie verskyn nie. Ek kan nie onthou hoekom die instelling van sekondes in die lêernaam nie geskik was vir hierdie doeleindes nie.

Die boom lyk so: Foto/Drone/2019/05 — Mei/01 — Mei — 2019_19.25.53_37.jpg

Berging en outomatiese sortering van foto's en ander lêers. Werk met lêerberging gebaseer op NAS Synology

Hommeltuig-video — Ek skiet nog nie video met 'n hommeltuig nie, daar is baie om te leer, ek het nie nou tyd daarvoor nie, maar ek het reeds 'n gids geskep.

Beeldbewerkings — daar is twee vouers binne, wanneer lêers daar gevind word, word hulle eenvoudig óf aan die maksimum kant saamgepers tot 2000px vir publikasie op die internet, óf beelde word omgekeer, ek het dit nie meer nodig nie, maar ek het nog nie die vouer uitgevee nie.

panorama — dit is waar panoramas inkom, soos jy dalk kan raai, ek stoor dit apart aangesien dit 'n spesifieke tipe foto is, ek neem dit gewoonlik met 'n hommeltuig. Ek doen ook gereeld panoramas, maar ek doen ook 360 panoramas en soms sfere, hierdie soort panoramas soos klein planete, ek doen dit ook met 'n hommeltuig. Vanuit hierdie vouer gaan alle foto's ook na Foto/Panoramas/2019/01 - Mei - 2019_19.25.53_37.jpg. Hier sorteer ek nie volgens maand nie, want daar is nie soveel panoramas nie.

Persoonlike foto — Hier is die foto's wat ek met 'n DSLR neem, gewoonlik is dit gesinsfoto's of reis, in die algemeen, foto's wat geneem is vir geheue en vir myself. Ek verwerk ook rou foto's in Lightroom en voer dit dan hierheen uit.

Van hier af kom hulle hier: Foto/2019/05 — Mei/01 — Mei — 2019_19.25.53_37.jpg

As ek 'n soort viering of iets anders gefotografeer het wat beter afsonderlik gestoor sou word, dan skep ek in die 2019-lêergids 'n vouer met die naam van die viering en kopieer die foto met die hand daarheen.

RAW — hier is die fotobronne. Ek skiet altyd in RAW, ek stoor alle foto's in JPG, maar soms wil ek RAW lêers ook stoor, soms wil ek 'n raam anders verwerk. Gewoonlik is dit die natuur en net die beste skote kom daar, nie almal in 'n ry nie.

Stock Foto — hier laai ek foto's op vir voorraadfoto's, wat ek óf op 'n DSLR óf op 'n hommeltuig neem. Sortering is dieselfde as in ander foto's, net in sy eie aparte vouer.

In die wortelgids van Dropbox is daar 'n Camera Uploads-lêergids, dit is die verstekvouer waarin die Dropbox-selfoontoepassing alle foto's en video's oplaai. Alle foto's van die vrou vanaf die telefoon word op hierdie manier laat val. Ek laai ook al my foto's en video's van my foon hier af en van daar af sorteer ek dit in 'n aparte vouer. Maar ek doen dit op 'n ander manier, geriefliker vir my. Daar is so 'n program vir Android, FolderSync, dit laat jou toe om al die foto's van jou selfoon af te neem, dit na Dropbox op te laai en dit dan van die foon af te verwyder. Daar is baie instellings, ek beveel dit aan. Video's vanaf jou foon gaan ook na hierdie vouer; hulle word ook soos alle foto's gesorteer, volgens jaar en maand.

Ek het al die skrifte self uit verskeie instruksies op die internet versamel; ek het geen klaargemaakte oplossings gevind nie. Ek weet glad niks van bash scripts nie, miskien is daar 'n paar foute of sommige dinge kan beter gedoen word, maar die belangrikste ding vir my is dat hulle hul werk doen en doen wat ek nodig het.

Die skrifte is na GitHub opgelaai: https://github.com/pelinoleg/bash-scripts

Voorheen, om foto's en video's te sorteer, het ek Hazel onder Mac OS gebruik, alles is makliker daar, alle take word visueel geskep, dit is nie nodig om kode te skryf nie, maar daar is twee nadele. Eerstens moet jy al die dopgehou op die rekenaar hou sodat alles goed werk, en tweedens, as ek skielik na Windows of Linux oorskakel, is daar nie sulke programme daar nie. Ek het probeer om 'n alternatief te soek, maar hulle was almal tevergeefs. 'n Oplossing met skrifte op die bediener is 'n meer universele oplossing.

Alle skrifte is gekonfigureer om een ​​keer per dag uitgevoer te word, gewoonlik in die nag. Maar as jy nie tyd het om te wag nie en jy moet nou op een of ander manier die vereiste script uitvoer, is daar twee oplossings: koppel via SSH aan die bediener en voer die vereiste script uit, of gaan na die administrasiepaneel en voer ook die vereiste handmatig uit. skrif. Dit alles lyk vir my ongerieflik, so ek het 'n derde oplossing gevind. Daar is 'n program vir Android wat ssh-opdragte kan stuur. Ek het verskeie opdragte geskep, elkeen het sy eie knoppie, en as ek nou moet sorteer, byvoorbeeld foto's wat ek van 'n hommeltuig geneem het, dan druk ek net een knoppie en die script loop. Die program word SSHing genoem, daar is ander soortgelyke, maar vir my is dit die gerieflikste.

Berging en outomatiese sortering van foto's en ander lêers. Werk met lêerberging gebaseer op NAS Synology

Ek het ook verskeie van my eie webwerwe, hulle is meer vir die vertoon, byna niemand gaan daarheen nie, maar tog maak dit nie seer om 'n rugsteun te doen nie. Ek bestuur my werwe op DigitalOcean, waar ek die aaPanel-paneel geïnstalleer het. Daar is dit moontlik om rugsteunkopieë van alle lêers en alle databasisse te maak, maar op dieselfde skyf.

Om 'n rugsteun op dieselfde skyf te stoor is nie die geval nie, so ek gebruik ook 'n bash script om daarheen te gaan en alles na my bediener te kopieer, en argiveer alles in een argief met die datum in die naam.

Ek hoop ten minste iemand sal gehelp word deur die metodes wat ek gebruik en waarmee ek gedeel het.

Soos uit die artikel gesien kan word, is ek lief vir outomatisering en probeer om alles wat moontlik is te outomatiseer, ek het nie baie dinge beskryf vanuit die oogpunt van outomatisering nie, aangesien dit reeds ander onderwerpe en ander artikels is.

Bron: will.com

Voeg 'n opmerking