Ruajtja dhe renditja automatike e fotove dhe skedarëve të tjerë. Puna me ruajtjen e skedarëve bazuar në NAS Synology

Prej kohësh kam dashur të shkruaj se si i ruaj skedarët e mi dhe se si bëj kopje rezervë, por nuk e kam arritur kurrë. Kohët e fundit këtu u shfaq një artikull, disi i ngjashëm me timin, por me një qasje të ndryshme.
Vetë artikulli.

Unë jam përpjekur të gjej metodën e përsosur për ruajtjen e skedarëve për shumë vite tani. Mendoj se e gjeta, por ka gjithmonë diçka për të përmirësuar, nëse keni ndonjë ide se si ta bëni më mirë, do të jem i lumtur ta lexoj.

Do të filloj duke ju thënë disa fjalë për veten time, bëj zhvillim të internetit dhe bëj fotografi në kohën time të lirë. Prandaj përfundimi se më duhet të ruaj projekte pune dhe personale, foto, video dhe skedarë të tjerë.

Unë kam rreth 680 GB skedarë, 90 për qind e të cilave janë foto dhe video.

Qarkullimi i skedarëve në magazinat e mia:

Ruajtja dhe renditja automatike e fotove dhe skedarëve të tjerë. Puna me ruajtjen e skedarëve bazuar në NAS Synology

Këtu është një diagram i përafërt se si dhe ku ruhen të gjithë skedarët e mi.

Tani më në detaje.

Siç mund ta shihni, zemra e gjithçkaje është NAS-i im, përkatësisht Synology DS214, një nga NAS-të më të thjeshta nga Synology, megjithatë, ai përballon gjithçka që më nevojitet.

Dropbox

Makina ime e punës është një macbook pro 13, 2015. Unë kam 512 GB atje, por sigurisht që nuk përshtaten të gjithë skedarët, ruaj vetëm atë që duhet për momentin. Unë sinkronizoj të gjithë skedarët dhe dosjet e mia personale me Dropbox, e di që nuk është shumë i besueshëm, por kryen vetëm funksionin e sinkronizimit. Dhe ai e bën atë më së miri, të paktën nga sa kam provuar. Dhe provova të gjitha retë e famshme dhe jo aq të famshme.

Synology ka gjithashtu renë e vet, ju mund ta vendosni në NAS tuaj, u përpoqa disa herë të kaloja nga Dropbox në Synology Cloud Station, por gjithmonë kishte probleme me sinkronizimin, gjithmonë kishte disa gabime ose nuk sinkronizova gjithçka.

Të gjithë skedarët e rëndësishëm ruhen në dosjen Dropbox, ndonjëherë ruaj diçka në desktopin tim, në mënyrë që të mos humbas diçka, kam bërë një lidhje simbolike në dosjen Dropbox duke përdorur programin MacDropAny.
Dosja ime e shkarkimit nuk është e sinkronizuar në asnjë mënyrë, por nuk ka asgjë të rëndësishme atje, vetëm skedarë të përkohshëm. Nëse shkarkoj diçka të rëndësishme, e kopjoj në dosjen e duhur në Dropbox.

Aventurat e mia me DropboxNjëherë e një kohë, diku në 2013-2014, i ruajta të gjithë skedarët e mi në Dropbox dhe vetëm atje nuk kishte asnjë kopje rezervë. Atëherë nuk kisha 1Tb, domethënë nuk e pagova, kisha rreth 25 Gb, të cilat i fitoja duke ftuar miq ose detyra të tjera.

Një mëngjes të bukur ndeza kompjuterin dhe të gjithë skedarët e mi u zhdukën, mora edhe një letër nga Dropbox ku më kërkonin falje dhe se skedarët e mi u zhdukën për fajin e tyre. Më dhanë një lidhje ku mund të restauroja skedarët e mi, por natyrisht asgjë nuk u restaurua. Për këtë më dhanë 1Tb për një vit, pas së cilës u bëra klient i tyre, sado e çuditshme të tingëllojë, por nuk u besova kurrë.

Siç shkrova më lart, nuk mund të gjeja një re që ishte më e përshtatshme për mua, së pari, nuk kishte ende probleme sinkronizimi, dhe së dyti, shumë shërbime të ndryshme funksionojnë vetëm me Dropbox.

git

Skedarët e punës ruhen në serverin e punës, projektet personale ruhen në GitLab, gjithçka është e thjeshtë këtu.

Machine Koha

Unë gjithashtu bëj një kopje rezervë të të gjithë sistemit, duke përjashtuar sigurisht dosjen Dropbox dhe Shkarkime, për të mos zënë hapësirë ​​kot. Bëj kopje rezervë të sistemit duke përdorur Time Machine, një mjet i shkëlqyer që më ka ndihmuar më shumë se një herë. Unë e bëj në të njëjtin NAS, për fat të mirë ka një funksion të tillë. Mund ta bëni në një HDD të jashtëm, sigurisht, por nuk është aq i përshtatshëm. Sa herë që ju duhet të lidhni një disk të jashtëm dhe të nisni vetë Time Machine. Për shkak të dembelizmit, shpesh bëja kopje rezervë të tillë një herë në disa javë. Ai automatikisht bën kopje rezervë në server, as nuk e vërej kur e bën atë. Unë punoj nga shtëpia, kështu që kam gjithmonë një kopje rezervë të të gjithë sistemit tim. Një kopje bëhet disa herë në ditë, nuk kam llogaritur sa herë dhe sa shpesh.

NAS

Këtu ndodh e gjithë magjia.

Synology ka një mjet të shkëlqyer, quhet Cloud Sync, mendoj se nga emri është e qartë se çfarë bën.

Mund të sinkronizojë shumë sisteme cloud me njëri-tjetrin, ose më saktë, të sinkronizojë skedarët nga një server NAS me retë e tjera. Unë mendoj se ka një rishikim të këtij programi në internet. Nuk do të hyj në detaje. Më mirë do të përshkruaj se si e përdor.

Ruajtja dhe renditja automatike e fotove dhe skedarëve të tjerë. Puna me ruajtjen e skedarëve bazuar në NAS Synology

Në server kam një dosje disku të quajtur Dropbox, është një kopje e llogarisë sime Dropbox, Cloud Sync është përgjegjës për sinkronizimin e gjithë kësaj. Nëse diçka ka ndodhur me skedarët në Dropbox, do të ndodhë në server, nuk ka rëndësi nëse është fshirë apo krijuar. Në përgjithësi, sinkronizimi klasik.

Disk Yandex

Tjetra, unë i hedh të gjithë këta skedarë në diskun tim Yandex, e përdor atë si një disk rezervë të bërë vetë, domethënë i hedh skedarët atje, por nuk fshi asgjë prej andej, rezulton të jetë një hale e tillë skedarësh, por ka ndihmuar disa herë.

Google Drive

Atje dërgoj vetëm dosjen "Fotografitë", gjithashtu në modalitetin e sinkronizimit, e bëj këtë vetëm për shikim të përshtatshëm të fotove në Google Photos dhe me aftësinë për të fshirë fotot nga atje dhe ato fshihen kudo (me përjashtim të diskut Yandex natyrisht). Do të shkruaj për foton më poshtë; madje mund të shkruani një artikull të veçantë atje.

HiperBackup

Por e gjithë kjo nuk është shumë e besueshme; nëse fshini aksidentalisht një skedar, ai do të fshihet kudo dhe mund ta konsideroni të humbur. Ju, sigurisht, mund të rivendosni nga disku Yandex, por së pari, një kopje rezervë në një vend nuk është shumë e besueshme në vetvete, dhe vetë disku Yandex nuk është një shërbim në të cilin mund të jeni 100% të sigurt, edhe pse nuk ka pasur kurrë probleme me të.

Prandaj, gjithmonë jam përpjekur të ruaj skedarët diku tjetër, me një sistem normal rezervë.

Ruajtja dhe renditja automatike e fotove dhe skedarëve të tjerë. Puna me ruajtjen e skedarëve bazuar në NAS Synology

Synology ka gjithashtu një mjet për këtë, ai quhet HyperBackup, ai rezervon skedarët ose në serverë të tjerë Synology ose në disa zgjidhje cloud nga prodhues të palëve të treta.
Mund të bëjë gjithashtu kopje rezervë në disqet e jashtme të lidhura me një NAS, gjë që bëja deri vonë. Por kjo gjithashtu nuk është e besueshme, për shembull, nëse ka një zjarr, atëherë fundi i serverit dhe HDD.

Sinologjia C2

Këtu gradualisht i afrohemi një shërbimi tjetër, këtë herë nga vetë Synology. Ka retë e veta për ruajtjen e kopjeve rezervë. Është krijuar posaçërisht për HyperBackup, ai bën kopje rezervë atje çdo ditë, por ky është një kopje rezervë e mirëmenduar, ka versione skedarësh, një afat kohor dhe madje edhe klientë për Windows dhe mac OS.

Ruajtja dhe renditja automatike e fotove dhe skedarëve të tjerë. Puna me ruajtjen e skedarëve bazuar në NAS Synology

Kjo është e gjitha për ruajtjen e skedarëve, shpresoj që skedarët e mi të jenë të sigurt.

Tani le të kalojmë në renditjen e skedarëve.

I rendit me dorë skedarët e zakonshëm, librat, skanimet e dokumenteve dhe skedarët e tjerë të parëndësishëm në dosje, ashtu si çdo gjë tjetër. Zakonisht nuk ka shumë dhe i hap rrallë.

Gjëja më e vështirë është renditja e fotove dhe videove, kam shumë prej tyre.

Unë bëj nga disa dhjetëra deri në disa qindra foto në muaj. Unë xhiroj me një DSLR, një dron dhe ndonjëherë në telefonin tim. Fotografitë mund të jenë personale ose të disponueshme. Unë gjithashtu xhiroj ndonjëherë video në shtëpi (jo siç mund të mendoni, vetëm video familjare, shpesh me vajzën time). Ai gjithashtu duhet të ruhet dhe renditet disi në mënyrë që të mos bëhet rrëmujë.

Unë kam një dosje në të njëjtin Dropbox të quajtur Sort Images, ka nëndosje ku shkojnë të gjitha fotot dhe videot, prej andej ato merren dhe renditen aty ku nevojitet.

Ruajtja dhe renditja automatike e fotove dhe skedarëve të tjerë. Puna me ruajtjen e skedarëve bazuar në NAS Synology

Renditja bëhet në serverin NAS, ka skripta bash që funksionojnë atje që lëshohen automatikisht një herë në ditë dhe bëjnë punën e tyre. NAS është gjithashtu përgjegjës për nisjen e tyre; ekziston një programues detyrash i cili është përgjegjës për nisjen e të gjitha skripteve dhe detyrave të tjera. Mund të konfiguroni sa shpesh dhe kur do të hapen detyrat, duke e lidhur me një ndërfaqe nëse është më e thjeshtë.

Ruajtja dhe renditja automatike e fotove dhe skedarëve të tjerë. Puna me ruajtjen e skedarëve bazuar në NAS Synology

Çdo dosje ka skriptin e vet. Tani më shumë rreth dosjeve:

njeri që rri kot — këtu janë fotot nga një dron që kam marrë për qëllime personale. Së pari i përpunoj të gjitha fotot në lightroom, më pas eksportoj JPG në këtë dosje. Prej aty përfundojnë në një dosje tjetër Dropbox, "Foto".

Ekziston një dosje "Drone" dhe atje ato tashmë janë renditur sipas vitit dhe muajit. Vetë skriptet krijojnë dosjet e nevojshme dhe riemërtojnë vetë fotot sipas shabllonit tim, zakonisht kjo është data dhe ora e shkrepjes së fotografisë, gjithashtu shtoj një numër të rastësishëm në fund në mënyrë që skedarët me të njëjtin emër të mos shfaqen. Nuk mbaj mend pse vendosja e sekondave në emrin e skedarit nuk ishte e përshtatshme për këto qëllime.

Pema duket kështu: Foto/Drone/2019/05 — Maj/01 — Maj — 2019_19.25.53_37.jpg

Ruajtja dhe renditja automatike e fotove dhe skedarëve të tjerë. Puna me ruajtjen e skedarëve bazuar në NAS Synology

Video me dron — Nuk kam xhiruar ende video me dron, ka shumë për të mësuar, nuk kam kohë për të tani, por tashmë kam krijuar një dosje.

Operacionet e imazhit - ka dy dosje brenda, kur skedarët gjenden atje, ato thjesht kompresohen nga ana maksimale në 2000 px për publikim në internet, ose imazhet kthehen, nuk më duhet më kjo, por nuk e kam fshirë akoma dosjen.

Panorama — këtu hyjnë panorama, siç mund ta merrni me mend, unë i ruaj ato veçmas pasi kjo është një lloj fotografie specifike, zakonisht i bëj me dron. Bëj edhe panorama të rregullta, por bëj edhe 360 ​​panorama dhe ndonjëherë sfera, këtë lloj panorame si planetë të vegjël, e bëj edhe me dron. Nga kjo dosje, të gjitha fotot shkojnë edhe te Photo/Panoramas/2019/01 - Maj - 2019_19.25.53_37.jpg. Këtu nuk i rendis sipas muajve sepse nuk ka aq shumë panorama.

Foto personale — Këtu janë fotot që bëj me një DSLR, zakonisht këto janë foto familjare ose udhëtimesh, në përgjithësi, foto që bëhen për kujtesë dhe për mua. Unë gjithashtu përpunoj foto të papërpunuara në Lightroom dhe më pas i eksportoj ato këtu.

Nga këtu ata arrijnë këtu: Foto/2019/05 — maj/01 — maj — 2019_19.25.53_37.jpg

Nëse kam fotografuar një lloj feste ose diçka tjetër që do të ruhej më mirë veçmas, atëherë në dosjen 2019 krijoj një dosje me emrin e festës dhe kopjoj foton atje manualisht.

RAW — ja burimet e fotove. Unë shkrep gjithmonë në RAW, i ruaj të gjitha fotot në JPG, por ndonjëherë dua të ruaj edhe skedarë RAW, ndonjëherë dua të përpunoj një kornizë ndryshe. Zakonisht kjo është natyra dhe vetëm shkrepjet më të mira arrijnë atje, jo të gjitha me radhë.

Foto e aksioneve — këtu unë ngarkoj foto për foto të aksioneve, të cilat i bëj ose në një DSLR ose në një dron. Renditja është e njëjtë si në fotot e tjera, vetëm në dosjen e vet të veçantë.

Në direktorinë rrënjësore të Dropbox, ekziston një dosje e Ngarkimeve të Kamera, kjo është dosja e paracaktuar në të cilën aplikacioni celular Dropbox ngarkon të gjitha fotot dhe videot. Të gjitha fotot e bashkëshortes nga telefoni hidhen në këtë mënyrë. Unë gjithashtu ngarkoj të gjitha fotot dhe videot e mia nga telefoni im këtu dhe prej andej i rendit në një dosje të veçantë. Por unë e bëj atë në një mënyrë tjetër, më të përshtatshme për mua. Ekziston një program i tillë për Android, FolderSync, ai ju lejon të merrni të gjitha fotot nga celulari juaj, t'i ngarkoni në Dropbox dhe më pas t'i fshini nga telefoni. Ka shumë cilësime, unë e rekomandoj atë. Videot nga telefoni juaj gjithashtu futen në këtë dosje; ato gjithashtu janë të renditura si të gjitha fotot, sipas vitit dhe muajit.

I mblodha vetë të gjitha skriptet nga udhëzime të ndryshme në internet; nuk gjeta zgjidhje të gatshme. Unë nuk di asgjë për skriptet bash, ndoshta ka disa gabime ose disa gjëra mund të bëhen më mirë, por gjëja më e rëndësishme për mua është që ata të bëjnë punën e tyre dhe të bëjnë atë që unë kam nevojë.

Skriptet u ngarkuan në GitHub: https://github.com/pelinoleg/bash-scripts

Më parë, për të renditur fotot dhe videot, përdora Hazel në mac os, gjithçka është më e lehtë atje, të gjitha detyrat krijohen vizualisht, nuk keni nevojë të shkruani kod, por ka dy të meta. Së pari, duhet të mbani të gjitha dosjet në kompjuter në mënyrë që gjithçka të funksionojë mirë, dhe së dyti, nëse papritmas kaloj në Windows ose Linux, nuk ka programe të tilla atje. U përpoqa të kërkoja një alternativë, por të gjitha ishin të kota. Një zgjidhje me skriptet në server është një zgjidhje më universale.

Të gjithë skriptet janë konfiguruar që të ekzekutohen një herë në ditë, zakonisht gjatë natës. Por nëse nuk keni kohë për të pritur dhe duhet të ekzekutoni disi skriptin e kërkuar tani, ka dy zgjidhje: lidheni përmes SSH me serverin dhe ekzekutoni skriptin e kërkuar, ose shkoni te paneli i administratorit dhe gjithashtu ekzekutoni manualisht skriptin e kërkuar. skenar. E gjithë kjo më duket e papërshtatshme, ndaj gjeta një zgjidhje të tretë. Ekziston një program për Android që mund të dërgojë komanda ssh. Kam krijuar disa komanda, secila ka butonin e vet, dhe tani nëse më duhet të rendit, për shembull, fotot që kam marrë nga një dron, atëherë thjesht shtyp një buton dhe skripti funksionon. Programi quhet SSHing, ka të tjerë të ngjashëm, por për mua ky është më i përshtatshmi.

Ruajtja dhe renditja automatike e fotove dhe skedarëve të tjerë. Puna me ruajtjen e skedarëve bazuar në NAS Synology

Unë gjithashtu kam disa nga faqet e mia, ato janë më shumë për shfaqje, pothuajse askush nuk shkon atje, por megjithatë nuk është e dëmshme të bësh një kopje rezervë. Unë i drejtoj faqet e mia në DigitalOcean, ku instalova panelin aaPanel. Atje është e mundur të bëhen kopje rezervë të të gjithë skedarëve dhe të gjitha bazave të të dhënave, por në të njëjtin disk.

Ruajtja e një kopje rezervë në të njëjtin disk nuk është kështu, kështu që unë përdor gjithashtu një skript bash për të shkuar atje dhe për të kopjuar gjithçka në serverin tim, duke arkivuar gjithçka në një arkiv me datën në emër.

Shpresoj se të paktën dikush do të ndihmohet nga metodat që përdor dhe me të cilat ndava.

Siç shihet nga artikulli, unë e dua automatizimin dhe përpiqem të automatizoj gjithçka që është e mundur, nuk përshkrova shumë gjëra nga pikëpamja e automatizimit, pasi këto janë tashmë tema të tjera dhe artikuj të tjerë.

Burimi: www.habr.com

Shto një koment