Складирање и автоматско сортирање на фотографии и други датотеки. Работа со складирање датотеки базирани на NAS Synology

Долго време сакав да пишувам за тоа како ги чувам моите датотеки и како правам резервни копии, но никогаш не стигнав до тоа. Неодамна овде се појави статија, нешто слична на мојата, но со поинаков пристап.
Самата статија.

Веќе многу години се обидувам да го најдам совршениот метод за складирање датотеки. Мислам дека го најдов, но секогаш има нешто да се подобри, ако имате идеи како да го направите подобро, со задоволство ќе го прочитам.

Ќе почнам со тоа што ќе ви кажам неколку зборови за себе, се занимавам со веб-развој и фотографирам во слободното време. Оттука и заклучокот дека треба да складирам работни и лични проекти, фотографии, видеа и други датотеки.

Имам околу 680 GB датотеки, од кои 90 проценти се фотографии и видеа.

Циркулација на датотеки во моите складишта:

Еве приближен дијаграм за тоа како и каде се зачувани сите мои датотеки.

Сега повеќе.

Како што можете да видите, срцето на сè е мојот NAS, имено Synology DS214, еден од наједноставните NAS од Synology, но сепак се справува со се што ми треба.

Dropbox

Мојата работна машина е macbook pro 13, 2015 година. Таму имам 512 GB, но секако не се вклопуваат сите фајлови, го складирам само она што е потребно во моментот. Ги синхронизирам сите мои лични датотеки и папки со Dropbox, знам дека не е многу сигурен, но ја врши само функцијата за синхронизација. И тоа го прави најдобро, барем од она што јас го пробав. И ги пробав сите познати и не толку познати облаци.

Synology има и свој облак, можете да го распоредите на вашиот NAS, се обидов неколку пати да се префрлам од Dropbox на Synology Cloud Station, но секогаш имаше проблеми со синхронизацијата, секогаш имаше некои грешки или не синхронизирав сè.

Сите важни датотеки се зачувани во папката Dropbox, понекогаш зачувувам нешто на мојот десктоп, за да не изгубам нешто, направив симлинк до папката Dropbox користејќи ја програмата MacDropAny.
Папката My Download не е синхронизирана на никаков начин, но нема ништо важно таму, само привремени датотеки. Ако преземам нешто важно, го копирам во соодветната папка во Dropbox.

Моите авантури со DropboxНекогаш, некаде во 2013-2014 година, ги чував сите мои датотеки во Dropbox и само таму немаше резервни копии. Тогаш немав 1Tb, односно не платив за тоа, имав околу 25 Gb, кои ги заработив со поканување пријатели или други задачи.

Едно убаво утро го вклучив компјутерот и сите мои датотеки исчезнаа, добив и писмо од Dropbox каде се извинуваат и дека моите датотеки исчезнаа по нивна вина. Ми дадоа линк каде можам да ги вратам датотеките, но секако ништо не беше вратено. За ова ми дадоа 1Tb една година, по што станав нивен клиент, колку и да звучи чудно, но никогаш не им верував.

Како што напишав погоре, не можев да најдам облак што е посоодветен за мене, прво, сè уште немаше проблеми со синхронизацијата, и второ, многу различни услуги работат само со Dropbox.

оди

Работните датотеки се зачувани на работниот сервер, личните проекти се зачувани на GitLab, сè е едноставно овде.

машина на времето

Правам и резервна копија на целиот систем, секако со исклучок на папката Dropbox и Downloads, за да не зафаќам простор за џабе. Правам резервна копија на системот користејќи Time Machine, одлична алатка која ми помогна повеќе од еднаш. Јас го правам тоа на истиот NAS, за среќа има таква функција. Можете да го направите тоа на надворешен HDD, се разбира, но тоа не е толку погодно. Секој пат кога ќе треба да поврзете надворешен диск и сами да стартувате Time Machine. Поради мрзеливост, често правев такви резервни копии еднаш на неколку недели. Тој автоматски прави резервни копии на серверот, не ни забележувам кога го прави тоа. Работам од дома, така што секогаш имам свежа резервна копија од целиот мој систем. Копија се прави неколку пати на ден, не броев колку пати и колку често.

NAS

Тука се случува целата магија.

Synology има одлична алатка, се вика Cloud Sync, мислам дека од името е јасно што прави.

Може да синхронизира многу облак системи еден со друг, или поточно, да синхронизира датотеки од NAS сервер со други облаци. Мислам дека има преглед на оваа програма на интернет. Нема да навлегувам во детали. Подобро да опишам како го користам.

На серверот имам папка со диск наречена Dropbox, таа е копија од мојата сметка на Dropbox, Cloud Sync е одговорен за синхронизирање на сето ова. Ако нешто се случи со датотеките во Dropbox, тоа ќе се случи на серверот, не е важно дали е избришано или креирано. Во принцип, класична синхронизација.

Диск на Yandex

Следно, ги фрлам сите овие датотеки на мојот Yandex диск, го користам како домашен резервен диск, односно ги фрлам датотеките таму, но не бришам ништо од таму, излегува дека е таква депонија на датотеки, но тоа помогна неколку пати.

Google диск

Таму ја испраќам само папката „Фотографии“, исто така во режим на синхронизација, ова го правам само за практично гледање фотографии во „Фотографии на Google“ и со можност да бришам фотографии од таму и тие се бришат насекаде (освен за дискот Yandex, се разбира). Ќе пишувам за фотографијата подолу; можете дури и да напишете посебна статија таму.

Хипербекап

Но, сето ова не е многу сигурно; ако случајно избришете датотека, таа ќе биде избришана насекаде и може да ја сметате за изгубена. Се разбира, можете да обновите од дискот Yandex, но прво, резервната копија на едно место сама по себе не е многу сигурна, а самиот Yandex диск не е услуга во која можете да бидете 100% сигурни, иако никогаш немало проблеми со него.

Затоа, секогаш се обидував да складирам датотеки на друго место, со нормален резервен систем.

Synology, исто така, има алатка за ова, таа се нарекува HyperBackup, прави резервна копија на датотеки или на други сервери на Synology или на некои облак решенија од трети производители.
Може да прави и резервни копии на надворешни дискови поврзани со NAS, што го правев до неодамна. Но, ова исто така не е сигурно, на пример, ако има пожар, тогаш крајот и на серверот и на HDD.

Синологија В2

Тука постепено пристапуваме кон друга услуга, овој пат од самата Синологија. Има свои облаци за складирање резервни копии. Дизајниран е специјално за HyperBackup, тој прави резервни копии таму секој ден, но ова е добро осмислена резервна копија, има верзии на датотеки, временска рамка, па дури и клиенти за Windows и mac OS.

Тоа е сè за складирање датотеки, се надевам дека моите датотеки се безбедни.

Сега да продолжиме со сортирање на датотеките.

Рачно ги подредувам обичните датотеки, книги, скенирања на документи и други неважни датотеки во папки, исто како и сè друго. Обично ги нема многу и ретко ги отворам.

Најтешко е сортирањето фотографии и видеа, имам многу такви.

Месечно правам од неколку десетици до неколку стотици фотографии. Снимам со DSLR, дрон, а понекогаш и со телефон. Фотографиите можат да бидат лични или залихи. Исто така, понекогаш снимам домашни видеа (не како што можеби мислите, само семејни видеа, често со ќерка ми). Исто така, треба некако да се складира и сортира за да не стане хаос.

Имам папка во истиот Dropbox наречен Sort Images, има подпапки каде што одат сите фотографии и видеа, од таму се земаат и се подредуваат каде што треба.

Сортирањето се одвива на серверот NAS, таму работат баш скрипти кои автоматски се стартуваат еднаш дневно и си ја вршат својата работа. NAS е исто така одговорен за нивно лансирање; постои распоредувач на задачи кој е одговорен за лансирање на сите скрипти и други задачи. Можете да конфигурирате колку често и кога ќе се стартуваат задачите, скринирајте со интерфејс ако е поедноставно.

Секоја папка има своја скрипта. Сега повеќе за папките:

Беспилотно летало — еве фотографии од дрон што ги направив за лични цели. Прво ги обработувам сите фотографии во lightroom, а потоа извезувам JPG во оваа папка. Оттаму тие завршуваат во друга папка на Dropbox, „Фото“.

Има папка „Дрон“ и таму веќе се подредени по година и месец. Самите скрипти ги креираат потребните папки и самите ги преименуваат фотографиите според мојот шаблон, обично ова е датумот и времето кога е направена фотографијата, исто така додавам случаен број на крајот за да не се појавуваат датотеките со истото име. Не се сеќавам зошто поставувањето секунди во името на датотеката не беше соодветно за овие цели.

Дрвото изгледа вака: Фото/Дрон/2019/05 — мај/01 — мај — 2019_19.25.53_37.jpg

Видео со дрон - Сè уште не снимам видео со дрон, има многу да научам, немам време за тоа сега, но веќе создадов папка.

Операции со слики — внатре има две папки, кога ќе се најдат датотеки таму, тие едноставно се или компресирани од максималната страна до 2000 пиксели за објавување на Интернет, или сликите се превртуваат, ова повеќе не ми треба, но не го избришав папка уште.

Панорами — овде влегуваат панорамите, како што може да претпоставите, ги чувам одделно бидејќи ова е специфичен тип на фотографија, обично ги правам со дрон. Правам и редовни панорами, но правам и 360 панорами и понекогаш сфери, вакви панорами како мали планети, го правам и со дрон. Од оваа папка, сите фотографии одат и во Photo/Panoramas/2019/01 - мај - 2019_19.25.53_37.jpg. Овде не средувам по месеци бидејќи нема толку многу панорами.

Лична фотографија — Еве ги фотографиите што ги правам со DSLR, обично тоа се семејни фотографии или патувања, воопшто, фотографии што се направени за меморија и за мене. Исто така, обработувам необработени фотографии во Lightroom и потоа ги извезувам овде.

Од тука стигнуваат овде: Фото/2019/05 — мај/01 — мај — 2019_19.25.53_37.jpg

Ако фотографирав некаква прослава или нешто друго што би било подобро да се чува одделно, тогаш во папката 2019 создавам папка со името на прославата и рачно ја копирам фотографијата таму.

RAW — еве ги изворите на фотографиите. Секогаш снимам во RAW, ги чувам сите фотографии во JPG, но понекогаш сакам да складирам и RAW датотеки, понекогаш сакам да обработам рамка поинаку. Обично таква е природата и таму стигнуваат само најдобрите кадри, не сите по ред.

Сток Фото — овде прикачувам фотографии за сток фотографии, кои ги правам или на DSLR или на дрон. Сортирањето е исто како и на другите фотографии, само во сопствената посебна папка.

Во root директориумот на Dropbox, постои папка Camera Uploads, ова е стандардната папка во која мобилната апликација Dropbox ги поставува сите фотографии и видеа. Сите фотографии на сопругата од телефонот се испуштаат на овој начин. Овде ги поставувам и сите мои фотографии и видеа од телефонот и оттаму ги подредувам во посебна папка. Но, тоа го правам на поинаков начин, попогоден за мене. Има таква програма за Android, FolderSync, ви овозможува да ги земете сите фотографии од вашиот мобилен телефон, да ги прикачите на Dropbox и потоа да ги избришете од телефонот. Има многу поставки, го препорачувам. Видеата од вашиот телефон исто така влегуваат во оваа папка; тие исто така се подредени како и сите фотографии, по година и месец.

Сам ги собрав сите скрипти од разни инструкции на Интернет, не најдов никакви готови решенија. Воопшто не знам ништо за баш скриптите, можеби има некои грешки или некои работи може да се направат подобро, но најважно ми е тие да си ја завршат својата работа и да го прават она што ми треба.

Скриптите беа поставени на GitHub: https://github.com/pelinoleg/bash-scripts

Претходно за сортирање фотографии и видеа користев Hazel под mac os, таму се е полесно, сите задачи се креираат визуелно, нема потреба да пишуваш код, но има две недостатоци. Прво, треба да ги чувате сите папки на компјутерот, така што сè работи добро, и второ, ако одеднаш се префрлам на Windows или Linux, нема такви програми таму. Се обидов да барам алтернатива, но сите беа безуспешни. Решението со скрипти на серверот е поуниверзално решение.

Сите скрипти се конфигурирани да се извршуваат еднаш дневно, обично ноќе. Но, ако немате време да чекате и треба некако да ја извршите потребната скрипта сега, постојат две решенија: поврзете се преку SSH на серверот и извршете ја потребната скрипта или одете на административниот панел и исто така рачно стартувајте ја потребната скрипта. Сето ова ми изгледа незгодно, па најдов трето решение. Има програма за Андроид која може да испраќа ssh команди. Создадов неколку команди, секоја има свое копче, а сега ако треба да подредам, на пример, фотографии што сум ги направил од дрон, тогаш само притискам едно копче и скриптата работи. Програмата се вика SSHing, има и други слични, но за мене ова е најзгодно.

Имам и неколку свои страници, тие се повеќе за прикажување, речиси никој не оди таму, но сепак не боли да се направи резервна копија. Моите сајтови ги извршувам на DigitalOcean, каде што го инсталирав панелот aaPanel. Таму е можно да се направат резервни копии на сите датотеки и сите бази на податоци, но на истиот диск.

Складирањето резервна копија на истиот диск не е случај, па затоа користам и баш скрипта за да одам таму и да копирам сè на мојот сервер, архивувајќи сè во една архива со датумот во името.

Се надевам дека барем некому ќе му помогнат методите што ги користам и кои ги споделив.

Како што може да се види од статијата, ја сакам автоматизацијата и се обидувам да автоматизирам сè што е можно, не опишав многу работи од гледна точка на автоматизација, бидејќи ова се веќе други теми и други статии.

Извор: www.habr.com