Съхранение и автоматична сортировка на снимки и други файлове. Работа с файлово хранилище на база NAS Synology

Отдавна исках да напиша как съхранявам файловете си, как правя резервни копия, но все не стигах до това. Наскоро се появи статия, която е по нещо подобна на моя, но с различен подход.
Самата статия.

Много години се опитвам да намеря идеалния за мен метод за съхранение на файлове. Мисля, че го намерих, но винаги има какво да се подобри. Ако имате някакви идеи за подобрения, с удоволствие ще ги прочета.

Започвам с това, че ще кажа няколко думи за себе си: аз се занимавам с уеб разработка и в свободното си време фотографирам. Следователно, е необходимо да съхранявам работни и лични проекти, снимки, видеа и други файлове.

Имам около 680 GB файлове, от които 90 процента са снимки и видеа.

Кръговрат на файловете в моите хранилища:

Тук е приблизителна схема на това как и къде се съхраняват всичките ми файлове.

Сега по-подробно.

Както се вижда, сърцето на всичко е моят NAS, а именно Synology DS214, един от най-простите NAS устройства на компанията Synology, но справя се с всичко, което ми е нужно.

Dropbox

Работният ми компютър е MacBook Pro 13, от 2015 година. Имам 512 GB, но естествено не всички файлове се побират; съхранявам само онова, което ми е необходимо в момента. Всичките си лични файлове и папки синхронизирам с Dropbox; знам, че не е много надеждно, но той изпълнява само функцията на синхронизация. И го прави най-добре, поне от всичко, което съм опитал. А съм опитал всички известни и не толкова облачни услуги.

Synology също така предлага свое облако, което може да бъде инсталирано на моя NAS. Няколко пъти опитах да премина от Dropbox на Synology Cloud Station, но там винаги имаше проблеми със синхронизацията, винаги имаше грешки или не всичко синхронизирано.

Всички важни файлове се съхраняват в папката Dropbox. Понякога запазвам нещо на работния плот, за да не го загубя, и направих симлинк в папката Dropbox с помощта на програмата MacDropAny.
Папката Downloads не се синхронизира, но там няма нищо важно, само временни файлове. Ако сваля нещо важно, го копирам в съответната папка в Dropbox.

Моите приключения с DropboxПреди много време, около 2013-2014, съхранявах всичките си файлове единствено в Dropbox, без никакви резервни копия. Тогава нямаше 1TB, тоест не плащах за него; имах около 25GB, които спечелих, като поканих приятели или изпълнявах други задачи.

Един прекрасен ден включвам компютъра и всичките ми файлове изчезват, получавам и писмо от Dropbox, в което се извиняват и обясняват, че файловете ми са изчезнали по тяхна вина. Те ми предоставиха линк, по който можех да възстановя файловете си, но, естествено, нищо не се възстанови. Вместо това ми подариха 1Tb за една година, след което станах техен клиент, колкото и странно да звучи, но никога не съм им имал доверие.

Както споменах по-горе, не успях да намеря по-подходящо облако за мен, първо нямаше проблеми със синхронизацията, и второ, много услуги работят само с Dropbox.

Git

Работните файлове се съхраняват на работния сървър, личните проекти на GitLab, тук всичко е просто.

Time Machine

Също така правя резервно копие на цялата система, изключвайки папките Dropbox и Downloads, за да не заема излишно място. Резервното копие на системата правя чрез Time Machine, отличен инструмент, който не веднъж ми е помогнал. Правя го на същия NAS, за щастие там има такава функция. Може да се прави и на външен HDD, но това не е толкова удобно. Трябва всеки път да включвам външния диск и ръчно да стартирам Time Machine. Поради мързел, често правех такива резервни копия на всеки няколко седмици. На сървъра обаче резервното копие се прави автоматично, дори не забелязвам кога става. Работя от дома, така че винаги имам актуално резервно копие на цялата си система. Резервни копия се правят няколко пъти на ден, не съм броил колко пъти и колко често.

NAS

Тук се случва всяка магия.

Synology има отличен инструмент, който се нарича Cloud Sync, мисля, по името е ясно какво прави.

Той може да синхронизира много облачни системи помежду им, а по-точно, да синхронизира файловете от NAS сървера с други облака. Преглед на тази програма мисля, че има в мрежата. Няма да се задълбочавам в подробности. По-добре ще опиша как я използвам.

На сървера имам папка на име Dropbox, която е копие на моя Dropbox акаунт, а синхронизацията на всичко това се извършва от Cloud Sync. Ако в Dropbox се случи нещо с файловете, това ще се случи и на сървера, без значение дали става въпрос за изтриване или създаване. Общо взето, класическа синхронизация.

Yandex Disk

След това, всички тези файлове прехвърлям на своя Yandex Disk, който използвам като самоделно резервно копие, тоест качвам файлове там, но нищо не изтривам оттам, получава се нещо като сметища от файлове, но два пъти ми помогна.

Google Drive

Там изпращам само папката „Photos“, също в режим на синхронизация. Правя го за удобно преглеждане на снимки в Google Photos и с възможност за изтриване оттам, а те се изтриват навсякъде (освен от Yandex Disk, естествено). За снимките ще пиша по-долу, може да се напише отделна статия.

HyperBackup

Но всичко това не е много надеждно, ако случайно изтрия файл, той ще се изтрие навсякъде и може да се счита за изгубен. Разбира се, може да се възстанови от Yandex Disk, но на първо място, резервното копие на едно място не е много надеждно самo по себе си, а и самият Yandex Disk не е този сервис, на който можеш да разчиташ на 100%, макар че досега не съм имал проблеми с него.

Затова винаги съм се стараел да съхранявам файловете и някъде другаде, с нормална система за резервни копия.

Съществува и инструмент за това от Synology, наречен HyperBackup, който прави резервно копие на файлове или на други сървъри на Synology, или на облачни решения от трети производители.
Също така той може да прави резервно копие на външни дискове, свързани към NAS, което правех до скоро. Но това също не е надеждно, например ако има пожар, тогава краят за сървъра и HDD.

Synology C2

Тук плавно преминаваме към друг сервис, вече от самата Synology. Тя има свои облаци за съхранение на резервни копия. Той е специално настроен за HyperBackup, прави резервно копие всеки ден, но това вече е обмислен бекъп, там има версии на файлове, времева линия и дори клиенти за Windows и Mac OS.

С това приключвам с съхранението на файлове, надявам се моите файлове да са в безопасност.

Сега да преминем към сортирането на файлове.

Обикновените файлове, книги, сканирани документи и други маловажни файлове, както всички останали, ги сортирам по папки на ръка. Обикновено не са много и ги отварям рядко.

Най-трудно е със сортирането на снимки и видео, имам много от тях.

Правя от няколко десетки до няколко стотин снимки на месец. Снимам с огледална камера, с дрон и понякога с телефона. Снимките са лични и за стокови изображения. Понякога снимам домашни видеа (не това, което си помислихте, просто семейни видеа, по-често с дъщеря ми). И те трябва да се съхраняват и сортират, за да не се получава каша.

Имам папка в същия Dropbox, наречена Sort Images, там има подпапки, където попадат всички снимки и видео, оттам ги вземам и сортирам на нужното място.

Сортиране се извършва на NAS сървъра, където работят bash скриптове, които автоматично се стартират на всеки 24 часа и вършат своята работа. За тяхното стартиране също отговаря NAS, който разполага с планировчик на задачи, отговарящ за стартирането на всички скриптове и други задачи. Може да се настрои колко често и кога ще се стартират задачите, крон с интерфейс, ако е по-просто.

За всяка папка има свой скрипт. Сега по-подробно за папките:

Drone — тук попадат снимки от дрон, които съм заснел за лични цели. Първо обработвам всички снимки в lightroom, след което правя експортиране на JPG в тази папка. Оттук те попадат в друга папка Dropbox, "Photo".

Там има папка "Drone" и там вече те се сортират по години и месеци. Скриптовете сами създават необходимите папки и променят имената на снимките по моя шаблон, обикновено това е датата и часът на заснемането, а накрая добавям и произволно число, за да не остават файлове с едно и също име. Не помня защо за тези цели не подхождаше задаването на секунди в името на файла.

Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

Drone Video — засега не снимам видео с дрон, нужно е да науча много, а в момента нямам време, но вече съм създал папката.

Images Operations — тук вътре има две папки, когато файловете там попадат, те просто или се компресират по максималната страна до 2000px за публикуване в интернет, или се прави флип на картинките; това вече не ми е нужно, но все още не съм изтрил папката.

Panoramas — тук попадат, както не е трудно да се досетите, панорами; съхранявам ги отделно, тъй като това е специфичен вид снимки, обикновено ги правя с дрон. Правя и обикновени панорами, но правя също 360 панорами и понякога сфери, такъв вид панорами, като малки планети, правя също с дрон. От тази папка всички снимки попадат също в Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Тук не правя сортиране по месеци, тъй като панорамите не са толкова много.

Personal Photo — Тук попадат снимки, които правя на огледалка, обикновено семейни снимки или такива от пътувания, общо взето снимки, които се правят за спомен и за себе си. Също обработвам сурови снимки в lightroom и след това експортирам тук.

Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

Ако все пак съм снимал някакъв празник или нещо, което би било добре да се съхранява отделно, то в папката 2019 създавам папка с името на празника и ръчно копирам снимките там.

RAW — тук попадават изходните снимки. Винаги снимам в RAW, всички снимки съхранявам в JPG, но понякога искам да запазя и RAW файлове, понякога искам да обработя някой кадър по друг начин. Обикновено това е природа и там попадат само най-добрите кадри, не всички.

Стокова Снимка — тук слагам снимките за стоковете, които правя или на DSLR, или на дрон. Сортирането е такова, каквото е при другите снимки, просто в отделна папка.

В кореновата директория на Dropbox има папка Camera Uploads, това е дефолтната папка, в която мобилното приложение Dropbox качва всички снимки и видеа. Всички снимки на жена ми от телефона идват по този начин. Аз също така слагам всичките си снимки и видеа от телефона тук и след това сортирам в отделна папка. Но го правя по друг, по-удобен за мен начин. Има такава програма за Android, FolderSync, тя позволява да вземеш всички снимки от мобилното устройство, да ги качиш в Dropbox и след това да ги изтриеш от телефона. Там има много настройки, препоръчвам. В тази папка попада и видеото от телефона, те също се сортират като всичките снимки, по години и месеци.

Всички скриптове събрах сам от различни инструкции в интернет, не намерих готови решения. Аз всъщност нищо не знам за bash скриптове, може би има някакви грешки или неща, които биха могли да бъдат направени по-добре, но най-важното — за мен, те справят със своята работа и правят това, от което имам нужда.

Скриптовете качих на GitHub: https://github.com/pelinoleg/bash-scripts

Преди за сортиране на снимки и видеа използвах Hazel под macOS, там всичко е много по-лесно, всички задачи се създават визуално, не трябва да пишеш код, но тук имам два недостатъка. Първо, трябва да държа всичките папки на компютъра, за да работи всичко добре и второ, ако случайно се преместя на Windows или Linux, там няма такива програми. Опитвах да търся алтернатива, но всички бяха некачествени. А решението със скриптовете на сървера е по-универсално.

Всички скриптове са настроени да се изпълняват веднъж на ден, обикновено през нощта. Но ако нямате време да чакате и трябва да изпълните нужния скрипт сега, има две решения: да се свържете по SSH с сървъра и да изпълните нужния скрипт или просто да влезете в администрацията и ръчно да стартирате необходимия скрипт. Всичко това ми се струва неудобно, затова намерих трето решение. Има програма за Android, която може да изпраща SSH команди. Създадох няколко команди, за всяка има своя бутон и сега, ако трябва да сортирам например снимки, направени с дрон, просто натискам един бутон и скриптът се задейства. Програмата се казва SSHing, има и други подобни, но за мен тази е най-удобната.

Също така имам няколко собствени сайта, те са повече за галерия, почти никой не ги посещава, но все пак е добре да се правят резервни копия. Държа сайтовете си на DigitalOcean, където инсталирах панела aaPanel. Там има възможност да се правят резервни копия на всички файлове и бази данни, но на същия диск.

Да съхранявам резервно копие на същия диск не е добра практика, затова също така през bash скрипт се свързвам и копирам всичко на своя сървър, архивирайки всичко в един архив с дата в името.

Надявам се начините, с които споделям, да помогнат на някого.

Както става ясно от статията, обичам автоматизацията и се старая да автоматизирам всичко, което е възможно. Много неща не описах от гледна точка на автоматизация, тъй като това вече са различни теми и статии.

Източник: habr.com