Съхранение и автоматично сортиране на снимки и други файлове. Работа с хранилище на файлове на базата на Synology NAS

Отдавна исках да пиша за това как съхранявам файловете си и как правя резервни копия, но така и не успях. Наскоро тук се появи статия, донякъде подобна на моята, но с различен подход.
Самата статия.

От много години се опитвам да намеря идеалния метод за съхраняване на файлове. Мисля, че го намерих, но винаги има какво да се подобри, ако имате някакви идеи как да го направя по-добре, ще се радвам да го прочета.

Ще започна с няколко думи за себе си, занимавам се с уеб разработка и снимам в свободното си време. Оттук и заключението, че трябва да съхранявам работни и лични проекти, снимки, видео и други файлове.

Имам около 680 GB файлове, 90 процента от които са снимки и видеоклипове.

Обръщение на файлове в моите хранилища:

Ето приблизителна диаграма за това как и къде се съхраняват всички мои файлове.

Сега повече.

Както можете да видите, сърцето на всичко е моят NAS, а именно Synology DS214, един от най-простите NAS от Synology, но той се справя с всичко, от което се нуждая.

Dropbox

Моята работна машина е macbook pro 13, 2015 г. Там имам 512GB, но разбира се не всички файлове стават, съхранявам само това, което е необходимо в момента. Синхронизирам всичките си лични файлове и папки с Dropbox, знам, че не е много надежден, но изпълнява само функцията за синхронизация. И той го прави най-добре, поне от това, което съм пробвал. И опитах всички известни и не толкова известни облаци.

Synology също има свой собствен облак, можете да го разположите на вашия NAS, опитах няколко пъти да превключа от Dropbox към Synology Cloud Station, но винаги имаше проблеми със синхронизацията, винаги имаше някакви грешки или не синхронизирах всичко.

Всички важни файлове се съхраняват в папката Dropbox, понякога запазвам нещо на работния си плот, за да не загубя нещо, направих символна връзка към папката Dropbox с помощта на програмата MacDropAny.
Папката ми за изтегляне не е синхронизирана по никакъв начин, но там няма нищо важно, само временни файлове. Ако изтегля нещо важно, го копирам в съответната папка в Dropbox.

Моите приключения с DropboxЕдно време, някъде през 2013-2014 г., съхранявах всичките си файлове в Dropbox и само там нямаше резервни копия. Тогава нямах 1Tb, тоест не платих за него, имах около 25Gb, които спечелих, като поканих приятели или други задачи.

Една хубава сутрин включих компютъра и всичките ми файлове изчезнаха, получих и писмо от Dropbox, в което се извиняват и че моите файлове са изчезнали по тяхна вина. Те ми дадоха връзка, където мога да възстановя файловете си, но разбира се нищо не беше възстановено. За това ми дадоха 1Tb за една година, след което станах техен клиент, колкото и странно да звучи, но никога не им вярвах.

Както писах по-горе, не можах да намеря облак, който да е по-подходящ за мен, първо, все още нямаше проблеми със синхронизацията, и второ, много различни услуги работят само с Dropbox.

отивам

Работните файлове се съхраняват на работния сървър, личните проекти се съхраняват в GitLab, тук всичко е просто.

Time Machine

Правя и резервно копие на цялата система, без естествено папката Dropbox и Downloads, за да не заемам място напразно. Архивирам системата с помощта на Time Machine, отличен инструмент, който ми е помагал повече от веднъж. Правя го на същия NAS, за щастие има такава функция. Можете да го направите на външен твърд диск, разбира се, но не е толкова удобно. Всеки път, когато трябва да свържете външно устройство и сами да стартирате Time Machine. Поради мързел често правя такива архиви веднъж на няколко седмици. Той автоматично прави резервни копия на сървъра, дори не забелязвам кога го прави. Работя от вкъщи, така че винаги имам ново архивиране на цялата си система. Копие се прави няколко пъти на ден, не броих колко пъти и колко често.

NAS

Тук се случва цялата магия.

Synology има отличен инструмент, нарича се Cloud Sync, мисля, че от името е ясно какво прави.

Той може да синхронизира много облачни системи една с друга или по-точно да синхронизира файлове от NAS сървър с други облаци. Мисля, че има преглед на тази програма онлайн. Няма да навлизам в подробности. По-добре да опиша как го използвам.

На сървъра имам папка на диска, наречена Dropbox, тя е копие на моя акаунт в Dropbox, Cloud Sync отговаря за синхронизирането на всичко това. Ако нещо се случи с файловете в Dropbox, то ще се случи на сървъра, няма значение дали е изтрито или създадено. Като цяло класическа синхронизация.

Yandex диск

След това хвърлям всички тези файлове на моя диск Yandex, използвам го като домашен резервен диск, тоест хвърлям файловете там, но не изтривам нищо от там, оказва се такова изхвърляне на файлове, но помогна няколко пъти.

Google Диск

Там изпращам само папката „Снимки“, също в режим на синхронизация, правя това само за удобно гледане на снимки в Google Photos и с възможност за изтриване на снимки от там и те се изтриват навсякъде (с изключение на диска Yandex, разбира се). Ще пиша за снимката по-долу; можете дори да напишете отделна статия там.

HyperBackup

Но всичко това не е много надеждно; ако случайно изтриете файл, той ще бъде изтрит навсякъде и можете да го считате за изгубен. Можете, разбира се, да възстановите от Yandex disk, но първо, архивирането на едно място само по себе си не е много надеждно, а самият Yandex disk не е услуга, в която можете да сте 100% уверени, въпреки че никога не е имало проблеми с него.

Затова винаги се опитвах да съхранявам файлове на друго място, с нормална система за архивиране.

Synology също има инструмент за това, нарича се HyperBackup, той архивира файлове или на други сървъри на Synology, или на някои облачни решения от производители на трети страни.
Може също да прави резервни копия на външни устройства, свързани към NAS, което правех доскоро. Но това също не е надеждно, например, ако има пожар, тогава краят на сървъра и твърдия диск.

Synology C2

Тук постепенно се доближаваме до друга услуга, този път от самата Synology. Има собствени облаци за съхранение на архиви. Създаден е специално за HyperBackup, той прави архиви там всеки ден, но това е добре обмислен архив, има версии на файлове, времева линия и дори клиенти за Windows и mac os.

Това е всичко за съхранение на файлове, надявам се файловете ми да са в безопасност.

Сега да преминем към сортирането на файловете.

Сортирам ръчно обикновени файлове, книги, сканирания на документи и други маловажни файлове в папки, както всичко останало. Обикновено не са много и рядко ги отварям.

Най-трудното нещо е сортирането на снимки и видеоклипове, имам много от тях.

Правя от няколко десетки до няколкостотин снимки на месец. Снимам с DSLR, дрон и понякога с телефона си. Снимките могат да бъдат лични или за склад. Също така понякога снимам домашни видеоклипове (не това, което може би си мислите, само семейни видеоклипове, често с дъщеря ми). Също така трябва да се съхранява и сортира по някакъв начин, за да не се превърне в бъркотия.

Имам папка в същия Dropbox, наречена Sort Images, има подпапки, където отиват всички снимки и видеоклипове, оттам се вземат и сортират, където е необходимо.

Сортирането става на NAS сървъра, там работят bash скриптове, които автоматично се стартират веднъж на ден и си вършат работата. NAS също отговаря за тяхното стартиране; има планировчик на задачи, който отговаря за стартирането на всички скриптове и други задачи. Можете да конфигурирате колко често и кога ще се стартират задачи, cron с интерфейс, ако е по-прост.

Всяка папка има свой собствен скрипт. Сега повече за папките:

търтей — ето снимки от дрон, които направих за лични цели. Първо обработвам всички снимки в Lightroom, след което експортирам JPG в тази папка. Оттам те се озовават в друга папка на Dropbox, „Снимка“.

Има папка “Дрон” и там вече са сортирани по година и месец. Скриптовете сами създават необходимите папки и сами преименуват снимките според моя шаблон, обикновено това е датата и часа на правене на снимката, добавям и произволно число в края, за да не излизат файлове с едно и също име. Не помня защо настройката на секунди в името на файла не е подходяща за тези цели.

Дървото изглежда така: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

Видео с дрон — Все още не снимам видео с дрон, има много да уча, сега нямам време, но вече създадох папка.

Операции с изображения — вътре има две папки, когато се намерят файлове там, те просто се компресират от максималната страна до 2000px за публикуване в интернет, или изображенията се обръщат, вече не ми трябва това, но все още не съм изтрил папката.

Панорами — тук идват панорамите, както може би се досещате, съхранявам ги отделно, тъй като това е специфичен тип снимки, обикновено ги правя с дрон. Правя и обикновени панорами, но правя и 360 панорами и понякога сфери, този вид панорами като малки планети, правя го и с дрон. От тази папка всички снимки също отиват в Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Тук не сортирам по месеци, защото няма много панорами.

Лична снимка — Ето снимките, които правя с DSLR, обикновено това са семейни снимки или пътувания, като цяло снимки, които се правят за памет и за мен. Също така обработвам необработени снимки в Lightroom и след това ги експортирам тук.

От тук стигат до тук: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

Ако съм снимал някакво тържество или нещо друго, което би било по-добре да се съхранява отделно, тогава в папката 2019 създавам папка с името на тържеството и копирам снимката там ръчно.

RAW — ето източниците на снимки. Винаги снимам в RAW, съхранявам всички снимки в JPG, но понякога искам да съхранявам и RAW файлове, понякога искам да обработя кадър по различен начин. Обикновено това е природа и там стигат само най-добрите кадри, а не всички поред.

Стокова снимка — тук качвам снимки за стокови снимки, които правя или на DSLR, или на дрон. Сортирането е същото като при другите снимки, само в отделна папка.

В основната директория на Dropbox има папка Camera Uploads, това е папката по подразбиране, в която мобилното приложение Dropbox качва всички снимки и видеоклипове. Всички снимки на съпругата от телефона отпадат по този начин. Също така качвам всичките си снимки и видеоклипове от телефона си тук и оттам ги сортирам в отделна папка. Но аз го правя по друг начин, по-удобен за мен. Има такава програма за Android, FolderSync, тя ви позволява да вземете всички снимки от мобилния си телефон, да ги качите в Dropbox и след това да ги изтриете от телефона. Има много настройки, препоръчвам го. Видеоклиповете от вашия телефон също отиват в тази папка; те също са сортирани като всички снимки, по година и месец.

Събрах сам всички скриптове от различни инструкции в интернет, не намерих готови решения. Не знам нищо за bash скриптовете, може би има грешки или някои неща могат да се направят по-добре, но най-важното за мен е, че те си вършат работата и правят това, което ми трябва.

Скриптовете бяха качени в GitHub: https://github.com/pelinoleg/bash-scripts

Преди това за сортиране на снимки и видеоклипове използвах Hazel под mac os, там всичко е по-лесно, всички задачи се създават визуално, няма нужда да пишете код, но има два недостатъка. Първо, трябва да запазите всички папки на компютъра, така че всичко да работи добре, и второ, ако внезапно премина към Windows или Linux, там няма такива програми. Опитах се да потърся алтернатива, но всички бяха безуспешни. Решение със скриптове на сървъра е по-универсално решение.

Всички скриптове са конфигурирани да се изпълняват веднъж на ден, обикновено през нощта. Но ако нямате време да чакате и трябва по някакъв начин да изпълните необходимия скрипт сега, има две решения: свържете се чрез SSH към сървъра и изпълнете необходимия скрипт или отидете в административния панел и също така ръчно стартирайте необходимия сценарий. Всичко това ми изглежда неудобно, затова намерих трето решение. Има програма за Android, която може да изпраща ssh команди. Създадох няколко команди, всяка има свой бутон и сега, ако трябва да сортирам например снимки, които съм направил от дрон, просто натискам един бутон и скриптът работи. Програмата се казва SSHing, има и други подобни, но за мен тази е най-удобната.

Имам и няколко собствени сайта, те са по-скоро за шоу, почти никой не ходи там, но все пак не пречи да направите резервно копие. Пускам сайтовете си в DigitalOcean, където инсталирах панела aaPanel. Там е възможно да се правят резервни копия на всички файлове и всички бази данни, но на един и същи диск.

Съхраняването на резервно копие на същия диск не е така, така че аз също използвам bash скрипт, за да отида там и да копирам всичко на моя сървър, като архивирам всичко в един архив с датата в името.

Надявам се поне на някого да помогнат методите, които използвам и с които споделих.

Както се вижда от статията, обичам автоматизацията и се опитвам да автоматизирам всичко, което е възможно, не описах много неща от гледна точка на автоматизацията, тъй като това вече са други теми и други статии.

Източник: www.habr.com