Lagring och automatisk sortering av foton och andra filer. Arbete med filsystem baserat på NAS Synology

Jag har länge velat skriva om hur jag lagrar mina filer, hur jag gör backuper, men har inte haft tid. Nyligen kom det en artikel här som på vissa sätt liknar min, men med en annan ansats.
Själva artikeln.

Jag har under många år försökt hitta den perfekta metoden för att lagra filer. Jag tror jag har hittat den, men det finns alltid rum för förbättring, så om det finns några tankar om hur man kan göra det bättre, skulle jag gärna läsa dem.

Jag börjar med att berätta några ord om mig själv. Jag jobbar med webbdesign och på min fritid fotograferar jag. Därför behöver jag lagra både arbets- och personliga projekt, foton, videor och andra filer.

Jag har ungefär 680 GB filer, varav cirka 90 procent är foton och videor.

Cirkulationen av filer i mina lagringsutrymmen:

Här är en ungefärlig skiss över hur och var alla mina filer lagras.

Nu mer detaljerat.

Som ni kan se är hjärtat i allt mitt NAS, specifikt Synology DS214, en av de enklaste NAS:erna från företagets sortiment, men den hanterar allt jag behöver.

Dropbox

Min arbetsdator är en MacBook Pro 13 från 2015. Jag har 512 GB där, men så klart ryms inte alla filer, jag lagrar bara det som jag behöver för tillfället. Jag synkroniserar alla mina personliga filer och mappar med Dropbox. Jag vet att det inte är det mest pålitliga, men det fungerar bara för att synkronisera. Och det gör det bäst, åtminstone bland allt jag har prövat. Jag har testat alla kända och mindre kända molnlösningar.

Synology har också sin egen molntjänst, som kan installeras på sitt NAS. Jag har försökt byta från Dropbox till Synology Cloud Station flera gånger, men det har alltid varit problem med synkroniseringen, alltid något fel, eller så synkroniserades inte allt.

Alla viktiga filer lagras i Dropbox-mappen. Ibland sparar jag något på skrivbordet för att inte tappa bort det, så jag har gjort en symlink till Dropbox-mappen med hjälp av programmet MacDropAny.
Mappen Downloads synkroniseras inte alls, men där finns inget viktigt, bara temporära filer. Om jag laddar ner något viktigt kopierar jag det till motsvarande mapp i Dropbox.

Mina äventyr med DropboxEn gång för länge sedan, någon gång 2013-2014, lagrade jag alla mina filer i Dropbox, och bara där, utan några säkerhetskopior. Då hade jag inte 1 TB, vilket betyder att jag inte betalade för det, jag hade runt 25 GB som jag fått genom att bjuda in vänner eller genom andra uppdrag.

En vacker morgon satte jag på datorn och alla mina filer var borta. Jag fick även ett mejl från Dropbox där de bad om ursäkt och meddelade att mina filer var förlorade på grund av deras fel. De gav mig en länk där jag kunde återställa mina filer, men som väntat kunde jag inte återställa något. Dessutom fick jag ett erbjudande om 1 TB gratis i ett år, varefter jag blev deras kund. Hur konstigt det än låter, jag har aldrig riktigt litat på dem.

Som jag nämnde tidigare kunde jag inte hitta en mer passande molntjänst för mig. För det första hade jag inga synkroniseringsproblem, och för det andra fungerar många tjänster bara med Dropbox.

Git

Arbetsfiler lagras på arbetsservern, personliga projekt på GitLab, det är ganska enkelt.

Time Machine

Jag gör också en backup av hela systemet, förutom Dropbox-mappen och Downloads, för att inte slösa på utrymme. Jag gör systembackup via Time Machine, ett utmärkt verktyg som har hjälpt mig flera gånger. Jag gör det på samma NAS, vilket är bra eftersom det har den funktionen. Självklart kan man också göra det på en extern HDD, men det är inte lika praktiskt. Man måste varje gång koppla in den externa disken och starta Time Machine manuellt. På grund av lathet gjorde jag ofta sådana backup några gånger i veckan. På servern görs backuper automatiskt, jag märker knappt när de görs. Jag arbetar hemifrån, så jag har alltid en uppdaterad säkerhetskopia av hela mitt system. Backup görs flera gånger om dagen, jag har inte räknat hur många gånger och hur ofta.

NAS

Detta är där all magi sker.

Synology har ett utmärkt verktyg som heter Cloud Sync, och namnet säger ganska mycket om vad det gör.

Det kan synkronisera många molntjänster med varandra, mer specifikt kan det synkronisera filer från NAS-servern med andra molntjänster. Jag tror det finns en översikt över detta program på nätet, så jag ska inte gå in på för mycket detaljer. Jag beskriver hellre hur jag använder den.

På servern har jag en mapp som heter Dropbox, som är en kopia av mitt Dropbox-konto, och det är Cloud Sync som sköter synkroniseringen. Om något händer med filerna i Dropbox kommer det att hända på servern, oavsett om det är borttagning eller skapande. Det är helt enkelt klassisk synkronisering.

Yandex Disk

Därefter skickar jag alla dessa filer till min Yandex Disk, som jag använder som en egen backupdisk. Det betyder att jag lägger filer där, men inte tar bort något därifrån, vilket resulterar i en sorts filhög, men det har räddat mig ett par gånger.

Google Drive

Jag skickar endast mappen "Photos" dit, också i synkroniseringsläge, gör jag detta för att enkelt kunna titta på foton i Google Foto och ha möjlighet att ta bort foton därifrån, och de tas bort överallt (förutom från Yandex Disk, naturligtvis). Jag kommer att skriva mer om foton nedan, där kan man rentav skriva en separat artikel.

HyperBackup

Men allt detta är inte särskilt pålitligt, om man av misstag tar bort en fil så tas den bort överallt och man kan betrakta den som förlorad. Man kan självklart återställa den från Yandex Disk, men först och främst är en backup på ett ställe inte särskilt pålitlig i sig, och dessutom är Yandex Disk inte den tjänst man kan vara 100% säker på, även om det aldrig har varit några problem med den.

Därför har jag alltid försökt att lagra filer någon annanstans, med ett ordentligt backupsystem.

Synology har också ett verktyg för detta, som kallas HyperBackup, det gör backup av filer antingen till andra Synology-servrar, eller till någon molnlösning från tredjepartsleverantörer.
Det kan också göra backup till externa diskar som är anslutna till NAS-enheter, och det gjorde jag fram till nyligen. Men det är också osäkert, till exempel, om det skulle bli en brand så är det slut på både servern och HDD.

Synology C2

Här kommer vi smidigt in på en annan tjänst, från just Synology. Den har egna molnlösningar för lagring av backuper. Den är utformad speciellt för HyperBackup, den gör backup dit varje dag, men det är en genomtänkt backup, där finns versioner av filer, en tidslinje och till och med klienter för Windows och macOS.

Det är allt för lagring av filer, jag hoppas mina filer är i säkerhet.

Nu går vi vidare till sortering av filer.

Vanliga filer, böcker, dokumentkopior och andra mindre viktiga filer sorterar jag som alla andra för hand i mappar. Vanligtvis är de inte så många och jag öppnar dem sällan.

Det är svårast med sortering av foton och videor, jag har många av dem.

Jag tar ett par tiotals till flera hundra foton i månaden. Jag fotograferar med digital systemkamera, drönare och ibland med telefonen. Foton kan vara privata och för stock-fotografi. Jag filmar också ibland hemvideo (inte vad du kanske tänkt, utan familjevideor, oftast med min dotter). Det måste också lagras och sorteras på något sätt, så att det inte blir en röra.

Jag har en mapp i samma Dropbox som heter Sort Images, där finns undermappar dit alla foton och videor går, därifrån tas de och sorteras dit de ska.

Sorteringen sker på NAS-servern, där körs bash-skript som automatiskt startas en gång om dagen för att utföra sina uppgifter. NAS-ens planeringsprogram ansvarar också för deras körning, och det är ansvarigt för att starta alla skript och andra uppgifter. Man kan ställa in hur ofta och när uppgifterna ska startas, cron med ett användargränssnitt om man vill.

För varje mapp finns ett eget skript. Nu lite mer om mapparna:

Drone — här hamnar foton från drönaren som jag tagit för personligt bruk. Först behandlar jag alla foton i Lightroom, sedan exporterar jag JPG till den här mappen. Därifrån hamnar de i en annan mapp i Dropbox, "Photo".

Där finns en mapp "Drone" och där sorteras de sedan efter år och månader. Skripten skapar automatiskt de nödvändiga mapparna och döper om fotona enligt min mall, som vanligtvis är datum och tid för fotograferingen, och jag lägger också till ett slumpmässigt nummer i slutet för att undvika att få filer med samma namn. Jag minns inte varför det inte gick att använda sekunder i filnamnet för dessa syften.

Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

Drone Video — jag filmar för närvarande inte med drönaren, det finns mycket att lära, och jag har inte tid för det nu, men mappen är redan skapad.

Images Operations — här inne finns två mappar, när filer hamnar där komprimeras de antingen till en maximal längd av 2000px för publicering på internet eller så görs en bildvändning, vilket jag inte behöver just nu, men jag har ännu inte tagit bort mappen.

Panoramas — här hamnar, som man lätt kan gissa, panoramor, som jag lagrar separat eftersom det är en specifik typ av foto, vanligen gör jag dem med drönare. Jag gör också vanliga panoramor men även 360 panoramor och ibland sfärer, en typ av panorama som ser ut som små planeter, görs också med drönare. Från den här mappen hamnar alla foton också i Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Här sorterar jag inte efter månader eftersom jag inte har så många panoramor.

Personal Photo — Här hamnar foton som jag tar med systemkameran, vanligtvis familjebilder eller resor, kort sagt foton som tas för minne och för mig själv. Jag bearbetar också råfoton i Lightroom och exporterar dem sedan hit.

Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg

Om jag har filmat en högtidlighet eller något annat som borde förvaras separat, skapar jag en mapp med namnet på evenemanget i mappen 2019 och kopierar dit fotona manuellt.

RAW — här läggs fotokällor. Jag fotograferar alltid i RAW, alla bilder sparar jag i JPG men ibland vill jag även spara RAW-filer, ibland vill jag bearbeta ett visst foto på ett annat sätt. Vanligtvis handlar det om naturfotografi och här hamnar endast de bästa bilderna, inte alla.

Stockfoto — hit laddar jag upp bilder för stock, som jag antingen tar med min spegelreflexkamera eller min drönare. Sorteringen är densamma som för andra bilder, bara i en egen mapp.

I rotkatalogen för Dropbox finns en mapp för camera uploads, detta är standardmappen dit Dropbox-mobilappen laddar upp alla foton och videor. Alla foton från min frus telefon laddas upp så. Jag laddar också upp alla mina foton och videor från telefonen hit och sorterar dem sedan i en separat mapp. Men jag gör det på ett annat sätt, enklare för mig. Det finns ett program för Android, FolderSync, som låter dig ta alla foton från mobilen, ladda upp dem till Dropbox och sedan ta bort dem från telefonen. Det finns många inställningar, jag rekommenderar det. I denna mapp hamnar även videor från telefonen, de sorteras också som alla bilder, efter år och månader.

Alla skript har jag samlat själv från olika instruktioner på nätet, jag hittade inga färdiga lösningar. Jag vet överhuvudtaget ingenting om bash-skript, kanske finns det några fel eller saker som skulle kunna göras bättre, men det viktigaste för mig är att de klarar sitt jobb och gör det jag behöver.

Jag laddade upp skripten på GitHub: https://github.com/pelinoleg/bash-scripts

Tidigare använde jag Hazel för att sortera foton och videor på macOS, där är det givetvis allt enklare, alla uppgifter skapas visuellt, man behöver inte skriva kod, men det finns två nackdelar. För det första måste man ha alla mappar på datorn för att allt ska fungera bra och för det andra, om jag plötsligt går över till Windows eller Linux finns det inga sådana program. Jag har försökt leta efter alternativ men alla har varit värdelösa. Lösningen med skripten på servern är ett mer universellt alternativ.

Alla skript är inställda att köras en gång om dagen, vanligtvis på natten. Men om man inte har tid att vänta och behöver köra ett specifikt skript nu, finns det två lösningar: man kan ansluta via SSH till servern och köra det nödvändiga skriptet, eller gå in i adminpanelen och manuellt starta det. Jag tycker alla dessa alternativ är besvärliga, så jag har hittat en tredje lösning. Det finns ett program för Android som kan skicka SSH-kommandon. Jag har skapat flera kommandon, varje med en egen knapp, och nu, om jag till exempel behöver sortera foton som jag tagit med dronen, trycker jag bara på en knapp så aktiveras skriptet. Programmet heter SSHing, det finns andra liknande, men för mig är det det mest bekväma.

Jag har också flera egna webbplatser, de är mer för syns skull, nästan ingen går in på dem men det skadar inte att ta en backup. Jag håller webbplatserna på DigitalOcean, där har jag installerat aaPanel. Där finns möjlighet att göra säkerhetskopior av alla filer och alla databaser, men på samma disk.

Att lagra backup på samma disk är ingen lösning, så jag använder också ett bash-skript för att kopiera allt till min server, och arkivera allt i ett enda arkiv med datum i namnet.

Jag hoppas att de metoder jag använder och har delat med mig av kan hjälpa någon.

Som framgår av artikeln älskar jag automatisering och försöker automatisera allt jag kan; jag har inte beskrivit många saker ur ett automatiseringsperspektiv, eftersom det är andra ämnen och andra artiklar.

Källa: habr.com