Jeg har længe ønsket at skrive om, hvordan jeg opbevarer mine filer og laver backups, men har ikke haft tid. For nylig stødte jeg på en artikel, der minder om min, men med en anden tilgang.
I mange år har jeg forsøgt at finde den perfekte metode til at opbevare filer. Jeg tror, jeg har fundet den, men der er altid plads til forbedring. Hvis nogen har idéer til, hvordan det kan gøres bedre, vil jeg gerne læse dem.
Jeg vil starte med at sige et par ord om mig selv; jeg arbejder med webudvikling og fotograferer i min fritid. Derfor skal jeg opbevare både arbejds- og personlige projekter, fotos, videoer og andre filer.
Jeg har omkring 680 GB filer, hvoraf cirka 90 procent er fotos og videoer.
Filernes kredsløb i mine opbevaringer:
Her er en omtrentlig skitse af, hvordan og hvor mine filer opbevares.
Nu mere detaljeret.
Som man kan se, er kernen i det hele mit NAS, nemlig Synology DS214, en af de enkleste NAS-enheder fra Synology, men den klarer alt, hvad jeg har brug for.
Dropbox
Min arbejdscomputer er en MacBook Pro 13 fra 2015. Jeg har 512 GB der, men naturligvis kan jeg ikke gemme alle filer der. Jeg opbevarer kun det, jeg har brug for lige nu. Alle mine personlige filer og mapper synkroniserer jeg med Dropbox; jeg ved, det ikke er meget pålideligt, men det fungerer primært som synkronisering. Og det gør det bedst ud af alt, hvad jeg har prøvet. Jeg har prøvet alle de kendte og mindre kendte cloud-løsninger.
Synology har også sin egen cloud, som man kan sætte op på sit NAS. Jeg har prøvet at skifte fra Dropbox til Synology Cloud Station et par gange, men der har altid været problemer med synkronisering; der er altid nogle fejl, eller ikke alle filer blev synkroniseret.
Alle vigtige filer opbevares i Dropbox-mappen. Nogle gange gemmer jeg noget på skrivebordet, men for at sikre, at jeg ikke mister noget, har jeg oprettet et symlink i Dropbox-mappen ved hjælp af MacDropAny.
Download-mappen synkroniseres ikke, men der er heller ikke noget vigtigt der, kun midlertidige filer. Hvis jeg downloader noget vigtigt, kopierer jeg det til den relevante mappe i Dropbox.
Mine oplevelser med DropboxFor længe siden, omkring 2013-2014, opbevarede jeg alle mine filer kun i Dropbox, der var ikke nogen backups. Dengang havde jeg ikke 1 TB, så jeg betalte ikke for det, jeg havde omkring 25 GB, som jeg havde optjent ved at invitere venner eller lave andre opgaver.
En skøn morgen tændte jeg computeren, og alle mine filer var forsvundet. Jeg modtog også en e-mail fra Dropbox, hvor de undskyldte og sagde, at mine filer var tabt på deres regning. De gav mig et link, hvor jeg kunne genoprette mine filer, men selvfølgelig blev ingenting gendannet. Til gengæld gav de mig 1 Tb i et år, og efterfølgende blev jeg deres kunde, så mærkeligt som det lyder, har jeg aldrig haft tillid til dem.
Som nævnt tidligere kunne jeg ikke finde en mere passende cloud-løsning for mig. For det første havde jeg ikke problemer med synkronisering, og for det andet fungerer mange tjenester kun med Dropbox.
Git
Arbejdsfilerne opbevares på serveren, og personlige projekter ligger på GitLab, så det er ret enkelt.
Time Machine
Jeg laver også backup af hele systemet, undtagen Dropbox-mappen og Downloads, selvfølgelig for ikke at spilde plads. Systembackupen laver jeg gennem Time Machine, et fremragende værktøj, som har reddet mig flere gange. Jeg gør det på samme NAS, hvilket heldigvis har den funktion. Man kan selvfølgelig også lave det på en ekstern harddisk, men det er ikke så bekvemt. Man skal hver gang tilslutte den eksterne disk og selv starte Time Machine. Af faulenhed gør jeg ofte sådanne backups kun hver par uger. Serveren laver derimod automatisk backup, jeg lægger ikke engang mærke til, hvornår det sker. Jeg arbejder hjemmefra, så jeg har altid en frisk backup af hele mit system. Der laves flere kopier om dagen, jeg har ikke talt, hvor mange gange eller hvor ofte.
NAS
Her sker al magien.
Synology har et fremragende værktøj kaldet Cloud Sync; jeg tænker navnet forklarer, hvad det gør.
Det kan synkronisere mange cloud-systemer med hinanden. Mere præcist kan det synkronisere filer fra NAS-serveren med andre cloud-tjenester. Jeg tror, der findes anmeldelser af programmet på nettet, så jeg vil ikke gå i dybden. Bedre jeg beskriver, hvordan jeg bruger det.
På serveren har jeg en mappe kaldet Dropbox, som er en kopi af min Dropbox-konto. Synkronisering af det hele håndteres af Cloud Sync. Hvis noget sker med filerne i Dropbox, vil det også ske på serveren, uanset om det er sletning eller oprettelse. Det er i bund og grund klassisk synkronisering.
Yandex Disk
Derefter uploade jeg alle disse filer til min Yandex Disk, som jeg bruger som et hjemmelavet backup-disk. Det vil sige, at jeg uploader filer dertil, men ikke sletter noget derfra. Det bliver sådan set en bunke af filer, men det har reddet mig flere gange.
Google Drive
Til det sender jeg kun mappen "Photos" i synkroniseringstilstand, som jeg gør for at kunne se billederne i Google Fotos og have mulighed for at slette billeder derfra, og de bliver slettet overalt (bortset fra Yandex Disk, selvfølgelig). Jeg skriver om billederne nedenfor; der kan man faktisk skrive en særskilt artikel.
HyperBackup
Men alt dette er ikke meget pålideligt, hvis jeg ved et uheld sletter en fil, så vil den blive slettet overalt og kan betragtes som tabt. Man kan selvfølgelig gendanne fra Yandex Disk, men for det første er en backup på ét sted ikke særlig pålidelig i sig selv, og Yandex Disk er heller ikke den service, man kan være 100% sikker på, selvom jeg ikke har haft problemer med den indtil nu.
Derfor har jeg altid forsøgt at opbevare filer et andet sted, med et ordentligt backup-system.
Synology har også et værktøj til dette, kaldet HyperBackup; det laver backup af filer enten til andre Synology-servere eller til nogle cloud-løsninger fra tredjeparter.
Det kan også lave backup på eksterne drev tilsluttet NAS-en, og det var, hvad jeg gjorde indtil for nylig. Men det er heller ikke pålideligt; for eksempel, hvis der er brand, er det slut med både serveren og HDD'en.
Synology C2
Her nærmer vi os en anden service, direkte fra Synology. Den har sine egne cloud-løsninger til opbevaring af backups. Den er designet specifikt til HyperBackup; den laver en backup der hver dag, men det er en gennemtænkt backup, der har filversioner, tidslinje og endda klienter til Windows og Mac OS.
Det var alt for opbevaring af filer, jeg håber mine filer er sikre.
Lad os nu gå videre til sortering af filer.
Almindelige filer, bøger, dokumenter og andre mindre vigtige filer sorterer jeg, ligesom alle andre, manuelt i mapper. Normalt er der ikke mange, og jeg åbner dem sjældent.
Det sværeste er sortering af fotos og videoer; jeg har mange af dem.
Jeg tager fra et par dusin til flere hundrede billeder om måneden. Jeg bruger et spejlreflekskamera, en drone og nogle gange min telefon. Billederne kan være personlige og til stock. Jeg filmer også nogle gange familiære videoer (ikke som du tænker; bare familievideoer, ofte med min datter). Det skal også opbevares og sorteres, så det ikke bliver en soppe.
Jeg har en mappe i samme Dropbox, kaldet Sort Images, hvor der er undermapper, hvor alle billeder og videoer havner; derfra sorteres de, hvor de skal.
Sorteringen foregår på NAS-serveren, hvor der kører bash-scripts, der automatisk startes en gang om dagen og udfører deres opgaver. NAS-enheden ansvarer også for deres udførelse, idet der er en opgaveplanlægger, som håndterer start af alle scripts og andre opgaver. Man kan indstille, hvor ofte og hvornår opgaverne skal køres, en cron med et interface, hvis man ønsker det.
For hver mappe er der et eget script. Nu mere detaljeret om mapperne:
Drone — her gemmes billeder fra dronen, som jeg har taget til private formål. Først behandler jeg alle billeder i Lightroom, og derefter eksporterer jeg JPG-filer til denne mappe. Derfra havner de i en anden mappe på Dropbox, 'Photo'.
Der er en mappe 'Drone', hvor billederne sorteres efter år og måned. Scripts opretter automatisk de nødvendige mapper og omdøber billederne efter min skabelon, normalt datoen og tidspunktet, hvor billedet er taget, og jeg tilføjer også et tilfældigt tal til sidst, så filerne ikke får det samme navn. Jeg kan ikke huske, hvorfor det ikke var passende at bruge sekunder i filnavnet til dette formål.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — jeg filmer ikke videoer med dronen endnu, der er meget at lære, og jeg har ikke tid til det nu, men mappen er allerede oprettet.
Images Operations — her er der to mapper, når filer havner der, komprimeres de simpelthen til maks. 2000px på den længste side til offentliggørelse på internettet, eller billederne flips, hvilket jeg ikke behøver, men jeg har endnu ikke slettet mappen.
Panoramas — her placeres, som det ikke er svært at gætte, panoramaer, som jeg opbevarer separat, da det er en specifik type foto, normalt lavet med dronen. Jeg laver også almindelige panoramaer, men laver også 360 panoramaer og nogle gange sfærer, en type panorama, der ligner små planeter, også lavet med dronen. Fra denne mappe havner alle billeder også i Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Her sorterer jeg ikke efter måneder, da panoramaerne ikke er så mange.
Personal Photo — her gemmes billeder, jeg tager med DSLR-kameraet, som normalt er familiebilleder eller rejser, kort sagt billeder, der tages for minderne og for mig selv. De rå billeder behandler jeg i Lightroom og eksporterer derefter herind.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Hvis jeg har filmet en lejlighed eller noget andet, der bedre skal opbevares separat, så opretter jeg en mappe med navnet på begivenheden i mappen 2019 og kopierer billederne derind manuelt.
RAW — Her place for original photo files. I always shoot in RAW, store all photos in JPG, but sometimes I want to keep RAW files as well, and sometimes I want to process a shot differently. Usually, this is nature, and only the best shots make it here, not just any.
Stock Photo — This is where I drop photos for stock, taken either with my DSLR or drone. The sorting is the same as with other photos, just in its own separate folder.
In the root directory of Dropbox, there's a folder called Camera Uploads, which is the default folder where the mobile Dropbox app uploads all photos and videos. All my wife's phone photos are uploaded this way. I also upload all my photos and videos from my phone here and then sort them into a separate folder. I do this in a more convenient way for me. There's an Android app called FolderSync that allows you to take all the photos from your mobile, upload them to Dropbox, and then delete them from your phone. It has many settings; I recommend it. Videos from the phone also end up in this folder, and they are sorted just like all photos by year and month.
All the scripts I gathered myself from various instructions online; I didn't find ready-made solutions. I don't know anything about bash scripts; there might be some mistakes or things that could be improved, but what's most important for me is that they get the job done and do what I need.
I uploaded the scripts to GitHub:
Previously, to sort photos and videos, I used Hazel on macOS; naturally, everything was easier there, and all tasks were created visually without needing to write code. But there are two downsides. First, I need to keep all the folders on the computer for everything to work well, and second, if I switch to Windows or Linux, there are no such programs. I tried looking for alternatives, but they were all subpar. A solution with scripts on the server is more universal.
Alle scripts er indstillet til at køre en gang om dagen, typisk om natten. Men hvis der ikke er tid til at vente, og jeg har brug for at køre det nødvendige script nu, er der to løsninger: at oprette forbindelse via SSH til serveren og udføre det nødvendige script, eller gå ind i adminpanelet og manuelt starte det på samme måde. Alt dette virker for mig ikke særlig praktisk, så jeg fandt en tredje løsning. Der er et program til Android, som kan sende SSH-kommandoer. Jeg har oprettet flere kommandoer, hver med deres egen knap, og nu hvis jeg skal sortere for eksempel billeder, jeg har taget med dronen, så trykker jeg bare på én knap, og scriptet kører. Programmet hedder SSHing, og der er andre lignende, men for mig er det det mest bekvemme.
Jeg har også flere af mine egne hjemmesider, de er mest for syns skyld, der er stort set ingen, der besøger dem, men det skader ikke at lave backup. Jeg hoster mine hjemmesider på DigitalOcean, hvor jeg har installeret aaPanel. Der er mulighed for at lave backups af alle filer og databaser, men på samme disk.
At opbevare backup på samme disk er ikke en god idé, så jeg bruger også et bash-script til at kopiere alt til min server og arkivere det hele i en enkelt arkivfil med dato i navnet.
Jeg håber, at de metoder, jeg bruger og har delt, kan hjælpe nogen.
Som det fremgår af artiklen, elsker jeg automatisering og forsøger at automatisere alt, hvad der er muligt. Jeg har ikke beskrevet mange ting fra automationssynspunkt, da det ville være andre emner og artikler.
Kilde: habr.com
