Jeg har lenge ønsket å skrive om hvordan jeg lagrer filene mine og hvordan jeg lager sikkerhetskopier, men jeg kom aldri til det. Nylig dukket det opp en artikkel her, litt lik min, men med en annen tilnærming.
Jeg har prøvd å finne den perfekte metoden for å lagre filer i mange år nå. Jeg tror jeg fant det, men det er alltid noe å forbedre, hvis du har noen ideer om hvordan du kan gjøre det bedre, vil jeg gjerne lese det.
Jeg starter med å fortelle deg noen ord om meg selv, jeg driver med webutvikling og tar bilder på fritiden. Derav konklusjonen om at jeg trenger å lagre arbeid og personlige prosjekter, bilder, videoer og andre filer.
Jeg har omtrent 680 GB med filer, hvorav 90 prosent er bilder og videoer.
Sirkulasjon av filer i lagrene mine:
Her er et omtrentlig diagram over hvordan og hvor alle filene mine er lagret.
Nå mer.
Som du kan se er hjertet av alt NAS-en min, nemlig Synology DS214, en av de enkleste NAS-ene fra Synology, men den takler alt jeg trenger.
dropbox
Arbeidsmaskinen min er en macbook pro 13, 2015. Jeg har 512GB der, men alle filene passer selvsagt ikke, jeg lagrer kun det som trengs for øyeblikket. Jeg synkroniserer alle mine personlige filer og mapper med Dropbox, jeg vet at det ikke er veldig pålitelig, men det utfører bare synkroniseringsfunksjonen. Og han gjør det best, i alle fall ut fra det jeg har prøvd. Og jeg prøvde alle de kjente og ikke så berømte skyene.
Synology har også sin egen sky, du kan distribuere den på NAS-en din, jeg prøvde flere ganger å bytte fra Dropbox til Synology Cloud Station, men det var alltid problemer med synkronisering, det var alltid noen feil, eller jeg synkroniserte ikke alt.
Alle viktige filer er lagret i Dropbox-mappen, noen ganger lagrer jeg noe på skrivebordet mitt, for ikke å miste noe, laget jeg en symbolkobling til Dropbox-mappen ved å bruke MacDropAny-programmet.
Min nedlastingsmappe er ikke synkronisert på noen måte, men det er ikke noe viktig der, bare midlertidige filer. Hvis jeg laster ned noe viktig, kopierer jeg det til riktig mappe i Dropbox.
Mine eventyr med DropboxEn gang i tiden, et sted i 2013-2014, lagret jeg alle filene mine i Dropbox, og bare der var det ingen sikkerhetskopier. Da hadde jeg ikke 1Tb, det vil si at jeg ikke betalte for det, jeg hadde omtrent 25Gb, som jeg tjente ved å invitere venner eller andre oppgaver.
En vakker morgen slo jeg på datamaskinen og alle filene mine forsvant, jeg fikk også et brev fra Dropbox hvor de beklager og at filene mine forsvant på grunn av deres feil. De ga meg en lenke der jeg kunne gjenopprette filene mine, men selvfølgelig ble ingenting gjenopprettet. For dette ga de meg 1Tb i et år, hvoretter jeg ble deres klient, uansett hvor rart det høres ut, men jeg stolte aldri på dem.
Som jeg skrev ovenfor, kunne jeg ikke finne en sky som var mer egnet for meg, for det første var det ingen synkroniseringsproblemer ennå, og for det andre fungerer mange forskjellige tjenester bare med Dropbox.
gå
Arbeidsfiler lagres på arbeidsserveren, personlige prosjekter lagres på GitLab, alt er enkelt her.
Time Machine
Jeg tar også en sikkerhetskopi av hele systemet, unntatt Dropbox og nedlastingsmappen selvfølgelig, for ikke å ta opp plass forgjeves. Jeg sikkerhetskopierer systemet ved hjelp av Time Machine, et utmerket verktøy som har hjulpet meg mer enn én gang. Jeg gjør det på samme NAS, heldigvis har den en slik funksjon. Du kan selvfølgelig gjøre det på en ekstern HDD, men det er ikke like praktisk. Hver gang du trenger å koble til en ekstern stasjon og starte Time Machine selv. På grunn av latskap tok jeg ofte slike sikkerhetskopier en gang med noen ukers mellomrom. Han lager automatisk sikkerhetskopier til serveren, jeg merker ikke engang når han gjør det. Jeg jobber hjemmefra, så jeg har alltid en ny sikkerhetskopi av hele systemet mitt. En kopi lages flere ganger om dagen, jeg telte ikke hvor mange ganger og hvor ofte.
NAS
Det er her all magien skjer.
Synology har et utmerket verktøy, det kalles Cloud Sync, jeg tror fra navnet er det klart hva det gjør.
Den kan synkronisere mange skysystemer med hverandre, eller mer presist, synkronisere filer fra en NAS-server med andre skyer. Jeg tror det er en anmeldelse av dette programmet på nettet. Jeg vil ikke gå inn på detaljer. Jeg må bedre beskrive hvordan jeg bruker den.
På serveren har jeg en diskmappe som heter Dropbox, det er en kopi av Dropbox-kontoen min, Cloud Sync er ansvarlig for å synkronisere alt dette. Hvis noe skjedde med filene i Dropbox, vil det skje på serveren, det spiller ingen rolle om det er slettet eller opprettet. Generelt klassisk synkronisering.
Yandex disk
Deretter kaster jeg alle disse filene på Yandex-disken min, jeg bruker den som en hjemmelaget backup-disk, det vil si at jeg kaster filene der, men sletter ikke noe derfra, det viser seg å være en slik dump av filer, men det hjalp et par ganger.
Google Disk
Der sender jeg bare "Bilder"-mappen, også i synkroniseringsmodus, jeg gjør dette kun for praktisk visning av bilder i Google Photos og med muligheten til å slette bilder derfra, og de slettes overalt (unntatt Yandex-disken selvfølgelig). Jeg vil skrive om bildet nedenfor; du kan til og med skrive en egen artikkel der.
HyperBackup
Men alt dette er ikke veldig pålitelig; hvis du ved et uhell sletter en fil, vil den bli slettet overalt, og du kan anse den som tapt. Du kan selvfølgelig gjenopprette fra Yandex-disk, men for det første er en sikkerhetskopi på ett sted ikke veldig pålitelig i seg selv, og Yandex-disk i seg selv er ikke en tjeneste du kan være 100% trygg på, selv om det aldri har vært noen problemer med det.
Derfor prøvde jeg alltid å lagre filer et annet sted, med et vanlig backup-system.
Synology har også et verktøy for dette, det kalles HyperBackup, det sikkerhetskopierer filer enten til andre Synology-servere eller til noen skyløsninger fra tredjepartsprodusenter.
Den kan også lage sikkerhetskopier til eksterne stasjoner koblet til en NAS, noe jeg gjorde inntil nylig. Men dette er heller ikke pålitelig, for eksempel hvis det er en brann, så slutten av både serveren og HDD.
Synology C2
Her nærmer vi oss gradvis en annen tjeneste, denne gangen fra Synology selv. Den har sine egne skyer for lagring av sikkerhetskopier. Den er designet spesielt for HyperBackup, han lager sikkerhetskopier der hver dag, men dette er en gjennomtenkt sikkerhetskopi, det finnes filversjoner, en tidslinje og til og med klienter for Windows og mac os.
Det er alt for fillagring, jeg håper filene mine er trygge.
La oss nå gå videre til å sortere filene.
Jeg sorterer vanlige filer, bøker, skanninger av dokumenter og andre uviktige filer i mapper for hånd, akkurat som alt annet. Vanligvis er det ikke mange av dem og jeg åpner dem sjelden.
Det vanskeligste er å sortere bilder og videoer, jeg har mange av dem.
Jeg tar fra flere dusin til flere hundre bilder i måneden. Jeg fotograferer med et DSLR, en drone og noen ganger på telefonen min. Bilder kan være personlige eller på lager. Jeg tar også noen ganger hjemmevideoer (ikke hva du kanskje tror, bare familievideoer, ofte med datteren min). Det må også på en eller annen måte lagres og sorteres slik at det ikke blir et rot.
Jeg har en mappe i samme Dropbox som heter Sorter bilder, det er undermapper der alle bildene og videoene går, derfra blir de tatt og sortert der det trengs.
Sorteringen foregår på NAS-serveren, det kjører bash-skript der som automatisk lanseres en gang om dagen og gjør jobben sin. NAS er også ansvarlig for å starte dem; det er en oppgaveplanlegger som er ansvarlig for å starte alle skript og andre oppgaver. Du kan konfigurere hvor ofte og når oppgaver skal lanseres, cron med et grensesnitt hvis det er enklere.
Hver mappe har sitt eget skript. Nå mer om mapper:
drone — her er bilder fra en drone som jeg tok for personlige formål. Først behandler jeg alle bildene i lightroom, og eksporterer deretter JPG til denne mappen. Derfra havner de i en annen Dropbox-mappe, «Photo».
Det er en mappe "Drone", og der er de allerede sortert etter år og måned. Skriptene lager selv de nødvendige mappene og endrer navn på bildene i henhold til malen min, vanligvis er dette datoen og klokkeslettet bildet ble tatt, jeg legger også til et tilfeldig tall på slutten slik at filer med samme navn ikke vises. Jeg husker ikke hvorfor å sette sekunder i filnavnet ikke var egnet for disse formålene.
Treet ser slik ut: Foto/Drone/2019/05 — Mai/01 — Mai — 2019_19.25.53_37.jpg
Drone video — Jeg tar ikke video med drone ennå, det er mye å lære, jeg har ikke tid til det nå, men jeg har allerede laget en mappe.
Bildeoperasjoner — det er to mapper inni, når filer blir funnet der, blir de rett og slett enten komprimert på maksimalsiden til 2000px for publisering på Internett, eller bilder blir snudd, jeg trenger ikke dette lenger, men jeg har ikke slettet mappen ennå.
Panoramaer — Det er her panoramaer kommer inn, som du kanskje gjetter, jeg lagrer dem separat siden dette er en spesifikk type bilder, jeg tar dem vanligvis med en drone. Jeg gjør også vanlige panoramaer, men jeg gjør også 360 panoramaer og noen ganger sfærer, denne typen panoramaer som små planeter, jeg gjør det også med en drone. Fra denne mappen går også alle bilder til Foto/Panoramas/2019/01 - Mai - 2019_19.25.53_37.jpg. Her sorterer jeg ikke etter måned fordi det ikke er så mange panoramaer.
Personlig bilde — Her er bildene jeg tar med et DSLR, vanligvis er dette familiebilder eller reiser generelt, bilder som er tatt for hukommelsen og for meg selv. Jeg behandler også råbilder i Lightroom og eksporterer dem deretter hit.
Herfra kommer de hit: Foto/2019/05 — Mai/01 — Mai — 2019_19.25.53_37.jpg
Hvis jeg fotograferte en slags feiring eller noe annet som ville være bedre lagret separat, så lager jeg i 2019-mappen en mappe med navnet på feiringen og kopierer bildet der manuelt.
RAW — her er bildekildene. Jeg fotograferer alltid i RAW, jeg lagrer alle bilder i JPG, men noen ganger vil jeg lagre RAW-filer også, noen ganger vil jeg behandle en ramme annerledes. Vanligvis er dette naturen og bare de beste skuddene kommer dit, ikke alle på rad.
Arkivfoto — her laster jeg opp bilder for arkivbilder, som jeg tar enten på et DSLR eller på en drone. Sortering er den samme som i andre bilder, bare i sin egen separate mappe.
I rotkatalogen til Dropbox er det en mappe for kameraopplastinger, dette er standardmappen som Dropbox-mobilapplikasjonen laster opp alle bilder og videoer til. Alle bilder av kona fra telefonen blir droppet på denne måten. Jeg laster også opp alle bildene og videoene mine fra telefonen min her og derfra sorterer jeg dem i en egen mappe. Men jeg gjør det på en annen måte, mer praktisk for meg. Det finnes et slikt program for Android, FolderSync, det lar deg ta alle bildene fra mobiltelefonen, laste dem opp til Dropbox og så slette dem fra telefonen. Det er mange innstillinger, jeg anbefaler det. Videoer fra telefonen din går også inn i denne mappen; de er også sortert som alle bilder, etter år og måned.
Jeg samlet alle skriptene selv fra forskjellige instruksjoner på Internett; jeg fant ingen ferdige løsninger. Jeg kan ikke noe i det hele tatt om bash-skript, kanskje det er noen feil eller noen ting kan gjøres bedre, men det viktigste for meg er at de gjør jobben sin og gjør det jeg trenger.
Skriptene ble lastet opp til GitHub:
Tidligere, for å sortere bilder og videoer, brukte jeg Hazel under mac os, alt er enklere der, alle oppgaver lages visuelt, det er ikke nødvendig å skrive kode, men det er to ulemper. For det første må du beholde alle mappene på datamaskinen slik at alt fungerer bra, og for det andre, hvis jeg plutselig bytter til Windows eller Linux, er det ingen slike programmer der. Jeg prøvde å se etter et alternativ, men de var alle til ingen nytte. En løsning med skript på serveren er en mer universell løsning.
Alle skript er konfigurert til å kjøre en gang om dagen, vanligvis om natten. Men hvis du ikke har tid til å vente og du på en eller annen måte må utføre det nødvendige skriptet nå, er det to løsninger: koble til serveren via SSH og utfør det nødvendige skriptet, eller gå til administrasjonspanelet og kjør også det nødvendige manuelt manus. Alt dette virker upraktisk for meg, så jeg fant en tredje løsning. Det finnes et program for Android som kan sende ssh-kommandoer. Jeg opprettet flere kommandoer, hver har sin egen knapp, og nå hvis jeg trenger å sortere for eksempel bilder som jeg tok fra en drone, så trykker jeg bare på én knapp og skriptet kjører. Programmet heter SSHing, det er andre som ligner, men for meg er dette det mest praktiske.
Jeg har også flere av mine egne sider, de er mer for show, nesten ingen går dit, men likevel skader det ikke å ta backup. Jeg kjører nettstedene mine på DigitalOcean, hvor jeg installerte aaPanel-panelet. Der er det mulig å lage sikkerhetskopier av alle filer og alle databaser, men på samme disk.
Å lagre en sikkerhetskopi på samme disk er ikke tilfellet, så jeg bruker også et bash-script for å gå dit og kopiere alt til serveren min, og arkivere alt i ett arkiv med datoen i navnet.
Jeg håper i det minste noen vil bli hjulpet av metodene jeg bruker og som jeg delte.
Som det fremgår av artikkelen, elsker jeg automatisering og prøver å automatisere alt som er mulig, jeg beskrev ikke mange ting fra automatiseringssynspunktet, siden dette allerede er andre emner og andre artikler.
Kilde: www.habr.com