Ik wilde al lang schrijven over hoe ik mijn bestanden opsla en hoe ik back-ups maak, maar het is er nooit van gekomen. Onlangs verscheen hier een artikel, enigszins vergelijkbaar met het mijne, maar met een andere insteek.
Ik probeer al jaren de perfecte methode te vinden voor het opslaan van bestanden. Ik denk dat ik het heb gevonden, maar er valt altijd iets te verbeteren. Als je ideeën hebt hoe het beter kan, lees ik het graag.
Ik zal beginnen met een paar woorden over mezelf te vertellen. Ik doe aan webontwikkeling en maak foto's in mijn vrije tijd. Vandaar de conclusie dat ik werk- en persoonlijke projecten, foto's, video's en andere bestanden moet opslaan.
Ik heb ongeveer 680 GB aan bestanden, waarvan 90 procent foto's en video's zijn.
Circulatie van bestanden in mijn opslag:
Hier is een schematisch diagram van hoe en waar al mijn bestanden zijn opgeslagen.
Nu meer.
Zoals je kunt zien is het hart van alles mijn NAS, namelijk de Synology DS214, een van de eenvoudigste NAS-systemen van Synology, maar hij kan alles aan wat ik nodig heb.
dropbox
Mijn werkmachine is een macbook pro 13, 2015. Ik heb daar 512GB, maar uiteraard passen niet alle bestanden erin, ik bewaar alleen wat op dat moment nodig is. Ik synchroniseer al mijn persoonlijke bestanden en mappen met Dropbox, ik weet dat het niet erg betrouwbaar is, maar het voert alleen de synchronisatiefunctie uit. En hij doet het het beste, tenminste van wat ik heb geprobeerd. En ik heb alle beroemde en niet zo beroemde wolken geprobeerd.
Synology heeft ook een eigen cloud, je kunt deze op je NAS implementeren, ik heb verschillende keren geprobeerd over te schakelen van Dropbox naar Synology Cloud Station, maar er waren altijd problemen met de synchronisatie, er waren altijd enkele fouten, of ik synchroniseerde niet alles.
Alle belangrijke bestanden worden opgeslagen in de Dropbox-map, soms bewaar ik iets op mijn bureaublad. Om niets te verliezen, heb ik met het MacDropAny-programma een symbolische link naar de Dropbox-map gemaakt.
Mijn downloadmap is op geen enkele manier gesynchroniseerd, maar er staat niets belangrijks, alleen tijdelijke bestanden. Als ik iets belangrijks download, kopieer ik het naar de juiste map in Dropbox.
Mijn avonturen met DropboxEr was eens, ergens in 2013-2014, ik al mijn bestanden in Dropbox opgeslagen en alleen daar waren er geen back-ups. Toen had ik geen 1Tb, dat wil zeggen, ik betaalde er niet voor, ik had ongeveer 25Gb, die ik verdiende door vrienden uit te nodigen of andere taken uit te voeren.
Op een mooie ochtend zette ik de computer aan en al mijn bestanden verdwenen, ik ontving ook een brief van Dropbox waarin ze zich verontschuldigden en dat mijn bestanden door hun schuld verdwenen waren. Ze gaven me een link waarmee ik mijn bestanden kon herstellen, maar er werd natuurlijk niets hersteld. Hiervoor gaven ze mij een jaar lang 1Tb, waarna ik hun klant werd, hoe vreemd het ook klinkt, maar ik heb ze nooit vertrouwd.
Zoals ik hierboven schreef, kon ik geen cloud vinden die geschikter voor mij was, ten eerste waren er nog geen synchronisatieproblemen en ten tweede werken veel verschillende services alleen met Dropbox.
Git
Werkbestanden worden opgeslagen op de werkserver, persoonlijke projecten worden opgeslagen op GitLab, alles is hier eenvoudig.
tijd Machine
Ook maak ik een back-up van het hele systeem, exclusief de map Dropbox en Downloads uiteraard, om niet tevergeefs ruimte in beslag te nemen. Ik maak een back-up van het systeem met behulp van Time Machine, een uitstekende tool die me meer dan eens heeft geholpen. Ik doe het op dezelfde NAS, gelukkig heeft die zo'n functie. Je kunt het natuurlijk op een externe harde schijf doen, maar het is niet zo handig. Elke keer moet u een externe schijf aansluiten en Time Machine zelf starten. Uit luiheid maakte ik dergelijke backups vaak eens in de paar weken. Hij maakt automatisch back-ups naar de server, ik merk het niet eens wanneer hij het doet. Ik werk vanuit huis, dus ik heb altijd een nieuwe back-up van mijn hele systeem. Er wordt meerdere keren per dag een kopie gemaakt, ik heb niet geteld hoe vaak en hoe vaak.
NAS
Dit is waar alle magie gebeurt.
Synology heeft een uitstekende tool, het heet Cloud Sync, ik denk dat de naam duidelijk maakt wat het doet.
Het kan veel cloudsystemen met elkaar synchroniseren, of beter gezegd, bestanden van een NAS-server synchroniseren met andere clouds. Ik geloof dat er online een recensie van dit programma staat. Ik zal niet in details treden. Ik kan beter beschrijven hoe ik het gebruik.
Op de server heb ik een schijfmap genaamd Dropbox, het is een kopie van mijn Dropbox-account, Cloud Sync is verantwoordelijk voor het synchroniseren van dit alles. Als er iets gebeurt met de bestanden in Dropbox, gebeurt dit op de server, ongeacht of het wordt verwijderd of gemaakt. Over het algemeen klassieke synchronisatie.
Yandex-schijf
Vervolgens gooi ik al deze bestanden op mijn Yandex-schijf, ik gebruik het als een zelfgemaakte back-upschijf, dat wil zeggen, ik gooi de bestanden daarheen, maar verwijder daar niets, het blijkt zo'n dump van bestanden te zijn, maar het hielp een paar keer.
Google Drive
Daar stuur ik alleen de map "Foto's", ook in de synchronisatiemodus, ik doe dit alleen voor het gemakkelijk bekijken van foto's in Google Foto's en met de mogelijkheid om daar foto's te verwijderen en ze worden overal verwijderd (behalve de Yandex-schijf natuurlijk). Ik zal hieronder over de foto schrijven; je zou daar zelfs een apart artikel kunnen schrijven.
HyperBack-up
Maar dit alles is niet erg betrouwbaar: als u per ongeluk een bestand verwijdert, wordt het overal verwijderd en kunt u het als verloren beschouwen. Je kunt natuurlijk herstellen vanaf de Yandex-schijf, maar ten eerste is een back-up op één plek op zichzelf niet erg betrouwbaar, en de Yandex-schijf zelf is geen service waar je 100% vertrouwen in kunt hebben, ook al zijn er nooit zulke geweest problemen mee.
Daarom probeerde ik altijd bestanden ergens anders op te slaan, met een normaal back-upsysteem.
Synology heeft hier ook een tool voor, het heet HyperBackup, het maakt een back-up van bestanden naar andere Synology-servers of naar sommige cloudoplossingen van externe fabrikanten.
Het kan ook back-ups maken naar externe schijven die op een NAS zijn aangesloten, wat ik tot voor kort deed. Maar dit is ook niet betrouwbaar, als er bijvoorbeeld brand uitbreekt, dan gaat zowel de server als de HDD kapot.
Synologie C2
Hier benaderen we stilaan een andere dienst, dit keer van Synology zelf. Het heeft zijn eigen clouds voor het opslaan van back-ups. Het is speciaal ontworpen voor HyperBackup, hij maakt daar elke dag backups, maar dit is een goed doordachte backup, er zijn bestandsversies, een tijdlijn en zelfs clients voor Windows en mac os.
Dat is alles voor bestandsopslag. Ik hoop dat mijn bestanden veilig zijn.
Laten we nu verder gaan met het sorteren van de bestanden.
Ik sorteer gewone bestanden, boeken, scans van documenten en andere onbelangrijke bestanden met de hand in mappen, net als al het andere. Meestal zijn het er niet veel en open ik ze zelden.
Het moeilijkste is het sorteren van foto's en video's, ik heb er veel.
Ik maak enkele tientallen tot honderden foto's per maand. Ik fotografeer met een DSLR, een drone en soms met mijn telefoon. Foto's kunnen persoonlijk zijn of voor stock. Ik maak ook wel eens homevideo's (niet wat je zou denken, alleen familievideo's, vaak met mijn dochter). Het moet ook op de een of andere manier worden opgeslagen en gesorteerd, zodat het geen rommel wordt.
Ik heb een map in dezelfde Dropbox genaamd Afbeeldingen sorteren, er zijn submappen waar alle foto's en video's naartoe gaan, van daaruit worden ze gemaakt en gesorteerd waar nodig.
Het sorteren vindt plaats op de NAS-server, daar draaien bash-scripts die één keer per dag automatisch worden gestart en hun werk doen. De NAS is ook verantwoordelijk voor het starten ervan; er is een taakplanner die verantwoordelijk is voor het starten van alle scripts en andere taken. U kunt configureren hoe vaak en wanneer taken worden gestart, cron met een interface als dit eenvoudiger is.
Elke map heeft zijn eigen script. Nu meer over mappen:
dar — hier zijn foto's van een drone die ik voor persoonlijke doeleinden heb gemaakt. Eerst verwerk ik alle foto's in Lightroom en exporteer vervolgens JPG naar deze map. Van daaruit komen ze terecht in een andere Dropbox-map, "Foto".
Er is een map “Drone” en daar staan ze al gesorteerd op jaar en maand. De scripts maken zelf de benodigde mappen aan en hernoemen de foto's zelf volgens mijn template, meestal is dit de datum en tijd waarop de foto is gemaakt, ook voeg ik aan het einde een willekeurig getal toe zodat bestanden met dezelfde naam niet verschijnen. Ik weet niet meer waarom het instellen van seconden in de bestandsnaam niet geschikt was voor deze doeleinden.
De boom ziet er zo uit: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone-video — Ik maak nog geen video met een drone, er valt nog veel te leren, ik heb er nu geen tijd voor, maar ik heb al een map aangemaakt.
Beeldbewerkingen — er zitten twee mappen in, als daar bestanden worden gevonden, worden ze eenvoudigweg gecomprimeerd tot de maximale kant van 2000px voor publicatie op internet, of worden afbeeldingen omgedraaid, ik heb dit niet langer nodig, maar ik heb de map nog niet verwijderd.
Panorama — dit is waar panorama's binnenkomen, zoals je misschien wel raadt, ik bewaar ze apart, aangezien dit een specifiek type foto is, ik maak ze meestal met een drone. Ik maak ook gewone panorama's, maar ik maak ook 360 panorama's en soms bollen, dit soort panorama's als kleine planeten, ik doe het ook met een drone. Vanuit deze map gaan alle foto's ook naar Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Hier sorteer ik niet op maand omdat er niet zoveel panorama’s zijn.
Persoonlijke foto — Hier zijn de foto's die ik maak met een DSLR, meestal zijn dit familiefoto's of reisfoto's, in het algemeen foto's die zijn gemaakt ter herinnering en voor mezelf. Ook verwerk ik raw foto’s in Lightroom en exporteer ze vervolgens hierheen.
Vanaf hier komen ze hier: Photo/2019/05 — mei/01 — mei — 2019_19.25.53_37.jpg
Als ik een soort feest of iets anders heb gefotografeerd dat beter apart kan worden bewaard, dan maak ik in de map 2019 een map aan met de naam van het feest en kopieer ik de foto daar handmatig.
RAW - hier zijn de fotobronnen. Ik fotografeer altijd in RAW, ik bewaar alle foto's in JPG, maar soms wil ik ook RAW bestanden opslaan, soms wil ik een frame anders bewerken. Meestal is dit de natuur en komen alleen de beste foto's daar, niet allemaal op een rij.
Stock foto — hier upload ik foto's voor stockfoto's, die ik maak met een DSLR of met een drone. Het sorteren is hetzelfde als bij andere foto's, alleen in een eigen aparte map.
In de hoofdmap van Dropbox bevindt zich een map Camera Uploads. Dit is de standaardmap waarnaar de mobiele Dropbox-app alle foto's en video's uploadt. Alle foto's van de vrouw vanaf de telefoon worden op deze manier verwijderd. Ik upload hier ook al mijn foto's en video's van mijn telefoon en van daaruit sorteer ik ze in een aparte map. Maar ik doe het op een andere manier, handiger voor mij. Er is zo'n programma voor Android, FolderSync, waarmee je alle foto's van je mobiele telefoon kunt maken, ze naar Dropbox kunt uploaden en ze vervolgens van de telefoon kunt verwijderen. Er zijn veel instellingen, ik raad het aan. Video's van je telefoon komen ook in deze map terecht; ze zijn net als alle foto's gesorteerd op jaar en maand.
Ik heb zelf alle scripts verzameld uit verschillende instructies op internet, ik heb geen kant-en-klare oplossingen gevonden. Ik weet helemaal niets van bash-scripts, misschien zitten er wat fouten in of kunnen sommige dingen beter, maar het belangrijkste voor mij is dat ze hun werk doen en doen wat ik nodig heb.
De scripts zijn geüpload naar GitHub:
Voor het sorteren van foto's en video's gebruikte ik eerder Hazel onder mac os, alles is daar eenvoudiger, alle taken worden visueel gemaakt, het is niet nodig om code te schrijven, maar er zijn twee nadelen. Ten eerste moet je alle mappen op de computer bewaren, zodat alles goed werkt, en ten tweede, als ik plotseling overschakel naar Windows of Linux, zijn dergelijke programma's daar niet. Ik heb geprobeerd een alternatief te zoeken, maar dat mocht allemaal niet baten. Een oplossing met scripts op de server is een meer universele oplossing.
Alle scripts zijn zo geconfigureerd dat ze één keer per dag worden uitgevoerd, meestal 's nachts. Maar als u geen tijd heeft om te wachten en u het vereiste script nu op de een of andere manier moet uitvoeren, zijn er twee oplossingen: maak via SSH verbinding met de server en voer het vereiste script uit, of ga naar het beheerderspaneel en voer ook handmatig het vereiste script uit script. Dit lijkt mij allemaal lastig, dus ik heb een derde oplossing gevonden. Er is een programma voor Android dat ssh-opdrachten kan verzenden. Ik heb verschillende opdrachten gemaakt, elk heeft zijn eigen knop, en als ik nu bijvoorbeeld foto's moet sorteren die ik met een drone heb gemaakt, druk ik gewoon op één knop en het script wordt uitgevoerd. Het programma heet SSHing, er zijn andere soortgelijke, maar voor mij is dit het handigst.
Ik heb ook een aantal van mijn eigen sites, ze zijn meer voor de show, bijna niemand gaat daarheen, maar toch kan het geen kwaad om een back-up te maken. Ik beheer mijn sites op DigitalOcean, waar ik het aaPanel-paneel heb geïnstalleerd. Daar is het mogelijk om reservekopieën te maken van alle bestanden en alle databases, maar dan op dezelfde schijf.
Een back-up op dezelfde schijf opslaan is niet het geval, dus ik gebruik ook een bash-script om daarheen te gaan en alles naar mijn server te kopiëren, waarbij ik alles in één archief archiveer met de datum in de naam.
Ik hoop dat in ieder geval iemand geholpen zal worden door de methoden die ik gebruik en waarmee ik deelde.
Zoals uit het artikel blijkt, houd ik van automatisering en probeer ik alles te automatiseren wat mogelijk is. Ik heb niet veel dingen beschreven vanuit het oogpunt van automatisering, aangezien dit al andere onderwerpen en andere artikelen zijn.
Bron: www.habr.com