Už dlouho jsem chtěl napsat o tom, jak uchovávám své soubory a jak dělám zálohy, ale nikdy jsem se k tomu nedostal. Nedávno se objevily články, které se v něčem podobají mému, ale mají jiný přístup.
Už mnoho let se snažím najít ideální metodu pro uchovávání souborů. Myslím, že jsem ji našel, ale vždy je co zlepšovat; pokud máte nějaké myšlenky, jak to udělat lépe, rád si je přečtu.
Začnu tím, že se pár slovy představím. Zabývám se webovým vývojem a ve volném čase fotografuji. Z toho vyplývá, že potřebuji uchovávat pracovní a osobní projekty, fotky, videa a další soubory.
Mám přibližně 680 GB souborů, z nichž 90 % tvoří fotky a videa.
Cirkulace souborů v mých úložištích:
Tady je přibližný diagram toho, jak a kde jsou uloženy všechny mé soubory.
Nyní podrobněji.
Jak je vidět, srdcem všeho je můj NAS, konkrétně model Synology DS214, jeden z nejjednodušších NAS od společnosti Synology. I přesto si poradí se vším, co potřebuji.
Dropbox
Můj pracovní stroj je MacBook Pro 13 z roku 2015. Mám tam 512 GB, ale samozřejmě se mi tam nevejdou všechny soubory, uchovávám jen to, co potřebuji právě teď. Všechny své osobní soubory a složky synchronizuji s Dropboxem; vím, že to není příliš spolehlivé, ale plní pouze funkci synchronizace. A tuto funkci vykonává nejlépe, alespoň ze všech, co jsem vyzkoušel. Vyzkoušel jsem všechny známé i méně známé cloudové služby.
Synology má také své vlastní cloudové řešení; můžete si ho nasadit na svém NAS. Několikrát jsem se pokoušel přesunout z Dropboxu na Synology Cloud Station, ale vždy tam byly problémy s synchronizací – vždy nějaké chyby, nebo nebylo vše synchronizováno.
Všechny důležité soubory uchovávám v složce Dropbox. Někdy něco ukládám na plochu, a abych o něco nepřišel, udělal jsem symlink do složky Dropbox pomocí programu MacDropAny.
Složka Stahování se mi nijak nesynchronizuje, ale ani tam není nic důležitého, jen dočasné soubory. Pokud stahuji něco důležitého, kopíruji to do odpovídající složky v Dropboxu.
Má dobrodružství s DropboxemKdysi dávno, někdy v letech 2013-2014, jsem uchovával všechny soubory jen v Dropboxu a neměl jsem žádné zálohy. Tehdy jsem neměl 1 TB, takže jsem za něj neplatil; měl jsem přibližně 25 GB, které jsem získal pozváním přátel nebo jinými úkoly.
Jedno krásné ráno jsem zapnul počítač a všechny mé soubory zmizely, dostal jsem také e-mail od Dropboxu, kde se omlouvají a říkají, že mé soubory zmizely jejich vinou. Dali mi odkaz, pomocí kterého jsem mohl své soubory obnovit, ale samozřejmě se nic neobnovilo. Na oplátku mi darovali 1 TB na rok, po čemž jsem se stal jejich klientem, ačkoliv to zní zvláštně, nikdy jsem jim však nedůvěřoval.
Jak jsem uvedl výše, nemohl jsem najít pro sebe vhodnější cloud, za prvé jsem zatím neměl žádné problémy se synchronizací, a za druhé, spousta různých služeb funguje pouze s Dropboxem.
Git
Soubory týkající se práce jsou uloženy na pracovním serveru, osobní projekty na GitLab, tady je to jednoduché.
Time Machine
Také dělám zálohu celého systému, vyjma složky Dropbox a Downloads, abych nezabíral zbytečně místo. Zálohu systému dělám přes Time Machine, skvělý nástroj, často mi pomohl. Dělám na tom samém NAS, naštěstí tam je tato funkce. Můžete to samozřejmě dělat i na externí HDD, ale není to tak pohodlné. Musíte pokaždé připojit externí disk a sami spustit Time Machine. Z lenosti jsem často takové zálohy dělal jednou za několik týdnů. Na serveru se však automaticky dělá záloha, ani si nevšimnu, kdy to dělá. Pracuji z domova, takže mám vždy aktuální záložní kopii celého svého systému. Zálohy se dělají několikrát denně, nepočítal jsem, kolikrát a jak často.
NAS
Tady se odehrává veškerá magie.
Synology má skvělý nástroj, který se nazývá Cloud Sync, myslím, že podle názvu je jasné, co dělá.
Může synchronizovat různé cloudové systémy mezi sebou, přesněji synchronizovat soubory ze serveru NAS s jinými cloudy. Myslím, že na tuto aplikaci je na internetu nějaký přehled, nebudu se pouštět do podrobností. Raději popíšu, jak ji používám.
Na serveru mám složku s názvem Dropbox, která je kopií mého účtu Dropbox, synchronizaci toho všeho zajišťuje Cloud Sync. Pokud se v Dropboxu stane něco s soubory, stane se to i na serveru, bez ohledu na to, jestli byly soubory odstraněny nebo vytvořeny. Jednoduše jde o klasickou synchronizaci.
Yandex Disk
Dále všechny tyto soubory posílám na svůj Yandex Disk, používám ho jako vlastní záložní disk, to znamená, že soubory tam ukládám, ale nic odtud nemažu, vzniká taková skládka souborů, ale několikrát mi to pomohlo.
Google Drive
Tam vysílám pouze složku „Photos“, také v režimu synchronizace, dělám to jen pro pohodlné prohlížení fotografií v Google Fotkách a s možností je odtud odstraňovat, čímž se odstraní všude (kromě Yandex Disku, samozřejmě). O fotografiích napíšu níže, tam se dá napsat dokonce samostatný článek.
HyperBackup
Ale to všechno není příliš spolehlivé, pokud omylem odstraníte soubor, tak se odstraní všude a můžete ho považovat za ztracený. Samozřejmě ho lze obnovit z Yandex Disku, ale za prvé záloha na jednom místě sama o sobě není příliš spolehlivá, a jakkoli Yandex Disk ještě nikdy neměl problémy, není to služba, na kterou se dá plně spolehnout.
Proto jsem se vždy snažil uchovávat soubory také někde jinde, už se správným systémem záloh.
Synology také má nástroj pro to, jmenuje se HyperBackup, dělá zálohu souborů buď na jiné servery Synology, nebo na nějaká cloudová řešení od třetích stran.
Také umí dělat zálohu na externí disky připojené k NAS, tak jsem činil až do nedávné doby. Ale ani to není spolehlivé, například pokud dojde k požáru, končí to jak se serverem, tak s HDD.
Synology C2
Tady se pomalu dostáváme k jiné službě, přímo od Synology. Ta má své vlastní cloudy pro úložiště záloh. Je zaměřena právě na HyperBackup, každý den tam dělá zálohu, ale to je už promyšlená záloha, tam jsou verze souborů, časová osa a dokonce klienti pro Windows a Mac OS.
Na tomto, co se týče uchovávání souborů, je vše, doufám, že moje soubory jsou v bezpečí.
Teď přejdeme k třídění souborů.
Obvyklé soubory, knihy, naskenované dokumenty a další méně důležité soubory třídím, jak to dělá většina lidi, ručně do složek. Obvykle jich není mnoho a otevírám je zřídka.
Nejtěžší je to s tříděním fotografií a videí, mám jich hodně.
Fotografie dělám od několika desítek do několika stovek za měsíc. Fotím zrcadlovkou, na dronu a občas i na telefonu. Fotografie bývají osobní a pro stock. Také občas natáčím domácí videa (ne to, co si myslíte, jen rodinná videa, častěji s dcerou). I ta je potřeba nějak uchovávat a třídit, aby to nebyla kaše.
Mám složku ve stejném Dropboxu nazvanou Sort Images, kde jsou podsložky, do kterých se dostanou všechny fotografie a videa, odtud se berou a třídí kam je potřeba.
Sortování probíhá na NAS serveru, kde běží bash skripty, které se automaticky spouští každý den a vykonávají svou práci. Za jejich spuštění také odpovídá NAS, kde je plánovač úloh, který řídí spuštění všech skriptů a dalších úloh. Je možné nastavit, jak často a kdy budou úlohy spuštěny, cron s rozhraním je jednodušší.
Pro každou složku existuje vlastní skript. Teď podrobněji o složkách:
Drone — sem padají fotky z dronu, které jsem pořídil pro osobní účely. Nejprve zpracovávám všechny fotky v Lightroomu a poté exportuji JPG do této složky. Odtud se dostávají do jiné složky Dropbox, „Photo“.
Tam je složka „Drone“ a tam už jsou tříděny podle let a měsíců. Skripty automaticky vytvářejí potřebné složky a přejmenovávají fotky podle mého vzoru, obvykle je to datum a čas pořízení fotky, na závěr přidávám náhodné číslo, abych se vyhnul duplicitním názvům souborů. Nepamatuji si, proč pro tyto účely nebyl vhodný záznam sekund v názvu souboru.
Дерево имеет такой вид: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Drone Video — zatím videa dronem nenatáčím, je tam mnoho věcí, které se musím naučit a teď na to nemám čas, ale složku už jsem vytvořil.
Images Operations — uvnitř jsou dvě složky, když se tam objeví soubory, tak se buď maximalizují na delší straně na 2000px pro publikaci na internetu, nebo se provede flip obrázků, což už pro mě není potřeba, ale zatím jsem složku nesmazal.
Panoramas — sem přicházejí, jak nemusí být těžké uhodnout, panoramata, která uchovávám zvlášť, protože se jedná o specifický typ fotografií, obvykle je dělám dronem. Dělám i obyčejná panoramata, ale také 360° panoramata a někdy koule, tento typ panoramat jako malé planety také dělám pomocí dronu. Odtud se všechny fotky dostávají také do Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Tady nedělám třídění podle měsíců, protože panoramat není tak mnoho.
Personal Photo — sem padají fotky, které dělám na zrcadlovku, obvykle jsou to rodinné fotky nebo fotografie z cest, obecně fotky, které si dělám pro paměť a pro sebe. Také syrové fotky zpracovávám v Lightroomu a poté exportuji sem.
Отсюда они попадают сюда: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Pokud jsem natáčel nějakou akci nebo něco jiného, co by bylo lepší uchovávat odděleně, pak v roce 2019 vytvářím složku s názvem akce a ručně tam kopíruji fotky.
RAW — sem přenáším zdrojové fotografie. Vždy fotím v RAW, všechny fotografie uchovávám ve formátu JPG, ale někdy chci uchovat také RAW soubory, někdy potřebuji zpracovat snímek jiným způsobem. Obvykle jde o přírodu a do této složky putují pouze nejlepší snímky, ne všechny bez rozdílu.
Stock Photo — sem nahrávám fotografie pro stocky, které dělám buď na zrcadlovku, nebo na dron. Třídění je stejné jako u ostatních fotografií, jen v samostatné složce.
V kořenovém adresáři Dropboxu je složka Camera Uploads, což je výchozí složka, do které mobilní aplikace Dropbox ukládá všechny fotografie a videa. Všechny fotografie mé ženy z telefonu jsou takto přenášeny. Také zde ukládám všechny své fotografie a videa z telefonu a odsud je dále třídím do samostatné složky. Dělám to však jiným způsobem, pohodlnějším pro mě. Existuje takový program pro Android, FolderSync, který umožňuje stahovat všechny fotografie z mobilu na Dropbox a poté je odstranit z telefonu. Nabízí spoustu nastavení, doporučuji. Do této složky putují i videa z telefonu, ta jsou tříděna stejně jako všechny fotografie, podle let a měsíců.
Všechny skripty jsem sestavil sám z různých návodů na internetu, hotová řešení jsem nenašel. O bash skriptech vůbec nic nevím, možná jsou zde nějaké chyby nebo některé věci by se daly udělat lépe, ale to nejdůležitější — pro mě splňují svou práci a dělají to, co potřebuji.
Skripty jsem nahrál na GitHub:
Dříve jsem pro třídění fotografií a videí používal Hazel na macOS, tam je vše samozřejmě jednodušší, všechny úkoly se vytvářejí vizuálně, není potřeba psát kód, ale má to dvě nevýhody. Za prvé je třeba mít všechny složky na počítači, aby to dobře fungovalo a za druhé, pokud se náhodou přestěhuji na Windows nebo Linux, tak tam není takový program. Snažil jsem se hledat alternativy, ale všechny byly zoufalé. Řešení se skripty na serveru je mnohem univerzálnější řešení.
Všechny skripty jsou nastaveny tak, aby se spouštěly jednou denně, obvykle v noci. Ale pokud nemáte čas čekat a potřebujete spustit potřebný skript hned, existují dvě řešení: připojit se k serveru přes SSH a spustit potřebný skript, nebo se přihlásit do administrace a skript spustit manuálně. To mi přijde nepohodlné, proto jsem našel třetí řešení. Existuje aplikace pro Android, která může posílat SSH příkazy. Vytvořil jsem několik příkazů, pro každý mám své tlačítko a nyní, když potřebuji například seřadit fotky, které jsem udělal s dronem, stačí stisknout jedno tlačítko a skript se spustí. Aplikace se jmenuje SSHing, jsou i jiné podobné, ale pro mě je tato nejpohodlnější.
Také mám několik svých webů, které jsou spíše pro formu, prakticky na ně nikdo nechodí, ale i tak zálohování neuškodí. Weby mám na DigitalOcean, tam jsem nainstaloval panel aaPanel. Ten umožňuje vytváření záloh všech souborů a všech databází, ale na stejném disku.
Mít zálohu na stejném disku není ideální, proto se také přes bash skript připojuji tam a kopíruji vše na svůj server, archivuji všechno do jednoho archivu s datem v názvu.
Doufám, že alespoň někomu pomohou způsoby, které používám a s nimiž jsem se podělil.
Jak je z článku vidět, mám rád automatizaci a snažím se automatizovat vše, co je možné. Mnohé věci jsem nepopisoval z pohledu automatizace, protože to už jsou jiná témata a jiné články.
Zdroj: habr.com
