Dlouho jsem chtěl psát o tom, jak ukládám své soubory a jak dělám zálohy, ale nikdy jsem se k tomu nedostal. Nedávno se zde objevil článek, trochu podobný tomu mému, ale s jiným přístupem.
Již mnoho let se snažím najít perfektní metodu pro ukládání souborů. Myslím, že jsem to našel, ale vždy je co zlepšovat, pokud máte nějaké nápady, jak to udělat lépe, rád si to přečtu.
Začnu tím, že vám povím pár slov o sobě, ve volném čase se věnuji vývoji webu a fotím. Z toho plyne závěr, že potřebuji ukládat pracovní a osobní projekty, fotografie, videa a další soubory.
Mám asi 680 GB souborů, z toho 90 procent tvoří fotky a videa.
Oběh souborů v mých úložištích:
Zde je přibližný diagram toho, jak a kde jsou uloženy všechny mé soubory.
Nyní více.
Jak vidíte, srdcem všeho je můj NAS, konkrétně Synology DS214, jeden z nejjednodušších NAS od Synology, ale poradí si se vším, co potřebuji.
Dropbox
Můj pracovní stroj je macbook pro 13, 2015. Mám tam 512GB, ale všechny soubory se samozřejmě nevejdou, ukládám jen to, co je momentálně potřeba. Všechny své osobní soubory a složky synchronizuji s Dropboxem, vím, že to není moc spolehlivé, ale plní pouze funkci synchronizace. A dělá to nejlépe, alespoň podle toho, co jsem zkoušel. A zkusil jsem všechny známé i ne tak slavné mraky.
Synology má i svůj cloud, můžete ho nasadit na svůj NAS, několikrát jsem zkoušel přejít z Dropboxu na Synology Cloud Station, ale vždy byly problémy se synchronizací, vždy se vyskytly nějaké chyby nebo jsem nesynchronizoval vše.
Všechny důležité soubory jsou uloženy ve složce Dropbox, občas si něco uložím na plochu, abych o něco nepřišel, udělal jsem pomocí programu MacDropAny symbolický odkaz na složku Dropbox.
Moje složka Download není nijak synchronizována, ale není tam nic důležitého, pouze dočasné soubory. Pokud stahuji něco důležitého, zkopíruji to do příslušné složky v Dropboxu.
Moje dobrodružství s DropboxemKdysi, někde v letech 2013-2014, jsem ukládal všechny své soubory do Dropboxu a pouze tam nebyly žádné zálohy. Pak jsem neměl 1Tb, to znamená, že jsem za to neplatil, měl jsem asi 25Gb, které jsem vydělal zváním přátel nebo jinými úkoly.
Jednoho krásného rána jsem zapnul počítač a všechny moje soubory zmizely, také jsem dostal dopis z Dropboxu, kde se omlouvají a že moje soubory zmizely jejich vinou. Dali mi odkaz, kde mohu obnovit své soubory, ale nic se samozřejmě neobnovilo. Za to mi dávali 1Tb na rok, poté jsem se stal jejich klientem, ať to zní jakkoli divně, ale nikdy jsem jim nevěřil.
Jak jsem psal výše, nenašel jsem cloud, který by pro mě byl vhodnější, za prvé, zatím nebyly žádné problémy se synchronizací a za druhé, mnoho různých služeb funguje pouze s Dropboxem.
Git
Pracovní soubory jsou uloženy na pracovním serveru, osobní projekty jsou uloženy na GitLabu, vše je zde jednoduché.
Time Machine
Provádím také zálohu celého systému, samozřejmě kromě složky Dropbox a Downloads, abych zbytečně nezabíral místo. Zálohuji systém pomocí Time Machine, vynikajícího nástroje, který mi pomohl více než jednou. Dělám to na stejném NASu, naštěstí takovou funkci má. Můžete to samozřejmě udělat na externím HDD, ale není to tak pohodlné. Pokaždé, když potřebujete připojit externí disk a spustit Time Machine sami. Kvůli lenosti jsem často dělal takové zálohy jednou za pár týdnů. Automaticky dělá zálohy na server, ani si nevšimnu, kdy to dělá. Pracuji z domova, takže mám vždy čerstvou zálohu celého systému. Kopie se dělá několikrát denně, nepočítal jsem, kolikrát a jak často.
NAS
Tady se odehrává veškerá magie.
Synology má vynikající nástroj, jmenuje se Cloud Sync, myslím, že z názvu je jasné, co dělá.
Dokáže synchronizovat mnoho cloudových systémů mezi sebou, přesněji synchronizovat soubory z NAS serveru s jinými cloudy. Myslím, že na internetu je recenze tohoto programu. Nebudu zabíhat do detailů. Raději popíšu, jak to používám.
Na serveru mám složku na disku s názvem Dropbox, je to kopie mého účtu Dropbox, za synchronizaci toho všeho je zodpovědný Cloud Sync. Pokud se něco stalo se soubory v Dropboxu, stane se to na serveru, nezáleží na tom, zda je smazán nebo vytvořen. Obecně klasická synchronizace.
Disk Yandex
Dále hodím všechny tyto soubory na svůj disk Yandex, používám ho jako domácí záložní disk, to znamená, že tam hodím soubory, ale nic odtud nesmažu, ukáže se, že je to taková skládka souborů, ale párkrát to pomohlo.
Google Drive
Tam posílám pouze složku „Photos“, také v režimu synchronizace, dělám to pouze pro pohodlné prohlížení fotografií ve Fotkách Google a s možností smazat fotografie a jsou smazány všude (samozřejmě kromě disku Yandex). O fotce budu psát níže; dokonce byste tam mohli napsat samostatný článek.
HyperBackup
To vše ale není příliš spolehlivé, pokud soubor omylem smažete, smaže se všude a můžete jej považovat za ztracený. Můžete samozřejmě obnovit z disku Yandex, ale za prvé, záloha na jednom místě není sama o sobě příliš spolehlivá a samotný disk Yandex není službou, ve které si můžete být 100% jisti, i když nikdy žádná nebyla problémy s tím.
Proto jsem se vždy snažil ukládat soubory někde jinde, s normálním zálohovacím systémem.
Synology na to má také nástroj, jmenuje se HyperBackup, zálohuje soubory buď na jiné servery Synology, nebo do některých cloudových řešení od výrobců třetích stran.
Umí také zálohovat na externí disky připojené k NAS, což jsem donedávna dělal. Ale to také není spolehlivé, například pokud dojde k požáru, pak dojde ke konci serveru i HDD.
Synology C2
Zde postupně přistupujeme k další službě, tentokrát od samotné Synology. Má vlastní cloudy pro ukládání záloh. Je navržený speciálně pro HyperBackup, dělá tam zálohy každý den, ale tohle je promyšlená záloha, jsou tam verze souborů, časová osa a dokonce i klienti pro Windows a mac os.
To je vše k ukládání souborů, doufám, že moje soubory jsou v bezpečí.
Nyní přejdeme k řazení souborů.
Běžné spisy, knihy, skeny dokumentů a další nedůležité soubory třídím do složek ručně, tak jako všechno ostatní. Většinou jich není moc a málokdy je otevřu.
Nejtěžší je třídit fotky a videa, těch mám hodně.
Fotím několik desítek až několik stovek fotek měsíčně. Fotím DSLR, dronem a občas i telefonem. Fotografie mohou být osobní nebo do zásoby. Občas také natáčím domácí videa (ne to, co si myslíte, jen rodinná videa, často s mojí dcerou). Také je potřeba ho nějak uložit a roztřídit, aby se v něm nestal nepořádek.
Ve stejném Dropboxu mám složku s názvem Sort Images, tam jsou podsložky, kam jdou všechny fotky a videa, odtud se berou a třídí tam, kde je potřeba.
Třídění probíhá na NAS serveru, běží tam bash skripty, které se automaticky spouštějí jednou denně a dělají svou práci. Za jejich spouštění zodpovídá také NAS, existuje plánovač úloh, který je zodpovědný za spouštění všech skriptů a dalších úloh. Můžete nakonfigurovat, jak často a kdy se budou spouštět úlohy, cron s rozhraním, pokud je to jednodušší.
Každá složka má svůj vlastní skript. Nyní více o složkách:
Trubec — zde jsou fotky z dronu, které jsem pořídil pro osobní účely. Nejprve zpracuji všechny fotografie v lightroomu a poté exportuji JPG do této složky. Odtud skončí v další složce Dropboxu, „Photo“.
Je tam složka “Drone” a tam už jsou seřazeny podle roku a měsíce. Skripty si samy vytvoří potřebné složky a fotky samy přejmenují podle mé šablony, většinou se jedná o datum a čas pořízení fotky, na konec přidávám i náhodné číslo, aby se nezobrazovaly soubory se stejným názvem. Nepamatuji si, proč nastavení sekund v názvu souboru nebylo pro tyto účely vhodné.
Strom vypadá takto: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Video z dronu — Video s dronem zatím netočím, je toho hodně co se učit, teď na to nemám čas, ale už jsem si vytvořil složku.
Operace s obrázky — uvnitř jsou dvě složky, když se tam najdou soubory, tak se prostě buď zkomprimují na maximální stranu na 2000px pro zveřejnění na internetu, nebo se překlopí obrázky, to už nepotřebuji, ale složku jsem ještě nesmazal.
Panoramata — zde přicházejí na řadu panoramata, jak asi tušíte, ukládám je odděleně, protože se jedná o specifický typ fotografií, většinou je fotím dronem. Dělám i běžná panoramata, ale dělám i 360 panoramata a někdy i koule, taková panoramata jako malé planety, dělám to i s dronem. Z této složky jdou všechny fotky také na Foto/Panoramas/2019/01 - Květen - 2019_19.25.53_37.jpg. Tady neřadím podle měsíce, protože tam není tolik panoramat.
Osobní fotografie — Zde jsou fotografie, které fotím DSLR, obvykle se jedná o rodinné fotografie nebo cestování, obecně o fotografie, které jsou foceny pro paměť a pro sebe. V Lightroomu zpracovávám i raw fotky a následně je exportuji sem.
Odtud se dostanou sem: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Pokud jsem fotil nějakou oslavu nebo něco jiného, co by bylo lepší uložit samostatně, tak si ve složce 2019 vytvořím složku s názvem oslavy a tam fotku zkopíruji ručně.
RAW - zde jsou zdroje fotografií. Vždy fotím do RAW, všechny fotky ukládám do JPG, ale někdy chci ukládat i soubory RAW, někdy chci snímek zpracovat jinak. Obvykle je to příroda a dostanou se tam jen ty nejlepší záběry, ne všechny za sebou.
Skladová fotografie — zde nahrávám fotky na stock fotky, které fotím buď na DSLR nebo na dron. Řazení je stejné jako u ostatních fotografií, akorát ve vlastní samostatné složce.
V kořenovém adresáři Dropboxu se nachází složka Camera Uploads, jedná se o výchozí složku, do které mobilní aplikace Dropbox nahrává všechny fotografie a videa. Všechny fotografie manželky z telefonu tímto způsobem spadnou. Nahrávám sem také všechny své fotky a videa z telefonu a odtud je třídím do samostatné složky. Ale dělám to jiným způsobem, pro mě pohodlnějším. Pro Android existuje takový program FolderSync, ten vám umožní vzít všechny fotky z mobilu, nahrát je na Dropbox a pak je z telefonu smazat. Nastavení je hodně, doporučuji. Do této složky se ukládají také videa z vašeho telefonu; jsou také tříděna jako všechny fotografie podle roku a měsíce.
Všechny skripty jsem sbíral sám z různých návodů na internetu, nenašel jsem žádná hotová řešení. O bash skriptech nevím vůbec nic, možná jsou tam nějaké chyby nebo by se některé věci daly udělat lépe, ale nejdůležitější pro mě je, že dělají svou práci a dělají to, co potřebuji.
Skripty byly nahrány na GitHub:
Dříve jsem na třídění fotek a videí používal Hazel pod mac os, tam je vše jednodušší, všechny úkoly se tvoří vizuálně, není potřeba psát kód, ale má to dvě nevýhody. Jednak je potřeba mít v počítači všechny složky, aby vše dobře fungovalo, a zadruhé, když náhle přejdu na Windows nebo Linux, žádné takové programy tam nejsou. Snažil jsem se hledat alternativu, ale všechny byly bez úspěchu. Řešení se skripty na serveru je univerzálnějším řešením.
Všechny skripty jsou nakonfigurovány tak, aby se spouštěly jednou denně, obvykle v noci. Pokud ale nemáte čas čekat a potřebujete nějakým způsobem spustit požadovaný skript hned, existují dvě řešení: připojte se přes SSH k serveru a spusťte požadovaný skript, nebo přejděte na panel admin a také ručně spusťte požadovaný skript skript. To vše se mi zdá nepohodlné, a tak jsem našel třetí řešení. Existuje program pro Android, který umí odesílat příkazy ssh. Vytvořil jsem několik příkazů, každý má své tlačítko, a když teď potřebuji seřadit například fotky, které jsem pořídil z dronu, tak stačí stisknout jedno tlačítko a skript se spustí. Program se jmenuje SSHing, existují i jiné podobné, ale pro mě je tento nejpohodlnější.
Mám také několik vlastních stránek, jsou spíše pro parádu, skoro nikdo tam nechodí, ale přesto neuškodí udělat zálohu. Své stránky provozuji na DigitalOcean, kam jsem nainstaloval panel aaPanel. Tam je možné vytvořit záložní kopie všech souborů a všech databází, ale na stejném disku.
Ukládání zálohy na stejný disk není tento případ, takže také používám bash skript, abych tam šel a zkopíroval vše na svůj server a vše archivoval do jednoho archivu s datem v názvu.
Doufám, že alespoň někomu pomohou metody, které používám a se kterými jsem se podělil.
Jak je z článku vidět, automatizaci miluji a snažím se automatizovat vše, co se dá, moc věcí jsem z pohledu automatizace nepopisoval, jelikož to jsou již jiná témata a jiné články.
Zdroj: www.habr.com