Dlho som chcel písať o tom, ako ukladám svoje súbory, ako robím zálohy, ale moje ruky sa k tomu nikdy nedostali. Nedávno sa tu objavil článok, trochu podobný tomu môjmu, ale s iným prístupom.
Už roky sa snažím nájsť perfektný spôsob ukladania súborov. Myslím, že som to našiel, ale vždy je čo vylepšovať, ak sú nejaké myšlienky ako to vylepšiť, s chuťou si to prečítam.
Začnem tým, že vám poviem pár slov o sebe, som web developer a fotím vo voľnom čase. Z toho vyplýva záver, že potrebujem ukladať pracovné a osobné projekty, fotografie, videá a ďalšie súbory.
Mám asi 680 GB súborov, z toho 90 percent tvoria fotografie a videá.
Cyklovanie súborov v mojich trezoroch:
Tu je približná schéma toho, ako a kde sú uložené všetky moje súbory.
Teraz viac.
Ako vidíte, srdcom všetkého je môj NAS, konkrétne Synology DS214, jeden z najjednoduchších NAS od Synology, ktorý však zvládne všetko, čo potrebujem.
Dropbox
Môj pracovný stroj je macbook pro 13, 2015. Mám tam 512GB, ale nie všetky súbory sa samé zmestia, ukladám len to, čo momentálne potrebujem. Synchronizujem všetky svoje osobné súbory a priečinky s Dropboxom, viem, že to nie je veľmi spoľahlivé, ale vykonáva iba funkciu synchronizácie. A robí to najlepšie, aspoň podľa toho, čo som skúšal. A to som vyskúšal všetky známe a nie veľmi oblaky.
Synology má aj svoj cloud, môžete si ho nasadiť na svoj NAS, viackrát som skúšal prenos z Dropboxu na Synology Cloud Station, no vždy sa vyskytli problémy so synchronizáciou, vždy nejaké chyby, prípadne nebolo všetko zosynchronizované.
Všetky dôležité súbory sú uložené v priečinku Dropbox, občas si niečo uložím na plochu, aby som o niečo neprišiel, urobil som si symbolický odkaz na priečinok Dropbox pomocou programu MacDropAny.
Priečinok Download nie je nijako synchronizovaný, ale nie je tam nič dôležité, iba dočasné súbory. Ak stiahnem niečo dôležité, tak to skopírujem do príslušného priečinka v Dropboxe.
Moje dobrodružstvá s DropboxomKedysi, niekde v rokoch 2013-2014, som všetky súbory uchovával v Dropboxe a iba v ňom neboli žiadne zálohy. Potom som nemal 1Tb, teda neplatil som zaň, mal som asi 25Gb, ktoré som zarobil pozývaním priateľov alebo inými úlohami.
Jedného pekného rána som zapol počítač a všetky moje súbory zmizli, dostal som aj e-mail z Dropboxu, kde sa ospravedlňujú a že moje súbory boli preč ich vinou. Dali mi odkaz, kde by som mohol obnoviť svoje súbory, ale nič sa neobnovilo samo. Za to mi dávali 1Tb na rok, potom som sa stal ich klientom, nech to znie akokoľvek divne, ale nikdy som im neveril.
Ako som písal vyššie, nenašiel som pre mňa vhodnejší cloud, po prvé, zatiaľ neboli žiadne problémy so synchronizáciou a po druhé, množstvo všemožných služieb funguje len s Dropboxom.
ísť
Pracovné súbory sú uložené na pracovnom serveri, osobné projekty na GitLab, všetko je tu jednoduché.
time Machine
Robím aj zálohu celého systému, okrem priečinka Dropbox a Downloads, aby som zbytočne nezaberal miesto. Zálohujem systém cez Time Machine, výborný nástroj, pomohol mi už viackrát. Robím to na tom istom NAS, keďže tam taká funkcia je. Môžete to samozrejme urobiť na externom HDD, ale nie je to také pohodlné. Zakaždým musíte pripojiť externý disk a spustiť Time Machine sami. Kvôli lenivosti som si takéto zálohy robil často každých pár týždňov. Na serveri automaticky vytvára zálohu, ani si nevšimnem, kedy to robí. Pracujem z domu, takže mám vždy novú zálohu celého systému. Kópia sa robí niekoľkokrát denne, nerátal som koľkokrát a ako často.
NAS
Tu sa odohráva všetka mágia.
Synology má skvelý nástroj, volá sa Cloud Sync, myslím, že už z názvu je jasné, čo robí.
Dokáže synchronizovať mnoho cloudových systémov medzi sebou, presnejšie povedané, dokáže synchronizovať súbory z NAS servera s inými cloudmi. Myslím, že na sieti je prehľad tohto programu. Nebudem zachádzať do detailov. Radšej opíšem, ako to používam.
Na serveri mám priečinok na disku s názvom Dropbox, je to kópia môjho účtu Dropbox, Cloud Sync robí všetku synchronizáciu. Ak sa niečo stalo so súbormi v Dropboxe, stane sa to aj na serveri, nezáleží na tom, či sa odstráni/vytvorí. Vo všeobecnosti klasická synchronizácia.
Pohon Yandex
Ďalej hodím všetky tieto súbory na svoj disk Yandex, používam ho ako domáci zálohovací disk, to znamená, že tam hodím súbory, ale nič odtiaľ neodstránim, ukáže sa taký výpis súborov, ale pomohlo to pár krát.
disk Google
Posielam tam iba priečinok „Fotografie“, a to aj v režime synchronizácie, robím to len pre pohodlné prezeranie fotografií vo Fotkách Google a s možnosťou vymazať fotografie a odstránia sa všade (okrem samotného disku Yandex) . O fotografii napíšem nižšie, tam môžete vo všeobecnosti napísať samostatný článok.
hyperzálohovanie
Ale to všetko nie je veľmi spoľahlivé, ak omylom vymažete súbor, potom sa vymaže všade a môžete ho považovať za stratený. Samozrejme môžete obnoviť z disku Yandex, ale po prvé, záloha na jednom mieste nie je sama o sebe príliš spoľahlivá a samotný disk Yandex nie je službou, v ktorej si môžete byť 100% istý, hoci nikdy nemal problémy.
Preto som sa vždy snažil ukladať súbory niekde inde, už s normálnym zálohovacím systémom.
Synology má na to aj nástroj, volá sa HyperBackup, zálohuje súbory buď na iné servery Synology, alebo do niektorých cloudových riešení tretích strán.
Vie aj zálohovať na externé disky pripojené k NAS-y, čo som donedávna robil aj ja. Ale to tiež nie je spoľahlivé, napríklad ak dôjde k požiaru, potom dôjde ku koncu servera aj HDD.
Synology C2
Tu sa plynule blížime k ďalšej službe, už od samotnej Synology. Má vlastné cloudy na ukladanie záloh. Je nabrúsený špeciálne pre HyperBackup, robí si tam zálohu každý deň, ale toto je už premyslená záloha, sú tam verzie súborov, časová os, dokonca aj klienti pre windows a mac os.
To je všetko, dúfam, že s ukladaním súborov sú moje súbory v bezpečí.
Teraz prejdime k triedeniu súborov.
Bežné spisy, knihy, skeny dokumentov a iné nedôležité súbory, ako všetko ostatné, triedim do priečinkov rukami. Väčšinou ich nie je veľa a málokedy ich otváram.
Najťažšie je triediť fotky a videá, mám ich veľa.
Fotím od niekoľkých desiatok až po niekoľko stoviek mesačne. Fotím DSLR, dronom a niekedy aj telefónom. Fotky sú osobné a do zásoby. Občas natáčam aj domáce videá (nie ako si si myslel, len rodinné videá, častejšie s mojou dcérou). Aj to treba nejako skladovať a triediť, aby tam nebola kaša.
V tom istom Dropboxe mám priečinok s názvom Sort Images, sú tam podpriečinky, kam idú všetky fotky a videá, odtiaľ sa nasnímajú a triedia tam, kde je to potrebné.
Triedenie prebieha na serveri NAS, existujú bash skripty, ktoré sa spúšťajú automaticky raz denne a vykonávajú svoju prácu. Za ich spúšťanie je zodpovedný aj NAS, existuje plánovač úloh, ktorý má na starosti spúšťanie všetkých skriptov a iných úloh. Môžete nakonfigurovať, ako často a kedy sa budú úlohy spúšťať, rozhranie cron, ak je to jednoduchšie.
Každý priečinok má svoj vlastný skript. Teraz viac o priečinkoch:
Trubec - tu sú fotky z dronu, ktoré som urobil pre osobné účely. Najprv spracujem všetky fotografie v lightroome, potom exportujem JPG do tohto priečinka. odtiaľ skončia v inom priečinku Dropboxu „Fotografie“.
Je tam priečinok "Drone" a tam sú už zoradené podľa roku a mesiaca. Samotné skripty vytvoria potrebné priečinky a sami si premenujú fotografie podľa mojej šablóny, väčšinou je to dátum a čas odfotenia, na koniec pridávam aj náhodné číslo, aby nevyšli súbory s rovnakým názvom. Nepamätám si, prečo nastavenie sekúnd v názve súboru nebolo vhodné na tieto účely.
Stromček vyzerá takto: Photo/Drone/2019/05 - May/01 - May - 2019_19.25.53_37.jpg
Video z dronu - Video s dronom zatiaľ nenatáčam, je sa tam čo učiť, teraz na to nie je čas, ale už mám vytvorený priečinok.
Operácie s obrázkami - vo vnutri su dva priecinky, ked tam narazia subory, tak sa jednoducho bud skomprimuju na maximalnej strane na 2000px pre zverejnenie na internete, alebo sa spravi preklopenie obrazkov, toto uz nepotrebujem, ale zatial nie priečinok neodstránil.
Panorámy - panorámy, ako to nie je ťažké uhádnuť, dostanete sem, ukladám ich samostatne, keďže ide o špecifický typ fotografie, zvyčajne ich fotím dronom. Robím aj bežné panorámy, ale robím aj 360 panorámy a niekedy aj gule, také panorámy ako malé planéty, robím to aj s dronom. Všetky fotografie z tohto priečinka skončia aj vo Foto/Panoramas/2019/01 - máj - 2019_19.25.53_37.jpg. Tu netriedim podľa mesiacov, keďže panorám nie je toľko.
Osobná fotografia - Tu sú fotky, ktoré fotím na zrkadlovku, väčšinou sú to rodinné fotky alebo cesty, vo všeobecnosti fotky, ktoré sú fotené na pamiatku a pre mňa. V lightroome spracovávam aj surové fotografie a potom ich exportujem sem.
Odtiaľto sa sem dostanú: Photo/2019/05 – May/01 – May – 2019_19.25.53_37.jpg
Ak by som nafotil nejakú oslavu alebo niečo iné, čo by bolo lepšie uložiť samostatne, tak si v priečinku 2019 vytvorím priečinok s názvom oslavy a tam fotku skopírujem rukami.
RAW - tu je zdroj fotografie. Vždy fotím do RAW, všetky fotky ukladám do JPG, ale niekedy chcem ukladať aj súbory RAW, inokedy chcem snímku spracovať inak. Väčšinou je to príroda a tam sa dostanú len tie najlepšie zábery, nie všetky za sebou.
sériová fotografia - tu nahrávam fotky na akcie, ktoré robím buď na DSLR alebo na drone. Triedenie je rovnaké ako na iných fotografiách, len v samostatnom samostatnom priečinku.
V koreňovom adresári Dropboxu sa nachádza priečinok Camera Uploads, toto je predvolený priečinok, do ktorého mobilná aplikácia Dropbox nahráva všetky fotografie a videá. Všetky fotky manželky z telefónu sa takto vyhodia. Tiež sem hodím všetky svoje fotky a videá z telefónu a triedim ich do samostatného priečinka. Ale robím to inak, pre mňa pohodlnejšie. Existuje taký program pre Android, FolderSync, umožňuje vám vziať všetky fotografie z mobilu, nahrať ich na Dropbox a potom ich z telefónu odstrániť. Existuje veľa nastavení, odporúčam. Do tohto priečinka spadajú aj videá z telefónu, sú tiež zoradené, ako všetky fotografie, podľa roku a mesiaca.
Všetky skripty som zbieral sám zo všelijakých návodov na internete, nenašiel som hotové riešenia. O bash skriptoch neviem vôbec nič, možno sú tam nejaké chyby alebo by sa niektoré veci dali urobiť lepšie, ale najdôležitejšie pre mňa je, že robia svoju prácu a robia to, čo potrebujem.
Skripty nahrané na github:
Predtým som používal Hazel pre mac os na triedenie fotiek, videí, tam je všetko jednoduchšie, všetky úlohy sú tvorené vizuálne, netreba písať kód, no má to dve mínusy. Po prvé, musíte mať všetky priečinky v počítači, aby všetko fungovalo dobre, a po druhé, ak náhle prepnem na windows alebo linux, potom tam žiadne takéto programy nie sú. Snažili sa hľadať alternatívu, ale boli o ničom. Riešenie so skriptami na serveri je univerzálnejšie riešenie.
Všetky skripty sú nakonfigurované tak, aby sa spúšťali raz denne, zvyčajne v noci. Ak však nie je čas čakať a potrebujete nejakým spôsobom spustiť požadovaný skript teraz, existujú dve riešenia: pripojte sa cez SSH k serveru a spustite požadovaný skript, alebo prejdite na panel správcu a manuálne spustite požadovaný skript v Rovnakým spôsobom. Toto všetko sa mi nezdá vhodné, tak som našiel tretie riešenie. Existuje program pre Android, ktorý dokáže odosielať príkazy ssh. Vytvoril som niekoľko príkazov, každý má svoje tlačidlo a ak teraz potrebujem zoradiť napríklad fotky, ktoré som nafotil z dronu, tak stlačím jedno tlačidlo a skript funguje. Program sa volá SSHing, existujú aj iné podobné, ale toto je pre mňa najpohodlnejšie.
Mám aj niekoľko vlastných stránok, sú skôr na ukážku, skoro nikto tam nechodí, no aj tak nezaškodí urobiť zálohu. Stránky si nechávam na DigitalOcean, nainštaloval som tam panel aaPanel. Existuje možnosť zálohovania všetkých súborov a všetkých databáz, ale na rovnakom disku.
Udržiavanie zálohy na rovnakom disku nie je tento prípad, takže na to klepem aj cez bash skript a všetko skopírujem na svoj server, pričom všetko archivujem v jednom archíve s dátumom v názve.
Dúfam, že aspoň niekto pomôže metódam, ktoré používam a s ktorými som sa podelil.
Ako je z článku vidieť, automatizáciu milujem a snažím sa automatizovať všetko, čo sa dá, veľa vecí som z pohľadu automatizácie nepopisoval, keďže to sú už iné témy a iné články.
Zdroj: hab.com