Już od dawna chciałem napisać o tym, jak przechowuję pliki i jak robię kopie zapasowe, ale nigdy nie miałem na to czasu. Niedawno pojawił się tutaj artykuł, nieco podobny do mojego, ale z innym podejściem.
Od wielu lat poszukuję idealnego sposobu na przechowywanie plików. Chyba znalazłem, ale zawsze jest coś do poprawy, jeśli masz jakieś pomysły jak to zrobić lepiej, chętnie przeczytam.
Zacznę od tego, że opowiem kilka słów o sobie, w wolnym czasie zajmuję się tworzeniem stron internetowych i fotografowaniem. Stąd wniosek, że muszę przechowywać projekty służbowe i osobiste, zdjęcia, filmy i inne pliki.
Mam około 680 GB plików, z czego 90 procent to zdjęcia i filmy.
Obieg plików w moich magazynach:
Oto przybliżony schemat tego, jak i gdzie są przechowywane wszystkie moje pliki.
Teraz więcej.
Jak widać sercem wszystkiego jest mój NAS, a mianowicie Synology DS214, jeden z najprostszych NAS od Synology jednak radzi sobie ze wszystkim czego potrzebuję.
Dropbox
Moja maszyna do pracy to MacBook Pro 13, 2015. Mam tam 512 GB, ale oczywiście nie wszystkie pliki się mieszczą, przechowuję tylko to, co w danej chwili jest mi potrzebne. Synchronizuję wszystkie moje osobiste pliki i foldery z Dropboxem, wiem, że nie jest to zbyt niezawodne, ale spełnia tylko funkcję synchronizacji. I robi to najlepiej, przynajmniej z tego, co próbowałem. I wypróbowałem wszystkie znane i mniej znane chmury.
Synology ma też swoją chmurę, można ją wdrożyć na swoim NAS, kilka razy próbowałem przełączyć się z Dropbox na Synology Cloud Station, ale zawsze były problemy z synchronizacją, zawsze były jakieś błędy, albo nie wszystko zsynchronizowałem.
Wszystkie ważne pliki przechowywane są w folderze Dropbox, czasami zapisuję coś na pulpicie, aby czegoś nie stracić, utworzyłem dowiązanie symboliczne do folderu Dropbox za pomocą programu MacDropAny.
Mój folder Pobrane nie jest w żaden sposób synchronizowany, ale nie ma tam nic ważnego, tylko pliki tymczasowe. Jeśli pobiorę coś ważnego, kopiuję to do odpowiedniego folderu w Dropbox.
Moje przygody z DropboxemDawno, dawno temu, gdzieś w latach 2013-2014, przechowywałem wszystkie moje pliki w Dropbox i tylko tam nie było żadnych kopii zapasowych. Wtedy nie miałem 1Tb, czyli nie zapłaciłem za to, miałem około 25Gb, które zarobiłem zapraszając znajomych lub wykonując inne zadania.
Pewnego pięknego poranka włączyłem komputer i wszystkie moje pliki zniknęły, otrzymałem też list z Dropbox, w którym przeprosili i że moje pliki zniknęły z ich winy. Dali mi link, gdzie mogłem przywrócić moje pliki, ale oczywiście nic nie zostało przywrócone. Za to dali mi 1Tb na rok, po czym zostałem ich klientem, jakkolwiek dziwnie by to nie brzmiało, ale nigdy im nie ufałem.
Jak pisałem powyżej, nie mogłem znaleźć bardziej odpowiedniej dla mnie chmury, po pierwsze nie było jeszcze problemów z synchronizacją, a po drugie wiele różnych usług działa tylko z Dropboxem.
git
Pliki robocze są przechowywane na serwerze roboczym, projekty osobiste są przechowywane w GitLab, tutaj wszystko jest proste.
time Machine
Robię też kopię zapasową całego systemu, pomijając oczywiście folder Dropbox i Pobrane, żeby nie zajmować na próżno miejsca. Tworzę kopię zapasową systemu za pomocą Time Machine, doskonałego narzędzia, które pomogło mi nie raz. Robię to na tym samym NAS-ie, na szczęście ma taką funkcję. Można to oczywiście zrobić na zewnętrznym dysku twardym, ale nie jest to tak wygodne. Za każdym razem, gdy musisz podłączyć dysk zewnętrzny i samodzielnie uruchomić Time Machine. Z lenistwa często robiłem takie kopie raz na kilka tygodni. Automatycznie robi kopie zapasowe na serwerze, nawet nie zauważam, kiedy to robi. Pracuję w domu, więc zawsze mam świeżą kopię zapasową całego systemu. Kopia wykonywana jest kilka razy dziennie, nie liczyłem, ile razy i jak często.
NAS
To tutaj dzieje się cała magia.
Synology ma doskonałe narzędzie, nazywa się Cloud Sync, myślę, że z nazwy wiadomo, do czego służy.
Potrafi synchronizować ze sobą wiele systemów chmurowych, a dokładniej synchronizować pliki z serwera NAS z innymi chmurami. Wydaje mi się, że w internecie jest recenzja tego programu. Nie będę wdawał się w szczegóły. Lepiej opiszę, jak go używam.
Na serwerze mam folder na dysku o nazwie Dropbox, jest to kopia mojego konta Dropbox, za synchronizację tego wszystkiego odpowiada Cloud Sync. Jeśli coś stanie się z plikami w Dropbox, stanie się to na serwerze, nie ma znaczenia, czy zostanie usunięte, czy utworzone. Ogólnie rzecz biorąc, klasyczna synchronizacja.
Dysk Yandex
Następnie wrzucam wszystkie te pliki na dysk Yandex, używam go jako domowego dysku zapasowego, to znaczy wrzucam tam pliki, ale niczego stamtąd nie usuwam, okazuje się, że to taki zrzut plików, ale pomogło kilka razy.
Dysk Google
Tam wysyłam tylko folder „Zdjęcia”, również w trybie synchronizacji, robię to tylko w celu wygodnego przeglądania zdjęć w Zdjęciach Google i z możliwością usuwania stamtąd zdjęć i są one usuwane wszędzie (oczywiście z wyjątkiem dysku Yandex). O zdjęciu napiszę poniżej, można by nawet napisać o nim osobny artykuł.
HyperBackup
Ale to wszystko nie jest zbyt niezawodne, jeśli przypadkowo usuniesz plik, zostanie on usunięty wszędzie i możesz uznać go za utracony. Można oczywiście przywrócić z dysku Yandex, ale po pierwsze kopia zapasowa w jednym miejscu sama w sobie nie jest zbyt niezawodna, a sam dysk Yandex nie jest usługą, co do której można być w 100% pewnym, mimo że nigdy nie było żadnej problemy z tym.
Dlatego zawsze starałem się przechowywać pliki gdzie indziej, w normalnym systemie tworzenia kopii zapasowych.
Synology ma również do tego narzędzie o nazwie HyperBackup, które tworzy kopie zapasowe plików na innych serwerach Synology lub w niektórych rozwiązaniach chmurowych innych producentów.
Może także tworzyć kopie zapasowe na dyskach zewnętrznych podłączonych do NAS, co robiłem do niedawna. Ale to też nie jest niezawodne, na przykład jeśli wybuchnie pożar, to koniec zarówno serwera, jak i dysku twardego.
Synologia C2
Tutaj stopniowo zbliżamy się do kolejnej usługi, tym razem od samej firmy Synology. Posiada własne chmury do przechowywania kopii zapasowych. Jest zaprojektowany specjalnie dla HyperBackup, codziennie robi tam kopie zapasowe, ale jest to kopia przemyślana, są wersje plików, oś czasu, a nawet klienci dla Windows i mac OS.
To wszystko, jeśli chodzi o przechowywanie plików. Mam nadzieję, że moje pliki są bezpieczne.
Przejdźmy teraz do sortowania plików.
Zwykłe pliki, książki, skany dokumentów i inne nieistotne pliki sortuję ręcznie do folderów, tak jak wszystko inne. Zwykle nie ma ich zbyt wiele i rzadko je otwieram.
Najtrudniej jest z sortowaniem zdjęć i filmów, mam ich naprawdę sporo.
Miesięcznie wykonuję od kilkudziesięciu do kilkuset zdjęć. Fotografuję lustrzanką cyfrową, dronem, czasem telefonem. Zdjęcia mogą być osobiste lub poglądowe. Czasami kręcę też domowe filmy (nie tak, jak mogłoby się wydawać, tylko rodzinne filmy, często z moją córką). Trzeba je też jakoś przechowywać i sortować, żeby nie zrobiło się bałaganu.
Mam w tym samym Dropboxie folder o nazwie Sortuj obrazy. Znajdują się tam podfoldery, do których trafiają wszystkie zdjęcia i filmy, skąd są one pobierane i sortowane w razie potrzeby.
Sortowanie odbywa się na serwerze NAS, działają tam skrypty bashowe, które uruchamiają się automatycznie raz dziennie i spełniają swoje zadanie. Za ich uruchamianie odpowiada także serwer NAS, istnieje harmonogram zadań odpowiedzialny za uruchamianie wszystkich skryptów i innych zadań. Możesz skonfigurować, jak często i kiedy zadania będą uruchamiane, cron z interfejsem, jeśli jest to prostsze.
Każdy folder ma swój własny skrypt. Teraz więcej o folderach:
Warkot — oto zdjęcia z drona, które zrobiłem w celach osobistych. Najpierw przetwarzam wszystkie zdjęcia w Lightroomie, a następnie eksportuję JPG do tego folderu. Stamtąd trafiają do innego folderu Dropbox, „Zdjęcia”.
Jest folder „Drone” i tam są już posortowane według roku i miesiąca. Skrypty same tworzą niezbędne foldery i same zmieniają nazwy zdjęć według mojego szablonu, zazwyczaj jest to data i godzina zrobienia zdjęcia, dodaję też na końcu losową liczbę, aby nie pojawiały się pliki o tej samej nazwie. Nie pamiętam, dlaczego ustawienie sekund w nazwie pliku nie było odpowiednie do tych celów.
Drzewo wygląda tak: Photo/Drone/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Wideo z drona — Nie kręcę jeszcze filmów dronem, jest wiele do nauczenia się, nie mam teraz na to czasu, ale już założyłem folder.
Operacje na obrazach — w środku są dwa foldery, gdy znajdują się tam pliki, to albo są one po prostu kompresowane maksymalnie do rozmiaru 2000px w celu publikacji w Internecie, albo obrazy są odwracane, już tego nie potrzebuję, ale nie usunąłem tego jeszcze folder.
Panoramy — tu właśnie wkraczają panoramy, jak można się domyślić, przechowuję je osobno, bo to specyficzny rodzaj zdjęć, najczęściej robię je dronem. Wykonuję też zwykłe panoramy, ale robię też panoramy 360 i czasami sfery, tego typu panoramy jak małe planety, robię to też dronem. Z tego folderu wszystkie zdjęcia trafiają także do Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg. Tutaj nie sortuję według miesięcy, bo panoram jest niewiele.
Osobiste zdjęcie — Oto zdjęcia, które robię lustrzanką cyfrową, zazwyczaj są to zdjęcia rodzinne lub ogólnie podróżnicze, zdjęcia robione na pamiątkę i dla siebie. Surowe zdjęcia przetwarzam również w Lightroomie, a następnie eksportuję je tutaj.
Stąd trafiają tutaj: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Jeśli sfotografowałem jakąś uroczystość lub coś innego, co lepiej byłoby przechowywać osobno, to w folderze 2019 tworzę folder z nazwą uroczystości i tam ręcznie kopiuję zdjęcie.
RAW — oto źródła zdjęć. Zawsze robię w formacie RAW, wszystkie zdjęcia przechowuję w formacie JPG, ale czasami chcę też przechowywać pliki RAW, czasami chcę inaczej przetworzyć klatkę. Zwykle taka jest natura i trafiają tam tylko najlepsze zdjęcia, a nie wszystkie z rzędu.
Zdjęcie Seryjne — tutaj wrzucam zdjęcia do zdjęć stockowych, które wykonuję lustrzanką cyfrową lub dronem. Sortowanie odbywa się tak samo jak w przypadku innych zdjęć, tylko w osobnym folderze.
W katalogu głównym Dropbox znajduje się folder Przesyłanie z aparatu, jest to domyślny folder, do którego aplikacja mobilna Dropbox przesyła wszystkie zdjęcia i filmy. Wszystkie zdjęcia żony z telefonu są w ten sposób usuwane. Przesyłam tutaj także wszystkie moje zdjęcia i filmy z telefonu, a stamtąd sortuję je w osobnym folderze. Ale robię to w inny, wygodniejszy dla mnie sposób. Istnieje taki program na Androida, FolderSync, pozwala on pobrać wszystkie zdjęcia z telefonu komórkowego, przesłać je do Dropbox, a następnie usunąć z telefonu. Jest dużo ustawień, polecam. Filmy z Twojego telefonu również trafiają do tego folderu i są również sortowane, jak wszystkie zdjęcia, według roku i miesiąca.
Wszystkie skrypty zebrałem sam z różnych instrukcji w Internecie, nie znalazłem żadnych gotowych rozwiązań. Nie znam się zupełnie na skryptach basha, może są jakieś błędy, albo można coś zrobić lepiej, ale dla mnie najważniejsze jest to, że wykonują swoją robotę i robią to, czego potrzebuję.
Skrypty zostały przesłane do GitHuba:
Wcześniej do sortowania zdjęć i filmów korzystałem z Hazel pod mac os, tam wszystko jest łatwiejsze, wszystkie zadania tworzone są wizualnie, nie ma potrzeby pisania kodu, ale są dwie wady. Po pierwsze trzeba zachować wszystkie foldery na komputerze, żeby wszystko działało dobrze, a po drugie jak nagle przejdę na Windowsa lub Linuksa to nie ma tam takich programów. Próbowałem znaleźć alternatywę, ale wszystkie okazały się bezskuteczne. Bardziej uniwersalnym rozwiązaniem jest rozwiązanie ze skryptami na serwerze.
Wszystkie skrypty są skonfigurowane tak, aby były wykonywane raz dziennie, zwykle w nocy. Jeśli jednak nie masz czasu czekać i musisz jakoś teraz wykonać wymagany skrypt, są dwa rozwiązania: połącz się przez SSH z serwerem i wykonaj wymagany skrypt lub przejdź do panelu administracyjnego i również ręcznie uruchom wymagane scenariusz. Wszystko to wydaje mi się niewygodne, więc znalazłem trzecie rozwiązanie. Istnieje program na Androida, który może wysyłać polecenia ssh. Stworzyłem kilka poleceń, każde ma swój przycisk i teraz jak muszę posortować np. zdjęcia zrobione z drona to wystarczy, że wcisnę jeden przycisk i skrypt się uruchomi. Program nazywa się SSHing, są inne podobne, ale dla mnie ten jest najwygodniejszy.
Mam też kilka własnych stron, są bardziej na pokaz, prawie nikt tam nie zagląda, ale mimo to nie zaszkodzi zrobić kopię zapasową. Swoje strony prowadzę na platformie DigitalOcean, gdzie zainstalowałem panel aaPanel. Można tam wykonać kopie zapasowe wszystkich plików i wszystkich baz danych, ale na tym samym dysku.
Przechowywanie kopii zapasowej na tym samym dysku nie ma miejsca, więc używam również skryptu bash, aby tam przejść i skopiować wszystko na mój serwer, archiwizując wszystko w jednym archiwum z datą w nazwie.
Mam nadzieję, że chociaż komuś pomogą metody, które stosuję i którymi się dzielę.
Jak widać z artykułu uwielbiam automatyzację i staram się automatyzować wszystko co się da, wielu rzeczy nie opisałem z punktu widzenia automatyzacji, bo to już inne tematy i inne artykuły.
Źródło: www.habr.com