Tut okresowo piszą posty o tym, jak przechowują i tworzą kopie zapasowe swoich zdjęć — no i po prostu plików. W ostatnim takim poście napisałem dość długi komentarz, trochę się zastanowiłem i postanowiłem rozwinąć go w post. Tym bardziej, że nieco zmieniłem metodę tworzenia kopii zapasowej w chmurze, może to się przydać komuś.
Domowy serwer, gdzie odbywa się wiele z opisanego poniżej:
Co należy zachować?
Najważniejsze i najbardziej obszerne dla mnie — zdjęcia. Czasami filmy, ale bardzo rzadko — zajmują zbyt dużo miejsca i zabierają zbyt dużo czasu, dlatego nie jestem ich zbyt wielkim fanem, nagrywam tylko krótkie wideo, które lądują w tej samej stercie, co zdjęcia. Na chwilę obecną mój archiwum zdjęć zajmuje około 1,6 terabajta i rośnie o około 200 gigabajtów rocznie. Inne ważne rzeczy zajmują znacznie mniej miejsca i mniej jest problemów z ich przechowywaniem i tworzeniem kopii zapasowych, dziesięć-dwadzieścia gigabajtów można rozmieścić w różnych darmowych lub bardzo tanich miejscach, od DVD po pamięci flash i chmurę.
Jak to jest przechowywane i tworzone kopie zapasowe?
Całe moje archiwum zdjęć zajmuje obecnie około 1,6 terabajta. Główna kopia jest przechowywana na dwu terabajtowym SSD w domowym komputerze. Staram się nie trzymać zdjęć dłużej niż to konieczne na kartach pamięci, przy pierwszej okazji zgrywam na desktop lub laptop (kiedy jestem w drodze). Chociaż nie usuwam z pendrive'a, jeśli jest jeszcze miejsce. Dodatkowa kopia nigdy nie zaszkodzi. Po powrocie do domu także wszystko ląduje na desktopie.
Codziennie tworzona jest kopia folderu ze zdjęciami na domowym serwerze (z lustrem typu Drivepool, gdzie skonfigurowano duplikację ważnych folderów). Przy okazji, nadal polecam Drivepool — przez wszystkie lata użytkowania ani jednego błędu. Po prostu działa. Tylko nie patrz na jego rosyjski interfejs, wysłałem deweloperom bardziej poprawny tłumaczenie, ale nie wiem, kiedy to wdrożą. A na razie w rosyjskim języku jest to program do zarządzania basenem.
Oczywiście, można robić kopie częściej, jeśli w ciągu dnia jest dużo pracy, mogę wymusić uruchomienie zadania. Chociaż teraz myślę o tym, żeby uruchomić kopiowanie przy zmianie plików, chcę przestać trzymać desktop włączony przez całą dobę, niech serwer pracuje więcej. Program — GoodSync.
Do niedawna z tego samego komputera poprzez GoodSync pliki były przesyłane do chmury OneDrive. Większość plików, które posiadam, nie jest osobista, więc przesyłałem je takie, jakie są, bez szyfrowania. To, co było osobiste, było przesyłane osobnym zadaniem, z szyfrowaniem.
OneDrive został wybrany, ponieważ subskrypcja Office 365 Home Premium za 2000 rocznie oferowała pięć (a teraz już sześć) terabajtów w chmurze. Nawet jeśli w kawałkach po terabajcie. Obecnie jednak, oferta stała się nieco droższa, ale kilka tygodni temu można było jeszcze znaleźć opcję za 2600-2700 rocznie (muszę poszukać u detalistów). Przewidziałem to, gdy w zeszłym roku Microsoft podniósł ceny i przestał sprzedawać subskrypcje na stronie, dlatego aktywowałem subskrypcję na pięć lat do przodu, gdy jeszcze były na sprzedaż po 1800-2000 (można było oczywiście kupić kilka sztuk na zapas, ale na tyle nie odważyłem się zaplanować).
Prędkość przesyłania - maksymalna dla mojego planu, 4-5 megabajtów/seks., nocami nawet do 10. Kiedyś sprawdzałem crashplan - tam dobrze, jeśli ładunek wynosił megabajt na sekundę.
Dożywotnie 5TB za 2-3$ z eBay - to bardzo losowa opcja. Ponieważ czas życia może okazać się bardzo krótki, jak dotąd rekord to trzy miesiące. To nie jest odpowiednie miejsce na backup, które może zniknąć w każdej chwili, chociaż za grosze.
Ale teraz, ponieważ postanowiłem przenieść część zadań z desktopa na serwer, kopiowanie do OneDrive przeniosłem na Duplicati. Choć jest w wersji beta, używam go już od kilku miesięcy i jak na razie działa całkiem stabilnie. Ponieważ Duplicati i tak przechowuje swoje kopie zapasowe w archiwach, a nie w rozrzucie, zdecydowałem się szyfrować wszystkie przesyłane dane wbudowanymi środkami. I tak czy owak, jeśli to konieczne, będę musiał przywrócić przez Duplicati. Więc niech szyfruje wszystko.
Biorąc pod uwagę, że terabajty mam w kawałkach, backup w chmurze składa się z kilku zadań. Właśnie trwa ponowne przesyłanie backupu do chmury. 2019 zarysował się szybko - w ciągu paru dni pół setki zdjęć, a w 2018 powoli się przesyła. Bieżąca prędkość przesyłania nie jest maksymalna - dzień, kanały są obciążone i tym podobne.
W chmurze folder z backupem wygląda tak - wiele archiwów zip, rozmiar archiwum można ustawić podczas tworzenia zadania:
Robię kopię zapasową na zewnętrznym dysku około raz w miesiącu, który trzymam w szafie. Podłączam go i ręcznie uruchamiam zadanie w GoodSync. Mimo że można również skonfigurować uruchamianie zadania po podłączeniu dysku, nie zawsze potrzebuję robić kopię, gdy dysk jest podłączony.
W sumie przydałoby się jeszcze jedno zdalne miejsce do przechowywania — własne i niezbyt chmurowe. W moim serwerze, które stoi na serwerze dostawcy, mam od dawna przygotowany dysk do tego celu, ale jakoś nie mogę się za to zabrać. Ale skoro postanowiłem przenieść wszystko pod duplicati, myślę, że zrobię to teraz, po tym jak wszystko przesyłam do onedrive.
Jak to jest katalogowane?
Tutaj pytanie dzieli się na dwa - poziom systemu plików, gdzie katalogowanie odbywa się na poziomie folderów, oraz logiczne katalogowanie według większej liczby parametrów, ponieważ drzewo folderów ma swoje ograniczenia.
Tak, fotografuję w RAW. Ponieważ z RAW w każdej chwili mogę zrobić JPG, ale odwrotnie już nie. Kiedyś fotografowałem w RAW+JPG, aby mieć możliwość szybko przesłać zdjęcia na telefon i wysłać do internetu (przesyłanie RAW na telefon było trudne). JPG usuwałem podczas kopiowania na komputer. Ale teraz telefon wystarcza mi pod względem jakości zdjęć (do publikacji w internecie), dlatego całkowicie zrezygnowałem z JPG w aparatach. Zostały mi tylko te z czasów, gdy nie miałem bezlusterkowca, lub przychodzą z telefonu.
Na poziomie systemu plików wygląda to mniej więcej tak: na najwyższym poziomie folderów — źródło. Zwykle to imiona fotografów.
Poziom niżej — tematy. Wszyscy mają mniej więcej te same, mogą być osobiste tematy (na przykład „Psy”); pewnych tematów może nie być.
Dalej — lata. W obrębie roku foldery według dni. W folderze mogą być oddzielne sesje zdjęciowe, jeśli zdjęcia z dnia są podzielone tematycznie.
Ostatecznie ścieżka do pliku może wyglądać mniej więcej tak: MojePodróże20182018-04-11 BerlinFrancuski dworzecP4110029.ORF
Fotografuję dwoma aparatami, zazwyczaj na zmianę, ale czasami zabieram oba — wtedy zdjęcia z nich wrzucam do jednego folderu. Najważniejsze, aby czas był zsynchronizowany, w przeciwnym razie trzeba później obliczać różnicę i korygować datę wykonania dla wszystkich plików (w Lightroomie to proste, ale nudne obliczać różnicę czasu).
Na zdjęcia z telefonu jest osobny folder na drugim poziomie, ale w razie potrzeby zdjęcie można wysłać do folderu tematycznego.
Logiczne katalogowanie ponad folderami — Adobe Lightroom. Oczywiście istnieje wiele programów do katalogowania i obróbki, ale Lightroom mi odpowiada, jest w całkiem przystępnej cenie (a nawet Photoshop w zestawie dają), a przez ostatnie kilka lat jeszcze mniej się zacina. Choć, oczywiście, pełne przejście na SSD też pomogło.
Wszystkie zdjęcia znajdują się w jednym katalogu. Podstawowo używana jest struktura folderów z poprzedniego punktu, dodatkowo — informacje EXIF, geotagi, tagi i kolorowe oznaczenia. Można również włączyć rozpoznawanie twarzy, ale ja z tego nie korzystam.
Na podstawie wszystkich powyższych informacji można tworzyć „inteligentne kolekcje” — dynamiczne wybory według określonych właściwości pliku — od parametrów zdjęcia po tekst w komentarzach.
Wszystkie tagi są przechowywane w plikach, historia edycji — w plikach XMP obok RAW-ów. Katalog Lightrooma jest backupowany za pomocą samego Lightrooma raz w tygodniu do określonego folderu, skąd potem jest przesyłany na OneDrive. Dodatkowo za pomocą agenta Veeam codziennie zrzucany jest dysk systemowy komputera na serwer — a katalog jest właśnie na dysku systemowym.
A co ze zdjęciami? Czy nie ma innych typów plików?
Są, dlaczego nie. Metody backupu się nie różnią (jeśli w ogóle trzeba robić backup), a metody katalogowania zależą od rodzaju treści.
W większości wystarczy sortowanie na poziomie folderów, tagi nie są potrzebne. Tylko dla filmów i seriali używany jest osobny system katalogowania. — Plex Media Server. Jest również serwerem multimedialnym, jak wskazuje nazwa. Ale tam koń nie kładł się, odpowiednio uporządkowane jest dobrze, jeśli ćwierć filmoteki, a reszta leży w folderze „!do posortowania”.
Źródło: habr.com
