Съхранение, архивиране и каталогизиране на снимки

Тук периодично пишат публикации за това как съхраняват и правят резервни копия на своите снимки — а и просто файлове. В последната такава публикация написах доста дълъг коментар, помислих малко и реших все пак да го развия в публикация. Тем повече, че малко промених метода за резервни копия в облака, може да е полезно на някого.

Домашен сървър, където се случва много от описаното по-долу:

Какво трябва да се съхранява?

Най-важното и обемно за мен — снимките. От време на време и видео, но много рядко — то заема твърде много място и отнема твърде много време, затова не го обичам особено, снимам само кратки клипове, които се намират в същата купчина, където са и снимките. В момента фотоархивът ми заема около 1,6 терабайта и расте с около 200 гигабайта на година. Другите важни неща са значително по-малко обемни и с тях по-малко въпроси относно съхранението и резервните копия, десетина-два гигабайта могат да се разпределят по купчина безплатни или много евтини места, започвайки от DVD и завършвайки с флашки и облаци.

Как се съхранява и прави резервно копие?

Целият ми фотоархив в момента заема около 1,6 терабайта. Мастеркопият се съхранява на двутерабайтен SSD в домашния компютър. На картите с памет се старая да не задържам снимките по-дълго от необходимото, при първа възможност ги прехвърлям на десктопа или лаптопа (когато съм на път). Въпреки това не изтривам от флашката, ако още има свободно място. Излишна копия никога не пречат. При пристигане вкъщи всичко от лаптопа също се прехвърля на десктопа.

Всеки ден правя копие на папката със снимки на домашния сървър (с типа огледало на базата на Drivepool, където е настроено дублиране на важни папки). Между другото, Drivepool продължавам да препоръчвам — през всичките тези години не съм имал нито един глюк. Просто работи. Не трябва само да се гледа на руския му интерфейс, изпратих на разработчиците по-подходящ превод, но не знам кога ще го внедрят. А засега на руски този софтуер е за управление на басеин (manage pool).

Разбира се, може и по-често да се правят копия, ако за деня е свършена много работа, мога да стартирам принудително задачата. Въпреки това сега все пак мисля за това да стартирам копирането при изменение на файловете, искам да спра да държа десктопа включен денонощно, нека сървърът работи повече. Програмата — GoodSync.

До скоро време файла с GoodSync се качваха в облака Onedrive от същия десктоп. Повечето от файловете не са лични, затова ги качвах такива, каквито са, без криптиране. Личните файлове — качвах ги с отделна задача, с криптиране.

Onedrive беше избран, защото абонаментът Office 365 Home Premium за 2000 годишно даваше пет (а сега вече шест) терабайта в облака. Нека и по парчета по терабайт. Сега, за съжаление, промоцията малко поскъпна, но преди няколко седмици имаше вариант за 2600-2700 годишно (трябва да се търси при търговците на дребно). Предвидих това, когато миналата година MS увеличи цените, а също така спря да продава абонамента на сайта, затова активирах абонамента за пет години напред, докато все още бяха в продажба по 1800-2000 за кутия (можеше, разбира се, да се вземат и няколко кутии за резерва, но не бях достатъчно сигурен).

Скоростта на качване — максималната за моя тарифен план, 4-5 мегабайта/сек., през нощта до 10. Времето се наблюдавах какво става с crashplan — там добре, ако качваше поне мегабайт в секунда.

Пожизнените 5ТБ за 2-3$ от ebay — много случайна работа. Защото животът им може да се окаже много кратък, засега рекордът е три месеца. Не е работа да се правят резервни копия в място, което може да изчезне всеки момент. Дори и за малко.

Но сега, заради решението ми да прехвърля част от задачите от десктопа на сървъра, копирането в Onedrive премина на Duplicati. Въпреки че е в бета, я използвам вече няколко месеца и засега работи напълно стабилно. Тъй като Duplicati всяка щеше да съхранява резервните копия в архиви, а не разпръснати, реших всичко качвано да бъде криптирано с вградените средства. Все пак, ако се наложи възстановяване, пак ще трябва да е през Duplicati. Така че нека всичко да се криптира.

Като се има предвид, че терабайтите са разпределени, резервното копие в облака се състои от няколко задачи. Тук точно се повтаря качването на резервното копие в облака. 2019 се качи бързо — за няколко дни около петдесет снимки, не съм пътувал много, а 2018 постепенно тече. Текущата скорост на качване не е максимална — ден, каналите са натоварени и всичко такова.

В облака папката с резервното копие изглежда така — много zip-архиви, размерът на архива се настройва при създаване на задачата:

Примерно веднъж на месец правя резервно копие на външен диск, който се съхранява в шкафа. Свързвам го и ръчно стартирам задачата с GoodSync. Въпреки че, разбира се, може да се настрои и стартиране при свързване на диска — но не винаги ми е необходимо да правя копие, когато свързвам диска.

По-добре е да имам още едно отдалечено място за съхранение — мое и не прекалено облачно. На моя сървър, който е на доставчика, отдавна съм подготвил диск за това, но все не ми остава време. Но след като започнах да прехвърлям всичко под duplicati, мисля, че и това ще направя сега, след като прехвърля всичко в onedrive.

Как се каталогизира?

Тук въпросът се разделя на две — ниво на файловата система, където каталогизацията се извършва на ниво папки, и логическа каталогизация по повече параметри, защото дървото на папките е ограничено в възможностите си.

Да, снимам в raw. Защото от raw всеки момент може да се направи jpg, но не и обратното. В миналото снимах в raw+jpg, за да мога бързо да прехвърлям снимки на телефона и да ги изпращам в интернет (прехвърлянето на raw на телефона беше трудно). jpg после изтривах при копирането на десктопа. Но сега телефонът ми вече удовлетворява качеството на снимките (за публикуване в интернет), затова напълно отказах jpg на фотоапаратите. Останаха само от онези времена, когато нямах безогледална камера, или идват от телефона.

На ниво файловата система изглежда така: на горното ниво папки — източник. Обикновено имената на фотографите.

На по-долно ниво — теми. Всички са повече или по-малко еднакви, може да има персонални теми (например "Кучета", някои теми може да липсват).

След това — години. Вътре в годината папки по дни. В папката може да има отделни фотосесии, ако снимките за деня са разделени по теми.

В крайна сметка, пътят до файла може да изглежда приблизително така: МоетоПътувания20182018-04-11 БерлинФренска гараP4110029.ORF

Снимам с двама фотоапарата, обикновено по ред, но от време на време взимам и двата — тогава снимките от тях прехвърлям в една папка. Най-важното е времето да е синхронизирано, в противен случай после се налага да изчислявам разликата и да коригирам датата на заснемане на всички файлове (в лайтрум е просто, но е досадно да се смята разликата във времето).

За снимки от телефона има отделна папка на второ ниво, но при необходимост снимката може да бъде изпратена в тематична папка.

Логична каталогизация над папките — Adobe Lightroom. Разбира се, има доста програми за каталогизация и обработка, но Lightroom ми устройва, цената е напълно приемлива (и дори Photoshop се предлага в пакета), а за последните две години също така значително намали забавянето. Въпреки това, разбира се, тук спомогна и пълният преход на SSD.

Всички снимки се съхраняват в една директория. Основната структура на папките е от предходната точка, а към нея добавяме информация EXIF, геометки, тагове и цветови маркери. Може да бъде включено и лицево разпознаване, но не го използвам.

На базата на всичко изброено, могат да се създават „умни колекции“ — динамични селекции по определени свойства на файла — от параметрите на снимането до текста в коментарите.

Всички тагове се съхраняват в файловете, историята на редактиране — в XMP файлове до RAW файловете. Каталогът на Lightroom се архивира с помощта на самия Lightroom веднъж седмично в определена папка, от която след това се качва на OneDrive. А също така, чрез Veeam agent, системният диск на десктопа се архивира на сървъра всеки ден — а каталогът точно на системния диск се съхранява.

А всичко ли е свързано със снимки? Няма ли други типове файлове?

Има, защо да няма. Методите за архивиране не се различават (ако изобщо е нужно да се архивира), а методите за каталогизация зависят от типа съдържание.

Основно стига за сортиране на ниво папки, таговете не са нужни. Само за филми и сериали се използва отделен каталогизатор. — Plex Media Server. Той също е медия сървър, както подсказва името. Но там не е правило много, нормално сортираната част е добре ако е една четвърт от филмотеката, а останалото стои в папката „!to sort”.

Източник: habr.com