Тут перыядычна пішуць пасты пра тое, як захоўваюць і бэкапяць свае фатаграфіі - ну і проста файлы. У апошнім такім пасце напісаў дастаткова доўгі каментар, крыху падумаў і вырашыў усё ж разгарнуць яго ў пост. Тым больш, што некалькі памяняў метад бэкапу ў воблака, можа будзе карысна каму.
Хатні сервер, дзе адбываецца шмат з апісанага ніжэй:
Што трэба захоўваць?
Самае важнае і аб'ёмнае ў мяне - фатаграфіі. Зрэдку відэа, але вельмі зрэдку - яно занадта шмат месца займае і занадта шмат часу адымае, таму я яго не занадта люблю, здымаю толькі кароткія ролікі, якія валяюцца ў той жа кучы, дзе і фатаграфіі. На дадзены момант фотаархіў у мяне займае прыкладна 1,6 тэрабайта і расце дзесьці на 200 гігабайт у год. Іншыя важныя рэчы значна менш аб'ёмныя і з імі менш пытанняў у плане захоўвання і бэкапу, дзясятак-іншы гігабайт можна распіхаць па кучы бясплатных ці вельмі танных месцаў, пачынальна ад ДВД і сканчаючы флэшкамі і аблокамі.
Як яно захоўваецца і бэкапіцца?
Увесь мой фотаархіў займае каля 1,6 тэрабайта на бягучы момант. Майстар-копія захоўваецца на двухтэрабайтным SSD у хатнім кампутары. На картах памяці я імкнуся не трымаць фатаграфіі даўжэй неабходнага, пры першай магчымасці зліваю дэсктоп ці наўтбук (калі ў дарозе). Хаця з флэшкі пры гэтым не выдаляю, калі яшчэ месца ёсць. Лішняя копія ніколі не перашкодзіць. З ноута па прыездзе дадому таксама ўсё скідаецца на дэсктоп.
Штодня робіцца копія тэчкі з фатаграфіямі на хатні сервер (з тыпу люстэркам на базе Drivepool, дзе наладжана дубляванне важных тэчак). Дарэчы, Drivepool па ранейшым рэкамендую за ўсе гады выкарыстання ніводнага глюка. Проста працуе. Не трэба толькі глядзець на яго рускі інтэрфейс, я адправіў распрацоўнікам больш прыстойны пераклад, але не ведаю, калі яго ўкарэняць. А пакуль што на расейскай мове гэта праграма для кіравання басейнам (manage pool).
Можна, вядома, копіі рабіць і часцей, калі за дзень шмат працы зроблена, то магу прымусова заданне запускаць. Хоць цяпер усё ж думаю пра тое, каб запускаць капіраванне па змене файлаў, хачу перастаць дэсктоп трымаць уключаным кругласутачна, няхай сервер больш працуе. Праграма - GoodSync.
Да нядаўняга часу з таго ж дэсктопа тым жа GoodSync файлы загружаліся ў воблака Onedrive. Большасць файлаў у мяне не індывідуальныя, таму запампоўваў як ёсць, без шыфравання. Што было персанальным - запампоўвалася асобным заданнем, з шыфраваннем.
Onedrive быў абраны з-за таго, што падпіска Office 365 Home Premium за 2000 у год давала пяць (а цяпер ужо шэсць) тэрабайт у воблаку. Хай і кавалачкамі па тэрабайце. Цяпер, праўда, халява некалькі падаражэла, але некалькі тыдняў таму былі яшчэ варыянт за 2600-2700 у год (трэба шукаць шукаць у рознічных прадаўцоў). Я гэта прадбачыў, калі ў мінулым годзе MS задраў кошты, ды яшчэ і спыніў на сайце падпіску прадаваць, таму актываваў падпіску на пяць гадоў наперад пакуль яшчэ былі ў продажы па 1800-2000 каробкі (можна, вядома, было яшчэ і некалькі каробак пра запас узяць, але настолькі я загадваць не рашыўся).
Хуткасць запампоўкі – максімальная для майго тарыфу, 4-5 мегабайт/сек., па начах да 10. У свой час глядзеў на crashplan – там добра калі мегабайт у секунду грузіўся.
Пажыццёвыя 5ТБ за 2-3$ з ebay - штука вельмі рэндомная. Бо тэрмін жыцця можа аказацца вельмі кароткім, пакуль што тры месяцы рэкорд. Не справа гэта - бэкапіцца ў тое месца, якое можа накрыцца ў любы момант. Няхай і за капейкі.
Але зараз жа, у сілу таго, што вырашыў перацягнуць частку задач з дэсктопа на сервер, капіраванне ў Onedrive перавёў на Duplicati. Няхай яно і бэта, але карыстаюся ўжо некалькі месяцаў і пакуль што працуе суцэль стабільна. Паколькі Duplicati усё роўна захоўвае свае бэкапы ў архівах, а не россыпам, то вырашыў ужо ўсё загружанае шыфраваць убудаванымі сродкамі. Усё роўна аднаўляць, калі што, праз Duplicati ж давядзецца. Так што няхай усё шыфруе.
Улічваючы тое, што тэрабайты ў мяне кавалачкамі, бэкап у воблака складаецца з некалькіх заданняў. Тут якраз ідзе перазаліванне бэкапу ў воблака. 2019 заліўся хутка - там за пару дзён паўсотні фота, я мала пакуль што ездзіў, а 2018 паціху льецца. Бягучая хуткасць запампоўкі не максімальная - дзень, каналы загружаныя і ўсё такое.
У воблаку тэчка з бэкапам выглядае так - шмат zip-архіваў, памер архіва наладжваецца пры стварэнні задання:
Прыкладна раз у месяц раблю копію на вонкавым дыску, які захоўваецца ў шафе. Падлучаю і рукамі запускаю заданне з тым жа GoodSync. Хоць, вядома, можна і запуск па факце падлучэння дыска наладзіць - але мне далёка не заўсёды трэба зрабіць копію, калі падключаю дыск.
Па добраму трэба было б яшчэ адно выдаленае месца захоўвання - сваё і не моцна хмарнае. На маім сэрвэры, які стаіць на правайдэрскай пляцоўцы, у мяне даўно ўжо падрыхтаваны дыск пад гэтую справу, але ўсе рукі не даходзяць. Але раз ужо ўзяўся за перацягванне за ўсё пад duplicati, то, думаю, і гэта зраблю зараз, пасля таго, як перазаллю ўсё ў onedrive.
Як яно каталагізуецца?
Тут пытанне падзяляецца на два - узровень файлавай сістэмы, дзе каталагізацыя ідзе на ўзроўні тэчак і лагічная каталагізацыя па большай колькасці параметраў, таму што дрэва тэчак усё ж абмежавана ў магчымасцях.
Так, фатаграфую я ў равы. Бо з raw у любы момант можна зрабіць jpg, але не наадварот. Калісьці здымаў у raw+jpg, каб была магчымасць хутка перакінуць фота на тэлефон і адправіць у інтэрнэт (raw на тэлефон перадаць было складана). jpg потым сціраў пры капіяванні на дэсктоп. Але зараз тэлефон мяне стаў уладкоўваць па якасці фота (для выкладвання ў інтэрнэт), таму ад jpg на фотаапаратах цалкам адмовіўся. Засталіся альбо з тых часоў, калі ў мяне не было безлюстаркі, альбо прыходзяць з тэлефона.
На ўзроўні файлавай сістэмы выглядае неяк так: на верхнім узроўні тэчак - крыніца. Імёны фатографаў звычайна.
Узроўнем ніжэй - тэмы. Ва ўсіх больш-менш аднолькавыя, могуць быць персанальныя тэмы (напрыклад "Сабакі", нейкіх тэм можа не быць.
Далей - гады. Унутры года тэчкі па днях. У тэчцы могуць быць асобныя фотасесіі, калі фатаграфіі за дзень б'юцца па тэмах.
У выніку шлях да файла можа выглядаць прыкладна так: МаёПаездкі20182018-04-11 БерлінФранцузскі вакзалP4110029.ORF
Фатаграфую я на два фотаапараты, звычайна па чарзе, але зрэдку бяру з сабой абодва - тады фатаграфіі з іх звальваю ў адну тэчку. Галоўнае – каб час было сінхранізавана, інакш потым даводзіцца вылічваць розніцу і карэктаваць дату здымкі ва ўсіх файлаў (у лайтруме гэта проста, але нудна лічыць розніцу ў часе).
Для фота з тэлефона ёсць асобная тэчка на другім узроўні, але пры неабходнасці фатаграфія можа быць адпраўлена ў тэматычную тэчку.
Лагічная каталагізацыя-над тэчак Adobe Lightroom. Вядома, праграм для каталагізацыі і апрацоўкі досыць шмат, але лайтрум мяне ўладкоўвае, суцэль пад'ёмна варта (і нават фотошоп у камплекце даюць), а за апошнія пару гадоў яшчэ і тармазіць менш стаў. Хаця, вядома, тут яшчэ і поўны пераход на SSD дапамог.
Усе фатаграфіі жывуць у адным каталогу. Базава выкарыстоўваецца структура тэчак з папярэдняга пункта, па-над ёй - інфармацыя EXIF, геаметкі, тэгі і каляровыя адзнакі. Яшчэ можна распазнанне асоб уключыць, але я ім не карыстаюся.
На аснове ўсяго вышэйпералічанага можна ствараць "разумныя калекцыі" - дынамічныя выбаркі па пэўных уласцівасцях файла - ад параметраў здымкі да тэксту ў каментарах.
Усе тэгі захоўваюцца ў файлах, гісторыя рэдагавання - у XMP-файлах побач з равамі. Каталог лайтрума бэкапится сродкамі самога ж лайтрума раз у тыдзень у пэўную тэчку, адкуль потым закідваецца на onedrive. Ну і плюсам праз veeam agent сістэмны дыск дэсктопа кожны дзень заліваецца на сервер - а каталог як раз на сістэмным дыску захоўваецца.
А што ўсё пра фота? Што, іншых тыпаў файлаў няма?
Ёсць чаму няма. Метады бэкапу не адрозніваюцца (калі наогул трэба бэкапіць), а метады каталагізацыі ад тыпу кантэнту залежаць.
У асноўным хапае сартавання на ўзроўні тэчак, тэгі не патрэбныя. Толькі для фільмаў і серыялаў асобны каталагізатар выкарыстоўваецца. - Plex Media Server. Ён жа і медыясервер, як вынікае з назову. Але там конь не валяўся, нармальна адсартаваць добра калі чвэрць фільматэкі, а астатняе валяецца ў тэчцы "! to sort".
Крыніца: habr.com