Тут періодично пишуть пости про те, як зберігають і бекапять свої фотографії - та й просто файли. В останньому такому пості написав досить довгий коментар, трохи подумав і вирішив все ж таки розгорнути його в пост. Тим більше, що дещо змінив метод бекапу в хмару, може, буде корисно кому.
Домашній сервер, де відбувається багато з описаного нижче:
Що треба зберігати?
Найважливіше і найоб'ємніше у мене — фотографії. Зрідка відео, але дуже зрідка - воно занадто багато місця займає і занадто багато часу забирає, тому я його не дуже люблю, знімаю тільки короткі ролики, які валяються в тій купі, де і фотографії. Зараз фотоархів у мене займає приблизно 1,6 терабайта і росте десь на 200 гігабайт на рік. Інші важливі речі набагато менш об'ємні і з ними менше питань у плані зберігання та бекапу, десяток-другий гігабайт можна розпихати купою безкоштовних або дуже дешевих місць, починаючи від ДВД і закінчуючи флешками та хмарами.
Як воно зберігається і бекапіться?
Весь мій фотоархів займає близько 1,6 терабайта на даний момент. Майстер-копія зберігається на двотерабайтному SSD у домашньому комп'ютері. На картах пам'яті я намагаюся не тримати фотографії довше за необхідне, при першій нагоді зливаю десктоп або ноутбук (коли в дорозі). Хоча з флешки при цьому не видаляю, якщо місце є. Зайва копія ніколи не завадить. З ноуту по приїзду додому теж все скидається на робочий стіл.
Щодня робиться копія папки з фотографіями на домашній сервер (з типу дзеркалом на базі Drivepool, де налаштовано дублювання важливих папок). До речі, Drivepool, як і раніше, рекомендую — за всі роки використання жодного глюку. Просто працює. Не треба тільки дивитися на його російський інтерфейс, я відправив розробникам пристойніший переклад, але не знаю, коли його впровадять. А поки що російською мовою це програма для керування басейном (manage pool).
Можна, звичайно, копії робити і частіше, якщо за день багато роботи зроблено, то можу примусове завдання запускати. Хоча зараз все ж таки думаю про те, щоб запускати копіювання зі зміни файлів, хочу перестати десктоп тримати включеним цілодобово, нехай сервер більше працює. Програма - GoodSync.
До недавнього часу з того ж робочого столу тим же GoodSync файли завантажувалися в хмару Onedrive. Більшість файлів у мене не персональні, тому закачував як є, без шифрування. Що було персональним — закачувалося окремим завданням із шифруванням.
Onedrive був обраний через те, що передплата Office 365 Home Premium за 2000 на рік давала п'ять (а зараз уже шість) терабайт у хмарі. Нехай і шматочками по терабайт. Зараз, щоправда, халява дещо подорожчала, але кілька тижнів тому були ще варіант за 2600-2700 на рік (треба шукати у роздрібних продавців). Я це передбачав, коли торік MS задер ціни, та ще й припинив на сайті підписку продавати, тому активував підписку на п'ять років уперед, поки ще були у продажу по 1800-2000 коробки (можна, звичайно, було ще й кілька коробок про запас взяти, але настільки я загадувати не наважився).
Швидкість закачування – максимальна для мого тарифу, 4-5 мегабайт/сек., ночами до 10. Свого часу дивився на crashplan – там добре якщо мегабайт за секунду вантажився.
Довічні 5ТБ за 2-3$ з ebay - штука дуже рендомна. Бо термін життя може бути дуже коротким, поки що три місяці рекорд. Не річ це — бекапитися в те місце, яке може накритися будь-якої миті. Нехай і за копійки.
Але зараз, в силу того, що вирішив перетягнути частину завдань з робочого стола на сервер, копіювання в Onedrive перевів на Duplicati. Нехай воно і бета, але користуюся вже кілька місяців і поки працює цілком стабільно. Оскільки Duplicati все одно зберігає свої бекапи в архівах, а не розсипом, то вирішив шифрувати все вбудованими засобами. Все одно відновлювати, якщо що, через Duplicati доведеться. Тож нехай все шифрує.
Враховуючи те, що терабайти у мене шматочками, бекап у хмару складається з кількох завдань. Тут якраз іде перезаливання бекапу в хмару. 2019 залився швидко - там за пару днів півсотні фото, я мало поки що їздив, а 2018 потихеньку ллється. Поточна швидкість закачування не максимальна - день, канали завантажені і таке інше.
У хмарі папка з бекапом виглядає так багато zip-архівів, розмір архіву налаштовується при створенні завдання:
Приблизно раз на місяць роблю копію на зовнішньому диску, який зберігається у шафі. Підключаю і руками запускаю завдання з тим самим GoodSync. Хоча, звичайно, можна і запуск за фактом підключення диска налаштувати, але мені далеко не завжди потрібно зробити копію, коли підключаю диск.
По хорошому потрібно ще одне віддалене місце зберігання — своє і не дуже хмарне. На моєму сервері, що стоїть на провайдерському майданчику, у мене давно вже підготовлений диск під цю справу, але всі руки не доходять. Але якщо вже взявся за перетягування всього під duplicati, то, думаю, і це зроблю зараз, після того, як перезаллю все в одинdrive.
Як воно каталогізується?
Тут питання поділяється на два - рівень файлової системи, де каталогізація йде на рівні папок і логічна каталогізація за більшою кількістю параметрів, тому що дерево папок все ж таки обмежене в можливостях.
Так, фотографую я в рави. Тому що з raw будь-якої миті можна зробити jpg, але не навпаки. Колись знімав у raw+jpg, щоб була можливість швидко перекинути фото на телефон та відправити в інтернет (raw на телефон передати було складно). jpg потім прав при копіюванні на робочий стіл. Але зараз телефон мене став влаштовувати за якістю фото (для викладання в інтернет), бо від jpg на фотоапаратах повністю відмовився. Залишилися або з тих часів, коли я не мав бездзеркалки, або приходять з телефону.
На рівні файлової системи виглядає так: на верхньому рівні папок — джерело. Імена фотографів зазвичай.
Рівнем нижче – теми. У всіх більш-менш однакові, можуть бути персональні теми (наприклад «Собаки», якихось тим може бути.
Далі року. Усередині року папки щодня. У папці можуть бути окремі фотосесії, якщо фотографії за день б'ються на теми.
У результаті шлях до файлу може виглядати приблизно так: Моє Поїздки20182018-04-11 БерлінФранцузький вокзалP4110029.ORF
Фотографую я на два фотоапарати, зазвичай по черзі, але зрідка беру з собою обидва – тоді фотографії з них звалюю в одну папку. Головне - щоб час був синхронізований, інакше потім доводиться вираховувати різницю і коригувати дату зйомки у всіх файлів (у лайтрумі це просто, але нудно вважати різницю в часі).
Для фото з телефону є окрема папка на другому рівні, але за потреби фотографія може бути надіслана до тематичної папки.
Логічна каталогізація поверх папок Adobe Lightroom. Звичайно, програм для каталогізації та обробки досить багато, але лайтрум мене влаштовує, цілком підйомно коштує (і навіть фотошоп у комплекті дають), а за останні кілька років ще й гальмувати менше став. Хоча, звичайно, тут ще повний перехід на SSD допоміг.
Усі фотографії живуть в одному каталозі. Базово використовується структура папок з попереднього пункту, поверх неї - інформація EXIF, геомітки, теги та відмітки кольорів. Ще можна розпізнавання осіб увімкнути, але я ним не користуюся.
На основі всього перерахованого вище можна створювати «розумні колекції» — динамічні вибірки за певними властивостями файлу — від параметрів зйомки до тексту в коментарях.
Усі теги зберігаються у файлах, історія редагування – у XMP-файлах поруч із равами. Каталог лайтрума бекапіться засобами самого ж лайтрума раз на тиждень у певну папку, звідки потім закидається на одинdrive. Ну і плюсом через veeam agent системний диск робочого столу щодня заливається на сервер - а каталог якраз на системному диску зберігається.
А що все про фото? Що іншого типу файлів немає?
Є чому немає. Методи бекапу не відрізняються (якщо взагалі треба бекапити), а методи каталогізації від типу контенту залежать.
В основному, вистачає сортування на рівні папок, теги не потрібні. Тільки для фільмів та серіалів окремий каталогізатор використовується. - Plex Media Server. Він же і медіасервер, як випливає з назви. Але там кінь не валявся, нормально відсортовано добре, якщо чверть фільмотеки, а решта валяється в папці "! to sort".
Джерело: habr.com