Даўно хацеў напісаць пра тое, як я захоўваю свае файлы, як раблю бэкапы, але ўсё ніяк не даходзілі рукі. Нядаўна тут з'явіўся артыкул, у чымсьці падобны на мой але з іншым падыходам.
Я ўжо шмат гадоў спрабую знайсці ідэальны для сябе метад захоўвання файлаў. Думаю, я яго знайшоў, але заўсёды ёсць што палепшыць, калі ёсць нейкія думкі як зрабіць лепш, з задавальненнем пачытаю.
Пачну з таго, што раскажу пару слоў пра сябе, я займаюся вэб распрацоўкай і ў вольны час фатаграфую. Адгэтуль выснова што захоўваць мне трэба працоўныя і асабістыя праекты, фота, відэа ну і іншыя файлы.
У мяне дзесьці 680 GB файлаў, з іх працэнтаў 90 гэта фота і відэа.
Кругаварот файлаў у маіх сховішчах:
Тут прыкладная схема таго, як і дзе захоўваюцца ўсе мае файлы.
Цяпер падрабязней.
Як відаць, сэрцам усяго з'яўляецца мой NAS, а менавіта Synology DS214, адзін з самых простых NAS-ов у кампаніі Synology, тым не менш са ўсім што мне трэба ён спраўляецца.
Dropbox
Рабочая машына ў мяне macbook pro 13, 2015 года. У мяне там 512GB але змяшчаюцца само сабой не ўсе файлы, захоўваю толькі тое, што трэба на дадзены момант. Усе свае асабістыя файлы і тэчкі сінхранізую з Dropbox-ым, ведаю што гэта не вельмі надзейна, але ён выконвае толькі функцыю сінхранізацыі. І робіць ён гэта лепш за ўсё, прынамсі з таго што я перакаштаваў. А перакаштаваў я ўсе знакамітыя і не вельмі аблокі.
У Synology гэтак жа ёсць сваё воблака, можна яго разгарнуць на сваім NAS-е, я некалькі разоў спрабаваў перасесці з Dropbox на Synology Cloud Station, але тамака заўсёды былі праблемы з сінхранізацыяй, заўсёды нейкія памылкі, ці не ўсё сінхранізаваў.
Усе важныя файлы захоўваюцца ў тэчцы Dropbox, часам я захоўваю нешта на працоўны стол, каб нешта не страціць зрабіў сімлінк у тэчку Dropbox пры дапамозе праграмы MacDropAny.
Тэчка Download У мяне ніяк не сінхранізуецца але там і няма нічога важнага, толькі часовыя файлы. Калі пампую нешта важнае, то капіюю ў адпаведную тэчку ў Dropbox.
Мае прыгоды з DropboxКалісьці даўно, недзе ў 2013-2014 я захоўваў усе файлы ў Dropbox-e і толькі ў ім, не было ніякіх бэкапаў. Тады ў мяне не было 1Тb, гэта значыць я не плаціў за яго, у мяне было недзе 25Gb, якія я зарабіў шляхам запрашэння сяброў або іншых заданняў.
У адну выдатную раніцу я ўключыў кампутар і ўсе мае файлы зніклі, гэтак жа атрымаў ліст ад Dropbox дзе яны просіць прабачэння і што файлы мае зніклі па іх віне. Яны далі мне спасылку па якой я мог аднавіць свае файлы, але само сабой нічога не аднавіліся. За тое яны падарылі мне на год 1Tb, пасля чаго я стаў іх кліентам, як бы дзіўна гэта не гучала, але ніколі ім не давяраў.
Як пісаў вышэй, не змог знайсці больш прыдатнае для мяне воблака, у першых яшчэ не было праблем сінхранізацыі, у другіх шмат усялякіх сэрвісаў працуюць толькі з Dropbox.
ісці
Файлы па працы захоўваюцца на працоўным серверы, асабістыя праекты на GitLab-е, тут усё проста.
Time Machine
Гэтак жа я раблю бэкап ўсёй сістэмы, выключаючы тэчку Dropbox і Downloads само сабой, каб не займаць дарма месца. Бэкап сістэмы раблю праз Time Machine, выдатная прылада, не раз выбаўляў. Раблю на тым жа NAS-е, балазе тамака ёсць такая функцыя. Можна рабіць і на вонкавы HDD вядома, але гэта не так зручна. Трэба кожны раз падлучаць вонкавую кружэлку і самому запускаць Time Machine. З-за ляноты, часта такія бэкапы рабіў раз на некалькі тыдняў. На сервер жа ён аўтаматам робіць бэкап, я нават не заўважаю, калі ён гэта робіць. Я працую з дому, так што ў мяне заўсёды ёсць свежая рэзервовая копія ўсёй маёй сістэмы. Робяцца копію некалькі разоў за дзень, не лічыў колькі разоў і як часта.
NAS
Тут і здараецца ўся магія.
У Synology ёсць выдатная прылада, завецца ён Cloud Sync, думаю па назове зразумела што ён робіць.
Ён можа сінхранізаваць шматлікія хмарныя сістэмы паміж сабой, калі дакладней тое сінхранізаваць файлы з сервера NAS c іншымі аблокамі. Агляд дадзенай праграмы думаю ёсць у сетцы. не буду ўдавацца ў падрабязнасці. Лепш апішу, як я яе выкарыстоўваю.
На серверы ў мяне ёсць тэчка кружэлка пад назовам Dropbox, яна з'яўляецца копіяй майго Dropbox акаўнта, сінхранізацыяй усяго гэтага займаецца Cloud Sync. Калі ў Dropbox-е нешта адбылося з файламі, гэта адбудзецца і на серверы, не важна, едытудаленнестварэнне. Увогуле класічная сінхранізацыя.
Яндэкс дыск
Далей, усе гэтыя файлы я кідаю на свой Яндэкс дыск, яго я выкарыстоўваю як самаробны бэкап дыск, гэта значыць файлы туды кідаю але нічога не выдаляю адтуль, атрымліваецца такая звалка файлаў, але пару разоў выбаўляла.
Google Drive
Туды я адпраўляю толькі тэчку «Photos», гэтак жа ў рэжыме сінхранізацыі, раблю я гэта толькі для зручнага прагляду фота ў гугл фота і з магчымасцю выдалення адтуль фота і яны выдаляюцца ўсюды (акрамя яндэкс дыска само сабой). Пра фота я напішу ніжэй, там увогуле можна асобны артыкул напісаць.
HyperBackup
Але ўсё гэта не вельмі надзейна, калі выпадкова выдаліў файл то ён усюды выдаліцца і можна лічыць яго страчаным. Можна вядома аднавіць з яндэкс дыска, але ў першых бэкап у адным месцы не вельмі надзейны сам па сабе, ды і сам яндэкс дыск, не той сэрвіс у якім можна быць упэўненым на 100%, хоць з ім яшчэ ні разу не было праблем.
Таму я заўсёды стараўся захоўваць файлы яшчэ недзе, ужо са звычайнай сістэмай бэкапаў.
У Synology гэтак жа ёсць прылада для гэтага, завецца ён HyperBackup, ён робіць бэкап файлаў альбо на іншыя серверы Synology, альбо на нейкія клаўд рашэнні ад іншых вытворцаў.
Таксама ён умее рабіць бэкап на вонкавыя кружэлкі, падлучаныя да NAS-y, так я і рабіў да нядаўніх сітавін. Але гэта таксама не надзейна, напрыклад калі пажар то канец і серверу і HDD.
Synology C2
Тут мы плаўна падыходзім да іншага сэрвісу, ужо ад самой Synology. У яе ёсць свае аблокі для захоўвання бэкапаў. Заточаны ён менавіта пад HyperBackup, ён робіць туды бэкап кожны дзень, але гэта ўжо прадуманы backup, там ёсць версіі файлаў, таймлайн і нават кліенты для windows і mac os.
На гэтым, з захоўваннем файлаў усё, спадзяюся мае файлы ў захаванасці.
Зараз пяройдзем да сартынгу файлаў.
Звычайныя файлы, кнігі, сканы дакументаў і іншыя малаважныя файлы я як і ўсё сартую па тэчках рукамі. Звычайна іх не шмат і адкрываю я іх рэдка.
Самае складанае з сартаваннем фота і відэа, у мяне іх шмат.
Фота я раблю ад некалькіх дзясяткаў да некалькіх сотняў у месяц. Здымаю на люстэрку, на робат і часам на тэлефоне. Фота бываюць асабістыя і для сцёкаў. Таксама часам здымаю хатняе відэа (не тое што вы падумалі, проста сямейныя відэа, гушчару з дачкой). Яго таксама трэба неяк захоўваць і сартаваць, каб не была каша.
У мяне ёсць тэчка ў тым жа Dropbox-е, пад назовам Sort Images, там ёсць падтэчкі куды пападаюць усе фота і відэа, адтуль яны бяруцца і сартуюцца куды трэба.
Сартаванне адбываецца на серверы NAS, тамака працуюць bash скрыпты якія аўтаматам запускаюцца раз у суткі і робяць сваю працу. За іх запуск таксама адказвае NAS, там ёсць планавальнік задач які і адказвае за запуск усіх скрыптоў і іншых задач. Можна наладзіць як часта і калі будуць запускацца задачы, крон з інтэрфейсам калі прасцей.
Для кожнай тэчкі ёсць свой скрыпт. Зараз падрабязней аб тэчках:
труцень — тут трапляюць фота з робата са сваёй нагі, якія я зняў у асабістых мэтах. Спачатку я апрацоўваю ўсе фота ў lightroom, потым раблю экспарт JPG у гэтую тэчку. адтуль яны трапляюць у іншую тэчку Dropbox, "Photo".
Там ёсць тэчка "Drone" і там ужо яны сартуюцца па гадах і месяцах. Скрыпты самі ствараюць неабходныя тэчкі і пераназываюць самі фота па маім шаблоне, звычайна гэта дата і час здымання фота, гэтак жа дадаю ў канцы рандомную лічбу, каб не атрымліваліся файлы з адным і тым жа імем. Не памятаю чаму для гэтых мэт не падыходзіла выстаўленне секунд у імі файла.
Дрэва мае такі выгляд: Photo/Drone/2019/05 - May/01 - May - 2019_19.25.53_37.jpg
Відэа з дрона — я пакуль што не здымаю відэа робатам, там трэба шмат што вучыць, няма для гэтага зараз часу, але тэчку ўжо стварыў.
Images Operations - Тут унутры дзве тэчкі, калі файлы тамака трапляюцца то яны проста альбо сціскаюцца па максімальным боку да 2000px для публікацыі ў інтэрнэце альбо робіцца фліп малюнкаў, гэта ўжо мне не трэба, але пакуль што тэчку не выдаліў.
Панарамы - Тут трапляюць як не складана здагадацца панарамы, іх я захоўваю асобна так як гэта спецыфічны выгляд фота, звычайна раблю іх робата. Я раблю і звычайныя панарамы але гэтак жа раблю 360 панарамы і часам сферы, такі выгляд панарам як маленькія планеты, раблю гэтак жа робат. З гэтай папкі ўсе фота трапляюць таксама ў Photo/Panoramas/2019/01 — May — 2019_19.25.53_37.jpg. Тут я не раблю сартаванне па месяцах бо панарам не так ужо шмат.
Асабістае фота - Тут трапляюць фота якія раблю на люстэрку, звычайна гэта сямейныя фота ці падарожжа, увогуле фота якія робяцца на памяць і для сябе. Гэтак жа волкія фота апрацоўваю а lightroom-е і потым экспартую сюды.
Адсюль яны трапляюць сюды: Photo/2019/05 — May/01 — May — 2019_19.25.53_37.jpg
Калі ж я зняў нейкую імпрэзу ці яшчэ нешта што лепш бы захоўваць асобна то ў тэчцы 2019 ствараю тэчку з назвай імпрэзы і капіюю туды «фота рукамі.
RAW - Тут трапляюць зыходнікі фота. я заўсёды здымаю ў RAW, усё фота захоўваю ў JPG але часам жадаецца захоўваць таксама і RAW файлы, часам жадаецца інакш апрацаваць нейкі кадр. Звычайна гэта прырода і туды трапляюць толькі лепшыя кадры, не ўсе запар.
Фондавы фотаздымак - сюды я скідаю фота для сцёкаў, якія раблю альбо на люстэрку, альбо на робат. Сартаванне такая ж як і на іншых фота, проста ў сваю асобную тэчку.
У каранёвай дырэкторыі Dropbox, ёсць тэчка Camera Uploads, гэта дэфолтная тэчка ў якую мабільнае прыкладанне Dropbox скідае туды ўсе фота і відэа. Усе фота жонкі з тэлефона скідаюцца такім чынам. Я гэтак жа ўсе свае фота і відэа з тэлефона скідаю сюды і адсюль ужо сартую ў асобную тэчку. Але я раблю гэта іншым спосабам, зручнейшым для мяне. Ёсць такая праграма для Android, FolderSync, яна дазваляе браць усе фота з мабілы, запампаваць іх на Dropbox і потым выдаліць іх з тэлефона. Тамака мноства налад, рэкамендую. У гэтую тэчку трапляюць і відэа з тэлефона, яны таксама сартуюцца як і ўсе фота, па гадах і месяцах.
Усе скрыпты я сабраў сам са ўсякіх інструкцый у інтэрнэце, гатовых рашэнняў не знайшоў. Я наогул нічога не ведаю пра баш скрыпты, магчыма ёсць нейкія памылкі ці нейкія рэчы можна было б зрабіць лепш, але самае галоўнае - для мяне, яны спраўляюцца са сваёй працай і робяць тое, што мне трэба.
Скрыпты заліў на гітхаб:
Раней для сартавання фота, відэа я выкарыстоўваў Hazel пад mac os, там само сабой усё лягчэй, тамака ўсе задачы ствараюцца візуальна, не трэба пісаць код, але тут ёсць два мінусу. У першых трэба трымаць усе тэчкі на кампутары, каб усё добра працавала і другое, калі раптам перасяду на windows ці linux то тамака няма такіх праграм. Спрабаваў шукаць альтэрнатыву, але ўсе яны былі ні пра што. А рашэнне са скрыптамі на серверы больш універсальнае рашэнне.
Усе скрыпты настроены каб выконваліся раз на суткі, звычайна ўначы. Але калі няма часу чакаць і трэба неяк выканаць патрэбны скрыпт зараз, ёсць два рашэнні, падлучыцца па SSH да сервера і выканаць патрэбны скрыпт ці ж зайсці ў адмінку і гэтак жа мануальна запусціць патрэбны скрыпт. Усё гэта мне падаецца не зручным, таму я знайшоў трэцяе рашэнне. Ёсць праграма пад Android, яна можа адпраўляць каманды ssh. Я стварыў некалькі каманд, для кожнай ёсць свая кнопка і зараз калі мне трэба адсартаваць напрыклад фота якія зрабіў з робата са сваёй нагі то проста націскаю адну кнопку і скрыпт спрацоўвае. Праграма называецца SSHing, ёсць і іншыя падобныя, але для мяне гэта самая зручная.
Гэтак жа ў мяне некалькі сваіх сайтаў, яны больш для галачкі, туды практычна ніхто не заходзіць, але ўсё ж backup рабіць не перашкодзіць. Сайты я грубіяню на DigitalOcean, там усталяваў панэль aaPanel. Там ёсць магчымасць зрабіць рэзервовыя копіі ўсіх файлаў і ўсіх баз даных, але на тым жа дыску.
Захоўваць бэкап на тым жа дыску не справа, таму я гэтак жа праз bash скрыпт стукаюся туды і капіюю ўсё на свой сервер, архівуючы ўсё ў адным архіве з датай у назове.
Спадзяюся хоць камусьці дапамогуць спосабы, што я выкарыстоўваю і з якімі падзяліўся.
Як бачна з артыкула, я люблю аўтаматызацыю і стараюся аўтаматызаваць што ўсё што толькі можна, я многія рэчы не апісваў з пункту гледжання аўтаматызацыі, бо гэта ўжо іншыя тэмы і іншыя артыкулы.
Крыніца: habr.com