사진 및 기타 파일의 저장 및 자동 정렬. Synology NAS 기반 파일 저장소 작업

나는 오랫동안 내 파일을 저장하는 방법과 백업을 만드는 방법에 대해 글을 쓰고 싶었지만 한 번도 써본 적이 없습니다. 최근에 여기에 나와 있는 기사와 다소 유사하지만 접근 방식이 다릅니다.
기사 자체.

저는 수년 동안 파일을 저장하는 완벽한 방법을 찾으려고 노력해 왔습니다. 찾은 것 같지만 항상 개선할 부분이 있습니다. 더 나은 방법에 대한 아이디어가 있으면 기꺼이 읽어보겠습니다.

저는 제 자신에 대해 몇 마디 말하면서 시작하겠습니다. 저는 여가 시간에 웹 개발을 하고 사진을 찍습니다. 따라서 업무 및 개인 프로젝트, 사진, 비디오 및 기타 파일을 저장해야 한다는 결론이 나왔습니다.

약 680GB의 파일이 있는데 그 중 90%가 사진과 비디오입니다.

내 저장소의 파일 순환:

다음은 내 모든 파일이 저장되는 방법과 위치에 대한 대략적인 다이어그램입니다.

이제 더.

보시다시피 모든 것의 핵심은 내 NAS, 즉 Synology의 가장 간단한 NAS 중 하나인 Synology DS214이지만, 내가 필요한 모든 것을 처리합니다.

드롭 박스

내 작업 기계는 13년형 Macbook Pro 2015입니다. 거기에 512GB가 있지만 물론 모든 파일이 맞는 것은 아니며 현재 필요한 것만 저장합니다. 모든 개인 파일과 폴더를 Dropbox와 동기화합니다. 그다지 안정적이지는 않지만 동기화 기능만 수행합니다. 그리고 그는 적어도 내가 시도한 것 중에서는 최선을 다했습니다. 그리고 저는 유명한 구름과 별로 유명하지 않은 구름을 모두 시도해 보았습니다.

Synology에는 자체 클라우드도 있으므로 NAS에 배포할 수 있습니다. Dropbox에서 Synology Cloud Station으로 전환하려고 여러 번 시도했지만 항상 동기화에 문제가 있었고 항상 오류가 있거나 모든 것을 동기화하지 않았습니다.

중요한 파일은 모두 Dropbox 폴더에 저장되며 때로는 데스크탑에 무언가를 저장하기 때문에 무언가를 잃지 않기 위해 MacDropAny 프로그램을 사용하여 Dropbox 폴더에 대한 심볼릭 링크를 만들었습니다.
내 다운로드 폴더는 어떤 방식으로도 동기화되지 않지만 거기에는 중요한 것이 없고 임시 파일만 있습니다. 중요한 것을 다운로드하면 Dropbox의 해당 폴더에 복사합니다.

Dropbox와 함께한 나의 모험옛날 옛적에 2013~2014년쯤에 저는 모든 파일을 Dropbox에 저장했는데 거기에만 백업이 없었습니다. 그러다가 1Tb가 없었는데, 즉 비용을 지불하지 않았고 친구를 초대하거나 다른 작업을 통해 얻은 25GB 정도가있었습니다.

어느 화창한 날 아침, 컴퓨터를 켰더니 파일이 모두 사라졌고, Dropbox로부터 자신들의 잘못으로 파일이 사라졌다는 사과 편지도 받았습니다. 그들은 내 파일을 복원할 수 있는 링크를 제공했지만 물론 아무것도 복원되지 않았습니다. 이를 위해 그들은 나에게 1년 동안 XNUMXTb를 주었고 그 후 아무리 이상하게 들리더라도 나는 그들의 고객이되었지만 나는 결코 그들을 믿지 않았습니다.

위에서 쓴 것처럼 나에게 더 적합한 클라우드를 찾을 수 없었습니다. 첫째, 아직 동기화 문제가 없었고, 둘째, 다양한 서비스가 Dropbox에서만 작동합니다.

힘내

작업 파일은 작업 서버에 저장되고 개인 프로젝트는 GitLab에 저장되며 여기에서는 모든 것이 간단합니다.

시간 기계

또한 공간을 헛되이 차지하지 않도록 Dropbox 및 다운로드 폴더를 제외한 전체 시스템을 백업합니다. 나는 한 번 이상 나에게 도움을 준 훌륭한 도구인 Time Machine을 사용하여 시스템을 백업합니다. 같은 NAS에서 하는데 다행히 그런 기능이 있더군요. 물론 외장 HDD에서도 할 수 있지만 그렇게 편리하지는 않습니다. 외장 드라이브를 연결하고 Time Machine을 직접 실행해야 할 때마다. 게으른 탓에 몇 주에 한 번씩 이런 백업을 하는 경우가 많았다. 그는 자동으로 서버에 백업을 하는데, 그가 언제 백업을 하는지 나는조차 눈치채지 못합니다. 저는 집에서 일하기 때문에 항상 전체 시스템을 새로 백업해 두고 있습니다. 하루에 여러 번씩 사본이 만들어지는데, 몇 번이고 몇 번인지는 세지 않았어요.

NAS

이곳은 모든 마법이 일어나는 곳입니다.

Synology에는 Cloud Sync라는 훌륭한 도구가 있습니다. 이름에서 그 기능이 무엇인지 분명하다고 생각합니다.

많은 클라우드 시스템을 서로 동기화할 수 있으며, 더 정확하게는 NAS 서버의 파일을 다른 클라우드와 동기화할 수 있습니다. 이 프로그램에 대한 온라인 리뷰가 있는 것 같아요. 자세한 내용은 다루지 않겠습니다. 어떻게 사용하는지 설명하는 것이 좋을 것 같습니다.

서버에는 Dropbox라는 디스크 폴더가 있는데, 이는 내 Dropbox 계정의 복사본이며 Cloud Sync가 이 모든 것을 동기화합니다. Dropbox의 파일에 문제가 발생하면 서버에서도 발생하므로 삭제되거나 생성되더라도 문제가 되지 않습니다. 일반적으로 클래식 동기화입니다.

Yandex 디스크

그런 다음 이 모든 파일을 Yandex 디스크에 넣고 직접 만든 백업 디스크로 사용합니다. 즉, 거기에 파일을 던졌지만 거기에서 아무것도 삭제하지 않고 파일 덤프로 판명되었지만 몇 번이나 도움이 됐어요.

Google 드라이브

여기에서는 동기화 모드에서도 "사진" 폴더만 보냅니다. Google 포토에서 사진을 편리하게 보고 거기에서 사진을 삭제할 수 있는 기능을 위해서만 이 작업을 수행하며 모든 곳에서 삭제됩니다(물론 Yandex 디스크 제외). 아래 사진에 대해 쓰겠습니다. 거기에 별도의 기사를 쓸 수도 있습니다.

하이퍼백업

그러나 이 모든 것은 그다지 신뢰할 수 없으며 실수로 파일을 삭제하면 모든 곳에서 삭제되며 손실된 것으로 간주할 수 있습니다. 물론 Yandex 디스크에서 복원할 수는 있지만 첫째, 한곳에 백업하는 것 자체는 그다지 신뢰할 수 없으며 Yandex 디스크 자체는 한 번도 백업된 적이 없음에도 불구하고 100% 확신할 수 있는 서비스가 아닙니다. 그것에 문제가 있습니다.

그래서 저는 항상 일반 백업 시스템을 사용하여 다른 곳에 파일을 저장하려고 했습니다.

Synology에는 이를 위한 HyperBackup이라는 도구도 있습니다. 이 도구는 다른 Synology 서버나 타사 제조업체의 일부 클라우드 솔루션에 파일을 백업합니다.
또한 NAS에 연결된 외부 드라이브에 백업을 할 수도 있는데, 제가 최근까지 해왔던 방식입니다. 그러나 이것은 또한 신뢰할 수 없습니다. 예를 들어 화재가 발생하면 서버와 HDD가 모두 종료됩니다.

시놀로지 C2

여기서는 Synology 자체의 또 다른 서비스에 점진적으로 접근합니다. 백업을 저장하기 위한 자체 클라우드가 있습니다. 이는 HyperBackup을 위해 특별히 설계되었으며 매일 백업을 수행하지만 이는 신중하게 계획된 백업이며 파일 버전, 타임라인, 심지어 Windows 및 Mac OS용 클라이언트도 있습니다.

파일 저장은 여기까지입니다. 내 파일이 안전하길 바랍니다.

이제 파일 정렬로 넘어 갑시다.

나는 다른 모든 파일과 마찬가지로 일반 파일, 책, 문서 스캔 및 기타 중요하지 않은 파일을 폴더에 직접 분류합니다. 보통은 많지 않고 거의 열지 않습니다.

가장 어려운 일은 사진과 영상을 정리하는 일인데, 너무 많아요.

한 달에 수십 장에서 수백 장의 사진을 찍습니다. DSLR, 드론, 때로는 휴대폰으로 촬영합니다. 사진은 개인용이거나 재고용일 수 있습니다. 나는 또한 때때로 홈 비디오를 촬영합니다(생각하시는 것과는 달리 가족 비디오만 촬영하며 종종 딸과 함께 촬영합니다). 또한 엉망이 되지 않도록 어떻게든 보관하고 분류해야 합니다.

동일한 Dropbox에 Sort Images라는 폴더가 있습니다. 모든 사진과 비디오가 있는 하위 폴더가 있으며, 거기에서 사진과 비디오를 가져와서 필요한 위치에 정렬합니다.

정렬은 NAS 서버에서 이루어지며, 하루에 한 번 자동으로 실행되어 작업을 수행하는 bash 스크립트가 실행되고 있습니다. NAS는 또한 이를 실행하는 역할을 담당하며, 모든 스크립트 및 기타 작업 실행을 담당하는 작업 스케줄러가 있습니다. 작업이 시작되는 빈도와 시기를 구성할 수 있으며, 더 간단한 경우 인터페이스를 사용하여 cron을 사용할 수 있습니다.

각 폴더에는 자체 스크립트가 있습니다. 이제 폴더에 대해 자세히 알아보세요.

무인 비행기 — 개인적인 목적으로 드론으로 촬영한 사진입니다. 먼저 Lightroom에서 모든 사진을 처리한 다음 JPG를 이 폴더로 내보냅니다. 그러면 다른 Dropbox 폴더인 "Photo"에 저장됩니다.

"Drone" 폴더가 있으며 이미 연도 및 월별로 정렬되어 있습니다. 스크립트 자체는 필요한 폴더를 생성하고 내 템플릿에 따라 사진 자체의 이름을 바꿉니다. 일반적으로 이것은 사진을 찍은 날짜와 시간이며, 같은 이름의 파일이 표시되지 않도록 끝에 임의의 숫자를 추가합니다. 왜 파일 이름에 초를 설정하는 것이 이러한 목적에 적합하지 않은지 기억이 나지 않습니다.

나무는 다음과 같습니다: Photo/Drone/2019/05 — 01월/2019 — 19.25.53월 — 37_XNUMX_XNUMX.jpg

드론 비디오 — 아직 드론으로 영상을 찍어본 적은 없고, 배울 것도 많고, 지금은 시간이 없지만, 이미 폴더를 만들어 놓았습니다.

이미지 작업 — 내부에 두 개의 폴더가 있습니다. 파일이 발견되면 인터넷에 게시하기 위해 최대 2000px로 압축하거나 이미지를 뒤집습니다. 더 이상 필요하지 않지만 아직 폴더를 삭제하지 않았습니다.

파노라마 — 짐작할 수 있듯이 파노라마가 나오는 곳입니다. 특정 유형의 사진이기 때문에 별도로 저장하고 보통 드론으로 찍습니다. 일반 파노라마도 찍지만 360도 파노라마도 찍고 때로는 구체도 찍습니다. 이런 종류의 작은 행성 같은 파노라마는 드론으로도 찍습니다. 이 폴더의 모든 사진은 Photo/Panoramas/2019/01 - May - 2019_19.25.53_37.jpg로도 이동됩니다. 여기서는 파노라마가 많지 않기 때문에 월별로 정렬하지 않습니다.

개인 사진 — DSLR로 찍는 사진은 다음과 같습니다. 대개 가족 사진이나 여행 사진, 일반적으로 추억을 위해 찍는 사진, 나 자신을 위해 찍는 사진입니다. 또한 Lightroom에서 Raw 사진을 처리한 다음 여기로 내보냅니다.

여기에서 그들은 여기에 도착합니다: Photo/2019/05 — 01월/2019 — 19.25.53월 — 37_XNUMX_XNUMX.jpg

어떤 종류의 축하 행사나 별도로 저장하는 것이 더 좋은 다른 것을 촬영한 경우 2019 폴더에 축하 이름이 있는 폴더를 만들고 거기에 사진을 수동으로 복사합니다.

RAW — 사진 출처는 다음과 같습니다. 저는 항상 RAW로 촬영하고 모든 사진을 JPG로 저장하지만 때로는 RAW 파일도 저장하고 싶을 때도 있고 프레임을 다르게 처리하고 싶을 때도 있습니다. 일반적으로 이것은 자연이며 모든 것이 연속되는 것이 아니라 최고의 샷만 거기에 도달합니다.

재고 사진 — 여기에서는 DSLR이나 드론으로 촬영한 스톡 사진용 사진을 업로드합니다. 정렬은 다른 사진과 동일하며 별도의 폴더에 있습니다.

Dropbox의 루트 디렉터리에는 Camera Uploads 폴더가 있습니다. 이 폴더는 Dropbox 모바일 애플리케이션이 모든 사진과 비디오를 업로드하는 기본 폴더입니다. 휴대폰에 있는 아내의 사진은 모두 이런 식으로 삭제됩니다. 또한 휴대폰에 있는 모든 사진과 비디오를 여기에 업로드하고 거기에서 별도의 폴더로 분류합니다. 하지만 저는 다른 방식으로, 더 편리하게 작업을 수행합니다. Android용 폴더싱크(FolderSync)라는 프로그램이 있는데, 이 프로그램을 사용하면 휴대 전화의 모든 사진을 찍어 Dropbox에 업로드한 다음 휴대 전화에서 삭제할 수 있습니다. 설정이 많아서 추천드립니다. 휴대폰의 비디오도 이 폴더에 들어가며, 모든 사진과 마찬가지로 연도별, 월별로 정렬됩니다.

인터넷의 다양한 지침을 통해 모든 스크립트를 직접 수집했지만 기성 솔루션을 찾지 못했습니다. 저는 bash 스크립트에 대해 전혀 모릅니다. 오류가 있거나 더 나은 작업이 있을 수도 있지만, 저에게 가장 중요한 것은 그들이 제 역할을 하고 제가 필요한 것을 수행한다는 것입니다.

스크립트는 GitHub에 업로드되었습니다. https://github.com/pelinoleg/bash-scripts

이전에는 사진과 비디오를 정렬하기 위해 Mac OS에서 Hazel을 사용했는데 모든 것이 더 쉽고 모든 작업이 시각적으로 생성되며 코드를 작성할 필요가 없지만 두 가지 단점이 있습니다. 첫째, 모든 것이 잘 작동하도록 컴퓨터의 모든 폴더를 유지해야 하며, 둘째, 갑자기 Windows 또는 Linux로 전환하면 그러한 프로그램이 없습니다. 대안을 찾아보았지만 모두 소용이 없었습니다. 서버에 스크립트를 포함하는 솔루션이 보다 보편적인 솔루션입니다.

모든 스크립트는 하루에 한 번, 일반적으로 밤에 실행되도록 구성됩니다. 그러나 기다릴 시간이 없고 지금 필요한 스크립트를 실행해야 하는 경우 두 가지 솔루션이 있습니다. SSH를 통해 서버에 연결하고 필요한 스크립트를 실행하거나 관리자 패널로 이동하여 필요한 스크립트를 수동으로 실행하는 것입니다. 스크립트. 이 모든 것이 나에게는 불편한 것 같아서 세 번째 해결책을 찾았습니다. SSH 명령을 보낼 수 있는 Android용 프로그램이 있습니다. 여러 명령을 만들었고 각 명령에는 고유한 버튼이 있습니다. 이제 예를 들어 드론에서 찍은 사진을 정렬해야 하는 경우 버튼 하나만 누르면 스크립트가 실행됩니다. 이 프로그램은 SSHing이라고 불리며 비슷한 다른 프로그램도 있지만 나에게는 이것이 가장 편리합니다.

나는 또한 내 사이트를 여러 개 가지고 있는데, 그것들은 보여주기 위한 것이 더 많으며 거기에는 거의 아무도 가지 않지만 여전히 백업을 수행하는 것이 아프지 않습니다. 저는 aaPanel 패널을 설치한 DigitalOcean에서 사이트를 운영하고 있습니다. 모든 파일과 데이터베이스의 백업 복사본을 동일한 디스크에 만드는 것이 가능합니다.

동일한 디스크에 백업을 저장하는 것은 불가능하므로 bash 스크립트를 사용하여 거기로 이동하여 모든 것을 내 서버에 복사하고 이름에 날짜가 포함된 모든 것을 하나의 아카이브에 보관합니다.

제가 사용하고 공유한 방법으로 적어도 누군가가 도움을 받기를 바랍니다.

기사에서 볼 수 있듯이 저는 자동화를 좋아하고 가능한 모든 것을 자동화하려고 노력합니다. 이는 이미 다른 주제 및 다른 기사이기 때문에 자동화의 관점에서 많은 것을 설명하지 않았습니다.

출처 : habr.com