첫 번째 부분에서는 오래된 가족 비디오를 디지털화하여 별도의 장면으로 나누는 어려운 과정을 설명합니다.. 모든 클립을 처리한 후 YouTube처럼 편리하게 온라인 시청을 정리하고 싶었습니다. 가족들의 개인적인 추억이기 때문에 유튜브 자체에 올릴 수는 없습니다. 편리하고 안전한 개인 호스팅이 필요합니다.

3단계: 게시

자체 서버에 설치할 수 있는 오픈 소스 YouTube 클론인 ClipBucket

내가 시도한 첫 번째 일은 클립버킷, 서버에 설치할 수 있는 오픈 소스 YouTube 클론이라고 합니다.

놀랍게도 ClipBucket에는 설치 지침이 없습니다. 덕분에 외부 경영진에 я 설치 프로세스 자동화 를 통해 책임감있는, 서버 구성 관리 도구입니다.

어려움 중 하나는 ClipBucket 설치 스크립트가 완전히 손상되었다는 점이었습니다. 그 당시 나는 구글에서 근무 계약 조건에 따라 저는 오픈 소스 YouTube 클론에 기여할 권리가 없었지만 버그 보고서를 게시했습니다, 필요한 수정이 쉽게 이루어질 수 있습니다. 몇 달이 지났지만 그들은 여전히 ​​문제가 무엇인지 이해하지 못했습니다. 대신 그들은 모든 것을 추가했습니다 ~ 이상 모든 릴리스에 버그가 있습니다.

ClipBucket은 컨설팅 모델로 운영되었습니다. 코드를 무료로 공개하고 배포 지원 비용을 청구했습니다. 유료 지원으로 돈을 버는 회사는 아마도 고객이 직접 제품을 설치하는 데 그다지 관심이 없을 것이라는 사실이 점차 깨닫게 되었습니다.

보다 현대적인 대안인 MediaGoblin

ClipBucket에 대한 몇 달 간의 좌절 끝에 사용 가능한 옵션을 살펴보고 발견했습니다. 미디어고블린.

미디어고블린 오프라인 미디어 공유 플랫폼입니다

MediaGoblin에는 많은 장점이 있습니다. 보기 흉한 PHP의 ClipBucket과 달리 MediaGoblin은 제가 코딩 경험이 많은 언어인 Python으로 작성되었습니다. 먹다 명령줄 인터페이스를 사용하면 비디오 다운로드를 쉽게 자동화할 수 있습니다. 가장 중요한 것은 MediaGoblin이 도커 이미지, 설치 문제가 제거됩니다.

도커 애플리케이션이 어디서나 실행될 수 있도록 자율적인 환경을 만드는 기술입니다. 나는 Docker를 사용한다 그의 프로젝트 중 다수.

MediaGoblin을 다시 도킹하는 데 따른 놀라운 어려움

나는 MediaGoblin 도커 이미지를 배포하는 것이 사소한 작업일 것이라고 가정했습니다. 글쎄요, 그런 식으로는 잘 안 됐어요.

완성된 이미지에는 두 가지 필수 기능이 포함되어 있지 않습니다.

• 인증
  • MediaGoblin은 기본적으로 공개 미디어 포털을 생성하므로 외부인의 액세스를 제한하는 방법이 필요했습니다.
• 트랜스코딩
  • 비디오를 다운로드할 때마다 MediaGoblin은 최적의 스트리밍을 위해 해당 비디오를 트랜스코딩하려고 시도합니다. 비디오가 처음에 스트리밍할 준비가 되어 있으면 트랜스코딩으로 인해 품질이 저하됩니다.
  • 미디어고블린이 제공하는 구성 옵션을 통해 트랜스코딩 비활성화, 하지만 기존 Docker 이미지에서는 이 작업을 수행할 수 없습니다.

글쎄요, 문제 없어요. Docker 이미지는 다음과 같이 제공됩니다. 오픈 소스, 그래서 가능하다 스스로 재건하세요.

불행히도 Docker 이미지는 더 이상 현재 이미지에서 빌드되지 않습니다. 미디어고블린 저장소. 마지막으로 성공한 빌드 버전과 동기화를 시도했지만 역시 실패했습니다. 똑같은 코드를 사용했는데도 MediaGoblin의 외부 종속성이 변경되어 빌드가 중단되었습니다. 수십 시간 후에 마침내 작동할 때까지 10~15분 정도의 MediaGoblin 빌드 프로세스를 반복해서 실행했습니다.

몇 달 후에도 같은 일이 일어났습니다. 전체적으로 MediaGoblin 종속성 체인은 지난 몇 년 동안 여러 번 내 빌드를 손상시켰으며 마지막으로 발생한 것은 이 기사를 작성하는 동안이었습니다. 드디어 출판했어요 MediaGoblin의 자체 포크 c 하드 코딩된 종속성 명시적으로 지정된 버전의 라이브러리. 즉, MediaGoblin이 모든 버전에서 작동한다는 모호한 주장 대신 셀러리 >= 3.0, 특정 버전 종속성을 설치했습니다. 셀러리 4.2.1이 버전으로 MediaGoblin을 테스트했기 때문입니다. 꼭 필요한 제품인 것 같습니다 재현 가능한 빌드 메커니즘, 하지만 아직 해본 적이 없습니다.

어쨌든, 많은 시간의 노력 끝에 마침내 Docker 이미지에서 MediaGoblin을 구축하고 구성할 수 있었습니다. 거기선 이미 쉬웠어 불필요한 트랜스코딩 건너뛰기 и 인증을 위해 Nginx 설치.

4단계. 호스팅

MediaGoblin이 내 로컬 컴퓨터에서 Docker를 실행하고 있었기 때문에 다음 단계는 가족이 비디오를 볼 수 있도록 Docker를 클라우드 서버에 배포하는 것이었습니다.

MediaGoblin과 비디오 저장 문제

Docker 이미지를 가져와 공개 URL에 호스팅하는 플랫폼이 많이 있습니다. 문제는 앱 자체 외에도 33GB의 비디오 파일을 게시해야 한다는 것입니다. 이를 Docker 이미지에 하드 코딩하는 것이 가능했지만 이는 번거롭고 보기 흉했습니다. 한 줄의 구성을 변경하려면 33GB의 데이터를 재배포해야 합니다.

ClipBucket을 사용했을 때 문제를 해결했습니다. gcsfuse - 운영체제가 디렉터리를 파일 시스템에 대한 일반 경로로 Google Cloud 클라우드 스토리지에 업로드할 수 있게 해주는 유틸리티입니다. Google Cloud에서 비디오 파일을 호스팅하고 gcsfuse를 사용하여 ClipBucket에 로컬 파일로 표시되도록 했습니다.

차이점은 ClipBucket은 실제 가상 머신에서 실행되는 반면 MediaGoblin은 Docker 컨테이너에서 실행된다는 것입니다. 여기서는 클라우드 저장소에서 파일을 마운트하는 것이 훨씬 더 어려운 것으로 나타났습니다. 나는 모든 문제를 해결하는 데 수십 시간을 소비했고 그것에 대해 썼습니다. 전체 블로그 게시물.

MediaGoblin과 Google Cloud Storage의 초기 통합에 대해 말씀드리겠습니다. 2018년에 말했어

몇 주 동안 모든 구성 요소를 조정한 후에 모든 것이 작동했습니다. MediaGoblin의 코드를 변경하지 않고 Google 클라우드 저장소에서 미디어 파일을 읽고 쓰도록 속였습니다.

유일한 문제는 MediaGoblin이 터무니없이 느려졌다는 것입니다. 비디오 썸네일을 홈 페이지에 로드하는 데 20초가 걸렸습니다. 비디오를 시청하는 동안 앞으로 점프하면 MediaGoblin은 재생을 다시 시작하기 전에 끝없는 10초 동안 일시 중지됩니다.

가장 큰 문제는 비디오와 사진이 사용자에게 길고 우회적인 경로를 취한다는 것입니다. Google 클라우드 스토리지에서 gcsfuse를 통해 MediaGoblin, Nginx로 이동해야 했고 그런 후에야 사용자의 브라우저에 접근할 수 있었습니다. 주요 병목 현상은 속도에 최적화되지 않은 gcsfuse였습니다. 개발자는 프로젝트 메인 페이지에서 유틸리티 작동의 대규모 지연에 대해 경고합니다.

경고 낮은 성능에 대해 gcsfuse 문서에서

이상적으로는 브라우저가 중간 레이어를 우회하여 Google Cloud에서 직접 파일을 가져와야 합니다. MediaGoblin 코드베이스를 자세히 살펴보거나 복잡한 Google Cloud 통합 로직을 추가하지 않고 어떻게 이를 수행할 수 있습니까?

nginx의 Sub_filter 트릭

다행히 간단한 해결책을 찾았지만 약간 못생긴. Nginx의 default.conf 구성에 추가했습니다. 그런 필터:

sub_filter "/mgoblin_media/media_entries/" "https://storage.googleapis.com/MY-GCS-BUCKET/media_entries/";
sub_filter_once off;

내 설정에서 Nginx는 MediaGoblin과 최종 사용자 사이의 프록시 역할을 했습니다. 위 지시문은 Nginx에게 모든 MediaGoblin HTML 응답을 최종 사용자에게 제공하기 전에 검색하고 바꾸도록 지시합니다. Nginx는 MediaGoblin 미디어 파일에 대한 모든 상대 경로를 Google 클라우드 저장소의 URL로 바꿉니다.

예를 들어 MediaGoblin은 다음과 같은 HTML을 생성합니다.

<video width="720" height="480" controls autoplay>
  <source
    src="/mgoblin_media/media_entries/16/Michael-riding-a-bike.mp4"
    type="video/mp4">
</video>

Nginx는 답변을 변경합니다.

<video width="720" height="480" controls autoplay>
  <source
    src="https://storage.googleapis.com/MY-GCS-BUCKET/media_entries/16/Michael-riding-a-bike.mp4"
    type="video/mp4">
</video>

이제 모든 것이 예상대로 작동하고 있습니다.

Nginx는 클라이언트가 Google 클라우드 저장소에서 직접 미디어 파일을 요청할 수 있도록 MediaGoblin의 응답을 다시 작성합니다.

내 솔루션의 가장 좋은 점은 MediaGoblin 코드를 변경할 필요가 없다는 것입니다. Nginx의 두 줄 명령은 서비스가 서로에 대해 전혀 알지 못하더라도 MediaGoblin과 Google Cloud를 원활하게 통합합니다.

주의: 이 솔루션을 사용하려면 Google 클라우드 저장소의 파일을 모든 사람이 읽을 수 있어야 합니다. 무단 액세스 위험을 줄이기 위해 긴 임의의 버킷 이름을 사용합니다(예: mediagoblin-39dpduhfz1wstbprmyk5ak29) 버킷의 액세스 제어 정책이 권한이 없는 사용자가 디렉터리 내용을 표시하는 것을 허용하지 않는지 확인합니다.

최종 제품

이 시점에서 나는 완벽하고 작동하는 솔루션을 갖게 되었습니다. MediaGoblin은 Google 클라우드 플랫폼의 자체 컨테이너에서 원활하게 실행되었으므로 자주 패치하거나 업데이트할 필요가 없었습니다. 내 프로세스의 모든 것이 자동화되고 재현 가능하여 간단한 편집이나 이전 버전으로의 롤백이 가능했습니다.

우리 가족은 동영상을 보는 것이 얼마나 쉬운지 정말 좋아했습니다. 위에서 설명한 Nginx 해킹 덕분에 비디오 작업이 YouTube만큼 빨라졌습니다.

보기 화면은 다음과 같습니다.

'Best' 태그별 가족 비디오 카탈로그 콘텐츠

썸네일을 클릭하면 다음과 같은 화면이 나옵니다.

미디어 서버에서 단일 클립 보기

수년간의 작업 끝에 제가 원래 원했던 것과 동일한 사용자 친화적인 YouTube 같은 인터페이스에서 가족 구성원에게 우리 비디오를 볼 수 있는 기회를 제공하는 것은 믿을 수 없을 만큼 보람 있는 일이었습니다.

보너스: 비용을 월 1달러 미만으로 절감하세요.

홈비디오는 자주 시청하지 않고 몇 달에 한 번씩만 시청합니다. 우리 가족은 20년에 총 15시간 정도의 트래픽을 생성했지만 서버는 연중무휴로 실행되었습니다. 나는 99,7%의 시간 동안 다운되는 서버에 대해 매달 XNUMX달러를 지불했습니다.

2018년 말 구글이 제품을 출시했다. 클라우드 런. 킬러 기능은 Docker 컨테이너를 매우 빠르게 실행하여 애플리케이션이 HTTP 요청에 응답할 수 있다는 것입니다. 즉, 서버는 대기 모드로 유지되고 누군가가 액세스하려고 할 때만 시작될 수 있습니다. 저처럼 자주 실행되지 않는 애플리케이션의 경우 비용이 월 15달러에서 연간 몇 센트로 줄었습니다.

더 이상 기억나지 않는 이유로 Cloud Run이 내 MediaGoblin 이미지에서 작동하지 않았습니다. 하지만 Cloud Run이 등장하면서 나는 그 사실을 기억했습니다. 헤로 꾸 유사한 서비스를 무료로 제공하며 해당 도구는 Google보다 훨씬 사용자 친화적입니다.

무료 애플리케이션 서버를 사용하면 유일한 비용은 데이터 저장 비용입니다. Google의 표준 지역 저장소 비용은 GB당 2,3센트입니다. 비디오 아카이브는 33GB를 차지하므로 한 달에 77센트만 지불합니다.

이 솔루션의 비용은 월 0,77달러에 불과합니다.

시도할 계획이 있는 분들을 위한 팁

분명히 그 과정에는 오랜 시간이 걸렸습니다. 하지만 이 기사가 홈 비디오를 디지털화하고 게시하는 데 드는 노력을 80-90% 절약하는 데 도움이 되기를 바랍니다. 별도의 섹션에서 찾을 수 있습니다. 자세한 단계별 가이드 프로세스 전반에 걸쳐 진행되지만 다음은 몇 가지 일반적인 팁입니다.

• 디지털화 및 편집 단계에서는 가능한 한 많은 메타데이터를 보존하십시오.
  • 비디오 카세트 라벨에는 귀중한 정보가 기록되는 경우가 많습니다.
  • 어떤 테이프에서 어떤 클립이 어떤 순서로 촬영되었는지 추적하세요.
  • 영상에 나올 수 있는 촬영 날짜를 적어주세요.
• 전문적인 디지털화 서비스에 대한 비용을 지불하는 것을 고려해보세요.
  • 당신은 것입니다 대단히 디지털화 품질 측면에서 이를 일치시키는 것은 어렵고 비용이 많이 듭니다.
  • 하지만 EverPresent라는 회사는 멀리하세요(자세한 내용이 필요하면 메시지를 보내주세요).
• 직접 디지털화를 한다면 HDD를 구입하세요.
  • 비압축 표준 화질 비디오는 분당 100-200MB가 소요됩니다.
  • 나는 모든 것을 내 것으로 간직했다 Synology DS412 + (10TB).
• 특정 애플리케이션에 연결되지 않은 일부 공통 형식으로 메타데이터를 기록합니다.
  • 클립 설명, 시간 코드, 날짜 등
  • 메타데이터를 애플리케이션별 형식으로 저장하는 경우(또는 아예 저장하지 않는 경우) 다른 솔루션을 사용하기로 결정하면 작업을 다시 실행할 수 없습니다.
  • 편집하면서 비디오에서 유용한 메타데이터를 많이 볼 수 있습니다. 저장하지 않으면 잃게 됩니다.
    • 영상에서 무슨 일이 일어나고 있나요?
    • 거기에 누가 등록되어 있나요?
    • 언제 녹음됐나요?
• 좋아하는 비디오를 표시하세요.
  • 솔직히 말해서 대부분의 홈 비디오는 꽤 지루합니다.
  • 내가 좋아하는 영상에는 'best of' 태그를 적용하고, 재미있는 영상을 보고 싶을 때 열어봅니다.
• 프로세스가 처음부터 끝까지 원활하게 진행될 수 있도록 가능한 한 빨리 포괄적인 솔루션을 구성하세요.
  • 먼저 모든 테이프를 디지털화한 다음 모든 테이프 등을 편집하려고 했습니다.
  • 테이프 하나로 시작해서 모든 작업을 그것으로 끝냈더라면 좋았을 텐데요. 그런 다음 어떤 결정과 어떤 단계가 최종 결과에 영향을 미치는지 이해합니다.
• 녹음을 최소한으로 유지하세요.
  • 클립을 편집하거나 다시 인코딩할 때마다 품질이 저하됩니다.
  • 원본 영상을 최대 품질로 디지털화한 다음 각 클립을 브라우저가 기본적으로 렌더링하는 형식으로 정확히 한 번만 트랜스코딩합니다.
• 비디오 클립을 게시하려면 가능한 가장 간단한 솔루션을 사용하십시오.
  • 돌이켜보면 MediaGoblin은 정적 비디오 파일 세트로 웹 페이지를 생성하는 매우 간단한 시나리오에 비해 지나치게 복잡한 도구처럼 보입니다.
  • 처음부터 다시 시작한다면 다음과 같은 정적 사이트 생성기를 사용할 것입니다. 휴고, 지킬 또는 그리섬.
• 설치를 수행합니다.
  • 비디오 편집은 여러 비디오의 최고의 순간을 결합하는 재미있는 방법입니다.
  • 편집에서 가장 중요한 것은 음악입니다. 예를 들어 테마가 놀랍습니다. 느린 눈 The National에서, 이것은 나의 개인적인 발견입니다.

출처 : habr.com