Първата част описва трудното търсене на дигитализиране на стари семейни видеоклипове и разделянето им на отделни сцени.. След като обработих всички клипове, исках да организирам гледането им онлайн толкова удобно, колкото в YouTube. Тъй като това са лични спомени на семейството, те не могат да бъдат публикувани в самия YouTube. Нуждаем се от по-личен хостинг, който е едновременно удобен и сигурен.

Стъпка 3: Публикуване

ClipBucket, клонинг на YouTube с отворен код, който може да бъде инсталиран на вашия собствен сървър

Първото нещо, което опитах ClipBucket, който нарича себе си YouTube клонинг с отворен код, който можете да инсталирате на вашия сървър.

Изненадващо, ClipBucket няма инструкции за инсталиране. Благодарение на на външно управление я автоматизира инсталационния процес през Ansible, инструмент за управление на конфигурацията на сървъра.

Част от трудността беше, че инсталационните скриптове на ClipBucket бяха напълно повредени. По това време аз работеше в Google и според условията на договора нямах право да участвам в клонинга на YouTube с отворен код, но аз публикува доклад за грешка, от които лесно биха могли да се направят необходимите корекции. Минаха месеци, а те все още не разбираха какъв е проблемът. Вместо това добавиха всичко по-добре бъгове във всяка версия.

ClipBucket работи по консултантски модел - те пуснаха своя код безплатно и таксуваха за помощ при внедряването. Постепенно ми стана ясно, че компания, която печели пари от платена поддръжка, вероятно не е много заинтересована клиентите да инсталират продукта сами.

MediaGoblin, по-модерна алтернатива

След месеци на разочарование от ClipBucket, разгледах наличните опции и открих медиен гоблин.

медиен гоблин е офлайн платформа за споделяне на медии

MediaGoblin има много екстри. За разлика от ClipBucket в грозния PHP, MediaGoblin е написан на Python, език, с който имам много опит в кодирането. Яжте интерфейс на командния ред, което ви позволява лесно да автоматизирате изтеглянето на видео. Най-важното е, че MediaGoblin идва с Докер изображение, което елиминира всякакви проблеми с инсталацията.

докер е технология, която създава автономна среда за приложение, което да работи навсякъде. Използвам Docker в много от неговите проекти.

Изненадващата трудност при повторното докеризиране на MediaGoblin

Предположих, че внедряването на докер изображението на MediaGoblin ще бъде тривиална задача. Е, това не се получи съвсем така.

Готовото изображение не съдържа две необходими функции:

заверка
- MediaGoblin създава обществен медиен портал по подразбиране и имах нужда от начин да огранича достъпа до външни лица.
Транскодиране
- Всеки път, когато изтеглите видеоклип, MediaGoblin се опитва да го прекодира за оптимално поточно предаване. Ако видеото първоначално е готово за поточно предаване, транскодирането влошава качеството.
- MediaGoblin предоставя деактивиране на транскодирането чрез опциите за конфигурация, но това не може да се направи в съществуващо изображение на Docker.

Е, няма проблем. Изображението на Docker идва с отворен код, значи е възможно възстановете го сами.

За съжаление изображението на Docker вече не е изградено от текущото. Хранилище на MediaGoblin. Опитах се да го синхронизирам с версията от последната успешна компилация, но това също не успя. Въпреки че използвах абсолютно същия код, външните зависимости на MediaGoblin се промениха, нарушавайки компилацията. След десетки часове преминах през 10-15-минутния процес на изграждане на MediaGoblin отново и отново, докато най-накрая проработи.

Няколко месеца по-късно се случи същото. Като цяло веригата за зависимости на MediaGoblin наруши компилацията ми няколко пъти през последните няколко години и последният път, когато се случи, беше точно докато пишех тази статия. Най-накрая публикувах собствен форк на MediaGoblin c твърдо кодирани зависимости и изрично посочени версии на библиотеки. С други думи, вместо съмнителното твърдение, че MediaGoblin работи с всяка версия целина >= 3.0, инсталирах конкретна зависимост от версията целина 4.2.1защото тествах MediaGoblin с тази версия. Изглежда, че продуктът се нуждае възпроизводим механизъм за изграждане, но още не съм го направил.

Така или иначе, след много часове на борба, най-накрая успях да изградя и конфигурирам MediaGoblin в Docker изображение. Там вече беше лесно пропуснете ненужното транскодиране и инсталирайте Nginx за удостоверяване.

Стъпка 4. Хостинг

Тъй като MediaGoblin работеше с Docker на локалния ми компютър, следващата стъпка беше да го разположа на облачен сървър, за да може семейството да гледа видеоклипа.

MediaGoblin и проблемът със съхранението на видео

Има много платформи, които вземат Docker изображение и го хостват на публичен URL адрес. Уловката е, че освен самото приложение трябваше да се публикуват 33 GB видео файлове. Беше възможно да ги кодирате твърдо в изображение на Docker, но това би било тромаво и грозно. Промяната на един ред на конфигурация ще изисква повторно разполагане на 33 GB данни.

Когато използвах ClipBucket, реших проблема с gcsfuse - помощна програма, която позволява на операционната система да качва директории в облачното хранилище на Google като редовни пътища към файловата система. Хоствах видео файловете в Google Cloud и използвах gcsfuse, за да ги накарам да се показват в ClipBucket като локални файлове.

Разликата беше, че ClipBucket работи в реална виртуална машина, докато MediaGoblin работи в Docker контейнер. Тук монтирането на файлове от облачно хранилище се оказа много по-трудно. Прекарах десетки часове в решаване на всички проблеми и писах за това цяла публикация в блога.

Първоначалната интеграция на MediaGoblin с Google Cloud Storage, за която говоря каза през 2018 г

След няколко седмици настройка на всички компоненти всичко заработи. Без да правя каквито и да е промени в кода на MediaGoblin, го измамих да чете и записва медийни файлове в облачно хранилище на Google.

Единственият проблем беше, че MediaGoblin стана неприлично бавен. Отне цели 20 секунди, за да се заредят видео миниатюри на началната страница. Ако скочите напред, докато гледате видеоклип, MediaGoblin ще направи пауза за безкрайни 10 секунди, преди да възобнови възпроизвеждането.

Основният проблем беше, че видеоклиповете и снимките вървяха по дълъг, заобиколен път до потребителя. Те трябваше да преминат от облачно хранилище на Google през gcsfuse до MediaGoblin, Nginx - и едва тогава стигнаха до браузъра на потребителя. Основното тясно място беше gcsfuse, който не е оптимизиран за скорост. Разработчиците предупреждават за големи забавяния в работата на помощната програма точно на главната страница на проекта:

предупреждения относно ниската производителност в документацията на gcsfuse

В идеалния случай браузърът трябва да извлича файлове директно от Google Cloud, заобикаляйки всички междинни слоеве. Как можете да направите това, без да се гмурнете в кодовата база на MediaGoblin или да добавите сложна логика за интегриране на Google Cloud?

Трик за sub_filter в nginx

За щастие обаче намерих просто решение немного грозен. Добавих към конфигурацията default.conf в Nginx такъв филтър:

sub_filter "/mgoblin_media/media_entries/" "https://storage.googleapis.com/MY-GCS-BUCKET/media_entries/";
sub_filter_once off;

В моята настройка Nginx действаше като прокси между MediaGoblin и крайния потребител. Горната директива инструктира Nginx да търси и заменя всички HTML отговори на MediaGoblin, преди да ги сервира на крайния потребител. Nginx замества всички относителни пътища към медийни файлове на MediaGoblin с URL адреси от облачно хранилище на Google.

Например MediaGoblin генерира HTML по следния начин:

<video width="720" height="480" controls autoplay>
  <source
    src="/mgoblin_media/media_entries/16/Michael-riding-a-bike.mp4"
    type="video/mp4">
</video>

Nginx променя отговора:

<video width="720" height="480" controls autoplay>
  <source
    src="https://storage.googleapis.com/MY-GCS-BUCKET/media_entries/16/Michael-riding-a-bike.mp4"
    type="video/mp4">
</video>

Сега всичко върви според очакванията:

Nginx пренаписва отговорите от MediaGoblin, така че клиентите да могат да изискват медийни файлове директно от облачното хранилище на Google

Най-добрата част от моето решение е, че то не изисква никакви промени в кода на MediaGoblin. Двуредовата директива на Nginx безпроблемно интегрира MediaGoblin и Google Cloud, въпреки че услугите не знаят абсолютно нищо една за друга.

Внимание: Това решение изисква файловете в облачното хранилище на Google да могат да се четат от всички. За да намаля риска от неоторизиран достъп, използвам дълго произволно име на кофа (напр. mediagoblin-39dpduhfz1wstbprmyk5ak29) и проверете дали правилата за контрол на достъпа на контейнера не позволяват на неоторизирани потребители да показват съдържанието на директорията.

Краен продукт

В този момент имах пълно, работещо решение. MediaGoblin работеше щастливо в собствения си контейнер в облачната платформа на Google, така че не беше необходимо да се пачва или актуализира често. Всичко в моя процес беше автоматизирано и възпроизводимо, позволявайки лесни редакции или връщане към предишни версии.

Семейството ми наистина хареса колко лесно се гледат видеоклиповете. С помощта на хака на Nginx, описан по-горе, работата с видеоклипове стана толкова бърза, колкото в YouTube.

Екранът за гледане изглежда така:

Съдържание на семейния видео каталог с етикет „Най-доброто“

Щракването върху миниатюрата извежда екран като този:

Преглед на един клип на медиен сървър

След години работа беше невероятно възнаграждаващо да дам на членовете на семейството възможност да гледат нашите видеоклипове в същия удобен за потребителя интерфейс, подобен на YouTube, който първоначално исках.

Бонус: Намалете разходите до по-малко от $1 на месец

Не гледате домашни видеоклипове често, само на всеки няколко месеца. Семейството ми колективно генерира около 20 часа трафик за една година, но сървърът работеше 15/99,7. Плащах $XNUMX месечно за сървър, който не работеше през XNUMX% от времето.

В края на 2018 г. Google пусна продукта Cloud Run. Убийствената функция изпълняваше Docker контейнери толкова бързо, че приложението можеше да отговори на HTTP заявки. Тоест сървърът можеше да остане в режим на готовност и да стартира само когато някой поиска достъп до него. За приложения, които се изпълняват рядко като моето, цената е спаднала от $15 на месец до няколко цента на година.

По причини, които вече не помня, Cloud Run не работи с моя образ на MediaGoblin. Но с появата на Cloud Run си спомних това Heroku предлага подобна услуга безплатно и техните инструменти са много по-удобни от тези на Google.

С безплатен сървър за приложения единствената цена е съхранението на данни. Стандартното регионално хранилище на Google струва 2,3 цента/GB. Видеоархивът заема 33 GB, така че плащам само 77 цента на месец.

Това решение струва само $0,77 на месец

Съвети за тези, които планират да опитат

Очевидно процесът ми отне много време. Но се надявам, че тази статия ще ви помогне да спестите 80-90% от усилията за дигитализиране и публикуване на вашите домашни видеоклипове. В отделен раздел можете да намерите подробно ръководство стъпка по стъпка през целия процес, но ето някои общи съвети:

По време на фазата на цифровизация и редактиране, запазете възможно най-много метаданни.
- Ценна информация често се записва върху етикетите на видеокасети.
- Следете кой клип е заснет от коя лента и в какъв ред.
- Запишете датата на заснемане, която може да се появи на видеото.
Помислете за заплащане на професионални услуги за цифровизация.
- Ти ще извънредно трудно и скъпо е да се съпоставят по отношение на качеството на цифровизацията.
- Но стойте далеч от компания, наречена EverPresent (изпратете ми съобщение, ако имате нужда от подробности).
Ако сами извършвате цифровизация, купете HDD.
- Некомпресираното видео със стандартна разделителна способност отнема 100-200 MB на минута.
- Държах всичко на моето Synology DS412 + (10 TB).
Записвайте метаданни в някакъв общ формат, който не е обвързан с конкретно приложение.
- Описания на клипове, времеви кодове, дати и др.
- Ако запазите метаданни във формат, специфичен за приложението (или по-лошо, не ги запазвайте изобщо), няма да можете да повторите заданието, ако решите да използвате различно решение.
- Докато редактирате, виждате много полезни метаданни във видеоклипа. Ще ги загубите, ако не ги спасите.
  - Какво се случва във видеото?
  - Кой е регистриран там?
  - Кога е записано това?
Маркирайте любимите си видеоклипове.
- Честно казано, повечето домашни видеоклипове са доста скучни.
- Прилагам етикета „най-доброто от“ към любимите си клипове и ги отварям, когато искам да гледам забавни видеоклипове.
Организирайте цялостно решение възможно най-рано, така че процесът да върви направо от началото до края.
- Първо се опитах да дигитализирам всички ленти, след това да редактирам всички ленти и т.н.
- Иска ми се да бях започнал с една лента и да бях свършил цялата работа с нея. Тогава щях да разбера кои решения и на какви етапи влияят на крайния резултат.
Сведете прекодирането до минимум.
- Всеки път, когато редактирате или прекодирате клип, вие намалявате качеството му.
- Дигитализирайте вашите сурови кадри с максимално качество, след което прекодирайте всеки клип точно веднъж във формата, който браузърите изобразяват естествено.
Използвайте възможно най-простото решение за публикуване на видеоклипове.
- В ретроспекция MediaGoblin изглежда като прекалено сложен инструмент за сравнително простия сценарий за генериране на уеб страници със статичен набор от видео файлове.
- Ако започвах отначало, щях да използвам генератор на статичен сайт като Hugo, Джекил или Страшно.
Направете инсталацията.
- Редактирането на видео е забавен начин за комбиниране на най-добрите моменти от множество видеоклипове.
- Основното в монтажа е музиката. Например, темата е невероятна Бавен сняг от The National, това е моето лично откритие.