Први део описује тешку потрагу да се стари породични видео снимци дигитализују и раздвоје на засебне сцене.. Након обраде свих клипова, желео сам да организујем њихово гледање на мрежи тако згодно као на Јутјубу. Пошто су ово лична сећања породице, не могу се постављати на сам Јутјуб. Потребан нам је приватнији хостинг који је и згодан и сигуран.

Корак 3: Објављивање

ЦлипБуцкет, клон ИоуТубе отвореног кода који се може инсталирати на ваш сервер

Прва ствар коју сам пробао ЦлипБуцкет, који себе назива клоном ИоуТубе отвореног кода који можете да инсталирате на свој сервер.

Изненађујуће, ЦлипБуцкет нема никаква упутства за инсталацију. Захваљујући спољном менаџменту я аутоматизовао процес инсталације уз помоћ Могуће, алат за управљање конфигурацијом сервера.

Део потешкоћа је био то што су ЦлипБуцкет инсталационе скрипте потпуно покварене. У то време ја радио у Гуглу и према условима уговора нисам имао право да допринесем клону ИоуТубе отвореног кода, али ја објавио извештај о грешци, из чега би се лако могле извршити потребне корекције. Месеци су пролазили, а они и даље нису разумели у чему је проблем. Уместо тога, додали су све више од грешке у сваком издању.

ЦлипБуцкет је радио по консултантском моделу — бесплатно су објавили свој код и наплаћивали помоћ при постављању. Постепено ми је синуло да компанија која зарађује од плаћене подршке вероватно није много заинтересована да клијенти сами инсталирају производ.

МедиаГоблин, модернија алтернатива

После месеци фрустрације са ЦлипБуцкет-ом, погледао сам доступне опције и нашао МедиаГоблин.

МедиаГоблин је платформа за дељење медија ван мреже

МедиаГоблин има много доброта. За разлику од ЦлипБуцкет-а у ружном ПХП-у, МедиаГоблин је написан у Питхон-у, језику са којим имам много искуства у кодирању. Једи интерфејс командне линије, што вам омогућава да лако аутоматизујете преузимање видео записа. Оно што је најважније, МедиаГоблин долази са Доцкер слика, што елиминише све проблеме са инсталацијом.

лучки радник је технологија која ствара аутономно окружење за покретање апликације било где. Користим Доцкер у многе његове пројекте.

Изненађујућа потешкоћа поновног докеризације МедиаГоблина

Претпоставио сам да би постављање МедиаГоблин доцкер слике био тривијалан задатак. Па, то баш није ишло на тај начин.

Готова слика није садржала две неопходне функције:

• Аутентикација
  • МедиаГоблин подразумевано креира јавни медијски портал и требао ми је начин да ограничим приступ аутсајдерима.
• Трансцодинг
  • Сваки пут када преузмете видео, МедиаГоблин покушава да га транскодира ради оптималног стримовања. Ако је видео у почетку спреман за стримовање, транскодирање деградира квалитет.
  • МедиаГоблин пружа онемогућавање транскодирања преко конфигурационих опција, али то не може да се уради у постојећој Доцкер слици.

Па, нема проблема. Доцкер слика долази са отвореног кода, па је могуће обновите га сами.

Нажалост, Доцкер слика више није направљена од тренутне. МедиаГоблин спремиште. Покушао сам да га синхронизујем са верзијом из последње успешне верзије, али и то није успело. Иако сам користио потпуно исти код, МедиаГоблин-ове спољне зависности су се промениле, разбијајући градњу. После десетина сати, пролазио сам кроз 10-15-минутни процес изградње МедиаГоблина изнова и изнова док није коначно прорадио.

Неколико месеци касније иста ствар се догодила. Укупно, ланац зависности МедиаГоблин је неколико пута покварио моју конструкцију у последњих неколико година, а последњи пут се то догодило управо док сам писао овај чланак. Коначно сам објавио сопствену виљушку МедиаГоблина c тврдо кодиране зависности и експлицитно наведене верзије библиотека. Другим речима, уместо сумњиве тврдње да МедиаГоблин ради са било којом верзијом целер >= 3.0, инсталирао сам одређену зависност од верзије целера 4.2.1јер сам тестирао МедиаГоблин са овом верзијом. Изгледа да производ треба поновљиви механизам изградње, али то још нисам урадио.

У сваком случају, после много сати борбе, коначно сам успео да направим и конфигуришем МедиаГоблин у Доцкер слици. Тамо је већ било лако прескочите непотребно транскодирање и инсталирајте Нгинк за аутентификацију.

Корак 4. Хостинг

Пошто је МедиаГоблин покретао Доцкер на мом локалном рачунару, следећи корак је био да га поставим на сервер у облаку како би породица могла да гледа видео.

МедиаГоблин и проблем видео складиштења

Постоје многе платформе које узимају Доцкер слику и хостују је на јавном УРЛ-у. Квака је у томе што је поред саме апликације требало објавити 33 ГБ видео датотека. Било је могуће тешко их кодирати у Доцкер слику, али то би било гломазно и ружно. Промена једне линије конфигурације би захтевала поновно распоређивање 33 ГБ података.

Када сам користио ЦлипБуцкет, решио сам проблем са гцсфусе - услужни програм који омогућава оперативном систему да отпреми директоријуме у Гоогле Цлоуд складиште као регуларне путање до система датотека. Угостио сам видео датотеке на Гоогле Цлоуд-у и користио сам гцсфусе да се појаве у ЦлипБуцкет-у као локалне датотеке.

Разлика је била у томе што је ЦлипБуцкет радио у правој виртуелној машини, док је МедиаГоблин радио у Доцкер контејнеру. Овде се показало да је монтирање датотека из складишта у облаку много теже. Провео сам десетине сати решавајући све проблеме и писао о томе цео блог пост.

Почетна интеграција МедиаГоблина са Гоогле Цлоуд складиштем, о чему говорим речено 2018

После неколико недеља подешавања свих компоненти, све је функционисало. Без икаквих промена у МедиаГоблин коду, преварио сам га у читању и писању медијских датотека у Гоогле складиште у облаку.

Једини проблем је био што је МедиаГоблин постао непристојно спор. Било је потребно пуних 20 секунди да се сличице видеа учитају на почетну страницу. Ако скочите напред док гледате видео, МедиаГоблин би паузирао бескрајних 10 секунди пре него што би наставио са репродукцијом.

Главни проблем је био то што су видео снимци и слике ишли дугим, кружним путем до корисника. Морали су да пређу са Гоогле складишта у облаку преко гцсфусе до МедиаГоблин, Нгинк - и тек тада су стигли до претраживача корисника. Главно уско грло је био гцсфусе, који није оптимизован за брзину. Програмери упозоравају на велика кашњења у раду услужног програма директно на главној страници пројекта:

Упозорења о ниским перформансама у гцсфусе документацији

У идеалном случају, претраживач би требало да преузима датотеке директно из Гоогле Цлоуд-а, заобилазећи све међуслојеве. Како то можете да урадите без урањања у базу кодова МедиаГоблин или додавања сложене логике Гоогле Цлоуд интеграције?

Суб_филтер трик у нгинк-у

Срећом, ипак сам нашао једноставно решење незнатно ружна. Додао сам конфигурацију дефаулт.цонф у Нгинк-у такав филтер:

sub_filter "/mgoblin_media/media_entries/" "https://storage.googleapis.com/MY-GCS-BUCKET/media_entries/";
sub_filter_once off;

У мом подешавању, Нгинк је деловао као прокси између МедиаГоблина и крајњег корисника. Горња директива налаже Нгинк-у да претражи и замени све МедиаГоблин ХТМЛ одговоре пре него што их сервира крајњем кориснику. Нгинк замењује све релативне путање до МедиаГоблин медијских датотека УРЛ-овима из Гоогле складишта у облаку.

На пример, МедиаГоблин генерише ХТМЛ овако:

<video width="720" height="480" controls autoplay>
  <source
    src="/mgoblin_media/media_entries/16/Michael-riding-a-bike.mp4"
    type="video/mp4">
</video>

Нгинк мења одговор:

<video width="720" height="480" controls autoplay>
  <source
    src="https://storage.googleapis.com/MY-GCS-BUCKET/media_entries/16/Michael-riding-a-bike.mp4"
    type="video/mp4">
</video>

Сада све иде како се очекивало:

Нгинк преписује одговоре са МедиаГоблин-а тако да клијенти могу да захтевају медијске датотеке директно из Гоогле складишта у облаку

Најбољи део мог решења је то што не захтева никакве промене у МедиаГоблин коду. Нгинк-ова директива у две линије неприметно интегрише МедиаГоблин и Гоогле Цлоуд, иако услуге не знају апсолутно ништа једна о другој.

Приметити: Ово решење захтева да датотеке у Гоогле складиште у облаку могу да читају сви. Да бих смањио ризик од неовлашћеног приступа, користим дугачко, насумично име сегмента (нпр. mediagoblin-39dpduhfz1wstbprmyk5ak29) и проверите да политика контроле приступа корпе не дозвољава неовлашћеним корисницима да прикажу садржај директоријума.

Финални производ

У овом тренутку сам имао комплетно, радно решење. МедиаГоблин је срећно трчао у сопственом контејнеру на Гоогле-овој платформи у облаку, тако да није морао да се закрпи или ажурира често. Све у мом процесу је било аутоматизовано и поновљиво, омогућавајући једноставне измене или враћање на претходне верзије.

Мојој породици се заиста допало како је било лако гледати видео снимке. Уз помоћ горе описаног Нгинк хака, рад са видео записима постао је брз као на ИоуТубе-у.

Екран за гледање изгледа овако:

Садржај породичног видео каталога по ознаци „Најбољи“

Кликом на сличицу отвара се екран попут овога:

Гледање једног клипа на медијском серверу

После година рада, било је невероватно корисно пружити члановима породице прилику да гледају наше видео записе у истом интерфејсу налик ИоуТубе-у који је прилагођен кориснику који сам првобитно желео.

Бонус: Смањите трошкове на мање од 1 УСД месечно

Кућне видео снимке не гледате често, само сваких неколико месеци. Моја породица је колективно генерисала око 20 сати саобраћаја годишње, али сервер је радио 15/99,7. Плаћао сам XNUMX долара месечно за сервер који је пао XNUMX% времена.

Крајем 2018. Гугл је објавио производ Цлоуд Рун. Функција убице је покретала Доцкер контејнере тако брзо да је апликација могла да одговори на ХТТП захтеве. Односно, сервер је могао да остане у режиму приправности и да се покрене само када неко жели да му приступи. За апликације које се ретко покрећу као што је моја, цена је пала са 15 долара месечно на неколико центи годишње.

Из разлога којих се више не сећам, Цлоуд Рун није функционисао са мојом МедиаГоблин сликом. Али са појавом Цлоуд Рун-а, сетио сам се тога Хероку нуди сличну услугу бесплатно, а њихови алати су много лакши за употребу од Гоогле-ових.

Са бесплатним сервером апликација, једини трошак је складиштење података. Гоогле-ов стандардни регионални простор за складиштење кошта 2,3 цента/ГБ. Видео архива заузима 33 ГБ, тако да плаћам само 77 центи месечно.

Ово решење кошта само 0,77 долара месечно

Савети за оне који планирају да пробају

Очигледно ми је тај процес дуго трајао. Али надам се да ће вам овај чланак помоћи да уштедите 80-90% напора око дигитализације и објављивања ваших кућних видео записа. У посебном одељку можете пронаћи детаљан водич корак по корак током целог процеса, али ево неколико општих савета:

• Током фазе дигитализације и уређивања, сачувајте што је могуће више метаподатака.
  • Вредне информације се често бележе на налепницама видео касета.
  • Пратите који клип је снимљен са које траке и којим редоследом.
  • Запишите датум снимања, који се може појавити на видео снимку.
• Размислите о плаћању професионалних услуга дигитализације.
  • Хоћеш изузетно тешко и скупо им је парирати по квалитету дигитализације.
  • Али држите се даље од компаније која се зове ЕверПресент (пошаљите ми поруку ако су вам потребни детаљи).
• Ако сами радите дигитализацију, купите ХДД.
  • Некомпримовани видео стандардне дефиниције траје 100-200 МБ у минути.
  • Задржао сам све на свом Синологи ДСКСНУМКС + (10 ТБ).
• Снимите метаподатке у неком уобичајеном формату који није везан за одређену апликацију.
  • Описи клипова, временски кодови, датуми итд.
  • Ако сачувате метаподатке у формату специфичном за апликацију (или још горе, не чувајте их уопште), нећете моћи да поновите посао ако одлучите да користите другачије решење.
  • Док уређујете, видећете много корисних метаподатака на видео снимку. Изгубићете их ако их не сачувате.
    • Шта се дешава на снимку?
    • Ко је тамо регистрован?
    • Када је ово снимљено?
• Означите своје омиљене видео записе.
  • Да будем искрен, већина кућних видео записа је прилично досадна.
  • Примењујем ознаку „најбоље“ на своје омиљене клипове и отварам их када желим да гледам смешне видео снимке.
• Организујте свеобухватно решење што је раније могуће тако да процес иде директно од почетка до краја.
  • Покушао сам прво да дигитализујем све траке, па да уредим све траке итд.
  • Волео бих да сам почео са једном траком и урадио сав посао са њом. Тада бих разумео које одлуке и у којим фазама утичу на коначни резултат.
• Држите кодирање на минимуму.
  • Сваки пут када уређујете или поново кодирате снимак, смањујете његов квалитет.
  • Дигитализујте своје сирове снимке максималног квалитета, а затим транскодирајте сваки клип тачно једном у формат који претраживачи изворно приказују.
• Користите најједноставније могуће решење за објављивање видео клипова.
  • У ретроспективи, МедиаГоблин изгледа као превише сложен алат за прилично једноставан сценарио генерисања веб страница са статичним скупом видео датотека.
  • Да почињем изнова, користио бих статички генератор сајта као што је Hugo, Јекилл или Гридсоме.
• Урадите инсталацију.
  • Уређивање видео записа је забаван начин да комбинујете најбоље тренутке из више видео записа.
  • Главна ствар у монтажи је музика. На пример, тема је невероватна Слов Снов из Национала, ово је моје лично откриће.

Извор: ввв.хабр.цом