Esimese osa keskmes on keeruline missioon, mille eesmärk on vana perevideote digiteerimine, eraldades need eraldi stseenideks.Pärast kõigi klippide töötlemist tahtsin korraldada nende online-vaatamise sama mugavalt nagu YouTube'is. Kuna need on peremälestused, ei saa neid YouTube'is avaldada. Vajalik on privaatsem hosting, mis on samas mugav ja turvaline.

Samm 3. Avaldamine

ClipBucket, avatud lähtekoodiga YouTube'i kloon, mida saab installida oma serverisse.

Esmalt proovisin ClipBucket, mis nimetab end avatud lähtekoodiga YouTube'i klooniks, mille saab oma serverisse installida.

Üllataval kombel puuduvad ClipBucketil igasugused installimisjuhised. Aitava kolmanda osapoole juhendi ma automaatses installimisprotsessis kasutades Ansible, serverite konfiguratsiooni haldamise vahend.

Osaliselt seisnes raskus selles, et ClipBucket’i installimisskriptid on täielikult katki. Sel ajal ma töötasin Google'is ja lepingu kohaselt ei tohtinud ma panustada avatud lähtekoodiga YouTube'i klooni, kuid ma postitasin veateate., millest on lihtne teha vajalikke muudatusi. Kuu aega läks mööda, kuid nad ei saanud ikka aru, mis probleem oli. Selle asemel lisasid nad kõik suurem iga väljalaskega vigasid.

ClipBucket töötas konsultatsioonimudelil — nad vabastavad oma koodi tasuta ja küsivad tasu abi eest selle juurutamisel. Aja jooksul sain aru, et ettevõte, mis teenib raha tasulise toe pealt, pole tõenäoliselt väga huvitatud sellest, et kliendid toote ise seadistaks.

MediaGoblin, kaasaaegsem alternatiiv

Pärast mitmeid kuusid ClipBucketist pettumust tundes vaatasin läbi saadaolevad valikud ja leidsin MediaGoblin.

MediaGoblin — iseseisev meediafailide jagamise platvorm

MediaGoblinil on palju toredaid funktsioone. Erinevalt ClipBucketist, mis on ehitatud inetul PHP-l, on MediaGoblin kirjutatud Pythonis — selle programmeerimise keelega mul on suur kogemus. On käskude liides, mis võimaldab lihtsalt automatiseerida video üleslaadimist. Mis kõige tähtsam, MediaGoblin on saadaval Dockerina, mis välistab kõik installatsiooniprobleemid.

Docker — tehnoloogia, mis loob rakendusele iseseisva keskkonna, mis töötab igal pool. Kasutan Dockerit paljudes oma projektides oma projektides.

Hämmastav raskus MediaGoblin'i taasdockeriseerimisel

Ma arvasin, et MediaGoblin'i docker-imaine juurutamine on triviaalne ülesanne. Noh, see ei läinud päris nii.

Valmis pildist puudusid kaks vajalikku funktsiooni:

• Autentimine
  • MediaGoblin loob vaikimisi avaliku meediaportali ja mul oli vaja viisi, kuidas piirata juurdepääsu võõrastele.
• Ümberkodeerimine
  • Iga kord, kui laadite üles video, proovib MediaGoblin seda optimaalse striimimise jaoks ümber kodeerida. Kui video on algselt striimimiseks ette valmistatud, halveneb kvaliteet ümberkodeerimise käigus.
  • MediaGoblin võimaldab ümberkodeerimise keelamist konfiguratsiooni seadete kaudu, kuid olemasolevas Docker'i pildis pole seda võimalik teha.

Mis siis, pole probleemi. Docker'i pilt tuleb avatud koodiga, seega on võimalik seda ise uuesti koostada..

Kahjuks ei koostata Docker'i pilti enam praegusest MediaGoblin'i hoidlast.. Olen proovinud selle sünkroonida viimase eduka versiooni kogumisega, kuid see ei õnnestunud. Kuigi kasutasin täpselt sama koodi, on MediaGoblyni välistes sõltuvustes toimunud muudatusi, mis rikkuvad kogumise. Aastatepikkuse proovimise järel jooksin taas ja taas 10–15-minutilise MediaGoblyni kogumisprotsessi, kuni see lõpuks tööle hakkas.

Mõned kuud hiljem juhtus sama asi. Kokku on viimase kahe aasta jooksul MediaGoblyni sõltuvuste ahel mitu korda rikkuv minu kogumist, ja viimane kord juhtus see just siis, kui kirjutasin seda artiklit. Lõpuks avaldasin enda fork'i MediaGoblinist c karmide sõltuvustega ja selgelt määratletud teekide versioonidega. Teisisõnu, kahtlaste väidete asemel, et MediaGoblin töötab igas versioonis celery >= 3.0, määrasin konkreetse sõltuvuse versiooniks celery 4.2.1, kuna olin testinud MediaGoblini selle versiooniga. Tundub, et toode vajab koosolekute mehhanismi, kuid ma pole sellega veel tegelenud.

Nii või teisiti, pärast mitmeid tunde võitlust suutsin lõpuks koguda ja seadistada MediaGoblini Docker'i pildiks. Seal oli juba lihtne vahele jätta mitte vajalik transkodeerimine ja Nginx'i seadistamine autentimiseks.

Samm 4. Hosting

Kuna MediaGoblin töötas Dockeris minu kohalikul arvutil, oli järgmine samm selle juurutamine pilveserverisse, et perekond saaks videoid vaadata.

MediaGoblin ja videofailide salvestamise probleem

On palju platvorme, mis aktsepteerivad Docker'i pilti ja paigutavad selle avalikule URL-ile. Probleemiks oli see, et lisaks rakendusele tuli avaldada 33 GB videofaile. Need oleks saanud Docker’i pildisse kõvaks kodeerida, kuid see oleks olnud mahukas ja koormav. Ühe konfiguratsioonireal muutmine nõuaks 33 GB andmete uuesti juurutamist.

Kui kasutasin ClipBucket'i, lahendasin probleemi gcsfuse — utiliit, mis võimaldab operatsioonisüsteemil käsitleda Google Cloud'i pilvesalvestuse kaustu nagu tavalisi failisüsteemi teid. Paigaldasin videofailid Google Cloud'i ja kasutasin gcsfuse'i, et need kuvataks ClipBucket'is nagu kohalikud failid.

Erinevus seisnes selles, et ClipBucket töötas tõeliselt virtuaalses masinas, samas kui MediaGoblin töötas Docker konteineris. Failide mountimine pilve salvestusest osutus siin palju keerulisemaks. Ma kulutasin kümneid tunde kõigi probleemide lahendamisele ja kirjutasin sellest kogu postituse blogis.

Algne MediaGoblin integreerimine Google Cloudi salvestusega, millest ma rääkisin 2018. aastal

Pärast mitme nädala seadistamist töötas kõik lõpuks. Ilma MediaGoblin koodis mingeid muudatusi tegemata suutsin ma selle petliku viisil sundida, et see loeks ja kirjutaks meediafaile Google'i pilvesalvestusse.

Ainus probleem oli see, et MediaGoblin hakkas töötama äärmiselt aeglaselt. Videote miniatuuride laadimine avalehele kestis lausa 20 sekundit. Kui videot vaatamise ajal edasi hüppasite, seisis MediaGoblin lõpmatus 10 sekundit, enne kui ta taaskäivitamiseks jätkas.

Peamine probleem oli selles, et video ja pildid jõudsid kasutajani keerulist, pikalt teed pidi. Need pidid minema Google'i pilvesalvestusest gcsfuse'i kaudu MediaGoblinisse, Nginxisse — ja alles siis jõudsid nad kasutaja brauserisse. Peamine kitsaskoht oli gcsfuse, mis pole kiireks tööks optimeeritud. Arendajad hoiatavad suurete viivituste eest tööriista kasutamisel otse projekti avalehel:

Hoiatused madala jõudluse kohta gcsfuse'i dokumentatsioonis

Ideaalis peaks brauser faile otse Google Cloud'ist hankima, mööda minnes kõigist vahekihtidest. Kuidas seda teha, süvenemata MediaGoblin'i koodibaasi ega lisamata keerulist Google Cloud'i integreerimise loogikat?

Nginx'i sub_filter trikk

Õnneks leidsin ma lihtsa, kuigi veidi kole lahendus. Lisasin Nginx'i default.conf konfiguratsiooni sellise filtri:

sub_filter "/mgoblin_media/media_entries/" "https://storage.googleapis.com/MY-GCS-BUCKET/media_entries/";
sub_filter_once off;

Minu Nginxi seadistus töötas vahendina MediaGoblin'i ja lõppkasutaja vahel. Ülaltoodud direktiiv käsib Nginx'il otsida ja asendada kõiki MediaGoblin'i HTML-vastuseid, enne kui need edastatakse lõppkasutajale. Nginx asendab kõik suhtelised teed MediaGoblin'i meediafailidele Google'i pilvehoidla URL-idega.

Näiteks genereerib MediaGoblin sellise HTML-i:

Nginx muudab vastuse:

Nüüd läheb kõik nagu peab:

Nginx kirjutab ümber vastused MediaGoblin'ilt, et kliendid saaksid meediafaile otse Google'i pilvehoidlast taotleda.

Minu lahenduse juures on kõige parem see, et see ei nõua mingeid muudatusi MediaGoblin'i koodis. Kahe rida Nginxi direktiiv integreerib lihtsalt MediaGoblin'i ja Google Cloud'i, kuigi need teenused ei tea teineteisest absoluutselt midagi.

Märkus: see lahenduse jaoks peavad Google'i pilveladu failid olema kõigile lugemiseks kergesti kättesaadavad. Volitamata juurdepääsu riski vähendamiseks kasutan pikka juhuslikku konteineri nime (näiteks, mediagoblin-39dpduhfz1wstbprmyk5ak29) ja kontrollin, et konteineri juurdepääsupoliitika ei luba volitamata kasutajatel katalooge kuvada.

Lõplik toode

Selle hetke seisuga oli mul täielik ja toimiv lahendus. MediaGoblin töötas õnnelikult oma konteineris Google'i pilveplatvormil, nii et seda ei pidanud tihti parandama ega värskendama. Kõik mu protsessis oli automatiseeritud ja reprodutseeritav, võimaldades lihtsaid muudatusi või tagasipöördumist varasemate versioonide juurde.

Minu perekond leidis, et videote sirvimine oli väga lihtne. Ülaltoodud Nginx'i nippi kasutades on videotöötlus sama kiire kui YouTubes.

Kuva ekraan näeb välja järgmine:

Perekonna video katalooge sildi „Parim” järgi

Miniatuuri klõpsamine kuvab järgmise ekraani:

Ühe klipi vaatamine meedia serveris

Pika pärast pikka tööaega oli mul erakordselt meeldiv anda oma pereliikmetele võimalus vaadata meie videoid sama mugavas liideses nagu YouTube'is, nagu ma algselt tahtsin.

Boonus: kulude vähendamine alla 1 dollari kuus.

Te vaatate koduvideoid harva, vaid iga paari kuu tagant. Minu pere genereeris kokku umbes 20 tundi liiklust aastas, kuid server töötas ööpäevaringse. Ma maksin igakuiselt 15 dollarit serveri eest, mis oli 99,7% ajast seisakusse.

2018. aasta lõpus käivitas Google toote. Cloud Run. Tõeliselt võimas funktsioon oli Docker-konteinerite käivitamine nii kiiresti, et rakendus suutis vastata HTTP-päringutele. See tähendas, et server võis jääda ooterežiimi — ja käivituda ainult siis, kui keegi soovis sellele pääseda. Selliste harva kasutatavate rakenduste, nagu minu omad, kulud vähenesid 15 dollarilt kuus mõne senti aastas.

Põhjustel, mida ma enam ei mäleta, ei töötanud Cloud Run mu MediaGoblin pildiga. Kuid Cloud Runi ilmumisega meenutasin, et Heroku pakub sarnast teenust tasuta ning nende tööriistad on palju mugavamad kui Google'il.

Tasuta rakenduste serveriga on ainsaks kuluks andmete salvestamine. Google'standardne piirkondlik salvestus maksab 2,3 senti/GB. Videoarhiiv võtab 33 GB, seega maksab ma vaid 77 senti kuus.

Selle lahenduse maksumus on vaid 0,77 dollarit kuus.

Nõuanded neile, kes plaanivad proovida.

Ilmselt võttis mul protsess palju aega. Kuid loodan, et see artikkel aitab Teil säästa 80-90% jõupingutustest koduvideote digitaliseerimisel ja avaldamisel. Eraldi jaotises leiate üksikasjaliku samm-sammult juhendi kogu protsessi kohta, kuid siin on mõned üldised nõuanded:

• Digitaliseerimise ja redigeerimise etapis salvestage võimalikult palju metaandmeid.
  • Hinnaline teave on sageli kirjas videokassettide etikettidel.
  • Märkige, milline klipp on salvestatud milliselt kassettidelt ja mis järjekorras.
  • Märkige üles filmimise kuupäev, mis võib olla videol.
• Mõelge professionaalse digitaliseerimise teenuse tellimisele.
  • Teil on äärmiselt raske ja kallis neid kvaliteedis võita.
  • Kuid hoiduge EverPresent-nimelisest ettevõttest (kirjutage mulle, kui vajate rohkem teavet).
• Kui digiteerite ise, ostke HDD.
  • Kompresseerimata standardresolutsiooniga video võtab 100-200 MB minutis.
  • Hoidsin kõike oma Synology DS412+ (10 TB).
• Salvestage metainformatsioon mõnes laialdaselt kasutatavas formaadis, mis ei ole seotud konkreetse rakendusega.
  • Videoklippide kirjeldused, ajakoodid, kuupäevad jne.
  • Kui salvestate metainformatsiooni konkreetse rakenduse formaadis (või, mis veelgi hullem, üldse mitte), ei saa te tööd uuesti teha, kui otsustate kasutada muud lahendust.
  • Redigeerimise ajal näete videos palju kasulikku metainformatsiooni. Kaotate need, kui neid ei salvestata.
    • Mis toimub videos?
    • Kes seal on?
    • Millal see on salvestatud?
• Märgi lemmikvideod.
  • Ausalt öeldes on enamik koduvideomaterjalidest üsna igavad.
  • Rakendan silti 'parimad' mu lemmikklippidele ja vaatan neid, kui mul on isu naljakate videote järele.
• Korraldage võimalikult varakult kompleksne lahendus, et protsess algaks kohe algusest lõpuni.
  • Proovisin kõigepealt digiteerida kõik kassetid, seejärel redigeerida kõik kassetid jne.
  • Kahju, et ma ei alustanud ühest kassetist ja ei teinud kõike selle ümber. Siis oleksin aru saanud, millised lahendused ja millistel etappidel mõjutavad lõpptulemust.
• Minimeerige ümberkodeerimist.
  • Iga kord, kui te redigeerite või ümberkodeerite klippi, halveneb selle kvaliteet.
  • Digiteerige toor кадri maksimaalse kvaliteediga ja kodeerige iga klipp ainult üks kord formaati, mida brauserid natiivselt esitavad.
• Kasutage videoklippide avaldamiseks kõige lihtsamat lahendust.
  • Tagasi vaadates tundub MediaGoblin liiga keeruline tööriist suhteliselt lihtsa veebilehe genereerimise stsenaariumi jaoks, kus on staatiliste videotega komplekt.
  • Kui ma alustaksin alates algusest, kasutaksin staatiliste veebisaitide generaatorit, näiteks Hugo, Jekyll või Gridsome.
• Tehke montaaž.
  • Videomontaaž on huvitav viis ühendada parimad hetked mitmest videost.
  • Montaaži peamine osa on muusika. Näiteks sobib suurepäraselt laul Slow Snow ansamblilt The National, see on minu isiklik avastus.

Allikas: habr.com