WebRTC a Videoiwwerwaachung: wéi mir Videolatenz vu Kameraen besiegt hunn

Vun den éischten Deeg un der Aarbecht un engem Cloud-Video-Iwwerwaachungssystem, ware mir mat engem Problem konfrontéiert, ouni eng Léisung, fir déi mir op Ivideon opginn - dëst war eisen Everest, Kloteren, dee vill Energie gedauert huet, awer elo hu mir endlech eng Äis Axt an d'Spëtzt vum Cross-Plattform Puzzel gestoppt.

De System fir d'Iwwerdroung vun Audio a Video iwwer den Internet sollt net vun Ausrüstung, Webklienten an de Standarden ofhängeg sinn, déi se ënnerstëtzen, an och korrekt an der Präsenz vun Network Address Translatoren a Firewalls funktionnéieren. E Cloud Video Iwwerwaachungsbenotzer wëll op de Service zougräifen, och wann hien analog Kameraen benotzt, a kuckt léiwer Live Video Sendungen um modernsten Apparat.

Et ass ganz bedeitend datt de Benotzer Videoe mat minimaler Verspéidung kucke wëllt. Bal deen eenzege Wee fir Video mat gerénger latency an engem Browser ze weisen ass WebRTC (Web Echtzäit Kommunikatiounen). WebRTC ass eng Rei vun Technologien fir Peer-to-Peer Iwwerdroung vu Video an Audio a Browser, ursprénglech fir d'Transmissioun an d'Wiedergabe vu Videostreamen mat gerénger latency entwéckelt. Fir dësen Zweck gëtt ënner anerem den UDP-Protokoll benotzt.

Ier mir Iech soen wat den neie Motor dem Benotzer gëtt, wäerte mir Iech drun erënneren firwat a firwat mir HLS Technologien ënnerstëtzen, a firwat mir decidéiert hunn weider ze goen.

HLS Motor: Virdeeler an Nodeeler

(c)

D'HLS-Technologie (HTTP Live Streaming) gouf vun Apple entwéckelt, dofir ass et keng Iwwerraschung, datt se fir d'éischt op Apple-Geräter ënnerstëtzt gouf. Hautdesdaags gëtt HLS-Video och vu bal all Set-Top-Boxen a ville Geräter mat dësem Betribssystem ënnerstëtzt. Android.

Den HLS Motor benotzt de bekannte H264 Video Codec a Kombinatioun mat AAC oder MP3 Audio Streams fir Videodaten ze streamen. De ganzen Audio- a Videodatenstroum ass an en MPEG-TS Transportbehälter verpackt. Fir d'Iwwerdroung iwwer den HTTP-Protokoll ass d'Informatioun, déi am Stream enthale sinn, a Fragmenter opgedeelt, déi a m3u8 Playlists beschriwwe ginn. An nëmmen dann ginn dës Fragmenter, zesumme mat Playlists, iwwer HTTP iwwerdroen. Chunking bedeit automatesch eng Verzögerung a Sekonnen. Dëst ass eng Feature vum MPEG-TS Container.

Den HLS-Motor ënnerstëtzt och Multibitrate Streams, Live / VOD.

Haaptvirdeeler vun HLS:

• gebaut-an Ënnerstëtzung an all gréisser Browser;
• Einfachheet vun der Ëmsetzung (am Verglach mam WebRTC);
• Et ass ganz bequem an effizient all Zorte vu Sendungen un e grousse Publikum ze organiséieren wéinst der Tatsaach datt Segmenter eemol op en CDN eropgeluede kënne ginn.

Trotz der Einfachheet vum Motor ass net alles sou glat wéi et schéngt. Den Haaptproblem ass datt Drëtt-Partei Player Entwéckler ewech vun Apple Empfehlungen geplënnert sinn, zum Beispill a punkto ënnerstëtzt Audioformate. Besonnesch vill Entwéckler hunn ugefaang d'Fähigkeit ze addéieren fir mat populäre Audio Streams ze schaffen: mpeg2 Video, mpeg2 Audio, etc.. Als Resultat hunn se verschidde Playlistformate fir verschidde Spiller erstallt.

Awer ee vun de gréisste Probleemer mam HLS-Motor ass déi héich latency beim Datentransfer.

D'Origine vun "Bremsen"

Den Haaptgrond fir déi héich Latenz vun HLS läit an der Tatsaach datt Programméierer de Motor erstallt hunn fir déi héchst Qualitéitsbilder ze kréien. Dofir sinn d'Parameter vum benotzte Frame-Intervall an d'Gréisst vum Playback-Puffer einfach net gëeegent fir Live Video Sendungen. Dofir gëtt et eng zimlech héich Verspéidung bei der Iwwerdroung vu Videomaterial, wat 5-7 Sekonnen ka sinn.

Engersäits ass dëst net vill, zum Beispill fir déi, déi e Film vun engem Videohosting-Server kucken. Awer fir Videoiwwerwaachungssystemer kann d'Verzögerung beim Iwwerdroen vu Videomaterial ganz wichteg sinn.

Wann Dir e Büro kuckt, wou d'Mataarbechter eemol d'Stonn vun hire Monitore kucken, dann ass eng Verzögerung vu 5 Sekonnen guer net wichteg. Awer d'Leit hunn ugefaang ze beschwéieren datt se zum Beispill beim Iwwerdroen vun engem Fussballmatch schonn GOOOOL am Chat geschriwwen hunn, awer dat ass nach net um Video :). Mir hu schonn eng Rei vu Benotzerfäll wou Ivideon Skype praktesch sollt ersetzen.

Ass et méiglech Latenz an HLS ze schloen? D'Äntwert op dës Fro kléngt wéi d'Ried vun engem erfuerene Ratten-Exterminator bei engem Virtrag fir Ufänger Pestbekämpfungsspezialisten: "Ratten kënnen net ausgeschloss ginn, awer hir Zuele kënnen op e verstännegen Minimum reduzéiert ginn." Selwecht mat der Verspéidung an HLS, et wäert net méiglech sinn et op Null ze reduzéieren, awer et gi Léisungen um Maart déi d'Verspéidung wesentlech reduzéieren.

Schéin Schnëtt

En aneren Nodeel vum Motor ass d'Benotzung vu klenge Dateien fir den Datenübertragung. Et géif schéngen datt wat mat dësem falsch ass?

Jiddereen deen probéiert huet eng grouss Zuel vu klenge Fichier vun engem Medium op en anert ze kopéieren, huet wahrscheinlech gemierkt datt d'Schreifgeschwindegkeet vun esou engem Set vill méi niddereg ass wéi eng grouss Datei vun der selwechter Gréisst. An d'Intensitéit vum Zougang zu der Festplack erhéicht wesentlech, wat allgemeng negativ op d'Performance vum ganze Computer beaflosst. Dofir dréit d'Iwwerdroung vu Videodaten a klenge 10 Sekonne Stécker och zur verstäerkter Motorlatenz bäi.

Loosst eis all d'Virdeeler an Nodeeler vun der HLS Technologie kuerz zesummefaassen.

Virdeeler vun HLS:

1. Fäegkeet fir mat all Apparat ze schaffen. Dir kënnt Videoen op all modernen Apparat kucken, sief et e Smartphone, Tablet, Laptop oder Desktop PC. Den Haapt Saach ass datt de Webbrowser aktuell ass a kompatibel mat HTML5 a Media Source Extensions ass.
2. Exzellent Bildqualitéit. D'adaptiv Datenübertragungsfunktioun benotzt erlaabt Iech dynamesch d'Qualitéit vum iwwerdroenen Video ze änneren ofhängeg vun der Bandbreedung vun der Internetverbindung, während den Algorithmus beméit fir maximal Qualitéit ze halen.
3. Et gëtt kee Besoin fir eng komplex Konfiguratioun vun der Ausrüstung vum Benotzer.

Nodeeler:

1. Limitéiert Ënnerstëtzung fir mam Motor op e puer Apparater ze schaffen.
2. Héich Verspéidungen an der Bildiwwerdroung.
3. Bedeitend Erhéijung vun Overhead a Komplexitéit vun der Optimiséierung wéinst der Benotzung vu klenge Dateien. Wéinst der Natur vum Container kënne mir ni eng latency méi niddereg wéi d'Segmentgréisst kréien.

D'Nodeeler vun HLS waren méi wéi seng Virdeeler fir eis an hunn eis gezwongen no alternativen Optiounen ze sichen.

Wat ass WebRTC

(c)

D'WebRTC Plattform gouf vu Google am Joer 2011 entwéckelt fir Streaming Video an Audiodaten tëscht Browser a mobilen Uwendungen mat minimaler latency ze vermëttelen. Fir dëst gëtt de Standard UDP Protokoll a spezielle Flowkontrollalgorithmen benotzt. Haut ass et en Open Source Projet, et gëtt aktiv vu Google ënnerhal a gëtt entwéckelt.

WebRTC ass eng Rei vun Technologien fir Peer-to-Peer Video an Audio Iwwerdroung. Dat ass, zum Beispill, Benotzer Browser, déi WebRTC benotzen, kënnen Daten direkt uneneen transferéieren, ouni Remote Serveren ze benotzen fir Daten ze späicheren an ze veraarbecht. All Informatioun gëtt och vun den Endbenotzer Browser a mobilen Uwendungen veraarbecht.

D'Komfort an déi ëmfangräich Méiglechkeeten vun dëser Technologie goufe vun den Entwéckler vun alle populäre Browser geschätzt. WebRTC-Ënnerstëtzung ass de Moment a Mozilla Firefox, Opera, Google Chrome (an all Chromium-baséierte Browser), souwéi a mobilen Apps verfügbar. Android an iOS.

Fir all seng zweifelhaft Virdeeler huet WebRTC verschidde bedeitend Nodeeler.

Schwieregkeeten

WebRTC Technologie ass vill méi komplex wat d'Netzwierkinteraktiounen ugeet wéinst der Tatsaach datt et ëm P2P geet. Et ass schwéier ze debuggen, testen a kann onberechenbar behuelen. Zur selwechter Zäit musse mir NAT a Firewall iwwerwannen, mir mussen d'Operatioun an Netzwierker garantéieren, wou UDP blockéiert ass.

Google's WebRTC Implementatioun ass ganz schwéier ze benotzen. Et gëtt souguer eng ganz Firma déi SDK Assemblée Servicer ubitt. Plus, d'Implementatioun vu Google war ganz schwéier mat eisem System z'integréieren ouni de ganze Video nei ze kodéieren.

Wéi och ëmmer, mir wollte laang de Benotzer d'Méiglechkeet ginn mat vollwäertege "Live" Video ze schaffen an d'Laag tëscht dem Bild um Bildschierm an den Eventer selwer ze minimiséieren. Plus, mir haten e Wonsch d'Benotzung vun PTZ Kameraen ze maachen, wou Verspéidungen kritesch sinn, méi komfortabel.

Bedenkt datt aner Anti-Lag Implementatiounen nach ëmmer limitéiert Funktionalitéit hunn a bemierkenswäert méi schlecht funktionnéieren, hu mir decidéiert WebRTC ze benotzen.

Wat hu mir gemaach

Richteg Ëmsetzung vun der WebRTC Plattform ass keng einfach Aufgab. All falsch Berechnung oder Ongenauegkeet kann zu Verspéidungen an der Videoiwwerdroung féieren, net nëmmen net erofgoen am Verglach mat anere Plattformen, mee souguer eropgoen.

Fir WebRTC richteg ze schaffen, éischtens ass et néideg eng technologesch Upgrade vum Stack ze maachen fir mat Webvideo ze schaffen. Dat ass wat mir gemaach hunn.

Als éischt hu mir e WebRTC Signaléierungsprotokollserver iwwer Websocket implementéiert, an och e WebRTC Peer Server an der Wollek ofgebaut baséiert op der webrtc.org SDK. Seng Aufgab ass Video Streams op Client WebRTC Peer am H.264 + Opus/G.711 Format ouni Video Transcodéierung ze verdeelen.

Mir hunn Websocket als Signaliséierungsprotokoll gewielt well et scho qualitativ héichwäerteg Ënnerstëtzung an all populäre Webbrowser huet. Dofir kënnt Dir net nëmmen Entwécklungsoverhead wesentlech reduzéieren, awer och vermeiden Zäit a Ressourcen op widderholl TCP an TLS Handshake am Verglach zum AJAX ze verschwenden.

D'Tatsaach ass datt, Par défaut, WebRTC net de Signaléierungsprotokoll ubitt, deen néideg ass fir richteg ze konfiguréieren, z'erhalen an d'Echtzäit Videokommunikatioun tëscht der Quell an dem Client Uwendungen ofzeschléissen.

A fir onofhängeg Signaliséierungstechnologie ëmzesetzen, brauche mir eisen eegene Signalserver mat Ënnerstëtzung fir verschidde Webprotokollen (Websocet, WebRTC) z'entwéckelen. A mat der Fäegkeet fir Sessiounen an Notifikatiounen an Echtzäit sécher ze managen, Videomanagement a vill méi.

Mir hunn d'Aschränkungen vu P2P iwwerwonne andeems d'Latenz net duerch P2P reduzéiert gëtt, awer duerch UDP a Flowkontrolle fir d'Latenz ze reduzéieren. Dëst ass och a WebRTC agebaut, well den Haaptgebrauchsfall p2p Gespréicher iwwer e Browser ass.

Am mobilen Client hu mir de Spiller mat der webrtc.org SDK implementéiert, well nëmmen et korrekt Flowkontroll implementéiert, huet all déi bekannt Forward Error Correction (FEC) Schemaen, a korrekt implementéiert de Mechanismus fir Päckchen fir all Browser nei ze schécken. Et ass och wichteg datt d'webrtc.org SDK aktiv vu Google entwéckelt gëtt.

Wat ass d'Resultat vun der Ëmsetzung vun WebRTC?

Fir Live Video vu Kameraen ze gesinn, hu mir en neien optimiséierte Spiller baséiert op WebRTC op Äre perséinleche Kont bäigefüügt. Et bitt séier Video Luede Geschwindegkeet an eliminéiert komplett de Problem vun der latency akkumuléiert wéi d'Sichtzäit eropgeet.

No der Aféierung vun WebRTC Support am Ivideon Cloud Service, kënne mir mat voller Vertraue soen datt eis Clienten elo vollwäerteg Live Video kucken. Elo ass d'Verspéidung bei der Sendung vu Videosequenzen net méi wéi eng Sekonn! Zum Verglach huet de fréiere HLS-Motor Video-Liwwerung mat enger Verzögerung vu 5-7 Sekonnen geliwwert. Den Ënnerscheed an der Videodemonstratiounsgeschwindegkeet ass ganz bedeitend, an de Benotzer mierkt et direkt nodeems Dir ugefaang mat eisem Videoservice ze schaffen.

Wéi mir erwaart hunn, huet d'Ëmsetzung vum neie Spiller d'Reaktiounsfäegkeet vu PTZ a Stëmmkommunikatioun mat der Kamera verbessert.

Et gëtt nëmmen ee subtile Punkt, op dee mir opmierksam wëllen opmierksam maachen. Den neie WebRTC Player funktionnéiert am Moment am Testmodus. An dofir aktivéiere mir et als Standard net fir all eise Clienten. Awer Dir kënnt et selwer aktivéieren andeems Dir de entspriechende Element an de Kameraastellungen aktivéiert (fir dëst ze maachen, gitt op perséinleche Kont).

Features vun der Ëmsetzung vu WebRTC am Ivideon Service

WebRTC ass nach ëmmer eng experimentell Technologie am Moment. Seng Ënnerstëtzung ass nach net korrekt an all Browser a Benotzergeräter ëmgesat, an och net an all Kameraen.

Genee dofir hu mir de WebRTC Player nach net als Standard fir all Benotzer gemaach.

Fir de Moment recommandéiere mir WebRTC nëmmen a Google Chrome Browser ze benotzen. Déi lescht Versioune vu Firefox a Safari ënnerstëtzen och dës Technologie, awer leider ass se nach ëmmer onbestänneg.

Mir hunn nach net WebRTC Support fir Browser op mobilen Apparater implementéiert. De Moment, wann Dir Iech vun engem mobilen Apparat aloggen an WebRTC aktivéiert, funktionnéiert dëse Modus net. Wéi och ëmmer, WebRTC ass verfügbar an eise mobilen Uwendungen fir Android и iOS.

A schlussendlech d'Geschicht iwwer d'Features vun der WebRTC Implementatioun an eisem Service ofschléissen, loosst eis zwee méi subtile Punkten notéieren.

Als éischt ass d'Technologie fokusséiert op Live Video an Echtzäit ze iwwerdroen. Dofir, wann Äre Kanal net genuch Bandbreedung huet fir de Video ze vermëttelen, bemierkt Dir Frame Drops (mat HLS mierkt Dir Video Fading a verstäerkte Latenz, awer et gëtt keng Frame Drops), awer de Video gëtt nach ëmmer an real iwwerdroen Zäit.

Zweetens, well d'Technologie entwéckelt ass fir speziell mat Live Video an Echtzäit ze schaffen, benotze mir se net fir mat archivéierten Videodaten ze schaffen.

Aner Ännerungen am Service

Zu dëser Zäit ass Flash net méi am automatesche Motorauswielmechanismus involvéiert. Dir kënnt nach ëmmer sou e Spiller benotzen, awer fir dëst ze maachen, musst Dir se manuell an de Kont oder Kamera-Astellungen auswielen. Dëst ass keen Hommage un d'Moud, et ass just datt laut Statistike vun eisem Service praktesch keng Benotzer mat Flash schaffen. A probéiert ze bestëmmen ob de Browser de Benotzer et ënnerstëtzt, verléiere mir ongeféier 2 Sekonnen wäertvoll Zäit.

Hei ass e kuerzen Iwwerbléck iwwer d'Ännerungen déi op Iech waarden an eisem Cloud Video Iwwerwaachungssystem a perséinleche Kont. Bleift bei eis a befollegt d'Neiegkeeten!

Source: will.com