WebRTC et vidéosurveillance : comment nous avons vaincu la latence vidéo des caméras

Dès les premiers jours de travail sur un système de vidéosurveillance cloud, nous avons été confrontés à un problème, sans solution auquel nous pouvions abandonner Ivideon - c'était notre Everest, une ascension qui demandait beaucoup d'énergie, mais maintenant nous avons enfin collé un piolet dans le haut du puzzle multiplateforme.

Le système de transmission audio et vidéo sur Internet ne doit pas dépendre de l'équipement, des clients Web et des normes qu'ils prennent en charge, et également fonctionner correctement en présence de traducteurs d'adresses réseau et de pare-feu. Un utilisateur de vidéosurveillance cloud souhaite accéder au service, même s'il utilise des caméras analogiques, et préfère regarder la diffusion vidéo en direct sur l'appareil le plus moderne.

Il est très important que l'utilisateur souhaite regarder des vidéos dans un délai minimal. Presque le seul moyen d'afficher une vidéo avec une faible latence dans un navigateur est d'utiliser WebRTC (communications Web en temps réel). WebRTC est un ensemble de technologies de transmission peer-to-peer de vidéo et d'audio dans les navigateurs, initialement conçues pour la transmission et la lecture de flux vidéo à faible latence. À cette fin, le protocole UDP est utilisé entre autres.

Avant de vous expliquer ce que le nouveau moteur apporte à l'utilisateur, nous vous rappellerons pourquoi et pourquoi nous soutenons les technologies HLS, et pourquoi nous avons décidé d'aller de l'avant.

Moteur HLS : avantages et inconvénients

(c)

La technologie HLS (HTTP Live Streaming) a été développée par Apple ; il n’est donc pas surprenant qu’elle ait d’abord été prise en charge par les appareils Apple. Aujourd’hui, la vidéo HLS est également compatible avec la quasi-totalité des décodeurs et de nombreux appareils fonctionnant sous ce système d’exploitation. Android.

Le moteur HLS utilise le codec vidéo bien connu H264 en combinaison avec des flux audio AAC ou MP3 pour diffuser des données vidéo. L'intégralité du flux de données audio et vidéo est conditionnée dans un conteneur de transport MPEG-TS. Pour la transmission via le protocole HTTP, les informations contenues dans le flux sont divisées en fragments décrits dans les playlists m3u8. Et alors seulement, ces fragments, ainsi que les listes de lecture, sont transmis via HTTP. Le regroupement signifie automatiquement un délai en secondes. Il s'agit d'une fonctionnalité du conteneur MPEG-TS.

Le moteur HLS prend également en charge les flux multibitrates, Live/VOD.

Principaux avantages du HLS :

• prise en charge intégrée dans tous les principaux navigateurs ;
• facilité de mise en œuvre (par rapport à WebRTC) ;
• Il est très pratique et efficace d'organiser toutes sortes de diffusions auprès d'un large public car les segments peuvent être téléchargés une seule fois sur un CDN.

Malgré la simplicité du moteur, tout n’est pas aussi fluide qu’il y paraît. Le principal problème est que les développeurs de lecteurs tiers se sont éloignés des recommandations d'Apple, par exemple en termes de formats audio pris en charge. En particulier, de nombreux développeurs ont commencé à ajouter la possibilité de travailler avec des flux audio populaires : vidéo mpeg2, audio mpeg2, etc. En conséquence, ils ont dû créer différents formats de playlist pour différents lecteurs.

Mais l’un des plus gros problèmes du moteur HLS est la latence élevée du transfert de données.

Les origines des « freins »

La principale raison de la latence élevée de HLS réside dans le fait que les programmeurs ont créé le moteur pour obtenir des images de la plus haute qualité. Par conséquent, les paramètres d'intervalle de trame utilisés et la taille du tampon de lecture ne sont tout simplement pas adaptés aux diffusions vidéo en direct. De ce fait, il existe un délai assez élevé dans la transmission des séquences vidéo, qui peut aller de 5 à 7 secondes.

D'une part, ce n'est pas grand-chose, par exemple, pour ceux qui regardent un film depuis un serveur d'hébergement vidéo. Mais pour les systèmes de vidéosurveillance, le délai de transmission des images vidéo peut être très important.

Si vous regardez un bureau où les employés lèvent les yeux sur leur écran une fois par heure, un délai de 5 secondes n'a aucune importance. Mais les gens ont commencé à se plaindre du fait que, par exemple, lors de la diffusion d'un match de football, ils avaient déjà écrit GOOOOL dans le chat, mais ce n'est pas encore sur la vidéo :). Nous avons déjà un certain nombre de cas d'utilisateurs dans lesquels Ivideon devrait pratiquement remplacer Skype.

Est-il possible de battre la latence en HLS ? La réponse à cette question ressemble au discours d'un exterminateur de rats expérimenté lors d'une conférence devant des spécialistes débutants en lutte antiparasitaire : « Les rats ne peuvent pas être exterminés, mais leur nombre peut être réduit à un minimum raisonnable. » Pareil avec le retard du HLS, il ne sera pas possible de le réduire à zéro, mais il existe des solutions sur le marché qui permettent de réduire considérablement le retard.

Coupes fines

Un autre inconvénient du moteur est l'utilisation de petits fichiers pour le transfert de données. Il semblerait qu'est-ce qui ne va pas avec ça ?

Quiconque a essayé de copier un grand nombre de petits fichiers d'un support à un autre a probablement remarqué que la vitesse d'écriture d'un tel ensemble est bien inférieure à celle d'un gros fichier de même taille. Et l'intensité de l'accès au disque dur augmente considérablement, ce qui affecte généralement négativement les performances de l'ensemble de l'ordinateur. Par conséquent, la transmission de données vidéo par petits segments de 10 secondes contribue également à augmenter la latence du moteur.

Résumons brièvement tous les avantages et inconvénients de la technologie HLS.

Avantages du HLS :

1. Capacité à travailler avec n’importe quel appareil. Vous pouvez regarder des vidéos sur n’importe quel appareil moderne, qu’il s’agisse d’un smartphone, d’une tablette, d’un ordinateur portable ou d’un ordinateur de bureau. L'essentiel est que le navigateur Web soit à jour et compatible avec HTML5 et Media Source Extensions.
2. Excellente qualité d'image. La fonction de transmission de données adaptative utilisée vous permet de modifier dynamiquement la qualité de la vidéo transmise en fonction de la bande passante de la connexion Internet, tandis que l'algorithme s'efforce de maintenir une qualité maximale.
3. Il n'est pas nécessaire de procéder à une configuration complexe de l'équipement de l'utilisateur.

Inconvénients:

1. Prise en charge limitée de l'utilisation du moteur sur certains appareils.
2. Retards élevés dans la transmission des images.
3. Augmentation significative des frais généraux et de la complexité de l'optimisation en raison de l'utilisation de petits fichiers. En raison de la nature du conteneur, nous ne pourrons jamais obtenir une latence inférieure à la taille du segment.

Les inconvénients du HLS ont pour nous dépassé ses avantages et nous ont obligés à rechercher des options alternatives.

Qu'est-ce que WebRTC

(c)

La plateforme WebRTC a été développée par Google en 2011 pour transmettre des données vidéo et audio en streaming entre les navigateurs et les applications mobiles avec une latence minimale. Pour cela, le protocole UDP standard et des algorithmes spéciaux de contrôle de flux sont utilisés. Il s'agit aujourd'hui d'un projet open source, activement maintenu par Google et en cours de développement.

WebRTC est un ensemble de technologies pour la transmission vidéo et audio peer-to-peer. Autrement dit, les navigateurs des utilisateurs utilisant WebRTC peuvent se transférer des données directement, sans utiliser de serveurs distants pour stocker et traiter les données. Toutes les informations sont également traitées par les navigateurs et les applications mobiles des utilisateurs finaux.

La simplicité d'utilisation et les nombreuses fonctionnalités de cette technologie ont été appréciées par les développeurs de tous les navigateurs populaires. La prise en charge de WebRTC est actuellement disponible dans Mozilla Firefox, Opera, Google Chrome (et tous les navigateurs basés sur Chromium), ainsi que dans les applications mobiles qui l'exécutent. Android et iOS.

Malgré tous ses avantages incontestables, WebRTC présente plusieurs inconvénients importants.

Difficultés dans le choix

La technologie WebRTC est beaucoup plus complexe en termes d'interactions réseau car il s'agit de P2P. Il est difficile à déboguer, à tester et peut se comporter de manière imprévisible. Dans le même temps, nous devons surmonter le NAT et le pare-feu, nous devons garantir le fonctionnement dans les réseaux où UDP est bloqué.

L'implémentation WebRTC de Google est très difficile à utiliser. Il existe même une entreprise entière qui fournit des services d’assemblage de SDK. De plus, la mise en œuvre de Google était très difficile à intégrer à notre système sans réencoder l’intégralité de la vidéo.

Cependant, nous souhaitons depuis longtemps donner aux utilisateurs la possibilité de travailler avec une vidéo « en direct » à part entière et de minimiser le décalage entre l'image à l'écran et les événements eux-mêmes. De plus, nous souhaitions rendre plus confortable l’utilisation des caméras PTZ, là où les retards sont critiques.

Considérant que d'autres implémentations anti-lag ont encore des fonctionnalités limitées et fonctionnent nettement moins bien, nous avons décidé d'utiliser WebRTC.

Qu'avons-nous fait

Mettre en œuvre correctement la plateforme WebRTC n'est pas une tâche facile. Toute erreur de calcul ou inexactitude peut entraîner des retards dans la transmission vidéo non seulement qui ne diminuent pas par rapport à d'autres plates-formes, mais qui augmentent même.

Pour que WebRTC fonctionne correctement, il est tout d'abord nécessaire d'effectuer une mise à niveau technologique de la pile pour travailler avec la vidéo Web. C'est ce que nous avons fait.

Tout d'abord, nous avons implémenté un serveur de protocole de signalisation WebRTC sur Websocket, et avons également déployé un serveur homologue WebRTC dans le cloud basé sur le SDK webrtc.org. Sa tâche est de distribuer des flux vidéo aux homologues clients WebRTC au format H.264 + Opus/G.711 sans transcodage vidéo.

Nous avons choisi Websocket comme protocole de signalisation car il bénéficie déjà d'un support de haute qualité dans tous les navigateurs Web populaires. De ce fait, vous pouvez non seulement réduire considérablement les frais de développement, mais également éviter de perdre du temps et des ressources dans des négociations TCP et TLS répétées par rapport à AJAX.

Le fait est que, par défaut, WebRTC ne fournit pas le protocole de signalisation nécessaire pour configurer, maintenir et terminer correctement la communication vidéo en temps réel entre les applications source et client.

Et afin de mettre en œuvre de manière indépendante la technologie de signalisation, nous devions développer notre propre serveur de signalisation prenant en charge plusieurs protocoles Web (Websocet, WebRTC). Et avec la possibilité de gérer en toute sécurité les sessions et les notifications en temps réel, la gestion vidéo et bien plus encore.

Nous avons surmonté les limites du P2P en réduisant la latence non pas via le P2P, mais via UDP et le contrôle de flux pour réduire la latence. Ceci est également intégré à WebRTC, puisque le principal cas d'utilisation est celui des conversations p2p via un navigateur.

Dans le client mobile, nous avons implémenté le lecteur à l'aide du SDK webrtc.org, car lui seul implémente correctement le contrôle de flux, possède tous les schémas de correction d'erreur directe (FEC) connus et implémente correctement le mécanisme de renvoi des paquets pour tous les navigateurs. Il est également important que le SDK webrtc.org soit activement développé par Google.

Quel est le résultat de la mise en œuvre de WebRTC ?

Pour visualiser la vidéo en direct des caméras, nous avons ajouté un nouveau lecteur optimisé basé sur WebRTC à votre compte personnel. Il offre des vitesses de chargement vidéo rapides et élimine complètement le problème de latence accumulée à mesure que la durée de visionnage augmente.

Après avoir introduit le support WebRTC dans le service cloud Ivideon, nous pouvons affirmer en toute confiance que nos clients peuvent désormais regarder des vidéos en direct à part entière. Désormais le délai de diffusion des séquences vidéo ne dépasse pas la seconde ! À titre de comparaison, le moteur HLS précédent assurait la diffusion vidéo avec un délai de 5 à 7 secondes. La différence dans la vitesse de démonstration vidéo est très significative et l'utilisateur la remarquera immédiatement après avoir commencé à travailler avec notre service vidéo.

Comme prévu, la mise en œuvre du nouveau player a amélioré la réactivité du PTZ et la communication vocale avec la caméra.

Il n’y a qu’un seul point subtil sur lequel nous souhaitons attirer l’attention. Le nouveau player WebRTC fonctionne actuellement en mode test. Et c'est pourquoi nous ne l'activons pas par défaut pour tous nos clients. Mais vous pouvez l'activer vous-même en activant l'élément correspondant dans les paramètres de l'appareil photo (pour cela, rendez-vous sur bureau privé).

Caractéristiques de l'implémentation de WebRTC dans le service Ivideon

WebRTC est encore une technologie expérimentale pour le moment. Sa prise en charge n'est pas encore correctement implémentée dans tous les navigateurs et appareils des utilisateurs, ni dans toutes les caméras.

C'est précisément pourquoi nous n'avons pas encore fait du lecteur WebRTC le lecteur par défaut pour tous les utilisateurs.

Pour l'instant, nous recommandons d'utiliser WebRTC uniquement dans les navigateurs Google Chrome. Les dernières versions de Firefox et Safari prennent également en charge cette technologie, mais malheureusement elle reste encore instable.

Nous n'avons pas encore implémenté la prise en charge WebRTC pour les navigateurs sur les appareils mobiles. Actuellement, si vous vous connectez depuis un appareil mobile et activez WebRTC, ce mode ne fonctionnera pas. Cependant, WebRTC est disponible dans nos applications mobiles pour Android и iOS.

Et pour conclure l'histoire sur les fonctionnalités de l'implémentation WebRTC dans notre service, notons deux points plus subtils.

Premièrement, la technologie est axée sur la diffusion de vidéos en direct et en temps réel. Par conséquent, si votre chaîne ne dispose pas de suffisamment de bande passante pour transmettre la vidéo, vous remarquerez des chutes d'images (avec HLS, vous remarquerez une décoloration vidéo et une latence accrue, mais il n'y aura pas de chutes d'images), mais la vidéo sera toujours diffusée en temps réel. temps.

Deuxièmement, puisque la technologie est conçue pour fonctionner spécifiquement avec la vidéo en direct en temps réel, nous ne l'utilisons pas pour travailler avec des données vidéo archivées.

Autres changements apportés au service

Pour le moment, Flash n'est plus impliqué dans le mécanisme de sélection automatique du moteur. Vous pouvez toujours utiliser un tel lecteur, mais pour ce faire, vous devez le sélectionner manuellement dans les paramètres du compte ou de l'appareil photo. Ce n'est pas un hommage à la mode, c'est juste que selon les statistiques de notre service, il n'y a pratiquement plus d'utilisateurs travaillant avec Flash. Et en essayant de déterminer si le navigateur de l’utilisateur le prend en charge, nous perdons environ 2 secondes d’un temps précieux.

Voici un bref aperçu des changements qui vous attendent dans notre système de vidéosurveillance cloud et votre compte personnel. Restez avec nous et suivez l'actualité !

Source: habr.com