WebRTC आणि व्हिडिओ पाळत ठेवणे: आम्ही कॅमेर्‍यांमधून व्हिडिओ लेटन्सीला कसे पराभूत केले

क्लाउड व्हिडिओ पाळत ठेवण्याच्या प्रणालीवर काम केल्याच्या पहिल्या दिवसांपासून, आम्हाला एका समस्येचा सामना करावा लागला, ज्याच्या निराकरणाशिवाय आम्ही इव्हिडॉनला सोडू शकलो - हे आमचे एव्हरेस्ट होते, चढाईसाठी खूप ऊर्जा लागली, परंतु आता आम्ही शेवटी आहोत. क्रॉस-प्लॅटफॉर्म पझलच्या शीर्षस्थानी बर्फाची कुर्हाड अडकली.

इंटरनेटवर ऑडिओ आणि व्हिडिओ प्रसारित करण्याची प्रणाली उपकरणे, वेब क्लायंट आणि ते समर्थन करत असलेल्या मानकांवर अवलंबून नसावी आणि नेटवर्क अॅड्रेस ट्रान्सलेटर आणि फायरवॉलच्या उपस्थितीत देखील योग्यरित्या कार्य करते. क्लाउड व्हिडिओ पाळत ठेवणाऱ्या वापरकर्त्याला सेवेमध्ये प्रवेश करायचा आहे, जरी तो अॅनालॉग कॅमेरे वापरत असला, आणि सर्वात आधुनिक डिव्हाइसवर थेट व्हिडिओ प्रसारण पाहण्यास प्राधान्य देतो.

हे अतिशय लक्षणीय आहे की वापरकर्त्याला कमीतकमी विलंबाने व्हिडिओ पहायचे आहेत. ब्राउझरमध्ये कमी विलंब असलेले व्हिडिओ दाखवण्याचा जवळजवळ एकमेव मार्ग म्हणजे WebRTC (वेब ​​रिअल-टाइम कम्युनिकेशन्स) वापरणे. WebRTC हा ब्राउझरमध्ये व्हिडिओ आणि ऑडिओच्या पीअर-टू-पीअर ट्रान्समिशनसाठी तंत्रज्ञानाचा एक संच आहे, सुरुवातीला कमी लेटन्सीसह व्हिडिओ प्रवाहांच्या प्रसारणासाठी आणि प्लेबॅकसाठी डिझाइन केलेले आहे. या उद्देशासाठी, इतर गोष्टींबरोबरच, UDP प्रोटोकॉल वापरला जातो.

नवीन इंजिन वापरकर्त्याला काय देते हे आम्ही तुम्हाला सांगण्यापूर्वी, आम्ही तुम्हाला HLS तंत्रज्ञान का आणि का समर्थन देतो आणि आम्ही पुढे जाण्याचा निर्णय का घेतो याची आठवण करून देऊ.

HLS इंजिन: साधक आणि बाधक

(c)

एचएलएस (एचटीटीपी लाइव्ह स्ट्रीमिंग) तंत्रज्ञान ऍपलने विकसित केले होते, त्यामुळे ते सर्वप्रथम ऍपल उपकरणांवर समर्थित होते यात आश्चर्य नाही. आज, एचएलएस व्हिडिओ जवळजवळ सर्व सेट-टॉप बॉक्सेस आणि ओएसवर चालणाऱ्या अनेक उपकरणांद्वारे देखील समर्थित आहे. Android.

HLS इंजिन व्हिडिओ डेटा प्रवाहित करण्यासाठी AAC किंवा MP264 ऑडिओ स्ट्रीमसह सुप्रसिद्ध H3 व्हिडिओ कोडेक वापरते. संपूर्ण ऑडिओ आणि व्हिडिओ डेटा प्रवाह MPEG-TS वाहतूक कंटेनरमध्ये पॅक केला जातो. HTTP प्रोटोकॉलद्वारे प्रसारित करण्यासाठी, प्रवाहात असलेली माहिती m3u8 प्लेलिस्टमध्ये वर्णन केलेल्या तुकड्यांमध्ये विभागली जाते. आणि त्यानंतरच हे तुकडे, प्लेलिस्टसह, HTTP द्वारे प्रसारित केले जातात. आपोआप चंकिंग म्हणजे सेकंदात विलंब. हे MPEG-TS कंटेनरचे वैशिष्ट्य आहे.

HLS इंजिन मल्टीबिट्रेट प्रवाह, Live/VOD ला देखील समर्थन देते.

HLS चे मुख्य फायदे:

• सर्व प्रमुख ब्राउझरमध्ये अंगभूत समर्थन;
• अंमलबजावणीची सुलभता (WebRTC च्या तुलनेत);
• CDN वर सेगमेंट एकदा अपलोड केले जाऊ शकतात या वस्तुस्थितीमुळे मोठ्या प्रेक्षकांसाठी सर्व प्रकारचे प्रसारण आयोजित करणे खूप सोयीस्कर आणि कार्यक्षम आहे.

इंजिनची साधेपणा असूनही, सर्वकाही दिसते तितके गुळगुळीत नाही. मुख्य समस्या अशी आहे की तृतीय-पक्ष प्लेयर डेव्हलपर ऍपलच्या शिफारशींपासून दूर गेले आहेत, उदाहरणार्थ समर्थित ऑडिओ फॉरमॅटच्या बाबतीत. विशेषतः, अनेक विकासक लोकप्रिय ऑडिओ प्रवाहांसह कार्य करण्याची क्षमता जोडू लागले: mpeg2 व्हिडिओ, mpeg2 ऑडिओ, इ. परिणामी, त्यांना वेगवेगळ्या प्लेलिस्टसाठी भिन्न प्लेलिस्ट स्वरूप तयार करावे लागले.

परंतु एचएलएस इंजिनमधील सर्वात मोठी समस्या म्हणजे डेटा ट्रान्सफरमधील उच्च विलंब.

"ब्रेक" ची उत्पत्ती

एचएलएसच्या उच्च विलंबाचे मुख्य कारण हे आहे की प्रोग्रामरने उच्च दर्जाच्या प्रतिमा मिळविण्यासाठी इंजिन तयार केले आहे. म्हणून, वापरलेल्या फ्रेम इंटरव्हलचे पॅरामीटर्स आणि प्लेबॅक बफरचा आकार थेट व्हिडिओ प्रसारणासाठी योग्य नाही. या कारणास्तव, व्हिडिओ फुटेजच्या प्रसारणात बराच विलंब होतो, जो 5-7 सेकंद असू शकतो.

एकीकडे, हे जास्त नाही, उदाहरणार्थ, जे व्हिडिओ होस्टिंग सर्व्हरवरून चित्रपट पाहतात त्यांच्यासाठी. परंतु व्हिडिओ पाळत ठेवणे प्रणालीसाठी, व्हिडिओ फुटेज प्रसारित करण्यात होणारा विलंब खूप महत्त्वाचा असू शकतो.

जर तुम्ही एखादे कार्यालय पाहत असाल जिथे कर्मचारी तासातून एकदा त्यांच्या मॉनिटर्सवरून वर पाहतात, तर 5 सेकंदांचा विलंब अजिबात फरक पडत नाही. परंतु लोक तक्रार करू लागले की, उदाहरणार्थ, फुटबॉल सामना प्रसारित करताना, त्यांनी आधीच चॅटमध्ये GOOOOL लिहिले, परंतु हे अद्याप व्हिडिओवर नाही :). आमच्याकडे आधीपासूनच अनेक वापरकर्ता प्रकरणे आहेत जिथे आयव्हिडॉनने स्काईपला व्यावहारिकरित्या बदलले पाहिजे.

एचएलएसमध्ये विलंब कमी करणे शक्य आहे का? या प्रश्नाचे उत्तर अनुभवी उंदीर संहारकाच्या भाषणात नवशिक्या कीटक नियंत्रण तज्ञांच्या भाषणासारखे वाटते: "उंदरांचा नाश केला जाऊ शकत नाही, परंतु त्यांची संख्या वाजवी किमान कमी केली जाऊ शकते." HLS मधील विलंबाप्रमाणेच, ते शून्यावर कमी करणे शक्य होणार नाही, परंतु बाजारात असे उपाय आहेत जे विलंब लक्षणीयरीत्या कमी करू शकतात.

बारीक कट

इंजिनचा आणखी एक तोटा म्हणजे डेटा ट्रान्सफरसाठी लहान फाइल्सचा वापर. असे वाटेल की यात गैर काय आहे?

ज्याने मोठ्या संख्येने लहान फाईल्स एका माध्यमातून दुस-या माध्यमात कॉपी करण्याचा प्रयत्न केला असेल त्याच्या लक्षात आले असेल की अशा संचाची लेखन गती समान आकाराच्या एका मोठ्या फाइलपेक्षा खूपच कमी आहे. आणि हार्ड ड्राइव्हच्या प्रवेशाची तीव्रता लक्षणीय वाढते, जी सामान्यतः संपूर्ण संगणकाच्या कार्यक्षमतेवर नकारात्मक परिणाम करते. म्हणून, 10 सेकंदाच्या छोट्या भागांमध्ये व्हिडिओ डेटा प्रसारित करणे देखील इंजिनच्या विलंबतेमध्ये वाढ करण्यास योगदान देते.

चला HLS तंत्रज्ञानाच्या सर्व साधक आणि बाधकांचा थोडक्यात सारांश घेऊ या.

HLS चे फायदे:

1. कोणत्याही उपकरणासह कार्य करण्याची क्षमता. तुम्ही स्मार्टफोन, टॅबलेट, लॅपटॉप किंवा डेस्कटॉप पीसी कोणत्याही आधुनिक डिव्हाइसवर व्हिडिओ पाहू शकता. मुख्य गोष्ट अशी आहे की वेब ब्राउझर अद्ययावत आहे आणि HTML5 आणि मीडिया स्त्रोत विस्तारांशी सुसंगत आहे.
2. उत्कृष्ट प्रतिमा गुणवत्ता. वापरलेले अ‍ॅडॉप्टिव्ह डेटा ट्रान्समिशन फंक्शन तुम्हाला इंटरनेट कनेक्शनच्या बँडविड्थवर अवलंबून प्रसारित व्हिडिओची गुणवत्ता बदलू देते, तर अल्गोरिदम जास्तीत जास्त गुणवत्ता राखण्याचा प्रयत्न करते.
3. वापरकर्त्याच्या उपकरणाच्या जटिल कॉन्फिगरेशनची आवश्यकता नाही.

तोटे:

1. काही उपकरणांवर इंजिनसह कार्य करण्यासाठी मर्यादित समर्थन.
2. इमेज ट्रान्समिशनमध्ये उच्च विलंब.
3. लहान फाइल्सच्या वापरामुळे ओव्हरहेडमध्ये लक्षणीय वाढ आणि ऑप्टिमायझेशनची जटिलता. कंटेनरच्या स्वरूपामुळे, आम्ही खंड आकारापेक्षा कमी विलंब प्राप्त करू शकणार नाही.

HLS चे तोटे आमच्यासाठी त्याच्या फायद्यांपेक्षा जास्त आहेत आणि आम्हाला पर्यायी पर्याय शोधण्यास भाग पाडले.

WebRTC म्हणजे काय

(c)

वेबआरटीसी प्लॅटफॉर्म Google ने 2011 मध्ये ब्राउझर आणि मोबाइल अॅप्लिकेशन्समध्ये कमीत कमी लेटन्सीसह स्ट्रीमिंग व्हिडिओ आणि ऑडिओ डेटा प्रसारित करण्यासाठी विकसित केले होते. यासाठी, मानक UDP प्रोटोकॉल आणि विशेष प्रवाह नियंत्रण अल्गोरिदम वापरले जातात. आज हा एक मुक्त स्त्रोत प्रकल्प आहे, तो Google द्वारे सक्रियपणे देखभाल केला जातो आणि विकसित केला जात आहे.

WebRTC हा पीअर-टू-पीअर व्हिडिओ आणि ऑडिओ ट्रान्समिशनसाठी तंत्रज्ञानाचा एक संच आहे. म्हणजेच, उदाहरणार्थ, वेबआरटीसी वापरणारे वापरकर्ता ब्राउझर डेटा संचयित आणि प्रक्रिया करण्यासाठी रिमोट सर्व्हर न वापरता थेट एकमेकांना डेटा हस्तांतरित करू शकतात. सर्व माहितीवर अंतिम वापरकर्त्यांच्या ब्राउझर आणि मोबाइल अनुप्रयोगांद्वारे देखील प्रक्रिया केली जाते.

या तंत्रज्ञानाची सोय आणि व्यापक क्षमता सर्व लोकप्रिय ब्राउझरच्या विकासकांनी पसंत केली आहे. वेबआरटीसी (WebRTC) सपोर्ट सध्या मोझिला फायरफॉक्स, ऑपेरा, गूगल क्रोम (आणि सर्व क्रोमियम-आधारित ब्राउझर), तसेच मोबाइल ॲप्समध्ये उपलब्ध आहे. Android आणि आयओएस.

त्याच्या सर्व निःसंशय फायद्यांसाठी, WebRTC चे अनेक महत्त्वपूर्ण तोटे आहेत.

निवडीची अडचण

WebRTC तंत्रज्ञान हे P2P बद्दल असल्याच्या कारणास्तव नेटवर्क परस्परसंवादाच्या दृष्टीने अधिक क्लिष्ट आहे. डीबग करणे, चाचणी करणे आणि अप्रत्याशितपणे वागणे कठीण आहे. त्याच वेळी, आम्हाला NAT आणि फायरवॉलवर मात करण्याची आवश्यकता आहे, आम्हाला UDP अवरोधित केलेल्या नेटवर्कमध्ये ऑपरेशन सुनिश्चित करण्याची आवश्यकता आहे.

Google चे WebRTC अंमलबजावणी वापरणे खूप कठीण आहे. एक संपूर्ण कंपनी आहे जी SDK असेंब्ली सेवा प्रदान करते. तसेच, संपूर्ण व्हिडिओ पुन्हा एन्कोड केल्याशिवाय आमच्या सिस्टीममध्ये समाकलित करणे Google ची अंमलबजावणी खूप कठीण होती.

तथापि, आम्ही वापरकर्त्यांना पूर्ण विकसित "लाइव्ह" व्हिडिओसह काम करण्याची आणि स्क्रीनवरील प्रतिमा आणि स्वतः घटनांमधील अंतर कमी करण्याची संधी देऊ इच्छितो. शिवाय, आम्हाला PTZ कॅमेरे वापरण्याची इच्छा होती, जिथे विलंब गंभीर आणि अधिक आरामदायक आहे.

इतर अँटी-लॅग अंमलबजावणीमध्ये अजूनही मर्यादित कार्यक्षमता आहे आणि लक्षणीयरीत्या वाईट कार्य करते हे लक्षात घेऊन, आम्ही WebRTC वापरण्याचे ठरवले.

आम्ही काय केले आहे

WebRTC प्लॅटफॉर्मची योग्यरित्या अंमलबजावणी करणे सोपे काम नाही. कोणतीही चुकीची गणना किंवा चुकीमुळे व्हिडिओ ट्रान्समिशनमध्ये होणारा विलंब इतर प्लॅटफॉर्मच्या तुलनेत कमी होत नाही तर वाढतो.

WebRTC योग्यरित्या कार्य करण्यासाठी, सर्वप्रथम, वेब व्हिडिओसह कार्य करण्यासाठी स्टॅकचे तांत्रिक अपग्रेड करणे आवश्यक आहे. आम्ही तेच केले.

प्रथम, आम्ही Websocket वर WebRTC सिग्नलिंग प्रोटोकॉल सर्व्हर लागू केला आणि webrtc.org SDK वर आधारित क्लाउडमध्ये WebRTC पीअर सर्व्हर देखील तैनात केला. व्हिडिओ ट्रान्सकोडिंगशिवाय H.264 + Opus/G.711 फॉरमॅटमध्ये क्लायंट WebRTC सहकाऱ्यांना व्हिडिओ प्रवाह वितरित करणे हे त्याचे कार्य आहे.

आम्ही सिग्नलिंग प्रोटोकॉल म्हणून वेबसॉकेट निवडले कारण सर्व लोकप्रिय वेब ब्राउझरमध्ये त्याला आधीपासूनच उच्च-गुणवत्तेचा सपोर्ट आहे. यामुळे, तुम्ही केवळ डेव्हलपमेंट ओव्हरहेड लक्षणीयरीत्या कमी करू शकता, परंतु AJAX च्या तुलनेत वारंवार TCP आणि TLS हँडशेकवर वेळ आणि संसाधने वाया घालवू शकता.

वस्तुस्थिती अशी आहे की, डीफॉल्टनुसार, WebRTC स्त्रोत आणि क्लायंट ऍप्लिकेशन्समधील रिअल-टाइम व्हिडिओ संप्रेषण योग्यरित्या कॉन्फिगर करण्यासाठी, देखरेख करण्यासाठी आणि समाप्त करण्यासाठी आवश्यक सिग्नलिंग प्रोटोकॉल प्रदान करत नाही.

आणि सिग्नलिंग तंत्रज्ञानाची स्वतंत्रपणे अंमलबजावणी करण्यासाठी, आम्हाला अनेक वेब प्रोटोकॉल (वेबसोसेट, वेबआरटीसी) च्या समर्थनासह आमचे स्वतःचे सिग्नलिंग सर्व्हर विकसित करणे आवश्यक आहे. आणि रिअल टाइममध्ये सत्रे आणि सूचना सुरक्षितपणे व्यवस्थापित करण्याच्या क्षमतेसह, व्हिडिओ व्यवस्थापन आणि बरेच काही.

आम्ही P2P च्या मर्यादा कमी करून P2P द्वारे नव्हे तर UDP आणि प्रवाह नियंत्रणाद्वारे विलंबता कमी करून मात केली. हे WebRTC मध्ये देखील तयार केले आहे, कारण मुख्य वापर-केस म्हणजे ब्राउझरद्वारे p2p संभाषणे.

मोबाइल क्लायंटमध्ये, आम्ही webrtc.org SDK वापरून प्लेअर लागू केला, कारण केवळ ते प्रवाह नियंत्रण योग्यरित्या लागू करते, सर्व ज्ञात फॉरवर्ड एरर करेक्शन (FEC) योजना आहेत आणि सर्व ब्राउझरसाठी पॅकेट्स पुन्हा पाठवण्याची यंत्रणा योग्यरित्या लागू करते. हे देखील महत्त्वाचे आहे की Google द्वारे webrtc.org SDK सक्रियपणे विकसित केले जात आहे.

WebRTC लागू केल्याने काय परिणाम होतो?

कॅमेऱ्यांमधून थेट व्हिडिओ पाहण्यासाठी, आम्ही तुमच्या वैयक्तिक खात्यामध्ये WebRTC वर आधारित एक नवीन ऑप्टिमाइझ केलेला प्लेअर जोडला आहे. हे जलद व्हिडिओ लोडिंग गती प्रदान करते आणि पाहण्याचा वेळ वाढल्याने जमा होण्याच्या विलंबाची समस्या पूर्णपणे काढून टाकते.

Ivideon क्लाउड सेवेमध्ये WebRTC समर्थन सादर केल्यानंतर, आम्ही पूर्ण विश्वासाने म्हणू शकतो की आमचे क्लायंट आता पूर्ण लाइव्ह व्हिडिओ पाहू शकतात. आता व्हिडिओ अनुक्रम प्रसारित करताना विलंब एका सेकंदापेक्षा जास्त नाही! तुलनेसाठी, मागील HLS इंजिनने 5-7 सेकंदांच्या विलंबाने व्हिडिओ वितरण प्रदान केले. व्हिडिओ प्रात्यक्षिक गतीमधील फरक खूप लक्षणीय आहे आणि आमच्या व्हिडिओ सेवेसह कार्य करण्यास सुरुवात केल्यानंतर वापरकर्त्याला ते लगेच लक्षात येईल.

आमच्या अपेक्षेप्रमाणे, नवीन प्लेअरच्या अंमलबजावणीमुळे PTZ ची प्रतिसादक्षमता आणि कॅमेरासह व्हॉइस कम्युनिकेशन सुधारले आहे.

फक्त एक सूक्ष्म मुद्दा आहे ज्याकडे आपण लक्ष वेधू इच्छितो. नवीन WebRTC प्लेअर सध्या चाचणी मोडमध्ये काम करत आहे. आणि म्हणूनच आम्ही ते आमच्या सर्व क्लायंटसाठी डीफॉल्टनुसार सक्षम करत नाही. परंतु तुम्ही कॅमेरा सेटिंग्जमध्ये संबंधित आयटम सक्षम करून ते स्वतः सक्रिय करू शकता (हे करण्यासाठी तुम्हाला येथे जाणे आवश्यक आहे वैयक्तिक खाते).

Ivideon सेवेमध्ये WebRTC च्या अंमलबजावणीची वैशिष्ट्ये

WebRTC अजूनही एक प्रायोगिक तंत्रज्ञान आहे. त्याचे समर्थन अद्याप सर्व ब्राउझर आणि वापरकर्ता उपकरणांमध्ये योग्यरित्या लागू केलेले नाही आणि सर्व कॅमेर्‍यांमध्ये देखील नाही.

यामुळेच आम्ही अद्याप सर्व वापरकर्त्यांसाठी WebRTC प्लेअर डीफॉल्ट बनवलेले नाही.

आत्तासाठी, आम्ही फक्त Google Chrome ब्राउझरमध्ये WebRTC वापरण्याची शिफारस करतो. फायरफॉक्स आणि सफारीच्या नवीनतम आवृत्त्या देखील या तंत्रज्ञानास समर्थन देतात, परंतु, दुर्दैवाने, ते अद्याप अस्थिर आहे.

आम्ही अद्याप मोबाइल डिव्हाइसवर ब्राउझरसाठी WebRTC समर्थन लागू केलेले नाही. सध्या, तुम्ही मोबाइल डिव्हाइसवरून लॉग इन केल्यास आणि WebRTC सक्रिय केल्यास, हा मोड कार्य करणार नाही. तथापि, वेबआरटीसी आमच्या मोबाइल अनुप्रयोगांमध्ये उपलब्ध आहे Android и iOS.

आणि आमच्या सेवेतील WebRTC अंमलबजावणीच्या वैशिष्ट्यांबद्दलच्या कथेचा शेवट करताना, आणखी दोन सूक्ष्म मुद्दे लक्षात घेऊया.

सर्वप्रथम, तंत्रज्ञान रिअल टाइममध्ये थेट व्हिडिओ प्रसारित करण्यावर केंद्रित आहे. त्यामुळे, जर तुमच्या चॅनेलकडे व्हिडिओ प्रसारित करण्यासाठी पुरेशी बँडविड्थ नसेल, तर तुम्हाला फ्रेम ड्रॉप्स दिसतील (HLS सह तुम्हाला व्हिडिओ लुप्त होत असल्याचे आणि वाढलेली लेटन्सी लक्षात येईल, परंतु फ्रेम ड्रॉप्स नसतील), परंतु तरीही व्हिडिओ वास्तविकपणे प्रसारित केला जाईल. वेळ

दुसरे म्हणजे, तंत्रज्ञान रिअल टाइममध्ये थेट व्हिडिओसह कार्य करण्यासाठी डिझाइन केलेले असल्याने, आम्ही संग्रहित व्हिडिओ डेटासह कार्य करण्यासाठी त्याचा वापर करत नाही.

सेवेतील इतर बदल

यावेळी, फ्लॅश यापुढे स्वयंचलित इंजिन निवड यंत्रणेमध्ये सामील नाही. तुम्ही अजूनही असा प्लेअर वापरू शकता, परंतु हे करण्यासाठी तुम्हाला ते खाते किंवा कॅमेरा सेटिंग्जमध्ये व्यक्तिचलितपणे निवडावे लागेल. ही फॅशनला श्रद्धांजली नाही, फक्त आमच्या सेवेच्या आकडेवारीनुसार, फ्लॅशसह कार्य करणारे कोणतेही वापरकर्ते शिल्लक नाहीत. आणि वापरकर्त्याचा ब्राउझर त्यास समर्थन देतो की नाही हे निर्धारित करण्याचा प्रयत्न करत असताना, आम्ही सुमारे 2 सेकंदांचा मौल्यवान वेळ गमावतो.

आमच्या क्लाउड व्हिडिओ पाळत ठेवणे प्रणाली आणि वैयक्तिक खात्यामध्ये तुमची वाट पाहत असलेल्या बदलांचे येथे एक संक्षिप्त विहंगावलोकन आहे. आमच्याबरोबर रहा आणि बातम्यांचे अनुसरण करा!

स्त्रोत: www.habr.com