हमने वीडियो एन्कोडिंग की गति आठ गुना कैसे बढ़ा दी

हर दिन लाखों दर्शक इंटरनेट पर वीडियो देखते हैं। लेकिन वीडियो उपलब्ध होने के लिए, इसे न केवल सर्वर पर अपलोड किया जाना चाहिए, बल्कि संसाधित भी किया जाना चाहिए। यह जितनी तेजी से होगा, सेवा और उसके उपयोगकर्ताओं के लिए उतना ही बेहतर होगा।

मेरा नाम आस्कर कमालोव है, एक साल पहले मैं यांडेक्स वीडियो प्रौद्योगिकी टीम में शामिल हुआ था। आज मैं हैबर पाठकों को संक्षेप में बताऊंगा कि कैसे, एन्कोडिंग प्रक्रिया को समानांतर करके, हम उपयोगकर्ता तक वीडियो की डिलीवरी में उल्लेखनीय तेजी लाने में कामयाब रहे।

यह पोस्ट मुख्य रूप से उन लोगों के लिए रुचिकर होगी जिन्होंने पहले यह नहीं सोचा है कि वीडियो सेवाओं के अंतर्गत क्या होता है। टिप्पणियों में आप प्रश्न पूछ सकते हैं और भविष्य की पोस्ट के लिए विषय सुझा सकते हैं।

कार्य के बारे में ही कुछ शब्द। यांडेक्स न केवल आपको अन्य साइटों पर वीडियो खोजने में मदद करता है, बल्कि अपनी सेवाओं के लिए वीडियो भी संग्रहीत करता है। चाहे वह कोई मूल कार्यक्रम हो या ऑन एयर कोई स्पोर्ट्स मैच, किनोपॉइस्क पर कोई फिल्म या ज़ेन और न्यूज़ पर वीडियो - यह सब हमारे सर्वर पर अपलोड किया जाता है। उपयोगकर्ताओं को वीडियो देखने के लिए, इसे तैयार करने की आवश्यकता है: आवश्यक प्रारूप में परिवर्तित करना, पूर्वावलोकन बनाना, या यहां तक ​​कि प्रौद्योगिकी के माध्यम से चलाना डीपएचडी. एक अप्रस्तुत फ़ाइल बस जगह लेती है। इसके अलावा, हम न केवल हार्डवेयर के इष्टतम उपयोग के बारे में बात कर रहे हैं, बल्कि उपयोगकर्ताओं तक सामग्री वितरण की गति के बारे में भी बात कर रहे हैं। उदाहरण: हॉकी मैच के निर्णायक क्षण की रिकॉर्डिंग को घटना के एक मिनट के भीतर ही खोजा जा सकता है।

अनुक्रमिक एन्कोडिंग

इसलिए, उपयोगकर्ता की ख़ुशी काफी हद तक इस बात पर निर्भर करती है कि वीडियो कितनी जल्दी उपलब्ध हो जाता है। और यह मुख्य रूप से ट्रांसकोडिंग गति से निर्धारित होता है। जब वीडियो अपलोड गति के लिए कोई सख्त आवश्यकताएं नहीं हैं, तो कोई समस्या नहीं है। आप एक एकल, अविभाज्य फ़ाइल लें, उसे रूपांतरित करें और अपलोड करें। अपनी यात्रा की शुरुआत में, हमने इस प्रकार काम किया:

क्लाइंट वीडियो को स्टोरेज में अपलोड करता है, एनालाइज़र घटक मेटा जानकारी एकत्र करता है और रूपांतरण के लिए वीडियो को वर्कर घटक में स्थानांतरित करता है। सभी चरणों को क्रमिक रूप से निष्पादित किया जाता है। इस मामले में, कई एन्कोडिंग सर्वर हो सकते हैं, लेकिन केवल एक ही किसी विशिष्ट वीडियो को संसाधित करने में व्यस्त है। सरल, पारदर्शी आरेख. यहीं इसके फायदे ख़त्म हो जाते हैं. इस योजना को केवल लंबवत रूप से बढ़ाया जा सकता है (अधिक शक्तिशाली सर्वर की खरीद के कारण)।

मध्यवर्ती परिणाम के साथ अनुक्रमिक एन्कोडिंग

किसी तरह से दर्दनाक प्रतीक्षा को आसान बनाने के लिए, उद्योग एक तेज़ कोडिंग विकल्प लेकर आया। नाम भ्रामक है, क्योंकि वास्तव में, पूर्ण कोडिंग क्रमिक रूप से होती है और इसमें उतना ही समय लगता है। लेकिन एक मध्यवर्ती परिणाम के साथ. विचार यह है: जितनी जल्दी हो सके वीडियो का कम-रिज़ॉल्यूशन संस्करण तैयार करें और प्रकाशित करें, और उसके बाद ही उच्च-रिज़ॉल्यूशन संस्करण।

एक ओर, वीडियो तेजी से उपलब्ध हो जाता है। और यह महत्वपूर्ण घटनाओं के लिए उपयोगी है. लेकिन दूसरी ओर, तस्वीर धुंधली हो जाती है और इससे दर्शक परेशान हो जाते हैं।

यह पता चला है कि आपको न केवल वीडियो को शीघ्रता से संसाधित करने की आवश्यकता है, बल्कि इसकी गुणवत्ता भी बनाए रखने की आवश्यकता है। उपयोगकर्ता अब वीडियो सेवा से यही अपेक्षा करते हैं। ऐसा लग सकता है कि यह सबसे अधिक उत्पादक सर्वर खरीदने (और नियमित रूप से उन सभी को एक साथ अपग्रेड करने) के लिए पर्याप्त है। लेकिन यह एक गतिरोध है, क्योंकि हमेशा एक ऐसा वीडियो होता है जो सबसे शक्तिशाली हार्डवेयर को भी धीमा कर देगा।

समानांतर एन्कोडिंग

किसी जटिल समस्या को कई कम जटिल समस्याओं में विभाजित करना और उन्हें विभिन्न सर्वरों पर समानांतर में हल करना अधिक कुशल है। यह वीडियो के लिए MapReduce है. इस मामले में, हम एक सर्वर के प्रदर्शन तक सीमित नहीं हैं और क्षैतिज रूप से (नई मशीनें जोड़कर) स्केल कर सकते हैं।

वैसे, वीडियो को छोटे-छोटे टुकड़ों में बांटने, उन्हें समानांतर में प्रोसेस करने और उन्हें एक साथ चिपकाने का विचार कोई रहस्य नहीं है। आप इस दृष्टिकोण के कई संदर्भ पा सकते हैं (उदाहरण के लिए, हैबे पर मैं परियोजना के बारे में एक पोस्ट की अनुशंसा करता हूं DistVIDc). लेकिन यह कुल मिलाकर इसे आसान नहीं बनाता है, क्योंकि आप केवल तैयार समाधान नहीं ले सकते हैं और इसे अपने घर में नहीं बना सकते हैं। हमें अपने बुनियादी ढांचे, अपने वीडियो और यहां तक ​​कि अपने भार में भी अनुकूलन की आवश्यकता है। सामान्य तौर पर, अपना खुद का लिखना आसान होता है।

इसलिए, नए आर्किटेक्चर में, हमने मोनोलिथिक वर्कर ब्लॉक को अनुक्रमिक कोडिंग के साथ माइक्रोसर्विसेज सेगमेंटर, टीकोडर, कंबाइनर में विभाजित किया है।

1. सेगमेंटेटर वीडियो को लगभग 10 सेकंड के टुकड़ों में तोड़ता है। फ़्रैगमेंट में एक या अधिक GOPs होते हैं (चित्रों का समूह). प्रत्येक GOP स्वतंत्र है और अलग से एन्कोड किया गया है ताकि इसे अन्य GOP के फ़्रेम के संदर्भ के बिना डिकोड किया जा सके। अर्थात्, टुकड़ों को एक-दूसरे से स्वतंत्र रूप से बजाया जा सकता है। यह शार्डिंग विलंबता को कम करती है, जिससे प्रसंस्करण पहले शुरू हो सकता है।
2. टीकोडर प्रत्येक टुकड़े को संसाधित करता है। यह कतार से एक कार्य लेता है, स्टोरेज से एक टुकड़ा डाउनलोड करता है, इसे विभिन्न रिज़ॉल्यूशन में एन्कोड करता है (याद रखें कि खिलाड़ी कनेक्शन की गति के आधार पर एक संस्करण चुन सकता है), फिर परिणाम को स्टोरेज में वापस रखता है और टुकड़े को संसाधित के रूप में चिह्नित करता है डेटाबेस में. सभी अंशों को संसाधित करने के बाद, टीकोडर अगले घटक के लिए परिणाम उत्पन्न करने के लिए कार्य भेजता है।
3. कंबाइनर परिणामों को एक साथ एकत्र करता है: टीकोडर द्वारा बनाए गए सभी अंशों को डाउनलोड करता है, विभिन्न रिज़ॉल्यूशन के लिए स्ट्रीम उत्पन्न करता है।

ध्वनि के बारे में कुछ शब्द. सबसे लोकप्रिय AAC ऑडियो कोडेक में एक अप्रिय विशेषता है। यदि आप टुकड़ों को अलग-अलग एन्कोड करते हैं, तो आप उन्हें आसानी से एक साथ चिपकाने में सक्षम नहीं होंगे। परिवर्तन ध्यान देने योग्य होंगे. वीडियो कोडेक्स में यह समस्या नहीं है. सैद्धांतिक रूप से, आप एक जटिल तकनीकी समाधान की तलाश कर सकते हैं, लेकिन यह गेम अभी तक मोमबत्ती के लायक नहीं है (ऑडियो का वजन वीडियो से काफी कम है)। इसलिए, केवल वीडियो को समानांतर में एन्कोड किया गया है, और संपूर्ण ऑडियो ट्रैक संसाधित किया गया है।

निष्कर्ष

समानांतर वीडियो प्रसंस्करण के लिए धन्यवाद, हमने हमारे द्वारा अपलोड किए जाने वाले वीडियो और उपयोगकर्ताओं के लिए उपलब्ध होने के बीच के विलंब को काफी कम कर दिया है। उदाहरण के लिए, पहले डेढ़ घंटे तक चलने वाली फुलएचडी फिल्म के लिए अलग-अलग गुणवत्ता के कई पूर्ण संस्करण बनाने में दो घंटे लग सकते थे। अब इस सब में 15 मिनट का समय लगता है. इसके अलावा, समानांतर प्रसंस्करण के साथ, हम पुराने मध्यवर्ती परिणाम दृष्टिकोण के साथ कम-रिज़ॉल्यूशन संस्करण की तुलना में भी तेज़ एक उच्च-रिज़ॉल्यूशन संस्करण बनाते हैं।

और एक और बात। पुराने दृष्टिकोण के साथ, या तो पर्याप्त सर्वर नहीं थे, या वे कार्यों के बिना निष्क्रिय थे। समानांतर कोडिंग आपको लौह पुनर्चक्रण की हिस्सेदारी बढ़ाने की अनुमति देती है। अब एक हजार से अधिक सर्वरों का हमारा समूह हमेशा किसी न किसी काम में व्यस्त रहता है।

वास्तव में, अभी भी सुधार की गुंजाइश है। उदाहरण के लिए, यदि हम वीडियो के संपूर्ण रूप में हमारे पास आने से पहले उसके अंशों को संसाधित करना शुरू कर दें तो हम महत्वपूर्ण समय बचा सकते हैं। जैसा कि वे कहते हैं, अभी और भी बहुत कुछ आना बाकी है।

टिप्पणियों में लिखें कि वीडियो के साथ काम करने के क्षेत्र में आप किन कार्यों के बारे में पढ़ना चाहेंगे।

उद्योग सहयोगियों के अनुभव के लिए उपयोगी लिंक

• एसवीई: फेसबुक स्केल पर वितरित वीडियो प्रोसेसिंग
• आर्चर के साथ नेटफ्लिक्स में मीडिया इनोवेशन को सरल बनाना। नेटफ्लिक्स टेक्नोलॉजी ब्लॉग

स्रोत: www.habr.com