आम्ही आठ पटीने व्हिडिओ एन्कोडिंगचा वेग कसा वाढवला

दररोज, लाखो दर्शक इंटरनेटवर व्हिडिओ पाहतात. परंतु व्हिडिओ उपलब्ध होण्यासाठी, तो केवळ सर्व्हरवर अपलोड केला जाणे आवश्यक नाही तर त्यावर प्रक्रिया देखील केली पाहिजे. हे जितक्या जलद होईल तितके सेवा आणि त्याच्या वापरकर्त्यांसाठी चांगले.

माझे नाव अस्कर कमलोव आहे, एक वर्षापूर्वी मी यांडेक्स व्हिडिओ तंत्रज्ञान संघात सामील झालो. आज मी हॅब्रच्या वाचकांना थोडक्यात सांगेन की, एन्कोडिंग प्रक्रियेला समांतर करून, आम्ही वापरकर्त्याला व्हिडिओ वितरणात लक्षणीय गती कशी वाढवली.

हे पोस्ट प्रामुख्याने त्यांच्यासाठी स्वारस्य असेल ज्यांनी व्हिडिओ सेवांच्या हुड अंतर्गत काय होते याबद्दल यापूर्वी विचार केला नाही. टिप्पण्यांमध्ये तुम्ही प्रश्न विचारू शकता आणि भविष्यातील पोस्टसाठी विषय सुचवू शकता.

कार्य स्वतः बद्दल काही शब्द. यांडेक्स केवळ इतर साइटवर व्हिडिओ शोधण्यातच मदत करत नाही तर त्याच्या स्वतःच्या सेवांसाठी व्हिडिओ देखील संग्रहित करते. मग तो मूळ कार्यक्रम असो किंवा स्पोर्ट्स मॅच ऑन एअर असो, किनोपोइस्कवरील चित्रपट असो किंवा झेन आणि न्यूजवरील व्हिडिओ असो - हे सर्व आमच्या सर्व्हरवर अपलोड केले जातात. वापरकर्त्यांना व्हिडिओ पाहण्यासाठी, ते तयार करणे आवश्यक आहे: आवश्यक स्वरूपामध्ये रूपांतरित करणे, पूर्वावलोकन तयार करणे किंवा तंत्रज्ञानाद्वारे चालवणे डीपएचडी. एक अप्रस्तुत फाइल फक्त जागा घेते. शिवाय, आम्ही केवळ हार्डवेअरच्या इष्टतम वापराबद्दलच बोलत नाही, तर वापरकर्त्यांना सामग्री वितरणाच्या गतीबद्दल देखील बोलत आहोत. उदाहरण: हॉकी सामन्याच्या निर्णायक क्षणाचे रेकॉर्डिंग इव्हेंटनंतर एका मिनिटात शोधले जाऊ शकते.

अनुक्रमिक एन्कोडिंग

त्यामुळे, वापरकर्त्याचा आनंद हा व्हिडिओ किती लवकर उपलब्ध होतो यावर अवलंबून असतो. आणि हे प्रामुख्याने ट्रान्सकोडिंग गतीद्वारे निर्धारित केले जाते. जेव्हा व्हिडिओ अपलोड गतीसाठी कोणतीही कठोर आवश्यकता नसते, तेव्हा कोणतीही समस्या नसते. तुम्ही एकच, अविभाज्य फाइल घ्या, ती रूपांतरित करा आणि अपलोड करा. आमच्या प्रवासाच्या सुरुवातीला, आम्ही असे कार्य केले:

क्लायंट स्टोरेजवर व्हिडिओ अपलोड करतो, विश्लेषक घटक मेटा माहिती संकलित करतो आणि रूपांतर करण्यासाठी व्हिडिओ वर्कर घटकाकडे हस्तांतरित करतो. सर्व टप्पे अनुक्रमे केले जातात. या प्रकरणात, अनेक एन्कोडिंग सर्व्हर असू शकतात, परंतु केवळ एक विशिष्ट व्हिडिओवर प्रक्रिया करण्यात व्यस्त आहे. साधे, पारदर्शक आकृती. इथेच त्याचे फायदे संपतात. ही योजना फक्त अनुलंब स्केल केली जाऊ शकते (अधिक शक्तिशाली सर्व्हर खरेदी केल्यामुळे).

इंटरमीडिएट परिणामासह अनुक्रमिक एन्कोडिंग

वेदनादायक प्रतीक्षा कशीतरी गुळगुळीत करण्यासाठी, उद्योगाने एक जलद कोडिंग पर्याय आणला. नाव दिशाभूल करणारे आहे, कारण खरेतर, पूर्ण कोडींग क्रमाक्रमाने होते आणि तेवढाच वेळ लागतो. पण मध्यवर्ती निकालासह. कल्पना अशी आहे: व्हिडिओची कमी-रिझोल्यूशन आवृत्ती शक्य तितक्या लवकर तयार करा आणि प्रकाशित करा आणि त्यानंतरच उच्च-रिझोल्यूशन आवृत्त्या.

एकीकडे, व्हिडिओ जलद उपलब्ध होतो. आणि महत्वाच्या कार्यक्रमांसाठी ते उपयुक्त आहे. परंतु दुसरीकडे, चित्र अस्पष्ट होते आणि यामुळे दर्शकांना त्रास होतो.

असे दिसून आले की आपल्याला केवळ व्हिडिओवर द्रुतपणे प्रक्रिया करणे आवश्यक नाही तर त्याची गुणवत्ता देखील राखणे आवश्यक आहे. वापरकर्त्यांना आता व्हिडिओ सेवेकडून हीच अपेक्षा आहे. असे दिसते की सर्वात उत्पादक सर्व्हर खरेदी करणे पुरेसे आहे (आणि ते सर्व एकाच वेळी नियमितपणे अपग्रेड करा). परंतु हा एक शेवटचा शेवट आहे, कारण असा व्हिडिओ नेहमीच असतो जो सर्वात शक्तिशाली हार्डवेअर देखील कमी करेल.

समांतर एन्कोडिंग

जटिल समस्येचे अनेक कमी जटिल समस्यांमध्ये विभागणे आणि वेगवेगळ्या सर्व्हरवर समांतरपणे सोडवणे अधिक कार्यक्षम आहे. हे व्हिडिओसाठी MapReduce आहे. या प्रकरणात, आम्ही एका सर्व्हरच्या कार्यप्रदर्शनाद्वारे मर्यादित नाही आणि क्षैतिजरित्या स्केल करू शकतो (नवीन मशीन जोडून).

तसे, व्हिडिओ लहान तुकड्यांमध्ये विभाजित करणे, समांतर प्रक्रिया करणे आणि त्यांना एकत्र चिकटविणे ही कल्पना काही गुप्त नाही. तुम्हाला या दृष्टिकोनाचे बरेच संदर्भ सापडतील (उदाहरणार्थ, Habré वर मी प्रकल्पाबद्दल पोस्टची शिफारस करतो DistVIDc). परंतु हे एकंदरीत सोपे बनवत नाही, कारण तुम्ही फक्त रेडीमेड सोल्यूशन घेऊन ते तुमच्या घरात तयार करू शकत नाही. आम्हाला आमच्या पायाभूत सुविधा, आमचा व्हिडिओ आणि आमच्या लोडशी जुळवून घेण्याची गरज आहे. सर्वसाधारणपणे, आपले स्वतःचे लिहिणे सोपे आहे.

त्यामुळे, नवीन आर्किटेक्चरमध्ये, आम्ही अनुक्रमिक कोडिंगसह मोनोलिथिक वर्कर ब्लॉकला मायक्रो सर्व्हिसेस सेगमेंटर, टीकोडर, कॉम्बाइनरमध्ये विभागले आहे.

1. सेगमेंटर व्हिडिओला अंदाजे 10 सेकंदांच्या तुकड्यांमध्ये मोडतो. तुकड्यांमध्ये एक किंवा अधिक GOPs असतात (चित्रांचा समूह). प्रत्येक GOP स्वतंत्र आहे आणि स्वतंत्रपणे एन्कोड केलेले आहे जेणेकरुन ते इतर GOP च्या फ्रेम्सचा संदर्भ न घेता डीकोड केले जाऊ शकते. म्हणजेच तुकड्या एकमेकांपासून स्वतंत्रपणे खेळल्या जाऊ शकतात. हे शार्डिंग विलंबता कमी करते, प्रक्रिया लवकर सुरू करण्यास अनुमती देते.
2. Tcoder प्रत्येक तुकड्यावर प्रक्रिया करतो. हे रांगेतून एखादे कार्य घेते, स्टोरेजमधून एक तुकडा डाउनलोड करते, ते वेगवेगळ्या रिझोल्यूशनमध्ये एन्कोड करते (लक्षात ठेवा की प्लेअर कनेक्शनच्या गतीवर आधारित आवृत्ती निवडू शकतो), नंतर निकाल पुन्हा स्टोरेजमध्ये ठेवतो आणि तुकड्यावर प्रक्रिया केल्याप्रमाणे चिन्हांकित करतो. डेटाबेस मध्ये. सर्व तुकड्यांवर प्रक्रिया केल्यावर, Tcoder पुढील घटकासाठी परिणाम व्युत्पन्न करण्यासाठी कार्य पाठवते.
3. कंबाईनर एकत्रितपणे परिणाम एकत्रित करतो: Tcoder द्वारे तयार केलेले सर्व तुकडे डाउनलोड करतो, भिन्न रिझोल्यूशनसाठी प्रवाह निर्माण करतो.

आवाज बद्दल काही शब्द. सर्वात लोकप्रिय AAC ऑडिओ कोडेकमध्ये एक अप्रिय वैशिष्ट्य आहे. तुम्ही तुकड्यांना स्वतंत्रपणे एन्कोड केल्यास, तुम्ही त्यांना अखंडपणे एकत्र चिकटवू शकणार नाही. संक्रमणे सहज लक्षात येतील. व्हिडिओ कोडेक्समध्ये ही समस्या नाही. सैद्धांतिकदृष्ट्या, आपण एक जटिल तांत्रिक उपाय शोधू शकता, परंतु हा गेम अद्याप मेणबत्तीसाठी योग्य नाही (ऑडिओचे वजन व्हिडिओपेक्षा लक्षणीय आहे). म्हणून, फक्त व्हिडिओ समांतर एन्कोड केला जातो आणि संपूर्ण ऑडिओ ट्रॅकवर प्रक्रिया केली जाते.

निकाल

समांतर व्हिडिओ प्रक्रियेबद्दल धन्यवाद, आम्ही व्हिडिओ आमच्यावर अपलोड केला जाणे आणि वापरकर्त्यांसाठी उपलब्ध असणे यामधील विलंब लक्षणीयरीत्या कमी केला आहे. उदाहरणार्थ, पूर्वी दीड तास चालणाऱ्या फुलएचडी फिल्मसाठी वेगवेगळ्या गुणवत्तेच्या अनेक पूर्ण आवृत्त्या तयार करण्यासाठी दोन तास लागू शकतात. आता हे सर्व 15 मिनिटे घेते. शिवाय, समांतर प्रक्रियेसह, आम्ही जुन्या इंटरमीडिएट रिझल्ट पध्दतीसह कमी-रिझोल्यूशन आवृत्तीपेक्षा अधिक जलद उच्च-रिझोल्यूशन आवृत्ती तयार करतो.

आणि आणखी एक गोष्ट. जुन्या दृष्टिकोनासह, एकतर पुरेसे सर्व्हर नव्हते किंवा ते कार्यांशिवाय निष्क्रिय होते. समांतर कोडींग तुम्हाला लोह पुनर्वापराचा वाटा वाढविण्यास अनुमती देते. आता आमचे एक हजाराहून अधिक सर्व्हरचे क्लस्टर नेहमी काहीतरी व्यस्त असते.

किंबहुना, अजूनही सुधारणेला वाव आहे. उदाहरणार्थ, आम्ही व्हिडिओच्या संपूर्ण तुकड्या आमच्याकडे येण्यापूर्वी त्यावर प्रक्रिया करणे सुरू केल्यास आम्ही महत्त्वपूर्ण वेळ वाचवू शकतो. जसे ते म्हणतात, आणखी काही येणे बाकी आहे.

टिप्पण्यांमध्ये लिहा की व्हिडिओसह कार्य करण्याच्या क्षेत्रातील कोणती कार्ये तुम्हाला वाचायला आवडतील.

उद्योग सहकाऱ्यांच्या अनुभवासाठी उपयुक्त दुवे

• SVE: फेसबुक स्केलवर वितरित व्हिडिओ प्रक्रिया
• Archer सह Netflix वर मीडिया इनोव्हेशन सुलभ करणे. Netflix तंत्रज्ञान ब्लॉग

स्त्रोत: www.habr.com