हामीले कसरी आठ गुणाले भिडियो इन्कोडिङलाई गति दियौं

हरेक दिन, लाखौं दर्शकहरूले इन्टरनेटमा भिडियोहरू हेर्छन्। तर भिडियो उपलब्ध हुनको लागि, यो सर्भरमा अपलोड मात्र होइन, तर प्रक्रिया पनि हुनुपर्छ। यो जति छिटो हुन्छ, सेवा र यसका प्रयोगकर्ताहरूका लागि त्यति नै राम्रो हुन्छ।

मेरो नाम Askar Kamalov हो, एक वर्ष पहिले म Yandex भिडियो टेक्नोलोजी टोलीमा सामेल भएँ। आज म Habr पाठकहरूलाई छोटकरीमा बताउनेछु कि कसरी, एन्कोडिङ प्रक्रियालाई समानान्तर गरेर, हामीले प्रयोगकर्तालाई भिडियोको डेलिभरीलाई महत्त्वपूर्ण रूपमा गति दिन सफल भयौं।

यो पोष्ट मुख्यतया भिडियो सेवाहरूको हुड अन्तर्गत के हुन्छ भन्ने बारे पहिले सोचेका छैनन् उनीहरूका लागि चासोको विषय हुनेछ। टिप्पणीहरूमा तपाईंले प्रश्नहरू सोध्न सक्नुहुन्छ र भविष्यका पोस्टहरूको लागि विषयहरू सुझाव दिन सक्नुहुन्छ।

कार्य आफै बारे केहि शब्दहरू। Yandex ले तपाईंलाई अन्य साइटहरूमा भिडियोहरू खोज्न मात्र मद्दत गर्दैन, तर यसको आफ्नै सेवाहरूको लागि भिडियोहरू भण्डारण गर्दछ। चाहे त्यो मौलिक कार्यक्रम होस् वा हावामा खेलकुद खेल होस्, KinoPoisk मा चलचित्र होस् वा Zen र News मा भिडियोहरू - यी सबै हाम्रा सर्भरहरूमा अपलोड हुन्छन्। प्रयोगकर्ताहरूलाई भिडियो हेर्नको लागि, यसलाई तयार गर्न आवश्यक छ: आवश्यक ढाँचामा रूपान्तरण गर्नुहोस्, पूर्वावलोकन सिर्जना गर्नुहोस्, वा प्रविधि मार्फत चलाउनुहोस्। DeepHD। तयारी नगरिएको फाइलले मात्र ठाउँ लिन्छ। यसबाहेक, हामी हार्डवेयरको इष्टतम प्रयोगको बारेमा मात्र होइन, तर प्रयोगकर्ताहरूलाई सामग्रीको डेलिभरीको गतिको बारेमा पनि कुरा गर्दैछौं। उदाहरण: हक्की खेलको निर्णायक क्षणको रेकर्डिङ घटना पछि एक मिनेट भित्र खोज्न सकिन्छ।

क्रमिक एन्कोडिङ

त्यसोभए, प्रयोगकर्ताको खुशी धेरै हदसम्म भिडियो उपलब्ध हुन्छ भन्नेमा निर्भर गर्दछ। र यो मुख्य रूपमा ट्रान्सकोडिङ गति द्वारा निर्धारण गरिन्छ। जब भिडियो अपलोड गतिको लागि कुनै सख्त आवश्यकताहरू छैनन्, त्यहाँ कुनै समस्याहरू छैनन्। तपाइँ एकल, अविभाज्य फाइल लिनुहोस्, यसलाई रूपान्तरण गर्नुहोस्, र यसलाई अपलोड गर्नुहोस्। हाम्रो यात्राको सुरुमा, हामीले यसरी काम गर्यौं:

ग्राहकले भण्डारणमा भिडियो अपलोड गर्दछ, विश्लेषक घटकले मेटा जानकारी सङ्कलन गर्दछ र रूपान्तरणको लागि कार्यकर्ता कम्पोनेन्टमा भिडियो स्थानान्तरण गर्दछ। सबै चरणहरू क्रमबद्ध रूपमा प्रदर्शन गरिन्छ। यस अवस्थामा, त्यहाँ धेरै एन्कोडिङ सर्भरहरू हुन सक्छन्, तर एउटा मात्र एउटा विशिष्ट भिडियो प्रशोधनमा व्यस्त छ। सरल, पारदर्शी रेखाचित्र। यहाँ यसको फाइदा समाप्त हुन्छ। यो योजना ठाडो रूपमा मात्र मापन गर्न सकिन्छ (अधिक शक्तिशाली सर्भरहरूको खरीदको कारणले)।

मध्यवर्ती परिणामको साथ अनुक्रमिक एन्कोडिङ

कुनै न कुनै रूपमा पीडादायी पर्खाइलाई सहज बनाउन, उद्योगले द्रुत कोडिङ विकल्पको साथ आयो। नाम भ्रामक छ, किनकि वास्तवमा, पूर्ण कोडिङ क्रमिक रूपमा हुन्छ र त्यति नै लामो समय लाग्छ। तर एक मध्यवर्ती परिणाम संग। विचार यो हो: भिडियोको कम-रिजोल्युसन संस्करणलाई सकेसम्म चाँडो तयार र प्रकाशित गर्नुहोस्, र त्यसपछि मात्र उच्च-रिजोल्युसन संस्करणहरू।

एकातिर, भिडियो छिटो उपलब्ध हुन्छ। र यो महत्त्वपूर्ण घटनाहरूको लागि उपयोगी छ। तर अर्कोतर्फ, तस्विर धमिलो हुन्छ, र यसले दर्शकहरूलाई कष्ट दिन्छ।

यो बाहिर जान्छ कि तपाइँ न केवल भिडियो छिटो प्रशोधन गर्न आवश्यक छ, तर यसको गुणस्तर पनि कायम राख्नु पर्छ। यो अब एक भिडियो सेवा बाट प्रयोगकर्ता अपेक्षा छ। यो सबैभन्दा उत्पादक सर्भरहरू किन्न पर्याप्त छ जस्तो लाग्न सक्छ (र नियमित रूपमा ती सबै एकैचोटि अपग्रेड गर्नुहोस्)। तर यो एक मृत अन्त्य हो, किनकि त्यहाँ सधैं एक भिडियो छ जसले सबैभन्दा शक्तिशाली हार्डवेयरलाई पनि ढिलो बनाउँदछ।

समानान्तर सङ्केतन

जटिल समस्यालाई धेरै कम जटिल समस्याहरूमा विभाजन गर्न र विभिन्न सर्भरहरूमा समानान्तर रूपमा समाधान गर्न यो धेरै कुशल छ। यो भिडियोको लागि MapReduce हो। यस अवस्थामा, हामी एक सर्भरको प्रदर्शनमा सीमित छैनौं र तेर्सो रूपमा मापन गर्न सक्छौं (नयाँ मेसिनहरू थपेर)।

खैर, भिडियोहरूलाई साना टुक्राहरूमा विभाजन गर्ने, तिनीहरूलाई समानान्तरमा प्रशोधन गर्ने र तिनीहरूलाई सँगै जोड्ने विचार कुनै गोप्य कुरा होइन। तपाईंले यस दृष्टिकोणमा धेरै सन्दर्भहरू फेला पार्न सक्नुहुन्छ (उदाहरणका लागि, Habré मा म परियोजनाको बारेमा पोस्ट सिफारिस गर्दछु DistVIDc)। तर यसले यसलाई समग्रमा सजिलो बनाउँदैन, किनकि तपाईं केवल तयार समाधान लिन र यसलाई आफ्नो घरमा निर्माण गर्न सक्नुहुन्न। हामीलाई हाम्रो पूर्वाधार, हाम्रो भिडियो र हाम्रो लोडमा अनुकूलन चाहिन्छ। सामान्यतया, यो तपाईंको आफ्नै लेख्न सजिलो छ।

त्यसोभए, नयाँ वास्तुकलामा, हामीले मोनोलिथिक वर्कर ब्लकलाई क्रमिक कोडिङको साथ माइक्रोसर्भिसेस सेग्मेन्टर, टिकोडर, कम्बाइनरमा विभाजन गर्यौं।

1. सेगमेन्टरले भिडियोलाई लगभग १० सेकेन्डको टुक्रामा तोड्छ। टुक्राहरूमा एक वा बढी GOP हरू हुन्छन् (तस्विरहरूको समूह)। प्रत्येक GOP स्वतन्त्र छ र छुट्टै इन्कोड गरिएको छ ताकि यसलाई अन्य GOP बाट फ्रेमहरूको सन्दर्भ बिना डिकोड गर्न सकिन्छ। त्यो हो, टुक्राहरू एकअर्काबाट स्वतन्त्र रूपमा खेल्न सकिन्छ। यो शार्डिङले विलम्बता घटाउँछ, प्रशोधनलाई पहिले सुरु गर्न अनुमति दिन्छ।
2. Tcoder प्रत्येक टुक्रा प्रक्रिया गर्दछ। यसले लामबाट एउटा कार्य लिन्छ, भण्डारणबाट टुक्रा डाउनलोड गर्छ, यसलाई विभिन्न रिजोल्युसनहरूमा इन्कोड गर्दछ (याद राख्नुहोस् कि प्लेयरले जडान गतिमा आधारित संस्करण छनौट गर्न सक्छ), त्यसपछि परिणामलाई भण्डारणमा फिर्ता राख्छ र टुक्रालाई प्रशोधन गरिएको रूपमा चिन्ह लगाउँदछ। डेटाबेस मा। सबै टुक्राहरू प्रशोधन गरिसकेपछि, Tcoder ले अर्को घटकको लागि परिणामहरू उत्पन्न गर्न कार्य पठाउँछ।
3. कम्बाइनरले परिणामहरू सँगै सङ्कलन गर्दछ: Tcoder द्वारा बनाईएको सबै टुक्राहरू डाउनलोड गर्दछ, विभिन्न रिजोल्युसनहरूको लागि स्ट्रिमहरू उत्पन्न गर्दछ।

ध्वनि बारेमा केही शब्दहरू। सबैभन्दा लोकप्रिय AAC अडियो कोडेक एक अप्रिय सुविधा छ। यदि तपाईंले टुक्राहरूलाई अलग-अलग इन्कोड गर्नुभयो भने, त्यसपछि तपाईं तिनीहरूलाई सहज रूपमा सँगै टाँस्न सक्षम हुनुहुने छैन। ट्रान्जिसनहरू उल्लेखनीय हुनेछन्। भिडियो कोडेक्समा यो समस्या छैन। सैद्धान्तिक रूपमा, तपाइँ एक जटिल प्राविधिक समाधान खोज्न सक्नुहुन्छ, तर यो खेल अझै पनि मैनबत्तीको लायक छैन (अडियो भिडियो भन्दा धेरै कम वजन)। त्यसकारण, भिडियो मात्र समानान्तरमा इन्कोड गरिएको छ, र सम्पूर्ण अडियो ट्र्याक प्रशोधन गरिएको छ।

Результаты

समानान्तर भिडियो प्रशोधनका लागि धन्यबाद, हामीले भिडियोहरू अपलोड गरिँदै र प्रयोगकर्ताहरूका लागि उपलब्ध हुने बीचको ढिलाइलाई उल्लेखनीय रूपमा कम गरेका छौं। उदाहरणको लागि, पहिले डेढ घण्टा चल्ने FullHD चलचित्रको लागि विभिन्न गुणस्तरका धेरै पूर्ण संस्करणहरू सिर्जना गर्न दुई घण्टा लाग्न सक्छ। अब यो सबै 15 मिनेट लाग्छ। यसबाहेक, समानान्तर प्रक्रियाको साथ, हामी पुरानो मध्यवर्ती परिणाम दृष्टिकोणको साथ कम-रिजोल्युसन संस्करण भन्दा पनि छिटो उच्च-रिजोल्युसन संस्करण सिर्जना गर्छौं।

र अर्को कुरा। पुरानो दृष्टिकोणको साथ, या त पर्याप्त सर्भरहरू थिएनन्, वा तिनीहरू कार्यहरू बिना निष्क्रिय थिए। समानान्तर कोडिङले तपाईंलाई फलामको रिसाइकिलिंगको अंश बढाउन अनुमति दिन्छ। अब हाम्रो एक हजार भन्दा बढी सर्भरहरूको क्लस्टर सधैं केहि संग व्यस्त छ।

वास्तवमा, अझै पनि सुधार को लागी ठाउँ छ। उदाहरणका लागि, यदि हामीले भिडियोको टुक्राहरू पूर्ण रूपमा हामीकहाँ आउनु अघि नै प्रशोधन गर्न थाल्यौं भने हामीले महत्त्वपूर्ण समय बचत गर्न सक्छौं। तिनीहरू भन्छन्, थप आउन।

भिडियोको साथ काम गर्ने क्षेत्रमा कुन कार्यहरू तपाईं पढ्न चाहनुहुन्छ टिप्पणीहरूमा लेख्नुहोस्।

उद्योग सहकर्मीहरूको अनुभवको लागि उपयोगी लिङ्कहरू

• SVE: फेसबुक स्केलमा वितरित भिडियो प्रशोधन
• आर्चरको साथ नेटफ्लिक्समा मिडिया इनोभेसनलाई सरल बनाउँदै। नेटफ्लिक्स टेक्नोलोजी ब्लग

स्रोत: www.habr.com