कार्यशील वीडियो सेवा के तीव्र विकास के लिए सर्वर रहित दृष्टिकोण

मैं आउटसोर्सिंग में काम करता हूं, जहां मुख्य सिद्धांत को "बहुत बेचो, जल्दी करो" वाक्यांश द्वारा वर्णित किया जा सकता है। हम इसे जितनी तेजी से करेंगे, उतना अधिक कमाएंगे। और, यह वांछनीय है कि सब कुछ बैसाखी और स्नोट पर नहीं, बल्कि गुणवत्ता के स्वीकार्य स्तर के साथ काम करे। मैं आपको अपने अनुभव के बारे में बताऊंगा जब कम समय में प्रचार सेवा विकसित करना आवश्यक था।

मई: AWS पर रूट खाता, प्रौद्योगिकी स्टैक की पसंद पर कोई प्रतिबंध नहीं, एक बैकएंड और विकास के लिए एक महीना।

उद्देश्य: एक प्रचार सेवा लागू करें जहां उपयोगकर्ता एक से चार सेकंड तक चलने वाले एक से चार वीडियो अपलोड करते हैं, जिन्हें बाद में मूल वीडियो श्रृंखला में एम्बेड किया जाता है।

समाधान

इतने कम समय में अपनी खुद की साइकिल सेवा लिखना कोई अच्छा विचार नहीं है। इसके अलावा, सेवा को लोड का सामना करने और सभी को प्रतिष्ठित वीडियो प्राप्त करने के लिए बुनियादी ढांचे की आवश्यकता होगी। और अधिमानतः हवाई जहाज़ के मूल्य टैग के साथ नहीं। इसलिए, हम तुरंत न्यूनतम अनुकूलन के साथ तैयार समाधानों पर ध्यान केंद्रित करते हैं।

वीडियो के साथ काम करने के लिए मानक समाधान FFmpeg है, एक क्रॉस-प्लेटफ़ॉर्म कंसोल उपयोगिता, जो तर्कों के माध्यम से, आपको ऑडियो को काटने और ओवरडब करने की अनुमति देती है। बस एक रैपर लिखना और उसे जीवन में उतारना बाकी है। हम एक प्रोटोटाइप लिखते हैं जो दो वीडियो को एक साथ जोड़ता है, और... मज़ा शुरू होता है। लाइब्रेरी .NET Core 2 पर आधारित है, इसे किसी भी वर्चुअल मशीन पर चलना चाहिए, इसलिए हम AWS EC2 उदाहरण लेते हैं और सब कुछ काम करेगा

छिपा हुआ पाठनहीं, यह काम नहीं करेगा
.
हालाँकि FFmpeg कार्य को सरल बनाता है, वास्तव में काम करने वाले समाधान के लिए आपको एक EC2 इंस्टेंस बनाना होगा और लोड बैलेंसर सहित इसके लिए एक नेटवर्क इंफ्रास्ट्रक्चर डिज़ाइन करना होगा। स्क्रैच से तैनाती का सरल कार्य "थोड़ा" अधिक जटिल हो जाता है, और बुनियादी ढांचा तुरंत पैसे की मांग करना शुरू कर देता है - हर घंटे रनटाइम के लिए राशि ग्राहक खाते से निकाल ली जाती है।

हमारी सेवा में लंबे समय तक चलने वाली प्रक्रियाएं शामिल नहीं हैं, इसके लिए बड़े और मोटे रिलेशनल डेटाबेस की आवश्यकता नहीं होती है, और यह माइक्रोसर्विस कॉल की श्रृंखला के साथ इवेंट-आधारित आर्किटेक्चर में पूरी तरह से फिट बैठता है। समाधान स्वयं ही सुझाता है - हम EC2 को छोड़ सकते हैं और AWS लैम्ब्डा पर आधारित मानक इमेज रिसाइज़र की तरह एक वास्तविक-सर्वर रहित एप्लिकेशन को लागू कर सकते हैं।

वैसे, .NET के प्रति AWS डेवलपर्स की स्पष्ट नापसंदगी के बावजूद, वे रनटाइम के रूप में .NET Core 2.1 का समर्थन करते हैं, जो विकास के अवसरों की पूरी श्रृंखला प्रदान करता है।

और सोने पर सुहागा - AWS वीडियो फ़ाइलों के साथ काम करने के लिए एक अलग सेवा प्रदान करता है - AWS एलिमेंटल मीडिया कन्वर्ट।

कार्य का सार अविश्वसनीय रूप से सरल है: हम आउटगोइंग वीडियो के लिए एक S3 लिंक लेते हैं, AWS कंसोल, .NET SDK या बस JSON के माध्यम से लिखते हैं कि हम वीडियो के साथ क्या करना चाहते हैं और सेवा को कॉल करते हैं। यह स्वयं आने वाले अनुरोधों को संसाधित करने के लिए कतारों को कार्यान्वित करता है, परिणाम को स्वयं S3 पर अपलोड करता है और, सबसे महत्वपूर्ण बात, प्रत्येक स्थिति परिवर्तन के लिए एक क्लाउडवॉच इवेंट उत्पन्न करता है। यह हमें वीडियो प्रोसेसिंग को पूरा करने के लिए लैम्ब्डा ट्रिगर्स को लागू करने की अनुमति देता है।

अंतिम वास्तुकला इस प्रकार दिखती है:

संपूर्ण बैकएंड दो लैम्ब्डा में स्थित है। दूसरा ऊर्ध्वाधर वीडियो को घुमाने के लिए है, क्योंकि ऐसा काम एक बार में नहीं किया जा सकता है।

हम जेएस में लिखे गए एसपीए एप्लिकेशन के रूप में सामने रखेंगे और सार्वजनिक एस 3 बाल्टी में पग के माध्यम से संकलित करेंगे। वीडियो स्वयं डाउनलोड करने के लिए, हमें किसी सर्वर कोड की आवश्यकता नहीं है - हमें केवल REST एंडपॉइंट खोलने की आवश्यकता है जो S3 हमें प्रदान करता है। एकमात्र बात यह है कि नीतियों और सीओआरएस को कॉन्फ़िगर करना न भूलें।

नुकसान

• AWS MediaConvert, किसी अज्ञात कारण से, केवल प्रत्येक वीडियो टुकड़े पर अलग से ध्वनि लागू करता है, लेकिन हमें संपूर्ण स्क्रीनसेवर से एक हर्षित गीत की आवश्यकता है।
• लंबवत वीडियो को अलग से संसाधित करने की आवश्यकता है। AWS को काली पट्टियाँ पसंद नहीं हैं और वह रोलर्स को 90° पर रखता है।

आसान स्केटिंग रिंक

स्टेटलेस की सारी ख़ूबसूरती के बावजूद, आपको इस बात पर नज़र रखने की ज़रूरत है कि वीडियो के साथ क्या करने की ज़रूरत है: तैयार वीडियो अनुक्रम में ऑडियो चिपकाएँ या जोड़ें। सौभाग्य से, MediaConvert अपने जॉब्स के माध्यम से मेटाडेटा को पास करने का समर्थन करता है, और हम किसी भी स्तर पर इस मेटाडेटा को पार्स करते हुए हमेशा "isMasterSoundJob" फॉर्म के एक सरल ध्वज का उपयोग कर सकते हैं।

सर्वरलेस पूरी तरह से NoOps के साथ काम करने की अनुमति देता है - एक दृष्टिकोण जो परियोजना के बुनियादी ढांचे के लिए जिम्मेदार एक अलग टीम की अनावश्यकता को मानता है। इसलिए, यह एक छोटी सी बात थी - हम सिस्टम प्रशासकों की भागीदारी के बिना AWS पर समाधान तैनात करते हैं, जिनके पास हमेशा कुछ न कुछ करने को होता है।
और इस सब को तेज करने के लिए, हम एडब्ल्यूएस क्लाउडफॉर्मेशन पर तैनाती स्क्रिप्ट को यथासंभव स्वचालित करते हैं, जो आपको वीएस से सीधे एक बटन के साथ तैनात करने की अनुमति देता है। परिणामस्वरूप, कोड की 200 पंक्तियों की एक फ़ाइल आपको एक तैयार समाधान को रोल आउट करने की अनुमति देती है, हालाँकि यदि आप इसके आदी नहीं हैं तो क्लाउडफॉर्मेशन सिंटैक्स चौंकाने वाला हो सकता है।

कुल मिलाकर

सर्वर रहित कोई रामबाण इलाज नहीं है. लेकिन यह तीन सीमाओं वाली स्थितियों में जीवन को बहुत आसान बना देगा: "सीमित संसाधन-अल्पकालिक-थोड़ा पैसा।"

सर्वर रहित के लिए उपयुक्त अनुप्रयोगों की विशेषताएँ

• लंबे समय तक चलने वाली प्रक्रियाओं के बिना। एपीआई गेटवे हार्ड सीमा 29 सेकंड है, लैम्ब्डा हार्ड सीमा 5 मिनट है;
• घटना-संचालित वास्तुकला द्वारा वर्णित;
• SOA जैसे शिथिल युग्मित घटकों में टूट जाता है;
• आपकी स्थिति पर अधिक काम करने की आवश्यकता नहीं है;
• .NET कोर में लिखा गया है। .NET फ्रेमवर्क के साथ काम करने के लिए, आपको अभी भी उचित रनटाइम वाले कम से कम डॉकर की आवश्यकता होगी।

सर्वर रहित दृष्टिकोण के लाभ

• बुनियादी ढांचे की लागत कम कर देता है;
• समाधान पहुंचाने की लागत कम कर देता है;
• स्वचालित मापनीयता;
• तकनीकी प्रगति के चरम पर विकास।

नुकसान, एक विशिष्ट उदाहरण के साथ

• वितरित ट्रेसिंग और लॉगिंग - एडब्ल्यूएस एक्स-रे और एडब्ल्यूएस क्लाउडवॉच के माध्यम से आंशिक रूप से हल किया गया;
• असुविधाजनक डिबगिंग;
• कोई लोड न होने पर कोल्ड स्टार्ट;
• AWS उपयोगकर्ता-विरोधी इंटरफ़ेस एक सार्वभौमिक समस्या है :)

स्रोत: www.habr.com