कार्यरत व्हिडिओ सेवेच्या जलद विकासासाठी सर्व्हरलेस दृष्टीकोन

मी आउटसोर्सिंगमध्ये काम करतो, जेथे मुख्य तत्त्वाचे वर्णन "खूप विक्री करा, लवकर करा" या वाक्यांशाद्वारे केले जाऊ शकते. जितक्या वेगाने आपण ते करू तितके अधिक कमाई करू. आणि, हे वांछनीय आहे की सर्वकाही क्रॅच आणि स्नॉटवर नाही, परंतु स्वीकार्य दर्जाच्या दर्जासह कार्य करते. जेव्हा अल्प कालावधीत प्रचारात्मक सेवा विकसित करणे आवश्यक होते तेव्हा मी तुम्हाला माझ्या अनुभवाबद्दल सांगेन.

दिलेः AWS वर रूट खाते, तंत्रज्ञान स्टॅकच्या निवडीवर कोणतेही बंधन नाही, एक बॅकएंड आणि विकासासाठी एक महिना.

एक कार्य: एक प्रचारात्मक सेवा लागू करा जिथे वापरकर्ते एक ते चार व्हिडिओ अपलोड करतात जे एक ते चार सेकंदांपर्यंत टिकतात, जे नंतर मूळ व्हिडिओ मालिकेत एम्बेड केले जातात.

निर्णय

एवढ्या कमी वेळात स्वतःची सायकल सेवा लिहिणे ही चांगली कल्पना नाही. याव्यतिरिक्त, सेवेला लोडचा सामना करण्यासाठी आणि प्रत्येकाला प्रतिष्ठित व्हिडिओ प्राप्त करण्यासाठी, पायाभूत सुविधा आवश्यक असतील. आणि शक्यतो विमानातील किंमत टॅगसह नाही. म्हणून, आम्ही ताबडतोब कमीतकमी सानुकूलनासह तयार-तयार समाधानांवर लक्ष केंद्रित करतो.

व्हिडिओसह कार्य करण्यासाठी मानक उपाय म्हणजे FFmpeg, एक क्रॉस-प्लॅटफॉर्म कन्सोल युटिलिटी जी युक्तिवादांद्वारे, तुम्हाला ऑडिओ कट आणि ओव्हरडब करण्याची परवानगी देते. फक्त रॅपर लिहिणे आणि ते जीवनात सोडणे बाकी आहे. आम्ही एक प्रोटोटाइप लिहितो जो दोन व्हिडिओ एकत्र जोडतो आणि... मजा सुरू होते. लायब्ररी .NET Core 2 वर आधारित आहे, ती कोणत्याही आभासी मशीनवर चालली पाहिजे, म्हणून आम्ही AWS EC2 उदाहरण घेऊ आणि सर्वकाही कार्य करेल

लपलेला मजकूरनाही, ते काम करणार नाही
.
जरी FFmpeg हे कार्य सुलभ करते, तरीही खरोखर कार्यरत समाधानासाठी तुम्हाला EC2 उदाहरण तयार करणे आणि लोड बॅलन्सरसह नेटवर्क इन्फ्रास्ट्रक्चर तयार करणे आवश्यक आहे. सुरवातीपासून उपयोजित करण्याचे सोपे कार्य "थोडेसे" अधिक क्लिष्ट बनते आणि पायाभूत सुविधा त्वरित पैशांची मागणी करू लागतात - प्रत्येक तासाला क्लायंट खात्यातून रनटाइमची रक्कम काढली जाते.

आमच्या सेवेमध्ये दीर्घकाळ चालणाऱ्या प्रक्रियांचा समावेश नाही, मोठ्या आणि फॅट रिलेशनल डेटाबेसची आवश्यकता नाही आणि मायक्रोसर्व्हिस कॉलच्या साखळीसह इव्हेंट-आधारित आर्किटेक्चरमध्ये पूर्णपणे बसते. उपाय स्वतःच सुचवतो - आम्ही EC2 सोडू शकतो आणि AWS Lambda वर आधारित मानक इमेज रिसायझर सारखे खरे-सर्व्हरलेस ऍप्लिकेशन लागू करू शकतो.

तसे, .NET साठी AWS विकसकांची स्पष्ट नापसंती असूनही, ते .NET Core 2.1 ला रनटाइम म्हणून समर्थन देतात, जे विकासाच्या संधींची संपूर्ण श्रेणी प्रदान करते.

आणि केकवरील चेरी - AWS व्हिडिओ फाइल्ससह काम करण्यासाठी एक वेगळी सेवा प्रदान करते - AWS Elemental MediaConvert.

कामाचे सार आश्चर्यकारकपणे सोपे आहे: आम्ही आउटगोइंग व्हिडिओची S3 लिंक घेतो, AWS Console, .NET SDK किंवा फक्त JSON द्वारे लिहितो की आम्हाला व्हिडिओसह काय करायचे आहे आणि सेवेला कॉल करा. ते स्वतः येणार्‍या विनंत्यांवर प्रक्रिया करण्यासाठी रांगा लागू करते, परिणाम स्वतः S3 वर अपलोड करते आणि सर्वात महत्त्वाचे म्हणजे, प्रत्येक स्थिती बदलासाठी क्लाउडवॉच इव्हेंट व्युत्पन्न करते. हे आम्हाला व्हिडिओ प्रक्रिया पूर्ण करण्यासाठी लॅम्बडा ट्रिगर लागू करण्यास अनुमती देते.

अंतिम आर्किटेक्चर असे दिसते:

संपूर्ण बॅकएंड दोन लॅम्बडामध्ये ठेवलेला आहे. आणखी एक उभ्या व्हिडिओ फिरवण्यासाठी आहे, कारण असे काम एका पासमध्ये करता येत नाही.

आम्ही JS मध्ये लिहिलेल्या आणि सार्वजनिक S3 बकेटमध्ये pug द्वारे संकलित केलेल्या SPA ऍप्लिकेशनच्या स्वरूपात समोर ठेवू. व्हिडिओ स्वतः डाउनलोड करण्यासाठी, आम्हाला कोणत्याही सर्व्हर कोडची आवश्यकता नाही - आम्हाला फक्त S3 प्रदान केलेले REST एंडपॉइंट उघडण्याची आवश्यकता आहे. फक्त एक गोष्ट म्हणजे धोरणे आणि CORS कॉन्फिगर करायला विसरू नका.

तेथे उपासनेच्या

• AWS MediaConvert, काही अज्ञात कारणास्तव, प्रत्येक व्हिडिओ तुकड्यावर स्वतंत्रपणे फक्त ध्वनी लागू होतो, परंतु आम्हाला संपूर्ण स्क्रीनसेव्हरमधून एक आनंदी गाणे आवश्यक आहे.
• उभ्या व्हिडिओंवर स्वतंत्रपणे प्रक्रिया करणे आवश्यक आहे. AWS ला काळ्या पट्ट्या आवडत नाहीत आणि रोलर्स 90° वर ठेवतात.

सुलभ स्केटिंग रिंक

स्टेटलेसचे सर्व सौंदर्य असूनही, आपल्याला व्हिडिओसह काय करणे आवश्यक आहे याचा मागोवा ठेवणे आवश्यक आहे: तयार व्हिडिओ अनुक्रमात गोंद किंवा ऑडिओ जोडा. सुदैवाने, MediaConvert त्याच्या जॉब्सद्वारे मेटाडेटा पास करण्यास समर्थन देते आणि आम्ही नेहमी "isMasterSoundJob" फॉर्मचा साधा ध्वज वापरू शकतो, कोणत्याही टप्प्यावर हा मेटाडेटा पार्स करतो.

सर्व्हरलेस उत्तम प्रकारे NoOps सह कार्य करण्यास अनुमती देते - एक दृष्टीकोन जो प्रकल्पाच्या पायाभूत सुविधांसाठी जबाबदार असलेल्या वेगळ्या टीमची अनावश्यकता गृहित धरतो. म्हणून, ही एक छोटीशी बाब होती - आम्ही सिस्टम प्रशासकांच्या सहभागाशिवाय AWS वर उपाय तैनात करतो, ज्यांच्याकडे नेहमीच काहीतरी करायचे असते.
आणि या सर्व गोष्टींचा वेग वाढवण्यासाठी, आम्ही AWS क्लाउडफॉर्मेशनवर शक्य तितकी डिप्लॉयमेंट स्क्रिप्ट स्वयंचलित करतो, ज्यामुळे तुम्हाला थेट VS वरून एका बटणाने तैनात करण्याची परवानगी मिळते. परिणामी, 200 ओळींच्या कोडची फाईल तुम्हाला रेडीमेड सोल्यूशन रोल आउट करण्याची परवानगी देते, जरी क्लाउडफॉर्मेशन सिंटॅक्स तुम्हाला अनैच्छिक असल्यास धक्कादायक असू शकते.

एकूण

सर्व्हरलेस हा रामबाण उपाय नाही. परंतु ते तीन मर्यादांसह परिस्थितींमध्ये जीवन खूप सोपे करेल: "मर्यादित संसाधने-अल्पकालीन-थोडे पैसे."

सर्व्हरलेससाठी उपयुक्त असलेल्या ऍप्लिकेशन्सची वैशिष्ट्ये

• दीर्घकाळ चालणाऱ्या प्रक्रियेशिवाय. API गेटवे हार्ड मर्यादा 29 सेकंद आहे, lambda हार्ड मर्यादा 5 मिनिटे आहे;
• इव्हेंट-चालित आर्किटेक्चरद्वारे वर्णन केलेले;
• SOA सारख्या सैलपणे जोडलेल्या घटकांमध्ये मोडते;
• आपल्या स्थितीसह जास्त काम करण्याची आवश्यकता नाही;
• .NET Core मध्ये लिहिलेले. .NET फ्रेमवर्कसह कार्य करण्यासाठी, तुम्हाला योग्य रनटाइमसह किमान डॉकर आवश्यक असेल.

सर्व्हरलेस पध्दतीचे फायदे

• पायाभूत सुविधा खर्च कमी करते;
• समाधान वितरीत करण्याची किंमत कमी करते;
• स्वयंचलित स्केलेबिलिटी;
• तांत्रिक प्रगतीच्या टोकावर विकास.

विशिष्ट उदाहरणासह तोटे

• वितरित ट्रेसिंग आणि लॉगिंग - AWS X-Ray आणि AWS CloudWatch द्वारे अंशतः निराकरण;
• गैरसोयीचे डीबगिंग;
• लोड नसताना कोल्ड स्टार्ट;
• AWS वापरकर्ता-विरोधक इंटरफेस ही सार्वत्रिक समस्या आहे :)

स्त्रोत: www.habr.com