একটি কাজের ভিডিও পরিষেবার দ্রুত বিকাশের জন্য সার্ভারহীন পদ্ধতি

আমি আউটসোর্সিংয়ে কাজ করি, যেখানে মূল নীতিটি "অনেক বিক্রি করুন, তাড়াতাড়ি করুন।" আমরা এটি যত দ্রুত করব, তত বেশি আয় করব। এবং, এটা বাঞ্ছনীয় যে সবকিছু ক্রাচ এবং স্নটের উপর নয়, তবে একটি গ্রহণযোগ্য মানের সাথে কাজ করে। আমি আপনাকে আমার অভিজ্ঞতা সম্পর্কে বলব যখন অল্প সময়ের মধ্যে একটি প্রচারমূলক পরিষেবা বিকাশ করা প্রয়োজন ছিল।

দেওয়া হলে AWS-এ রুট অ্যাকাউন্ট, টেকনোলজি স্ট্যাক, একটি ব্যাকএন্ড এবং বিকাশের জন্য এক মাস পছন্দের উপর কোনো বিধিনিষেধ নেই।

উদ্দেশ্য: একটি প্রচারমূলক পরিষেবা বাস্তবায়ন করে যেখানে ব্যবহারকারীরা এক থেকে চারটি ভিডিও আপলোড করে যা এক থেকে চার সেকেন্ডের মধ্যে স্থায়ী হয়, যা তারপরে মূল ভিডিও সিরিজে এম্বেড করা হয়।

রায়

এত অল্প সময়ে নিজের সাইকেল সার্ভিস লেখাটা ভালো ধারণা নয়। এছাড়াও, পরিষেবাটি লোডের সাথে মানিয়ে নিতে এবং প্রত্যেকের জন্য লোভনীয় ভিডিও পাওয়ার জন্য, পরিকাঠামোর প্রয়োজন হবে। এবং পছন্দসই প্লেন থেকে মূল্য ট্যাগ সঙ্গে না. অতএব, আমরা অবিলম্বে ন্যূনতম কাস্টমাইজেশন সহ প্রস্তুত-তৈরি সমাধানগুলিতে ফোকাস করি।

ভিডিওর সাথে কাজ করার জন্য আদর্শ সমাধান হল FFmpeg, একটি ক্রস-প্ল্যাটফর্ম কনসোল ইউটিলিটি যা আর্গুমেন্টের মাধ্যমে আপনাকে অডিও কাট এবং ওভারডুব করতে দেয়। যা করা বাকি আছে তা হল একটি মোড়ক লিখুন এবং এটিকে জীবনে প্রকাশ করুন। আমরা একটি প্রোটোটাইপ লিখি যা দুটি ভিডিও একসাথে সেলাই করে, এবং... মজা শুরু হয়৷ লাইব্রেরিটি .NET কোর 2 এর উপর ভিত্তি করে তৈরি করা হয়েছে, এটি যেকোনো ভার্চুয়াল মেশিনে চালানো উচিত, তাই আমরা একটি AWS EC2 উদাহরণ নিই এবং সবকিছু কাজ করবে

লুকানো লেখানা, এটা কাজ করবে না
.
যদিও FFmpeg কাজটিকে সরল করে, একটি সত্যিই কার্যকর সমাধানের জন্য আপনাকে একটি EC2 উদাহরণ তৈরি করতে হবে এবং একটি লোড ব্যালেন্সার সহ এর জন্য একটি নেটওয়ার্ক অবকাঠামো ডিজাইন করতে হবে। স্ক্র্যাচ থেকে মোতায়েন করার সহজ কাজটি "একটু" আরও জটিল হয়ে ওঠে, এবং পরিকাঠামো অবিলম্বে অর্থের দাবি করতে শুরু করে - প্রতি ঘন্টায় ক্লায়েন্ট অ্যাকাউন্ট থেকে রানটাইমের পরিমাণ প্রত্যাহার করা হয়।

আমাদের পরিষেবা দীর্ঘ-চলমান প্রক্রিয়াগুলিকে জড়িত করে না, একটি বড় এবং চর্বিযুক্ত রিলেশনাল ডেটাবেসের প্রয়োজন হয় না এবং মাইক্রোসার্ভিস কলগুলির একটি চেইন সহ একটি ইভেন্ট-ভিত্তিক আর্কিটেকচারে পুরোপুরি ফিট করে৷ সমাধানটি নিজেই পরামর্শ দেয় - আমরা EC2 ত্যাগ করতে পারি এবং AWS Lambda-এর উপর ভিত্তি করে স্ট্যান্ডার্ড ইমেজ রিসাইজারের মতো একটি সত্য-সার্ভারহীন অ্যাপ্লিকেশন প্রয়োগ করতে পারি।

যাইহোক, .NET-এর জন্য AWS ডেভেলপারদের স্পষ্ট অপছন্দ থাকা সত্ত্বেও, তারা .NET Core 2.1 কে রানটাইম হিসাবে সমর্থন করে, যা বিকাশের সুযোগের সম্পূর্ণ পরিসর প্রদান করে।

এবং কেকের চেরি - AWS ভিডিও ফাইলগুলির সাথে কাজ করার জন্য একটি পৃথক পরিষেবা প্রদান করে - AWS Elemental MediaConvert।

কাজের সারমর্মটি অবিশ্বাস্যভাবে সহজ: আমরা বহির্গামী ভিডিওতে একটি S3 লিঙ্ক নিই, AWS কনসোল, .NET SDK বা কেবল JSON এর মাধ্যমে লিখি যা আমরা ভিডিওটির সাথে করতে চাই এবং পরিষেবাটিকে কল করি৷ এটি নিজেই ইনকামিং অনুরোধগুলি প্রক্রিয়া করার জন্য সারিগুলি প্রয়োগ করে, ফলাফলটি নিজেই S3 এ আপলোড করে এবং সবচেয়ে গুরুত্বপূর্ণভাবে, প্রতিটি স্থিতি পরিবর্তনের জন্য একটি ক্লাউডওয়াচ ইভেন্ট তৈরি করে৷ এটি আমাদের ভিডিও প্রক্রিয়াকরণ সম্পূর্ণ করতে ল্যাম্বডা ট্রিগার প্রয়োগ করতে দেয়।

চূড়ান্ত স্থাপত্যটি দেখতে এইরকম:

পুরো ব্যাকএন্ড দুটি ল্যাম্বডাসে রাখা হয়েছে। আরেকটি হল উল্লম্ব ভিডিও ঘোরানোর জন্য, যেহেতু এই ধরনের কাজ এক পাসে করা যায় না।

আমরা JS-এ লেখা একটি SPA অ্যাপ্লিকেশন আকারে সামনে রাখব এবং পাবলিক S3 বালতিতে pug-এর মাধ্যমে সংকলিত করব। ভিডিওগুলি নিজেরাই ডাউনলোড করতে, আমাদের কোনও সার্ভার কোডের প্রয়োজন নেই - আমাদের কেবল S3 আমাদের সরবরাহ করে এমন REST শেষ পয়েন্টগুলি খুলতে হবে। একমাত্র জিনিস নীতি এবং CORS কনফিগার করতে ভুলবেন না।

pitfalls

• AWS MediaConvert, কিছু অজানা কারণে, শুধুমাত্র প্রতিটি ভিডিও খণ্ডে আলাদাভাবে শব্দ প্রয়োগ করে, কিন্তু আমাদের পুরো স্ক্রিনসেভার থেকে একটি প্রফুল্ল গান দরকার।
• উল্লম্ব ভিডিও আলাদাভাবে প্রক্রিয়া করা প্রয়োজন. AWS কালো বার পছন্দ করে না এবং রোলারগুলিকে 90° এ রাখে।

সহজ স্কেটিং রিঙ্ক

স্টেটলেস এর সমস্ত সৌন্দর্য সত্ত্বেও, আপনাকে ভিডিওটির সাথে কী করা দরকার তা ট্র্যাক রাখতে হবে: সমাপ্ত ভিডিও ক্রমটিতে আঠালো বা অডিও যুক্ত করুন। সৌভাগ্যবশত, MediaConvert তার চাকরির মাধ্যমে মেটাডেটা পাস করাকে সমর্থন করে এবং আমরা যেকোন পর্যায়ে এই মেটাডেটা পার্স করে, “isMasterSoundJob” ফর্মের একটি সাধারণ পতাকা ব্যবহার করতে পারি।

সার্ভারলেস নিখুঁতভাবে NoOps-এর সাথে কাজ করার অনুমতি দেয় - একটি পদ্ধতি যা প্রকল্প পরিকাঠামোর জন্য দায়ী একটি পৃথক দলের অপ্রয়োজনীয়তা অনুমান করে। অতএব, এটি একটি ছোট বিষয় ছিল - আমরা সিস্টেম অ্যাডমিনিস্ট্রেটরদের অংশগ্রহণ ছাড়াই AWS-এ সমাধান স্থাপন করি, যাদের সবসময় কিছু করার থাকে।
এবং এই সমস্ত কিছুর গতি বাড়ানোর জন্য, আমরা AWS CloudFormation-এ যতটা সম্ভব ডিপ্লয়মেন্ট স্ক্রিপ্ট স্বয়ংক্রিয় করি, যা আপনাকে VS থেকে সরাসরি একটি বোতাম দিয়ে স্থাপন করতে দেয়। ফলস্বরূপ, কোডের 200 লাইনের একটি ফাইল আপনাকে একটি প্রস্তুত-তৈরি সমাধান রোল আউট করতে দেয়, যদিও ক্লাউডফরমেশন সিনট্যাক্সটি হতবাক হতে পারে যদি আপনি এটিতে অভ্যস্ত না হন।

মোটে

সার্ভারলেস কোনো নিরাময় নয়। তবে এটি তিনটি সীমাবদ্ধ পরিস্থিতিতে জীবনকে আরও সহজ করে তুলবে: "সীমিত সংস্থান - স্বল্পমেয়াদী - অল্প অর্থ।"

সার্ভারহীন জন্য উপযুক্ত অ্যাপ্লিকেশনের বৈশিষ্ট্য

• দীর্ঘ-চলমান প্রক্রিয়া ছাড়া। API গেটওয়ে হার্ড লিমিট 29 সেকেন্ড, ল্যাম্বডা হার্ড লিমিট 5 মিনিট;
• ইভেন্ট-চালিত আর্কিটেকচার দ্বারা বর্ণিত;
• SOA এর মত আলগাভাবে সংযুক্ত উপাদানে ভেঙ্গে যায়;
• আপনার অবস্থার সাথে অনেক কাজ করার প্রয়োজন নেই;
• .NET কোরে লেখা। .NET ফ্রেমওয়ার্কের সাথে কাজ করার জন্য, আপনার এখনও উপযুক্ত রানটাইম সহ কমপক্ষে ডকার প্রয়োজন।

সার্ভারহীন পদ্ধতির সুবিধা

• অবকাঠামো খরচ হ্রাস;
• সমাধান সরবরাহের খরচ হ্রাস করে;
• স্বয়ংক্রিয় মাপযোগ্যতা;
• প্রযুক্তিগত অগ্রগতির প্রান্তে উন্নয়ন।

অসুবিধাগুলি, একটি নির্দিষ্ট উদাহরণ সহ

• বিতরণ করা ট্রেসিং এবং লগিং - AWS X-Ray এবং AWS CloudWatch এর মাধ্যমে আংশিকভাবে সমাধান করা হয়েছে;
• অসুবিধাজনক ডিবাগিং;
• কোল্ড স্টার্ট যখন কোন লোড নেই;
• AWS ব্যবহারকারী-প্রতিকূল ইন্টারফেস একটি সর্বজনীন সমস্যা :)

উত্স: www.habr.com