কিভাবে আমরা ভিডিও এনকোডিংকে আট গুণ বাড়িয়েছি

প্রতিদিন, লক্ষ লক্ষ দর্শক ইন্টারনেটে ভিডিও দেখে। কিন্তু ভিডিওটি উপলভ্য হওয়ার জন্য, এটি শুধুমাত্র সার্ভারে আপলোড করা উচিত নয়, প্রক্রিয়া করাও উচিত। এটি যত দ্রুত ঘটবে, পরিষেবা এবং এর ব্যবহারকারীদের জন্য তত ভাল৷

আমার নাম Askar Kamalov, এক বছর আগে আমি ইয়ানডেক্স ভিডিও প্রযুক্তি দলে যোগ দিয়েছিলাম। আজ আমি হাবরের পাঠকদের সংক্ষেপে বলব কিভাবে, এনকোডিং প্রক্রিয়াকে সমান্তরাল করে, আমরা ব্যবহারকারীর কাছে ভিডিও সরবরাহের গতি উল্লেখযোগ্যভাবে বৃদ্ধি করতে পেরেছি।

এই পোস্টটি প্রাথমিকভাবে তাদের জন্য আগ্রহী হবে যারা আগে ভিডিও পরিষেবার হুডের অধীনে কী ঘটবে তা নিয়ে ভাবেননি। মন্তব্যে আপনি প্রশ্ন জিজ্ঞাসা করতে পারেন এবং ভবিষ্যতের পোস্টগুলির জন্য বিষয়গুলি সুপারিশ করতে পারেন৷

টাস্ক নিজেই সম্পর্কে কয়েকটি শব্দ। ইয়ানডেক্স আপনাকে শুধুমাত্র অন্যান্য সাইটে ভিডিও অনুসন্ধান করতে সাহায্য করে না, তবে এর নিজস্ব পরিষেবার জন্য ভিডিওগুলিও সঞ্চয় করে। এটি একটি আসল প্রোগ্রাম হোক বা স্পোর্টস ম্যাচ অন এয়ার, KinoPoisk-এর একটি ফিল্ম বা Zen এবং News-এর ভিডিও - এই সবই আমাদের সার্ভারে আপলোড করা হয়৷ ব্যবহারকারীদের ভিডিও দেখার জন্য, এটি প্রস্তুত করা প্রয়োজন: প্রয়োজনীয় বিন্যাসে রূপান্তরিত করা, একটি পূর্বরূপ তৈরি করা বা এমনকি প্রযুক্তির মাধ্যমে চালানো ডিপএইচডি. একটি অপ্রস্তুত ফাইল শুধু স্থান নেয়. তদুপরি, আমরা কেবল হার্ডওয়্যারের সর্বোত্তম ব্যবহার সম্পর্কেই নয়, ব্যবহারকারীদের কাছে সামগ্রী সরবরাহের গতি সম্পর্কেও কথা বলছি। উদাহরণ: হকি ম্যাচের নিষ্পত্তিমূলক মুহুর্তের একটি রেকর্ডিং ইভেন্টের পরে এক মিনিটের মধ্যে অনুসন্ধান করা যেতে পারে।

অনুক্রমিক এনকোডিং

সুতরাং, ব্যবহারকারীর আনন্দ অনেকাংশে নির্ভর করে ভিডিওটি কত দ্রুত উপলব্ধ হয় তার উপর। এবং এটি প্রধানত ট্রান্সকোডিং গতি দ্বারা নির্ধারিত হয়। যখন ভিডিও আপলোডের গতির জন্য কোন কঠোর প্রয়োজনীয়তা নেই, তখন কোন সমস্যা নেই। আপনি একটি একক, অবিভাজ্য ফাইল নিন, এটি রূপান্তর করুন এবং এটি আপলোড করুন। আমাদের যাত্রার শুরুতে, আমরা এইভাবে কাজ করেছি:

ক্লায়েন্ট স্টোরেজে ভিডিও আপলোড করে, বিশ্লেষক উপাদান মেটা তথ্য সংগ্রহ করে এবং রূপান্তরের জন্য কর্মী উপাদানে ভিডিও স্থানান্তর করে। সমস্ত পর্যায় ক্রমানুসারে সঞ্চালিত হয়। এই ক্ষেত্রে, অনেক এনকোডিং সার্ভার থাকতে পারে, তবে শুধুমাত্র একটি নির্দিষ্ট ভিডিও প্রক্রিয়াকরণে ব্যস্ত। সহজ, স্বচ্ছ ডায়াগ্রাম। এর সুবিধা এখানেই শেষ। এই স্কিমটি শুধুমাত্র উল্লম্বভাবে স্কেল করা যেতে পারে (আরো শক্তিশালী সার্ভার কেনার কারণে)।

মধ্যবর্তী ফলাফল সহ অনুক্রমিক এনকোডিং

একরকম বেদনাদায়ক অপেক্ষাকে মসৃণ করতে, শিল্পটি একটি দ্রুত কোডিং বিকল্প নিয়ে এসেছিল। নামটি বিভ্রান্তিকর, কারণ আসলে, সম্পূর্ণ কোডিং ক্রমানুসারে ঘটে এবং ঠিক ততটা সময় নেয়। কিন্তু একটি মধ্যবর্তী ফলাফল সঙ্গে. ধারণাটি হল: যত তাড়াতাড়ি সম্ভব ভিডিওর একটি কম-রেজোলিউশন সংস্করণ প্রস্তুত করুন এবং প্রকাশ করুন, এবং শুধুমাত্র তারপর উচ্চ-রেজোলিউশন সংস্করণ।

একদিকে, ভিডিও দ্রুত উপলব্ধ হয়। এবং এটি গুরুত্বপূর্ণ ইভেন্টের জন্য দরকারী। কিন্তু অন্যদিকে, ছবিটি অস্পষ্ট হয়ে ওঠে এবং এটি দর্শকদের বিরক্ত করে।

দেখা যাচ্ছে যে আপনাকে কেবল ভিডিওটি দ্রুত প্রক্রিয়া করতে হবে না, তবে এর গুণমানও বজায় রাখতে হবে। ব্যবহারকারীরা এখন একটি ভিডিও পরিষেবা থেকে এটি আশা করে। এটা মনে হতে পারে যে এটি সবচেয়ে উত্পাদনশীল সার্ভার কেনার জন্য যথেষ্ট (এবং নিয়মিত সেগুলি একবারে আপগ্রেড করুন)। তবে এটি একটি শেষ পরিণতি, কারণ সর্বদা একটি ভিডিও থাকে যা এমনকি সবচেয়ে শক্তিশালী হার্ডওয়্যারকেও ধীর করে দেয়।

সমান্তরাল এনকোডিং

একটি জটিল সমস্যাকে অনেক কম জটিল সমস্যায় ভাগ করা এবং বিভিন্ন সার্ভারে সমান্তরালভাবে সমাধান করা অনেক বেশি কার্যকর। এটি ভিডিওর জন্য MapReduce. এই ক্ষেত্রে, আমরা একটি সার্ভারের কর্মক্ষমতা দ্বারা সীমাবদ্ধ নই এবং অনুভূমিকভাবে স্কেল করতে পারি (নতুন মেশিন যোগ করে)।

যাইহোক, ভিডিওগুলিকে ছোট ছোট টুকরোগুলিতে বিভক্ত করা, সেগুলিকে সমান্তরালভাবে প্রক্রিয়াকরণ করা এবং সেগুলিকে একসাথে আঠালো করার ধারণাটি কোনও গোপন বিষয় নয়। আপনি এই পদ্ধতির অনেক রেফারেন্স খুঁজে পেতে পারেন (উদাহরণস্বরূপ, Habré এ আমি প্রকল্প সম্পর্কে একটি পোস্ট সুপারিশ করি DistVIDc) তবে এটি সামগ্রিকভাবে এটিকে সহজ করে তোলে না, কারণ আপনি কেবল একটি প্রস্তুত সমাধান নিতে পারবেন না এবং এটি আপনার বাড়িতে তৈরি করতে পারবেন না। আমাদের অবকাঠামো, আমাদের ভিডিও এবং এমনকি আমাদের লোডের সাথে অভিযোজন প্রয়োজন। সাধারণভাবে, আপনার নিজের লেখা সহজ।

তাই, নতুন আর্কিটেকচারে, আমরা একশিলা কর্মী ব্লককে অনুক্রমিক কোডিং সহ মাইক্রোসার্ভিসেস সেগমেন্টার, টোকোডার, কম্বাইনারে ভাগ করেছি।

1. সেগমেন্টার ভিডিওটিকে প্রায় 10 সেকেন্ডের টুকরো টুকরো করে দেয়। টুকরো এক বা একাধিক GOP নিয়ে গঠিত (ছবির গ্রুপ) প্রতিটি GOP স্বাধীন এবং আলাদাভাবে এনকোড করা হয় যাতে এটি অন্য GOP-এর ফ্রেমের রেফারেন্স ছাড়াই ডিকোড করা যায়। অর্থাৎ খণ্ডগুলো একে অপরের থেকে স্বাধীনভাবে খেলা যায়। এই শার্ডিং লেটেন্সি হ্রাস করে, প্রক্রিয়াকরণ আগে শুরু করার অনুমতি দেয়।
2. Tcoder প্রতিটি খণ্ড প্রক্রিয়া. এটি সারি থেকে একটি কাজ নেয়, স্টোরেজ থেকে একটি টুকরো ডাউনলোড করে, এটিকে বিভিন্ন রেজোলিউশনে এনকোড করে (মনে রাখবেন যে প্লেয়ার সংযোগের গতির উপর ভিত্তি করে একটি সংস্করণ বেছে নিতে পারে), তারপর ফলাফলটিকে স্টোরেজে ফিরিয়ে দেয় এবং খণ্ডটিকে প্রক্রিয়াকৃত হিসাবে চিহ্নিত করে। ডাটাবেসে সমস্ত টুকরো প্রক্রিয়াকরণ করার পরে, Tcoder পরবর্তী উপাদানের জন্য ফলাফল তৈরি করতে টাস্ক পাঠায়।
3. কম্বাইনার একসাথে ফলাফল সংগ্রহ করে: Tcoder দ্বারা তৈরি সমস্ত টুকরো ডাউনলোড করে, বিভিন্ন রেজোলিউশনের জন্য স্ট্রীম তৈরি করে।

শব্দ সম্পর্কে কয়েকটি শব্দ। সর্বাধিক জনপ্রিয় AAC অডিও কোডেকের একটি অপ্রীতিকর বৈশিষ্ট্য রয়েছে। আপনি যদি টুকরোগুলোকে আলাদাভাবে এনকোড করেন, তাহলে আপনি সহজভাবে সেগুলিকে নির্বিঘ্নে একত্রে আঠালো করতে পারবেন না। পরিবর্তন লক্ষণীয় হবে। ভিডিও কোডেকগুলির এই সমস্যা নেই। তাত্ত্বিকভাবে, আপনি একটি জটিল প্রযুক্তিগত সমাধান সন্ধান করতে পারেন, তবে এই গেমটি এখনও মোমবাতির মূল্য নয় (অডিওর ওজন ভিডিওর তুলনায় উল্লেখযোগ্যভাবে কম)। অতএব, শুধুমাত্র ভিডিও সমান্তরালভাবে এনকোড করা হয়, এবং সম্পূর্ণ অডিও ট্র্যাক প্রক্রিয়া করা হয়।

Результаты

সমান্তরাল ভিডিও প্রক্রিয়াকরণের জন্য ধন্যবাদ, আমরা একটি ভিডিও আমাদের কাছে আপলোড করা এবং ব্যবহারকারীদের কাছে উপলব্ধ হওয়ার মধ্যে বিলম্বকে উল্লেখযোগ্যভাবে হ্রাস করেছি৷ উদাহরণস্বরূপ, আগে দেড় ঘন্টা স্থায়ী একটি ফুলএইচডি ফিল্মের জন্য বিভিন্ন মানের বিভিন্ন পূর্ণ সংস্করণ তৈরি করতে দুই ঘন্টা সময় লাগত। এখন এই সব 15 মিনিট সময় লাগে. তদুপরি, সমান্তরাল প্রক্রিয়াকরণের সাথে, আমরা একটি উচ্চ-রেজোলিউশন সংস্করণ তৈরি করি এমনকি পুরানো মধ্যবর্তী ফলাফল পদ্ধতির সাথে একটি নিম্ন-রেজোলিউশন সংস্করণের চেয়েও দ্রুত।

এবং আরো একটি জিনিস. পুরানো পদ্ধতির সাথে, হয় পর্যাপ্ত সার্ভার ছিল না, অথবা তারা কাজ ছাড়া নিষ্ক্রিয় ছিল। সমান্তরাল কোডিং আপনাকে আয়রন রিসাইক্লিং এর শেয়ার বাড়াতে দেয়। এখন আমাদের এক হাজারেরও বেশি সার্ভারের ক্লাস্টার সবসময় কিছু না কিছু নিয়ে ব্যস্ত থাকে।

আসলে, উন্নতির জন্য এখনও অবকাশ আছে। উদাহরণস্বরূপ, ভিডিওটি সম্পূর্ণরূপে আমাদের কাছে পৌঁছানোর আগে আমরা যদি তার খণ্ডাংশ প্রক্রিয়াকরণ শুরু করি তাহলে আমরা উল্লেখযোগ্য সময় বাঁচাতে পারি। তারা বলে, আরো আসতে হবে.

ভিডিওর সাথে কাজ করার ক্ষেত্রে আপনি কোন কাজগুলি পড়তে চান তা মন্তব্যে লিখুন।

শিল্প সহকর্মীদের অভিজ্ঞতার জন্য দরকারী লিঙ্ক

• SVE: ফেসবুক স্কেলে বিতরণ করা ভিডিও প্রক্রিয়াকরণ
• আর্চারের সাথে Netflix-এ মিডিয়া উদ্ভাবন সহজ করা। নেটফ্লিক্স প্রযুক্তি ব্লগ

উত্স: www.habr.com