ഞങ്ങൾ എങ്ങനെയാണ് വീഡിയോ എൻകോഡിംഗ് എട്ട് മടങ്ങ് വേഗത്തിലാക്കിയത്

ഓരോ ദിവസവും ദശലക്ഷക്കണക്കിന് കാഴ്ചക്കാർ ഇൻ്റർനെറ്റിൽ വീഡിയോകൾ കാണുന്നു. എന്നാൽ വീഡിയോ ലഭ്യമാകണമെങ്കിൽ, അത് സെർവറിലേക്ക് അപ്‌ലോഡ് ചെയ്യുക മാത്രമല്ല, പ്രോസസ്സ് ചെയ്യുകയും വേണം. ഇത് എത്ര വേഗത്തിൽ സംഭവിക്കുന്നുവോ, സേവനത്തിനും അതിൻ്റെ ഉപയോക്താക്കൾക്കും നല്ലത്.

എൻ്റെ പേര് അസ്കർ കമലോവ്, ഒരു വർഷം മുമ്പ് ഞാൻ Yandex വീഡിയോ ടെക്നോളജി ടീമിൽ ചേർന്നു. എൻകോഡിംഗ് പ്രക്രിയ സമാന്തരമാക്കുന്നതിലൂടെ, ഉപയോക്താവിന് വീഡിയോ ഡെലിവറി ചെയ്യുന്നത് എങ്ങനെ ഗണ്യമായി വേഗത്തിലാക്കാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞു എന്നതിനെക്കുറിച്ച് ഇന്ന് ഞാൻ ഹബ്ർ വായനക്കാരോട് സംക്ഷിപ്തമായി പറയും.

വീഡിയോ സേവനങ്ങൾക്ക് കീഴിൽ എന്താണ് സംഭവിക്കുന്നതെന്ന് മുമ്പ് ചിന്തിച്ചിട്ടില്ലാത്തവർക്ക് ഈ പോസ്റ്റ് പ്രാഥമികമായി താൽപ്പര്യമുള്ളതായിരിക്കും. അഭിപ്രായങ്ങളിൽ നിങ്ങൾക്ക് ചോദ്യങ്ങൾ ചോദിക്കാനും ഭാവി പോസ്റ്റുകൾക്കായി വിഷയങ്ങൾ നിർദ്ദേശിക്കാനും കഴിയും.

ചുമതലയെക്കുറിച്ച് കുറച്ച് വാക്കുകൾ. മറ്റ് സൈറ്റുകളിൽ വീഡിയോകൾ തിരയാൻ Yandex നിങ്ങളെ സഹായിക്കുക മാത്രമല്ല, സ്വന്തം സേവനങ്ങൾക്കായി വീഡിയോകൾ സംഭരിക്കുകയും ചെയ്യുന്നു. അതൊരു ഒറിജിനൽ പ്രോഗ്രാമോ സ്‌പോർട്‌സ് മാച്ച് ഓൺ എയറോ, കിനോപോയിസ്‌കിലെ ഒരു സിനിമയോ, സെൻ, ന്യൂസ് എന്നിവയിലെ വീഡിയോകളോ ആകട്ടെ - ഇതെല്ലാം ഞങ്ങളുടെ സെർവറുകളിലേക്ക് അപ്‌ലോഡ് ചെയ്യപ്പെടും. ഉപയോക്താക്കൾക്ക് വീഡിയോ കാണുന്നതിന്, അത് തയ്യാറാക്കേണ്ടതുണ്ട്: ആവശ്യമായ ഫോർമാറ്റിലേക്ക് പരിവർത്തനം ചെയ്യുക, ഒരു പ്രിവ്യൂ സൃഷ്‌ടിക്കുക അല്ലെങ്കിൽ സാങ്കേതികവിദ്യയിലൂടെ പ്രവർത്തിപ്പിക്കുക. DeepHD. തയ്യാറാക്കാത്ത ഫയൽ ഇടം പിടിക്കുന്നു. മാത്രമല്ല, ഹാർഡ്‌വെയറിൻ്റെ ഒപ്റ്റിമൽ ഉപയോഗത്തെക്കുറിച്ച് മാത്രമല്ല, ഉപയോക്താക്കൾക്ക് ഉള്ളടക്കം എത്തിക്കുന്നതിൻ്റെ വേഗതയെക്കുറിച്ചും ഞങ്ങൾ സംസാരിക്കുന്നു. ഉദാഹരണം: ഒരു ഹോക്കി മത്സരത്തിൻ്റെ നിർണായക നിമിഷത്തിൻ്റെ റെക്കോർഡിംഗ് ഇവൻ്റ് കഴിഞ്ഞ് ഒരു മിനിറ്റിനുള്ളിൽ തിരയാൻ കഴിയും.

തുടർച്ചയായ എൻകോഡിംഗ്

അതിനാൽ, ഉപയോക്താവിൻ്റെ സന്തോഷം പ്രധാനമായും വീഡിയോ എത്ര വേഗത്തിൽ ലഭ്യമാകും എന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നു. ഇത് പ്രധാനമായും നിർണ്ണയിക്കുന്നത് ട്രാൻസ്കോഡിംഗ് വേഗതയാണ്. വീഡിയോ അപ്‌ലോഡ് വേഗതയ്ക്ക് കർശനമായ ആവശ്യകതകൾ ഇല്ലെങ്കിൽ, പ്രശ്‌നങ്ങളൊന്നുമില്ല. നിങ്ങൾ ഒരൊറ്റ, അവിഭാജ്യ ഫയൽ എടുത്ത്, അത് പരിവർത്തനം ചെയ്ത് അപ്‌ലോഡ് ചെയ്യുക. ഞങ്ങളുടെ യാത്രയുടെ തുടക്കത്തിൽ, ഞങ്ങൾ ഇങ്ങനെയാണ് പ്രവർത്തിച്ചത്:

ക്ലയൻ്റ് സ്റ്റോറേജിലേക്ക് വീഡിയോ അപ്‌ലോഡ് ചെയ്യുന്നു, അനലൈസർ ഘടകം മെറ്റാ വിവരങ്ങൾ ശേഖരിക്കുകയും വീഡിയോ പരിവർത്തനത്തിനായി വർക്കർ ഘടകത്തിലേക്ക് മാറ്റുകയും ചെയ്യുന്നു. എല്ലാ ഘട്ടങ്ങളും തുടർച്ചയായി നടപ്പിലാക്കുന്നു. ഈ സാഹചര്യത്തിൽ, നിരവധി എൻകോഡിംഗ് സെർവറുകൾ ഉണ്ടാകാം, എന്നാൽ ഒന്ന് മാത്രമേ ഒരു നിർദ്ദിഷ്ട വീഡിയോ പ്രോസസ്സ് ചെയ്യുന്ന തിരക്കിലാണ്. ലളിതവും സുതാര്യവുമായ ഡയഗ്രം. ഇവിടെയാണ് അതിൻ്റെ ഗുണങ്ങൾ അവസാനിക്കുന്നത്. ഈ സ്കീം ലംബമായി മാത്രമേ അളക്കാൻ കഴിയൂ (കൂടുതൽ ശക്തമായ സെർവറുകൾ വാങ്ങുന്നത് കാരണം).

ഇൻ്റർമീഡിയറ്റ് ഫലത്തോടുകൂടിയ തുടർച്ചയായ എൻകോഡിംഗ്

വേദനാജനകമായ കാത്തിരിപ്പ് എങ്ങനെയെങ്കിലും സുഗമമാക്കാൻ, വ്യവസായം ഒരു ഫാസ്റ്റ് കോഡിംഗ് ഓപ്ഷൻ കൊണ്ടുവന്നു. പേര് തെറ്റിദ്ധരിപ്പിക്കുന്നതാണ്, കാരണം വാസ്തവത്തിൽ, പൂർണ്ണ കോഡിംഗ് തുടർച്ചയായി സംഭവിക്കുകയും അത്രയും സമയമെടുക്കുകയും ചെയ്യുന്നു. എന്നാൽ ഒരു ഇൻ്റർമീഡിയറ്റ് ഫലത്തോടെ. ആശയം ഇതാണ്: വീഡിയോയുടെ കുറഞ്ഞ മിഴിവുള്ള പതിപ്പ് എത്രയും വേഗം തയ്യാറാക്കി പ്രസിദ്ധീകരിക്കുക, അതിനുശേഷം മാത്രമേ ഉയർന്ന മിഴിവുള്ള പതിപ്പുകൾ.

ഒരു വശത്ത്, വീഡിയോ വേഗത്തിൽ ലഭ്യമാകുന്നു. പ്രധാനപ്പെട്ട ഇവൻ്റുകൾക്ക് ഇത് ഉപയോഗപ്രദമാണ്. എന്നാൽ മറുവശത്ത്, ചിത്രം മങ്ങിയതായി മാറുന്നു, ഇത് കാഴ്ചക്കാരെ അലോസരപ്പെടുത്തുന്നു.

നിങ്ങൾ വീഡിയോ വേഗത്തിൽ പ്രോസസ്സ് ചെയ്യുക മാത്രമല്ല, അതിൻ്റെ ഗുണനിലവാരം നിലനിർത്തുകയും ചെയ്യണമെന്ന് ഇത് മാറുന്നു. ഇതാണ് ഇപ്പോൾ ഒരു വീഡിയോ സേവനത്തിൽ നിന്ന് ഉപയോക്താക്കൾ പ്രതീക്ഷിക്കുന്നത്. ഏറ്റവും ഉൽപ്പാദനക്ഷമതയുള്ള സെർവറുകൾ വാങ്ങാൻ ഇത് മതിയാകുമെന്ന് തോന്നിയേക്കാം (അവയെല്ലാം ഒരേസമയം പതിവായി നവീകരിക്കുക). എന്നാൽ ഇത് ഒരു അവസാനമാണ്, കാരണം ഏറ്റവും ശക്തമായ ഹാർഡ്‌വെയർ പോലും മന്ദഗതിയിലാക്കുന്ന ഒരു വീഡിയോ എപ്പോഴും ഉണ്ട്.

സമാന്തര എൻകോഡിംഗ്

സങ്കീർണ്ണമായ ഒരു പ്രശ്‌നത്തെ സങ്കീർണ്ണമല്ലാത്ത പലതായി വിഭജിച്ച് വ്യത്യസ്ത സെർവറുകളിൽ സമാന്തരമായി പരിഹരിക്കുന്നത് കൂടുതൽ കാര്യക്ഷമമാണ്. ഇത് വീഡിയോയ്ക്കുള്ള MapReduce ആണ്. ഈ സാഹചര്യത്തിൽ, ഒരു സെർവറിൻ്റെ പ്രകടനത്താൽ ഞങ്ങൾ പരിമിതപ്പെടുന്നില്ല, കൂടാതെ തിരശ്ചീനമായി സ്കെയിൽ ചെയ്യാൻ കഴിയും (പുതിയ മെഷീനുകൾ ചേർത്തുകൊണ്ട്).

വഴിയിൽ, വീഡിയോകൾ ചെറിയ കഷണങ്ങളായി വിഭജിക്കുകയും സമാന്തരമായി പ്രോസസ്സ് ചെയ്യുകയും ഒരുമിച്ച് ഒട്ടിക്കുകയും ചെയ്യുക എന്ന ആശയം ചില രഹസ്യമല്ല. ഈ സമീപനത്തെക്കുറിച്ച് നിങ്ങൾക്ക് നിരവധി റഫറൻസുകൾ കണ്ടെത്താനാകും (ഉദാഹരണത്തിന്, ഹബ്രെയിൽ പ്രോജക്റ്റിനെക്കുറിച്ചുള്ള ഒരു പോസ്റ്റ് ഞാൻ ശുപാർശ ചെയ്യുന്നു DistVIDc). എന്നാൽ ഇത് മൊത്തത്തിൽ ഇത് എളുപ്പമാക്കുന്നില്ല, കാരണം നിങ്ങൾക്ക് ഒരു റെഡിമെയ്ഡ് സൊല്യൂഷൻ എടുത്ത് നിങ്ങളുടെ വീട്ടിലേക്ക് നിർമ്മിക്കാൻ കഴിയില്ല. ഞങ്ങളുടെ ഇൻഫ്രാസ്ട്രക്ചറുകളിലേക്കും വീഡിയോകളിലേക്കും ഞങ്ങളുടെ ലോഡിലേക്കും പോലും പൊരുത്തപ്പെടുത്തൽ ആവശ്യമാണ്. പൊതുവേ, സ്വന്തമായി എഴുതുന്നത് എളുപ്പമാണ്.

അതിനാൽ, പുതിയ ആർക്കിടെക്ചറിൽ, ഞങ്ങൾ മോണോലിത്തിക്ക് വർക്കർ ബ്ലോക്കിനെ തുടർച്ചയായ കോഡിംഗ് ഉപയോഗിച്ച് മൈക്രോസർവീസസ് സെഗ്മെൻ്റർ, ടികോഡർ, കോമ്പിനർ എന്നിങ്ങനെ വിഭജിച്ചു.

1. സെഗ്മെൻ്റർ വീഡിയോയെ ഏകദേശം 10 സെക്കൻഡ് ദൈർഘ്യമുള്ള ഭാഗങ്ങളായി വിഭജിക്കുന്നു. ശകലങ്ങളിൽ ഒന്നോ അതിലധികമോ GOP-കൾ അടങ്ങിയിരിക്കുന്നു (ചിത്രങ്ങളുടെ കൂട്ടം). ഓരോ GOP-യും സ്വതന്ത്രവും പ്രത്യേകം എൻകോഡ് ചെയ്‌തിരിക്കുന്നതിനാൽ മറ്റ് GOP-കളിൽ നിന്നുള്ള ഫ്രെയിമുകളെ പരാമർശിക്കാതെ ഡീകോഡ് ചെയ്യാൻ കഴിയും. അതായത്, ശകലങ്ങൾ പരസ്പരം സ്വതന്ത്രമായി കളിക്കാൻ കഴിയും. ഈ ഷാർഡിംഗ് ലേറ്റൻസി കുറയ്ക്കുന്നു, പ്രോസസ്സിംഗ് നേരത്തെ ആരംഭിക്കാൻ അനുവദിക്കുന്നു.
2. Tcoder ഓരോ ശകലവും പ്രോസസ്സ് ചെയ്യുന്നു. ഇത് ക്യൂവിൽ നിന്ന് ഒരു ടാസ്‌ക് എടുക്കുന്നു, സ്റ്റോറേജിൽ നിന്ന് ഒരു ശകലം ഡൗൺലോഡ് ചെയ്യുന്നു, അതിനെ വ്യത്യസ്ത റെസല്യൂഷനുകളിലേക്ക് എൻകോഡ് ചെയ്യുന്നു (പ്ലയറിന് കണക്ഷൻ വേഗതയെ അടിസ്ഥാനമാക്കി ഒരു പതിപ്പ് തിരഞ്ഞെടുക്കാനാകുമെന്ന് ഓർമ്മിക്കുക), തുടർന്ന് ഫലം സ്റ്റോറേജിലേക്ക് തിരികെ വയ്ക്കുകയും ശകലം പ്രോസസ്സ് ചെയ്തതായി അടയാളപ്പെടുത്തുകയും ചെയ്യുന്നു ഡാറ്റാബേസിൽ. എല്ലാ ശകലങ്ങളും പ്രോസസ്സ് ചെയ്ത ശേഷം, അടുത്ത ഘടകത്തിനായി ഫലങ്ങൾ സൃഷ്ടിക്കുന്നതിന് Tcoder ടാസ്‌ക്ക് അയയ്ക്കുന്നു.
3. Combiner ഒരുമിച്ച് ഫലങ്ങൾ ശേഖരിക്കുന്നു: Tcoder നിർമ്മിച്ച എല്ലാ ശകലങ്ങളും ഡൗൺലോഡ് ചെയ്യുന്നു, വ്യത്യസ്ത റെസല്യൂഷനുകൾക്കായി സ്ട്രീമുകൾ സൃഷ്ടിക്കുന്നു.

ശബ്ദത്തെക്കുറിച്ച് കുറച്ച് വാക്കുകൾ. ഏറ്റവും ജനപ്രിയമായ AAC ഓഡിയോ കോഡെക്കിന് അസുഖകരമായ ഒരു സവിശേഷതയുണ്ട്. നിങ്ങൾ ശകലങ്ങൾ പ്രത്യേകം എൻകോഡ് ചെയ്യുകയാണെങ്കിൽ, നിങ്ങൾക്ക് അവയെ തടസ്സമില്ലാതെ ഒട്ടിക്കാൻ കഴിയില്ല. പരിവർത്തനങ്ങൾ ശ്രദ്ധേയമാകും. വീഡിയോ കോഡെക്കുകൾക്ക് ഈ പ്രശ്നമില്ല. സൈദ്ധാന്തികമായി, നിങ്ങൾക്ക് സങ്കീർണ്ണമായ ഒരു സാങ്കേതിക പരിഹാരത്തിനായി നോക്കാം, എന്നാൽ ഈ ഗെയിം ഇതുവരെ മെഴുകുതിരിക്ക് വിലയുള്ളതല്ല (ഓഡിയോ വീഡിയോയേക്കാൾ വളരെ കുറവാണ്). അതിനാൽ, വീഡിയോ മാത്രം സമാന്തരമായി എൻകോഡ് ചെയ്യുകയും മുഴുവൻ ഓഡിയോ ട്രാക്കും പ്രോസസ്സ് ചെയ്യുകയും ചെയ്യുന്നു.

ഫലങ്ങൾ

സമാന്തര വീഡിയോ പ്രോസസ്സിംഗിന് നന്ദി, ഞങ്ങൾക്ക് ഒരു വീഡിയോ അപ്‌ലോഡ് ചെയ്യുന്നതിനും ഉപയോക്താക്കൾക്ക് ലഭ്യമാകുന്നതിനും ഇടയിലുള്ള കാലതാമസം ഞങ്ങൾ ഗണ്യമായി കുറച്ചിരിക്കുന്നു. ഉദാഹരണത്തിന്, ഒന്നര മണിക്കൂർ ദൈർഘ്യമുള്ള ഒരു FullHD ഫിലിമിനായി വ്യത്യസ്ത നിലവാരത്തിലുള്ള നിരവധി പൂർണ്ണ പതിപ്പുകൾ സൃഷ്ടിക്കുന്നതിന് മുമ്പ് രണ്ട് മണിക്കൂർ എടുത്തേക്കാം. ഇപ്പോൾ ഇതിനെല്ലാം 15 മിനിറ്റ് എടുക്കും. മാത്രമല്ല, സമാന്തര പ്രോസസ്സിംഗ് ഉപയോഗിച്ച്, പഴയ ഇൻ്റർമീഡിയറ്റ് ഫല സമീപനം ഉപയോഗിച്ച് കുറഞ്ഞ റെസല്യൂഷൻ പതിപ്പിനേക്കാൾ വേഗത്തിൽ ഉയർന്ന റെസല്യൂഷൻ പതിപ്പ് ഞങ്ങൾ സൃഷ്ടിക്കുന്നു.

പിന്നെ ഒരു കാര്യം കൂടി. പഴയ സമീപനത്തിൽ, ഒന്നുകിൽ ആവശ്യത്തിന് സെർവറുകൾ ഇല്ലായിരുന്നു, അല്ലെങ്കിൽ അവ ടാസ്‌ക്കുകളില്ലാതെ നിഷ്‌ക്രിയമായിരുന്നു. ഇരുമ്പ് പുനരുപയോഗത്തിൻ്റെ പങ്ക് വർദ്ധിപ്പിക്കാൻ സമാന്തര കോഡിംഗ് നിങ്ങളെ അനുവദിക്കുന്നു. ഇപ്പോൾ ഞങ്ങളുടെ ആയിരത്തിലധികം സെർവറുകളുടെ ക്ലസ്റ്റർ എപ്പോഴും എന്തെങ്കിലും തിരക്കിലാണ്.

വാസ്തവത്തിൽ, മെച്ചപ്പെടുത്തലിന് ഇനിയും ഇടമുണ്ട്. ഉദാഹരണത്തിന്, വീഡിയോ മുഴുവനായി നമ്മിലേക്ക് എത്തുന്നതിന് മുമ്പ് അതിൻ്റെ ശകലങ്ങൾ പ്രോസസ്സ് ചെയ്യാൻ തുടങ്ങിയാൽ നമുക്ക് ഗണ്യമായ സമയം ലാഭിക്കാം. അവർ പറയുന്നതുപോലെ, ഇനിയും വരാനിരിക്കുന്നു.

വീഡിയോയ്‌ക്കൊപ്പം പ്രവർത്തിക്കുന്ന മേഖലയിലെ ഏതൊക്കെ ജോലികളെക്കുറിച്ചാണ് നിങ്ങൾ വായിക്കാൻ ആഗ്രഹിക്കുന്നതെന്ന് അഭിപ്രായങ്ങളിൽ എഴുതുക.

വ്യവസായ സഹപ്രവർത്തകരുടെ അനുഭവത്തിലേക്കുള്ള ഉപയോഗപ്രദമായ ലിങ്കുകൾ

• SVE: Facebook സ്കെയിലിൽ വിതരണം ചെയ്ത വീഡിയോ പ്രോസസ്സിംഗ്
• ആർച്ചർ ഉപയോഗിച്ച് നെറ്റ്ഫ്ലിക്സിൽ മീഡിയ ഇന്നൊവേഷൻ ലളിതമാക്കുന്നു. നെറ്റ്ഫ്ലിക്സ് ടെക്നോളജി ബ്ലോഗ്

അവലംബം: www.habr.com