અમે કેવી રીતે આઠ ગણા વિડિયો એન્કોડિંગને વેગ આપ્યો

દરરોજ, લાખો દર્શકો ઇન્ટરનેટ પર વીડિયો જુએ છે. પરંતુ વિડિયો ઉપલબ્ધ થવા માટે, તે માત્ર સર્વર પર અપલોડ થવો જ જોઈએ નહીં, પરંતુ પ્રક્રિયા પણ થવી જોઈએ. આ જેટલું ઝડપથી થાય છે, તે સેવા અને તેના વપરાશકર્તાઓ માટે વધુ સારું છે.

મારું નામ અસ્કર કમલોવ છે, એક વર્ષ પહેલાં હું યાન્ડેક્ષ વિડિયો ટેક્નોલોજી ટીમમાં જોડાયો હતો. આજે હું હેબ્રના વાચકોને સંક્ષિપ્તમાં કહીશ કે કેવી રીતે, એન્કોડિંગ પ્રક્રિયાને સમાંતર કરીને, અમે વપરાશકર્તાને વિડિઓની ડિલિવરીને નોંધપાત્ર રીતે ઝડપી બનાવવામાં સફળ થયા.

આ પોસ્ટ મુખ્યત્વે તે લોકો માટે રસ ધરાવશે જેમણે અગાઉ વિડિઓ સેવાઓના હૂડ હેઠળ શું થાય છે તે વિશે વિચાર્યું નથી. ટિપ્પણીઓમાં તમે પ્રશ્નો પૂછી શકો છો અને ભાવિ પોસ્ટ્સ માટે વિષયો સૂચવી શકો છો.

કાર્ય પોતે વિશે થોડાક શબ્દો. યાન્ડેક્ષ તમને અન્ય સાઇટ્સ પર વિડિઓઝ શોધવામાં મદદ કરે છે, પણ તેની પોતાની સેવાઓ માટે વિડિઓઝનો સંગ્રહ પણ કરે છે. ભલે તે ઓરિજિનલ પ્રોગ્રામ હોય કે સ્પોર્ટ્સ મેચ ઓન એર, કિનોપોઇસ્ક પરની ફિલ્મ હોય કે ઝેન અને ન્યૂઝ પરના વીડિયો - આ બધું અમારા સર્વર્સ પર અપલોડ કરવામાં આવે છે. વપરાશકર્તાઓ વિડિઓ જોઈ શકે તે માટે, તેને તૈયાર કરવાની જરૂર છે: જરૂરી ફોર્મેટમાં રૂપાંતરિત, પૂર્વાવલોકન બનાવવું અથવા ટેક્નોલોજી દ્વારા ચલાવવું ડીપએચડી. તૈયારી વિનાની ફાઇલ ખાલી જગ્યા લે છે. તદુપરાંત, અમે ફક્ત હાર્ડવેરના શ્રેષ્ઠ ઉપયોગ વિશે જ નહીં, પણ વપરાશકર્તાઓને સામગ્રી પહોંચાડવાની ઝડપ વિશે પણ વાત કરી રહ્યા છીએ. ઉદાહરણ: હોકી મેચની નિર્ણાયક ક્ષણનું રેકોર્ડિંગ ઇવેન્ટ પછી એક મિનિટમાં શોધી શકાય છે.

ક્રમિક એન્કોડિંગ

તેથી, વપરાશકર્તાની ખુશી મોટાભાગે વિડિઓ કેટલી ઝડપથી ઉપલબ્ધ થાય છે તેના પર નિર્ભર છે. અને આ મુખ્યત્વે ટ્રાન્સકોડિંગ ઝડપ દ્વારા નક્કી કરવામાં આવે છે. જ્યારે વિડિયો અપલોડ સ્પીડ માટે કોઈ કડક આવશ્યકતાઓ નથી, તો પછી કોઈ સમસ્યા નથી. તમે એક, અવિભાજ્ય ફાઇલ લો, તેને કન્વર્ટ કરો અને તેને અપલોડ કરો. અમારી મુસાફરીની શરૂઆતમાં, અમે આ રીતે કામ કર્યું:

ક્લાયંટ સ્ટોરેજ પર વિડિયો અપલોડ કરે છે, વિશ્લેષક ઘટક મેટા માહિતી એકત્રિત કરે છે અને રૂપાંતર માટે વિડિયોને વર્કર ઘટકમાં સ્થાનાંતરિત કરે છે. બધા તબક્કાઓ ક્રમિક રીતે કરવામાં આવે છે. આ કિસ્સામાં, ઘણા એન્કોડિંગ સર્વર હોઈ શકે છે, પરંતુ માત્ર એક જ ચોક્કસ વિડિઓની પ્રક્રિયા કરવામાં વ્યસ્ત છે. સરળ, પારદર્શક રેખાકૃતિ. આ તે છે જ્યાં તેના ફાયદા સમાપ્ત થાય છે. આ સ્કીમ માત્ર ઊભી રીતે માપી શકાય છે (વધુ શક્તિશાળી સર્વરની ખરીદીને કારણે).

મધ્યવર્તી પરિણામ સાથે અનુક્રમિક એન્કોડિંગ

કોઈક રીતે પીડાદાયક રાહને સરળ બનાવવા માટે, ઉદ્યોગ ઝડપી કોડિંગ વિકલ્પ સાથે આવ્યો. નામ ભ્રામક છે, કારણ કે હકીકતમાં, સંપૂર્ણ કોડિંગ ક્રમિક રીતે થાય છે અને તેટલો જ સમય લે છે. પરંતુ મધ્યવર્તી પરિણામ સાથે. વિચાર આ છે: શક્ય તેટલી ઝડપથી વિડિયોનું લો-રિઝોલ્યુશન વર્ઝન તૈયાર કરો અને પ્રકાશિત કરો, અને પછી જ ઉચ્ચ-રિઝોલ્યુશન વર્ઝન.

એક તરફ, વિડિયો ઝડપથી ઉપલબ્ધ થાય છે. અને તે મહત્વપૂર્ણ ઘટનાઓ માટે ઉપયોગી છે. પરંતુ બીજી બાજુ, ચિત્ર અસ્પષ્ટ બહાર આવ્યું છે, અને આ દર્શકોને હેરાન કરે છે.

તે તારણ આપે છે કે તમારે ફક્ત વિડિઓ પર ઝડપથી પ્રક્રિયા કરવાની જરૂર નથી, પણ તેની ગુણવત્તા જાળવવાની પણ જરૂર છે. વપરાશકર્તાઓ હવે વિડિઓ સેવાથી આની અપેક્ષા રાખે છે. એવું લાગે છે કે તે સૌથી વધુ ઉત્પાદક સર્વર્સ ખરીદવા માટે પૂરતું છે (અને નિયમિતપણે તે બધાને એક જ સમયે અપગ્રેડ કરો). પરંતુ આ એક ડેડ એન્ડ છે, કારણ કે ત્યાં હંમેશા એક વિડિઓ છે જે સૌથી શક્તિશાળી હાર્ડવેરને પણ ધીમું કરશે.

સમાંતર એન્કોડિંગ

જટિલ સમસ્યાને ઘણી ઓછી જટિલ સમસ્યાઓમાં વિભાજીત કરવી અને તેને વિવિધ સર્વર્સ પર સમાંતર રીતે હલ કરવી તે વધુ કાર્યક્ષમ છે. આ વિડિઓ માટે MapReduce છે. આ કિસ્સામાં, અમે એક સર્વરના પ્રદર્શન દ્વારા મર્યાદિત નથી અને આડા સ્કેલ કરી શકીએ છીએ (નવા મશીનો ઉમેરીને).

માર્ગ દ્વારા, વિડિઓઝને નાના ટુકડાઓમાં વિભાજીત કરવાનો, તેમને સમાંતર રીતે પ્રક્રિયા કરવાનો અને તેમને એકસાથે ગુંદર કરવાનો વિચાર કોઈ ગુપ્ત નથી. તમે આ અભિગમના ઘણા સંદર્ભો શોધી શકો છો (ઉદાહરણ તરીકે, Habré પર હું પ્રોજેક્ટ વિશેની પોસ્ટની ભલામણ કરું છું DistVIDc). પરંતુ આ એકંદરે તેને વધુ સરળ બનાવતું નથી, કારણ કે તમે ફક્ત તૈયાર સોલ્યુશન લઈ શકતા નથી અને તેને તમારા ઘરમાં બનાવી શકતા નથી. અમને અમારા ઈન્ફ્રાસ્ટ્રક્ચર, અમારા વિડિયો અને અમારા લોડ સાથે અનુકૂલનની જરૂર છે. સામાન્ય રીતે, તમારું પોતાનું લખવું સરળ છે.

તેથી, નવા આર્કિટેક્ચરમાં, અમે સિક્વન્શિયલ કોડિંગ સાથે મોનોલિથિક વર્કર બ્લોકને માઇક્રોસર્વિસિસ સેગમેન્ટર, ટીકોડર, કોમ્બિનરમાં વિભાજિત કર્યા છે.

1. સેગમેન્ટર વિડિયોને લગભગ 10 સેકન્ડના ટુકડાઓમાં તોડે છે. ટુકડાઓમાં એક અથવા વધુ GOP નો સમાવેશ થાય છે (ચિત્રોનું જૂથ). દરેક GOP સ્વતંત્ર છે અને અલગથી એન્કોડેડ છે જેથી કરીને તેને અન્ય GOP ના ફ્રેમના સંદર્ભ વિના ડીકોડ કરી શકાય. એટલે કે, ટુકડાઓ એકબીજાથી સ્વતંત્ર રીતે રમી શકાય છે. આ શાર્ડિંગ લેટન્સી ઘટાડે છે, પ્રક્રિયાને વહેલા શરૂ કરવાની મંજૂરી આપે છે.
2. Tcoder દરેક ટુકડા પર પ્રક્રિયા કરે છે. તે કતારમાંથી એક કાર્ય લે છે, સ્ટોરેજમાંથી એક ટુકડો ડાઉનલોડ કરે છે, તેને વિવિધ રીઝોલ્યુશનમાં એન્કોડ કરે છે (યાદ રાખો કે પ્લેયર કનેક્શન સ્પીડના આધારે સંસ્કરણ પસંદ કરી શકે છે), પછી પરિણામને સ્ટોરેજમાં પાછું મૂકે છે અને ટુકડાને પ્રોસેસ્ડ તરીકે ચિહ્નિત કરે છે. ડેટાબેઝમાં. તમામ ટુકડાઓ પર પ્રક્રિયા કર્યા પછી, Tcoder આગલા ઘટક માટે પરિણામો જનરેટ કરવા માટે કાર્ય મોકલે છે.
3. કોમ્બિનર પરિણામોને એકસાથે એકત્રિત કરે છે: Tcoder દ્વારા બનાવેલા તમામ ટુકડાઓ ડાઉનલોડ કરે છે, વિવિધ રીઝોલ્યુશન માટે સ્ટ્રીમ્સ જનરેટ કરે છે.

અવાજ વિશે થોડાક શબ્દો. સૌથી લોકપ્રિય AAC ઑડિઓ કોડેકમાં એક અપ્રિય લક્ષણ છે. જો તમે ટુકડાઓને અલગથી એન્કોડ કરો છો, તો પછી તમે તેમને એકીકૃત રીતે એકસાથે ગુંદર કરી શકશો નહીં. સંક્રમણો નોંધનીય હશે. વિડિઓ કોડેક્સમાં આ સમસ્યા નથી. સૈદ્ધાંતિક રીતે, તમે એક જટિલ તકનીકી ઉકેલ શોધી શકો છો, પરંતુ આ રમત હજી સુધી મીણબત્તી માટે યોગ્ય નથી (ઓડિયોનું વજન વિડિઓ કરતા નોંધપાત્ર રીતે ઓછું છે). તેથી, ફક્ત વિડિઓને સમાંતરમાં એન્કોડ કરવામાં આવે છે, અને સમગ્ર ઑડિઓ ટ્રૅક પર પ્રક્રિયા કરવામાં આવે છે.

રિઝલ્ટ

સમાંતર વિડિયો પ્રોસેસિંગ માટે આભાર, અમે અમારા પર અપલોડ કરવામાં આવેલ વિડિયો અને વપરાશકર્તાઓ માટે ઉપલબ્ધ થવા વચ્ચેનો વિલંબ નોંધપાત્ર રીતે ઘટાડી દીધો છે. ઉદાહરણ તરીકે, અગાઉ દોઢ કલાક સુધી ચાલતી ફુલએચડી ફિલ્મ માટે વિવિધ ગુણવત્તાના અનેક સંપૂર્ણ સંસ્કરણો બનાવવામાં બે કલાક લાગી શકે છે. હવે આ બધું 15 મિનિટ લે છે. વધુમાં, સમાંતર પ્રક્રિયા સાથે, અમે જૂના મધ્યવર્તી પરિણામ અભિગમ સાથે ઓછા-રિઝોલ્યુશન સંસ્કરણ કરતાં પણ વધુ ઝડપી ઉચ્ચ-રિઝોલ્યુશન સંસ્કરણ બનાવીએ છીએ.

અને એક વધુ વસ્તુ. જૂના અભિગમ સાથે, કાં તો ત્યાં પૂરતા સર્વર નહોતા, અથવા તેઓ કાર્યો વિના નિષ્ક્રિય હતા. સમાંતર કોડિંગ તમને આયર્ન રિસાયક્લિંગનો હિસ્સો વધારવા માટે પરવાનગી આપે છે. હવે અમારું એક હજારથી વધુ સર્વર્સનું ક્લસ્ટર હંમેશા કંઈકને કંઈક વ્યસ્ત રહે છે.

હકીકતમાં, હજુ પણ સુધારા માટે અવકાશ છે. ઉદાહરણ તરીકે, જો અમે વિડિયોને સંપૂર્ણ રીતે અમારા સુધી પહોંચે તે પહેલાં તેના ટુકડાઓ પર પ્રક્રિયા કરવાનું શરૂ કરીએ તો અમે નોંધપાત્ર સમય બચાવી શકીએ છીએ. જેમ તેઓ કહે છે, વધુ આવવાનું છે.

ટિપ્પણીઓમાં લખો કે તમે વિડિઓ સાથે કામ કરવાના ક્ષેત્રમાં કયા કાર્યો વિશે વાંચવા માંગો છો.

ઉદ્યોગના સાથીદારોના અનુભવ માટે ઉપયોગી કડીઓ

• SVE: ફેસબુક સ્કેલ પર વિડિયો પ્રોસેસિંગ વિતરિત
• આર્ચર સાથે નેટફ્લિક્સ પર મીડિયા ઇનોવેશનને સરળ બનાવવું. Netflix ટેકનોલોજી બ્લોગ

સોર્સ: www.habr.com