કુબરનેટ્સ એડવેન્ચર ડેઇલીમોશન: ક્લાઉડ્સ + ઓન-પ્રિમિસીસમાં ઇન્ફ્રાસ્ટ્રક્ચર બનાવવું

નૉૅધ. અનુવાદ: ડેઇલીમોશન એ વિશ્વની સૌથી મોટી વિડિયો હોસ્ટિંગ સેવાઓમાંની એક છે અને તેથી તે એક નોંધપાત્ર કુબરનેટ્સ વપરાશકર્તા છે. આ સામગ્રીમાં, સિસ્ટમ આર્કિટેક્ટ ડેવિડ ડોન્ચેઝ K8s પર આધારિત કંપનીના પ્રોડક્શન પ્લેટફોર્મ બનાવવાના પરિણામો શેર કરે છે, જે GKE માં ક્લાઉડ ઇન્સ્ટોલેશન સાથે શરૂ થયું હતું અને હાઇબ્રિડ સોલ્યુશન તરીકે સમાપ્ત થયું હતું, જેણે વધુ સારા પ્રતિભાવ સમય અને ઇન્ફ્રાસ્ટ્રક્ચર ખર્ચમાં બચત કરવાની મંજૂરી આપી હતી.

કોર API પુનઃબીલ્ડ કરવાનો નિર્ણય ડેઇલીમોશન ત્રણ વર્ષ પહેલા, અમે એપ્લિકેશનને હોસ્ટ કરવા અને તેને સરળ બનાવવા માટે વધુ કાર્યક્ષમ રીત વિકસાવવા માગતા હતા વિકાસ અને ઉત્પાદન પ્રક્રિયાઓ. આ હેતુ માટે, અમે કન્ટેનર ઓર્કેસ્ટ્રેશન પ્લેટફોર્મનો ઉપયોગ કરવાનું નક્કી કર્યું અને કુદરતી રીતે કુબરનેટ્સ પસંદ કર્યા.

કુબરનેટ્સ પર આધારિત તમારું પોતાનું પ્લેટફોર્મ બનાવવાનું શા માટે યોગ્ય છે?

Google ક્લાઉડનો ઉપયોગ કરીને ઉત્પાદન-સ્તરના API

ઉનાળો 2016

ત્રણ વર્ષ પહેલાં, ડેલીમોશન દ્વારા તરત જ ખરીદી કરવામાં આવી હતી જીવનશૈલી, અમારી એન્જિનિયરિંગ ટીમો એક વૈશ્વિક ધ્યેય પર ધ્યાન કેન્દ્રિત કરે છે: એક સંપૂર્ણપણે નવી ડેઇલીમોશન પ્રોડક્ટ બનાવવા માટે.

કન્ટેનર, ઓર્કેસ્ટ્રેશન સોલ્યુશન્સ અને અમારા ભૂતકાળના અનુભવના અમારા વિશ્લેષણના આધારે, અમને ખાતરી છે કે કુબરનેટ્સ એ યોગ્ય પસંદગી છે. કેટલાક વિકાસકર્તાઓને પહેલાથી જ મૂળભૂત ખ્યાલોની સમજ હતી અને તેનો ઉપયોગ કેવી રીતે કરવો તે જાણતા હતા, જે ઇન્ફ્રાસ્ટ્રક્ચર પરિવર્તન માટે એક મોટો ફાયદો હતો.

ઈન્ફ્રાસ્ટ્રક્ચરના પરિપ્રેક્ષ્યમાં, નવા પ્રકારની ક્લાઉડ-નેટિવ એપ્લિકેશન્સને હોસ્ટ કરવા માટે એક શક્તિશાળી અને લવચીક સિસ્ટમની જરૂર હતી. અમે અમારી મુસાફરીની શરૂઆતમાં ક્લાઉડમાં રહેવાનું પસંદ કર્યું જેથી અમે મનની શાંતિ સાથે શક્ય સૌથી મજબૂત ઓન-પ્રિમાઈસ પ્લેટફોર્મ બનાવી શકીએ. અમે Google Kubernetes Engine નો ઉપયોગ કરીને અમારી એપ્લિકેશનો જમાવવાનું નક્કી કર્યું છે, જો કે અમને ખબર હતી કે વહેલા કે પછી અમે અમારા પોતાના ડેટા કેન્દ્રો પર જઈશું અને હાઇબ્રિડ વ્યૂહરચના લાગુ કરીશું.

તમે GKE કેમ પસંદ કર્યું?

અમે આ પસંદગી મુખ્યત્વે ટેકનિકલ કારણોસર કરી છે. આ ઉપરાંત, કંપનીની વ્યવસાયિક જરૂરિયાતોને પૂર્ણ કરે તેવું ઈન્ફ્રાસ્ટ્રક્ચર ઝડપથી પૂરું પાડવું જરૂરી હતું. અમારી પાસે હોસ્ટિંગ એપ્લિકેશન્સ માટે કેટલીક આવશ્યકતાઓ હતી, જેમ કે ભૌગોલિક વિતરણ, માપનીયતા અને દોષ સહિષ્ણુતા.

Dailymotion માં GKE ક્લસ્ટરો

ડેલીમોશન એ વિશ્વભરમાં ઉપલબ્ધ એક વિડિયો પ્લેટફોર્મ હોવાથી, અમે ખરેખર રાહ જોવાનો સમય ઘટાડીને સેવાની ગુણવત્તા સુધારવા માગીએ છીએ. (વિલંબતા)... અગાઉ અમારા API માત્ર પેરિસમાં જ ઉપલબ્ધ હતું, જે સબઓપ્ટિમલ હતું. હું માત્ર યુરોપમાં જ નહીં, પણ એશિયા અને યુએસએમાં પણ એપ્લીકેશન હોસ્ટ કરવા સક્ષમ બનવા માંગુ છું.

લેટન્સી પ્રત્યેની આ સંવેદનશીલતાનો અર્થ એ છે કે પ્લેટફોર્મના નેટવર્ક આર્કિટેક્ચર પર ગંભીર કામ કરવું પડશે. જ્યારે મોટાભાગની ક્લાઉડ સેવાઓએ તમને દરેક પ્રદેશમાં તમારું પોતાનું નેટવર્ક બનાવવા અને પછી તેમને VPN અથવા અમુક પ્રકારની સંચાલિત સેવા દ્વારા કનેક્ટ કરવાની ફરજ પાડી હતી, ત્યારે Google ક્લાઉડે તમને બધા Google પ્રદેશોને આવરી લેતા સંપૂર્ણ રૂટેબલ સિંગલ નેટવર્ક બનાવવાની મંજૂરી આપી હતી. સિસ્ટમની કામગીરી અને કાર્યક્ષમતાના સંદર્ભમાં આ એક મોટો વત્તા છે.

વધુમાં, Google ક્લાઉડમાંથી નેટવર્ક સેવાઓ અને લોડ બેલેન્સર્સ ઉત્તમ કાર્ય કરે છે. તેઓ તમને દરેક પ્રદેશમાંથી મનસ્વી સાર્વજનિક IP સરનામાંનો ઉપયોગ કરવાની મંજૂરી આપે છે, અને અદ્ભુત BGP પ્રોટોકોલ બાકીની કાળજી લે છે (એટલે ​​​​કે વપરાશકર્તાઓને નજીકના ક્લસ્ટર પર રીડાયરેક્ટ કરે છે). દેખીતી રીતે, નિષ્ફળતાના કિસ્સામાં, ટ્રાફિક કોઈપણ માનવ હસ્તક્ષેપ વિના આપમેળે અન્ય પ્રદેશમાં જશે.

Google લોડ સંતુલનનું નિરીક્ષણ કરવું

અમારું પ્લેટફોર્મ પણ GPU નો ભારે ઉપયોગ કરે છે. ગૂગલ ક્લાઉડ તમને કુબરનેટ્સ ક્લસ્ટર્સમાં ખૂબ જ અસરકારક રીતે તેનો ઉપયોગ કરવાની મંજૂરી આપે છે.

તે સમયે, ઇન્ફ્રાસ્ટ્રક્ચર ટીમ મુખ્યત્વે ભૌતિક સર્વર્સ પર જમાવવામાં આવેલા લેગસી સ્ટેક પર ધ્યાન કેન્દ્રિત કરતી હતી. તેથી જ વ્યવસ્થાપિત સેવાનો ઉપયોગ કરીને (કુબરનેટ્સ માસ્ટર્સ સહિત) અમારી જરૂરિયાતો પૂરી કરી અને અમને સ્થાનિક ક્લસ્ટરો સાથે કામ કરવા માટે ટીમોને તાલીમ આપવાની મંજૂરી આપી.

પરિણામે, અમે કામ શરૂ થયાના 6 મહિના પછી જ Google ક્લાઉડ ઇન્ફ્રાસ્ટ્રક્ચર પર ઉત્પાદન ટ્રાફિક પ્રાપ્ત કરવાનું શરૂ કરી શક્યા.

જો કે, સંખ્યાબંધ ફાયદા હોવા છતાં, ક્લાઉડ પ્રદાતા સાથે કામ કરવું એ ચોક્કસ ખર્ચ સાથે સંકળાયેલું છે, જે લોડના આધારે વધી શકે છે. તેથી જ અમે ઉપયોગમાં લીધેલી દરેક વ્યવસ્થાપિત સેવાનું કાળજીપૂર્વક વિશ્લેષણ કર્યું, ભવિષ્યમાં તેને ઑન-પ્રિમિસીસ અમલમાં મૂકવાની આશા રાખીએ. હકીકતમાં, સ્થાનિક ક્લસ્ટરોનો અમલ 2016 ના અંતમાં શરૂ થયો હતો અને તે જ સમયે હાઇબ્રિડ વ્યૂહરચના શરૂ કરવામાં આવી હતી.

સ્થાનિક કન્ટેનર ઓર્કેસ્ટ્રેશન પ્લેટફોર્મ ડેઇલીમોશનની શરૂઆત

પાનખર 2016

પરિસ્થિતિઓમાં જ્યારે સમગ્ર સ્ટેક ઉત્પાદન માટે તૈયાર હોય અને API પર કામ કરે ચાલુ રાખ્યું, તે પ્રાદેશિક ક્લસ્ટરો પર ધ્યાન કેન્દ્રિત કરવાનો સમય હતો.

તે સમયે, વપરાશકર્તાઓ દર મહિને 3 અબજથી વધુ વિડિઓઝ જોતા હતા. અલબત્ત, અમારી પાસે ઘણાં વર્ષોથી અમારું પોતાનું વ્યાપક કન્ટેન્ટ ડિલિવરી નેટવર્ક છે. અમે આ સંજોગોનો લાભ લેવા અને હાલના ડેટા સેન્ટર્સમાં કુબરનેટ્સ ક્લસ્ટરો જમાવવા માગીએ છીએ.

ડેઇલીમોશનના ઇન્ફ્રાસ્ટ્રક્ચરમાં છ ડેટા સેન્ટર્સમાં 2,5 હજારથી વધુ સર્વર્સનો સમાવેશ થાય છે. તે બધા સોલ્ટસ્ટેકનો ઉપયોગ કરીને ગોઠવેલ છે. અમે માસ્ટર અને વર્કર નોડ્સ, તેમજ એક etcd ક્લસ્ટર બનાવવા માટે તમામ જરૂરી વાનગીઓ તૈયાર કરવાનું શરૂ કર્યું.

નેટવર્ક ભાગ

અમારું નેટવર્ક સંપૂર્ણપણે રૂટ થઈ ગયું છે. દરેક સર્વર Exabgp નો ઉપયોગ કરીને નેટવર્ક પર તેના IPની જાહેરાત કરે છે. અમે ઘણા નેટવર્ક પ્લગિન્સની સરખામણી કરી અને માત્ર એક જ જે બધી જરૂરિયાતોને સંતોષે છે (ઉપયોગમાં લેવાયેલ L3 અભિગમને કારણે) કાલિકો. તે હાલના નેટવર્ક ઈન્ફ્રાસ્ટ્રક્ચર મોડલમાં સંપૂર્ણ રીતે બંધબેસે છે.

અમે તમામ ઉપલબ્ધ ઈન્ફ્રાસ્ટ્રક્ચર ઘટકોનો ઉપયોગ કરવા માગતા હોવાથી, અમારે સૌપ્રથમ કામ કરવું પડ્યું હતું તે અમારી ઘરેલું નેટવર્ક યુટિલિટી (બધા સર્વર્સ પર વપરાય છે) શોધવાનું હતું: કુબરનેટ્સ નોડ્સ સાથે નેટવર્ક પર IP એડ્રેસ રેન્જની જાહેરાત કરવા માટે તેનો ઉપયોગ કરો. અમે કેલિકોને પોડ્સને IP સરનામાં સોંપવાની મંજૂરી આપી હતી, પરંતુ નેટવર્ક સાધનો પર BGP સત્રો માટે તેનો ઉપયોગ કર્યો નથી અને હજુ પણ કર્યો નથી. હકીકતમાં, રૂટીંગ Exabgp દ્વારા નિયંત્રિત થાય છે, જે કેલિકો દ્વારા ઉપયોગમાં લેવાતા સબનેટની જાહેરાત કરે છે. આ અમને આંતરિક નેટવર્કમાંથી કોઈપણ પોડ સુધી પહોંચવાની મંજૂરી આપે છે (અને ખાસ કરીને લોડ બેલેન્સર્સથી).

અમે કેવી રીતે પ્રવેશ ટ્રાફિકનું સંચાલન કરીએ છીએ

ઇનકમિંગ વિનંતીઓને ઇચ્છિત સેવા પર રીડાયરેક્ટ કરવા માટે, કુબરનેટ્સ ઇન્ગ્રેસ સંસાધનો સાથે તેના સંકલનને કારણે ઇન્ગ્રેસ કંટ્રોલરનો ઉપયોગ કરવાનું નક્કી કરવામાં આવ્યું હતું.

ત્રણ વર્ષ પહેલાં, nginx-ingress-controller સૌથી પરિપક્વ નિયંત્રક હતા: Nginx લાંબા સમયથી આસપાસ હતું અને તેની સ્થિરતા અને કામગીરી માટે જાણીતું હતું.

અમારી સિસ્ટમમાં, અમે નિયંત્રકોને સમર્પિત 10-ગીગાબીટ બ્લેડ સર્વર્સ પર મૂકવાનું નક્કી કર્યું છે. દરેક નિયંત્રક અનુરૂપ ક્લસ્ટરના ક્યુબે-એપીસર્વર એન્ડપોઇન્ટ સાથે જોડાયેલ હતું. આ સર્વર્સ જાહેર અથવા ખાનગી IP સરનામાંની જાહેરાત કરવા માટે Exabgp નો પણ ઉપયોગ કરે છે. અમારી નેટવર્ક ટોપોલોજી અમને નોડપોર્ટ જેવી સેવાનો ઉપયોગ કર્યા વિના તમામ ટ્રાફિકને સીધા જ પોડ પર રૂટ કરવા માટે આ નિયંત્રકોમાંથી BGP નો ઉપયોગ કરવાની મંજૂરી આપે છે. આ અભિગમ નોડ્સ વચ્ચેના આડા ટ્રાફિકને ટાળવામાં મદદ કરે છે અને કાર્યક્ષમતામાં સુધારો કરે છે.

ઈન્ટરનેટથી પોડ્સ સુધી ટ્રાફિક ચળવળ

હવે જ્યારે અમે અમારા હાઇબ્રિડ પ્લેટફોર્મને સમજીએ છીએ, ત્યારે અમે ટ્રાફિક સ્થળાંતર પ્રક્રિયામાં જ ઊંડો અભ્યાસ કરી શકીએ છીએ.

ગૂગલ ક્લાઉડથી ડેઇલીમોશન ઇન્ફ્રાસ્ટ્રક્ચરમાં ટ્રાફિકનું સ્થળાંતર

પાનખર 2018

લગભગ બે વર્ષના નિર્માણ, પરીક્ષણ અને ટ્યુનિંગ પછી, આખરે અમારી પાસે થોડો ટ્રાફિક સ્વીકારવા માટે સંપૂર્ણ કુબરનેટ્સ સ્ટેક તૈયાર છે.

વર્તમાન રૂટીંગ વ્યૂહરચના એકદમ સરળ છે, પરંતુ જરૂરિયાતોને પહોંચી વળવા માટે પૂરતી છે. સાર્વજનિક IP (Google Cloud અને Dailymotion પર) ઉપરાંત, AWS રૂટ 53 નો ઉપયોગ નીતિઓ સેટ કરવા અને વપરાશકર્તાઓને અમારી પસંદગીના ક્લસ્ટર પર રીડાયરેક્ટ કરવા માટે થાય છે.

રૂટ 53 નો ઉપયોગ કરીને રૂટીંગ નીતિનું ઉદાહરણ

Google ક્લાઉડ સાથે આ સરળ છે કારણ કે અમે તમામ ક્લસ્ટરોમાં એક જ IP શેર કરીએ છીએ અને વપરાશકર્તાને નજીકના GKE ક્લસ્ટર પર રીડાયરેક્ટ કરવામાં આવે છે. અમારા ક્લસ્ટરો માટે ટેક્નોલોજી અલગ છે, કારણ કે તેમના IP અલગ છે.

સ્થળાંતર દરમિયાન, અમે પ્રાદેશિક વિનંતીઓને યોગ્ય ક્લસ્ટરો પર રીડાયરેક્ટ કરવાનો પ્રયાસ કર્યો અને આ અભિગમના ફાયદાઓનું મૂલ્યાંકન કર્યું.

કારણ કે અમારા GKE ક્લસ્ટરોને કસ્ટમ મેટ્રિક્સનો ઉપયોગ કરીને ઑટોસ્કેલ કરવા માટે ગોઠવવામાં આવ્યા છે, તેઓ આવનારા ટ્રાફિકના આધારે સ્કેલ અપ/ડાઉન કરે છે.

સામાન્ય સ્થિતિમાં, તમામ પ્રાદેશિક ટ્રાફિકને સ્થાનિક ક્લસ્ટર તરફ નિર્દેશિત કરવામાં આવે છે, અને સમસ્યાઓના કિસ્સામાં GKE અનામત તરીકે સેવા આપે છે (આરોગ્ય તપાસ રૂટ 53 દ્વારા કરવામાં આવે છે).

...

ભવિષ્યમાં, અમે સ્વાયત્ત હાઇબ્રિડ વ્યૂહરચના હાંસલ કરવા માટે રૂટીંગ નીતિઓને સંપૂર્ણપણે સ્વચાલિત કરવા માંગીએ છીએ જે વપરાશકર્તાઓ માટે સુલભતામાં સતત સુધારો કરે છે. વત્તા બાજુ પર, ક્લાઉડ ખર્ચમાં નોંધપાત્ર ઘટાડો થયો છે અને API પ્રતિસાદનો સમય પણ ઘટાડી દેવામાં આવ્યો છે. અમે પરિણામી ક્લાઉડ પ્લેટફોર્મ પર વિશ્વાસ કરીએ છીએ અને જો જરૂરી હોય તો તેના પર વધુ ટ્રાફિક રીડાયરેક્ટ કરવા માટે તૈયાર છીએ.

અનુવાદક તરફથી પીએસ

તમને કુબરનેટ્સ વિશેની બીજી તાજેતરની ડેલીમોશન પોસ્ટમાં પણ રસ હોઈ શકે છે. તે ઘણા કુબરનેટ્સ ક્લસ્ટરો પર હેલ્મ સાથે એપ્લિકેશનની જમાવટ માટે સમર્પિત છે અને પ્રકાશિત કરવામાં આવી હતી લગભગ એક મહિના પહેલા.

અમારા બ્લોગ પર પણ વાંચો:

• «કુબરનેટ્સમાં ટિન્ડર સંક્રમણ».
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 10: Reddit»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 9: CERN અને 210 K8s ક્લસ્ટરો»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 8: હ્યુઆવેઇ»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 7: બ્લેકરોક»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 6: BlaBlaCar»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 5: ડિજિટલ બેંક મોન્ઝો»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 4: સાઉન્ડક્લાઉડ (પ્રોમિથિયસ દ્વારા)»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 3: GitHub»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 2: સહમત અને SAP»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 1: eBay તરફથી 4200 હર્થ અને ટેસમાસ્ટર».

સોર્સ: www.habr.com