QCon કોન્ફરન્સ. માસ્ટરિંગ કેઓસ: માઇક્રોસર્વિસિસ માટે નેટફ્લિક્સ માર્ગદર્શિકા. ભાગ 4

જોશ ઇવાન્સ Netflix માઇક્રોસર્વિસિસની અસ્તવ્યસ્ત અને રંગીન દુનિયા વિશે વાત કરે છે, જે ખૂબ જ મૂળભૂત બાબતોથી શરૂ થાય છે - માઇક્રોસર્વિસિસની શરીરરચના, વિતરિત સિસ્ટમો સાથે સંકળાયેલ પડકારો અને તેમના લાભો. આ પાયા પર નિર્માણ કરીને, તે સાંસ્કૃતિક, આર્કિટેક્ચરલ અને ઓપરેશનલ પ્રેક્ટિસની શોધ કરે છે જે માઇક્રોસર્વિસમાં નિપુણતા તરફ દોરી જાય છે.

QCon કોન્ફરન્સ. માસ્ટરિંગ કેઓસ: માઇક્રોસર્વિસિસ માટે નેટફ્લિક્સ માર્ગદર્શિકા. ભાગ 1
QCon કોન્ફરન્સ. માસ્ટરિંગ કેઓસ: માઇક્રોસર્વિસિસ માટે નેટફ્લિક્સ માર્ગદર્શિકા. ભાગ 2
QCon કોન્ફરન્સ. માસ્ટરિંગ કેઓસ: માઇક્રોસર્વિસિસ માટે નેટફ્લિક્સ માર્ગદર્શિકા. ભાગ 3

ઓપરેશનલ ડ્રિફ્ટથી વિપરીત, સેવા આંતરરાષ્ટ્રીયકરણ માટે નવી ભાષાઓનો પરિચય અને કન્ટેનર જેવી નવી તકનીકો એ પર્યાવરણમાં નવી જટિલતા ઉમેરવાના સભાન નિર્ણયો છે. મારી કામગીરી ટીમ નેટફ્લિક્સ માટે શ્રેષ્ઠ ટેક્નોલોજી રોડમેપ પર પ્રમાણિત કરે છે, જે Java અને EC2 પર આધારિત પૂર્વવ્યાખ્યાયિત શ્રેષ્ઠ પ્રેક્ટિસમાં બેક કરવામાં આવી હતી, પરંતુ જેમ જેમ બિઝનેસ વધતો ગયો તેમ તેમ ડેવલપર્સે Python, Ruby, Node-JS અને Docker જેવા નવા ઘટકો ઉમેરવાનું શરૂ કર્યું.

મને ખૂબ ગર્વ છે કે ગ્રાહકની ફરિયાદની રાહ જોયા વિના અમે અમારા ઉત્પાદનને શ્રેષ્ઠ રીતે કાર્ય કરવા માટે વકીલાત કરનારા સૌપ્રથમ હતા. તે બધું ખૂબ જ સરળ રીતે શરૂ થયું - અમારી પાસે પાયથોનમાં ઓપરેટિંગ પ્રોગ્રામ્સ અને રૂબીમાં કેટલીક બેક-ઓફિસ એપ્લિકેશન્સ હતી, પરંતુ જ્યારે અમારા વેબ ડેવલપર્સે જાહેરાત કરી કે તેઓ JVMને ખાઈ જશે અને વેબને ખસેડવા જઈ રહ્યા છે ત્યારે વસ્તુઓ ઘણી વધુ રસપ્રદ બની. નોડ સોફ્ટવેર પ્લેટફોર્મ પર એપ્લિકેશન. js. ડોકરની રજૂઆત પછી, વસ્તુઓ વધુ જટિલ બની ગઈ. અમે તર્કનું પાલન કર્યું અને અમે જે ટેક્નૉલૉજી લઈને આવ્યા છીએ તે વાસ્તવિકતા બની ગઈ જ્યારે અમે તેને ગ્રાહકો માટે અમલમાં મૂક્યો કારણ કે તે ઘણો અર્થપૂર્ણ હતો. હું તમને કહીશ કે આવું કેમ છે.

API ગેટવે ખરેખર મહાન સ્ક્રિપ્ટ્સને એકીકૃત કરવાની ક્ષમતા ધરાવે છે જે UI વિકાસકર્તાઓ માટે અંતિમ બિંદુ તરીકે કાર્ય કરી શકે છે. તેઓએ આ દરેક સ્ક્રિપ્ટને એવી રીતે રૂપાંતરિત કરી કે ફેરફારો કર્યા પછી તેઓ તેને પ્રોડક્શન અને પછી યુઝર ડિવાઈસમાં જમાવી શકે અને આ બધા ફેરફારો એપીઆઈ ગેટવેમાં ચાલતા એન્ડપોઈન્ટ સાથે સિંક્રનાઈઝ થયા.

જો કે, આનાથી એક નવી મોનોલિથ બનાવવાની સમસ્યાનું પુનરાવર્તન થયું જ્યાં API સેવા કોડ સાથે એવી રીતે ઓવરલોડ થઈ ગઈ કે વિવિધ નિષ્ફળતાના દૃશ્યો આવી. ઉદાહરણ તરીકે, કેટલાક એન્ડપોઇન્ટ્સ દૂર કરવામાં આવ્યા હતા, અથવા સ્ક્રિપ્ટ્સે રેન્ડમલી કોઈ વસ્તુની એટલી બધી આવૃત્તિઓ જનરેટ કરી હતી કે આવૃત્તિઓએ API સેવાની બધી ઉપલબ્ધ મેમરીને કબજે કરી લીધી હતી.

આ અંતિમ બિંદુઓ લેવા અને તેમને API સેવામાંથી બહાર કાઢવું ​​તે તાર્કિક હતું. આ કરવા માટે, અમે Node.js ઘટકો બનાવ્યા છે જે ડોકર કન્ટેનરમાં નાના એપ્લિકેશન તરીકે ચાલતા હતા. આનાથી અમને આ નોડ એપ્લીકેશનને કારણે થતી કોઈપણ સમસ્યાઓ અને ક્રેશ્સને અલગ કરવાની મંજૂરી મળી.

આ ફેરફારોની કિંમત ઘણી મોટી છે અને તેમાં નીચેના પરિબળોનો સમાવેશ થાય છે:

• ઉત્પાદકતા સાધનો. નવી ટેક્નોલોજીનું સંચાલન કરવા માટે નવા સાધનોની જરૂર હતી કારણ કે UI ટીમે, એક કાર્યક્ષમ મોડલ બનાવવા માટે ખૂબ જ સારી સ્ક્રિપ્ટનો ઉપયોગ કરીને, ઇન્ફ્રાસ્ટ્રક્ચરનું સંચાલન કરવામાં વધુ સમય પસાર કરવો પડતો ન હતો, તેઓએ માત્ર સ્ક્રિપ્ટો લખવાની અને તેમની કાર્યક્ષમતા તપાસવાની હતી.
  તકની આંતરદૃષ્ટિ અને સૉર્ટિંગ - એક મુખ્ય ઉદાહરણ પ્રભાવ ડ્રાઇવર માહિતીને ઉજાગર કરવા માટે જરૂરી નવા સાધનો છે. પ્રોસેસર પર કેટલો કબજો છે, મેમરીનો ઉપયોગ કેવી રીતે થઈ રહ્યો છે તે જાણવું જરૂરી હતું અને આ માહિતી એકત્રિત કરવા માટે વિવિધ સાધનોની જરૂર હતી.
• બેઝ ઈમેજીસનું ફ્રેગમેન્ટેશન - સાદું આધાર AMI વધુ વિભાજિત અને વિશિષ્ટ બની ગયું છે.
• નોડ મેનેજમેન્ટ. ત્યાં કોઈ ઑફ-ધ-શેલ્ફ આર્કિટેક્ચર અથવા તકનીક ઉપલબ્ધ નથી જે તમને ક્લાઉડમાં નોડ્સનું સંચાલન કરવાની મંજૂરી આપે છે, તેથી અમે Titus, કન્ટેનર મેનેજમેન્ટ પ્લેટફોર્મ બનાવ્યું છે જે Amazon AWS સાથે સ્કેલેબલ અને વિશ્વસનીય કન્ટેનર ડિપ્લોયમેન્ટ અને ક્લાઉડ એકીકરણ પ્રદાન કરે છે.
• પુસ્તકાલય અથવા પ્લેટફોર્મનું ડુપ્લિકેશન. પ્લેટફોર્મની સમાન મુખ્ય કાર્યક્ષમતા સાથે નવી તકનીકો પ્રદાન કરવા માટે તેને ક્લાઉડ-આધારિત Node.js ડેવલપર ટૂલ્સમાં ડુપ્લિકેટ કરવું જરૂરી છે.
• શીખવાની કર્વ અને ઔદ્યોગિક અનુભવ. નવી તકનીકોનો પરિચય અનિવાર્યપણે નવા પડકારો બનાવે છે જેને દૂર કરવા અને તેમાંથી શીખવા જોઈએ.

આમ, અમે અમારી જાતને એક "પાકા રસ્તા" સુધી મર્યાદિત કરી શક્યા નહીં અને અમારી તકનીકોને આગળ વધારવા માટે સતત નવા રસ્તાઓ બનાવવા પડ્યા. ખર્ચ ઓછો રાખવા માટે, અમે કેન્દ્રિય આધારને મર્યાદિત કર્યો અને JVM, નવા નોડ્સ અને ડોકર પર ધ્યાન કેન્દ્રિત કર્યું. અમે અસરકારક અસરને પ્રાધાન્ય આપ્યું, ટીમોને તેમના નિર્ણયોની કિંમત વિશે માહિતગાર કર્યા, અને તેઓએ પહેલેથી જ વિકસિત કરેલા ઉચ્ચ-અસરકારક ઉકેલોનો ફરીથી ઉપયોગ કરવાની રીતો શોધવા માટે તેમને પ્રોત્સાહિત કર્યા. આંતરરાષ્ટ્રીય ગ્રાહકો સુધી ઉત્પાદન પહોંચાડવા માટે અમે સેવાનો વિદેશી ભાષાઓમાં અનુવાદ કરતી વખતે આ અભિગમનો ઉપયોગ કર્યો હતો. ઉદાહરણોમાં પ્રમાણમાં સરળ ક્લાયન્ટ લાઇબ્રેરીઓનો સમાવેશ થાય છે જે આપમેળે જનરેટ થઈ શકે છે, જેથી પાયથોન વર્ઝન, રૂબી વર્ઝન, જાવા વર્ઝન વગેરે બનાવવું એકદમ સરળ છે.

અમે સતત એવી સાબિત તકનીકોનો ઉપયોગ કરવાની તકો શોધી રહ્યા હતા જેણે પોતાને એક જગ્યાએ અને અન્ય સમાન પરિસ્થિતિઓમાં સાબિત કરી હતી.

ચાલો છેલ્લા તત્વ વિશે વાત કરીએ - ફેરફારો, અથવા વિવિધતા. જુઓ કે કેવી રીતે અમારા ઉત્પાદનનો વપરાશ અઠવાડિયાના દિવસે અને દિવસ દરમિયાન કલાક પ્રમાણે અસમાન રીતે બદલાય છે. તમે કહી શકો છો કે સવારે 9 એ Netflix માટે સૌથી મુશ્કેલ સમય છે, જ્યારે સિસ્ટમ પરનો ભાર મહત્તમ સુધી પહોંચે છે.

અમે કેવી રીતે સૉફ્ટવેર નવીનતાઓના અમલીકરણની ઉચ્ચ ઝડપ હાંસલ કરી શકીએ, એટલે કે, સેવા વિતરણમાં વિક્ષેપ ઉભી કર્યા વિના અને અમારા ગ્રાહકોને અસુવિધા ઉભી કર્યા વિના, સિસ્ટમમાં સતત નવા ફેરફારો કરી શકીએ? નેટફ્લિક્સે સ્પિનનેકરના ઉપયોગ દ્વારા આ હાંસલ કર્યું, એક નવું વૈશ્વિક ક્લાઉડ-આધારિત મેનેજમેન્ટ અને સતત ડિલિવરી (CD) પ્લેટફોર્મ.

વિવેચનાત્મક રીતે, Spinnaker અમારી શ્રેષ્ઠ પ્રેક્ટિસને એકીકૃત કરવા માટે ડિઝાઇન કરવામાં આવી હતી જેથી કરીને અમે ઘટકોને ઉત્પાદનમાં જમાવીએ છીએ, અમે આઉટપુટને સીધી અમારી મીડિયા ડિલિવરી તકનીકમાં એકીકૃત કરી શકીએ છીએ.

અમે અમારી ડિલિવરી પાઈપલાઈનમાં બે ટેક્નોલોજીનો સમાવેશ કરવામાં સક્ષમ થયા છીએ જેને અમે ખૂબ મહત્વ આપીએ છીએ: સ્વચાલિત કેનેરી વિશ્લેષણ અને સ્ટેજ્ડ ડિપ્લોયમેન્ટ. કેનેરી પૃથ્થકરણનો અર્થ એ છે કે અમે કોડના નવા સંસ્કરણ પર ટ્રાફિકના ટ્રિકલને નિર્દેશિત કરીએ છીએ, અને બાકીના ઉત્પાદન ટ્રાફિકને જૂના સંસ્કરણ દ્વારા પસાર કરીએ છીએ. પછી અમે તપાસીએ છીએ કે નવો કોડ કાર્ય સાથે કેવી રીતે સામનો કરે છે - હાલના કોડ કરતાં વધુ સારું અથવા ખરાબ.

અચંબિત રોલઆઉટનો અર્થ એ છે કે જો એક પ્રદેશમાં રોલઆઉટમાં સમસ્યા હોય, તો અમે બીજા પ્રદેશમાં રોલઆઉટ પર જઈએ છીએ. આ કિસ્સામાં, ઉપરોક્ત ચેકલિસ્ટ ઉત્પાદન પાઇપલાઇનમાં શામેલ હોવું આવશ્યક છે. હું તમારો થોડો સમય બચાવીશ અને જો તમે આ વિષયમાં વધુ ઊંડાણમાં ડૂબકી મારવામાં રસ ધરાવો છો, તો હું તમને મારી અગાઉની ચર્ચા, એન્જીનીયરીંગ ગ્લોબલ નેટફ્લિક્સ ઓપરેશન્સ ઇન ધ ક્લાઉડ તપાસવાની ભલામણ કરીશ. સ્લાઇડની નીચે આપેલી લિંકને અનુસરીને ભાષણનું વિડિયો રેકોર્ડિંગ જોઈ શકાશે.

વાતના અંતે, હું Netflixની સંસ્થા અને આર્કિટેક્ચર વિશે ટૂંકમાં વાત કરીશ. ખૂબ જ શરૂઆતમાં અમારી પાસે ઇલેક્ટ્રોનિક ડિલિવરી નામની સ્કીમ હતી, જે NRDP 1.x મીડિયા સ્ટ્રીમિંગનું પ્રથમ સંસ્કરણ હતું. "બેકસ્ટ્રીમ" શબ્દનો અહીં ઉપયોગ કરી શકાય છે કારણ કે શરૂઆતમાં વપરાશકર્તા ફક્ત ઉપકરણ પર પછીના પ્લેબેક માટે સામગ્રી ડાઉનલોડ કરી શકતો હતો. નેટફ્લિક્સનું પ્રથમ ડિજિટલ ડિલિવરી પ્લેટફોર્મ, 2009 માં, કંઈક આના જેવું દેખાતું હતું.

વપરાશકર્તા ઉપકરણમાં Netflix એપ્લિકેશન હતી, જેમાં NRDP પ્લેટફોર્મ - Netflix રેડી ડિવાઇસ પ્લેટફોર્મ પર આધારિત UI ઇન્ટરફેસ, સુરક્ષા મોડ્યુલ્સ, સેવા સક્રિયકરણ અને પ્લેબેકનો સમાવેશ થતો હતો.

તે સમયે યુઝર ઈન્ટરફેસ ખૂબ જ સરળ હતું. તેમાં ક્વિક રીડર તરીકે ઓળખાતી વસ્તુ હતી, અને વપરાશકર્તા ક્વિકમાં કંઈક ઉમેરવા માટે સાઇટ પર જશે અને પછી તેમના ઉપકરણ પર ઉમેરાયેલ સામગ્રી જોશે. સકારાત્મક બાબત એ હતી કે ફ્રન્ટ એન્ડ ટીમ અને બેક એન્ડ ટીમ એક જ ઇલેક્ટ્રોનિક ડિલિવરી સંસ્થાની હતી અને ગાઢ કાર્યકારી સંબંધ ધરાવે છે. XML પર આધારિત પેલોડ બનાવવામાં આવ્યો હતો. તે જ સમયે, DVD વ્યવસાય માટે Netflix API બનાવવામાં આવ્યું હતું, જેણે તૃતીય-પક્ષ એપ્લિકેશનોને અમારી સેવા પર ટ્રાફિકને દિશામાન કરવા માટે પ્રોત્સાહિત કર્યા હતા.

જો કે, Netflix API એ એક નવીન વપરાશકર્તા ઇન્ટરફેસ સાથે અમારી મદદ કરવા માટે સારી રીતે તૈયાર છે, જેમાં તમામ સામગ્રીનો મેટાડેટા, કઈ મૂવીઝ ઉપલબ્ધ છે તેની માહિતી છે, જેણે ઘડિયાળની સૂચિ બનાવવાની ક્ષમતા બનાવી છે. તેની પાસે JSON સ્કીમા, HTTP પ્રતિસાદ કોડ, આધુનિક આર્કિટેક્ચરમાં ઉપયોગમાં લેવાતો સમાન અને OAuth સુરક્ષા મોડલ પર આધારિત સામાન્ય REST API હતી, જે તે સમયે ફ્રન્ટ-એન્ડ એપ્લિકેશન માટે જરૂરી હતી. આનાથી સ્ટ્રીમિંગ કન્ટેન્ટ ડિલિવરીના સાર્વજનિક મોડલમાંથી ખાનગીમાં જવાનું શક્ય બન્યું.

સંક્રમણની સમસ્યા ફ્રેગમેન્ટેશનની હતી, કારણ કે હવે અમારી સિસ્ટમ ઓપરેશનના સંપૂર્ણપણે અલગ સિદ્ધાંતો પર આધારિત બે સેવાઓનું સંચાલન કરે છે - એક રેસ્ટ, JSON અને OAuth પર, બીજી RPC, XML પર અને NTBA ટોકન સિસ્ટમ પર આધારિત વપરાશકર્તા સુરક્ષા મિકેનિઝમ. આ પ્રથમ હાઇબ્રિડ આર્કિટેક્ચર હતું.

અમારી બે ટીમો વચ્ચે અનિવાર્યપણે ફાયરવોલ હતી કારણ કે શરૂઆતમાં API NCCP સાથે ખૂબ સારી રીતે સ્કેલ કરતું ન હતું અને તેના કારણે ટીમો વચ્ચે ઘર્ષણ થયું. તફાવતો સેવાઓ, પ્રોટોકોલ્સ, સર્કિટ, સુરક્ષા મોડ્યુલોમાં હતા અને વિકાસકર્તાઓને ઘણીવાર સંપૂર્ણપણે અલગ સંદર્ભો વચ્ચે સ્વિચ કરવું પડતું હતું.

આ સંદર્ભે, મેં કંપનીના એક વરિષ્ઠ ઇજનેર સાથે વાતચીત કરી, જેમને મેં પ્રશ્ન પૂછ્યો: "સાચા લાંબા ગાળાના આર્કિટેક્ચર શું હોવું જોઈએ?" અને તેણે જવાબી પ્રશ્ન પૂછ્યો: "તમે કદાચ વધુ ચિંતિત છો. સંગઠનાત્મક પરિણામો વિશે - જો આપણે આ વસ્તુઓને એકીકૃત કરીએ તો શું થશે, અને આપણે જે સારું કરવાનું શીખ્યા છીએ તે તોડે છે? આ અભિગમ કોનવેના કાયદા માટે ખૂબ જ સુસંગત છે: "સંસ્થાઓ કે જે ડિઝાઇન સિસ્ટમ્સ ડિઝાઇન દ્વારા મર્યાદિત હોય છે જે તે સંસ્થાના સંચાર માળખાની નકલ કરે છે." આ એક ખૂબ જ અમૂર્ત વ્યાખ્યા છે, તેથી હું વધુ ચોક્કસને પસંદ કરું છું: "સોફ્ટવેરનો કોઈપણ ભાગ તે બનાવેલ સંસ્થાકીય માળખાને પ્રતિબિંબિત કરે છે." અહીં એરિક રેમન્ડનું મારું મનપસંદ અવતરણ છે: "જો તમારી પાસે કમ્પાઇલર પર કામ કરતા વિકાસકર્તાઓની ચાર ટીમો છે, તો તમે ચાર-પાસ કમ્પાઇલર સાથે સમાપ્ત થશો." સારું, નેટફ્લિક્સ પાસે ચાર-પાસ કમ્પાઇલર છે, અને અમે તે રીતે કામ કરીએ છીએ.

આપણે કહી શકીએ કે આ કિસ્સામાં પૂંછડી કૂતરાને હલાવી રહી છે. અમારી પ્રથમ પ્રાથમિકતા ઉકેલ નથી, પરંતુ સંગઠન છે; તે સંસ્થા છે જે આપણી પાસે જે આર્કિટેક્ચર છે તેને ચલાવે છે. ધીમે ધીમે, સેવાઓના હોજપોજમાંથી, અમે એક આર્કિટેક્ચર તરફ પ્રયાણ કર્યું જેને અમે બ્લેડ રનર તરીકે ઓળખીએ છીએ, કારણ કે અહીં અમે એજ સેવાઓ અને NCCPની ઝુલ પ્રોક્સી, API ગેટવે અને અનુરૂપ કાર્યાત્મકમાં અલગ અને એકીકૃત થવાની ક્ષમતા વિશે વાત કરી રહ્યા છીએ. વધુ અદ્યતન સુરક્ષા, રીપ્લે, ડેટા સોર્ટિંગ, વગેરે સુવિધાઓ સાથે "ટુકડાઓ" ને નવી માઇક્રોસર્વિસિસમાં ફેરવવામાં આવ્યા છે.

આમ, એવું કહી શકાય કે ડિપાર્ટમેન્ટલ સ્ટ્રક્ચર્સ અને કંપની ડાયનેમિક્સ સિસ્ટમ ડિઝાઇનને આકાર આપવામાં મહત્વની ભૂમિકા ભજવે છે અને તે પરિબળ છે જે પરિવર્તનને પ્રોત્સાહન આપે છે અથવા અવરોધે છે. માઇક્રોસર્વિસીસ આર્કિટેક્ચર જટિલ અને કાર્બનિક છે, અને તેનું સ્વાસ્થ્ય શિસ્ત અને રજૂ કરાયેલી અરાજકતા પર આધારિત છે.

થોડી જાહેરાત

અમારી સાથે રહેવા બદલ આભાર. શું તમને અમારા લેખો ગમે છે? વધુ રસપ્રદ સામગ્રી જોવા માંગો છો? ઓર્ડર આપીને અથવા મિત્રોને ભલામણ કરીને અમને ટેકો આપો, $4.99 થી વિકાસકર્તાઓ માટે ક્લાઉડ VPS, એન્ટ્રી-લેવલ સર્વર્સનું એક અનન્ય એનાલોગ, જેની શોધ અમારા દ્વારા તમારા માટે કરવામાં આવી છે: VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps વિશેનું સંપૂર્ણ સત્ય $19 થી અથવા સર્વર કેવી રીતે શેર કરવું? (RAID1 અને RAID10 સાથે ઉપલબ્ધ, 24 કોરો સુધી અને 40GB DDR4 સુધી).

એમ્સ્ટરડેમમાં ઇક્વિનિક્સ ટાયર IV ડેટા સેન્ટરમાં ડેલ R730xd 2 ગણું સસ્તું? માત્ર અહીં 2 x ઇન્ટેલ ટેટ્રાડેકા-કોર Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ટીવી $199 થી નેધરલેન્ડમાં! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - $99 થી! વિશે વાંચો ઇન્ફ્રાસ્ટ્રક્ચર કોર્પોરેશન કેવી રીતે બનાવવું. ડેલ R730xd E5-2650 v4 સર્વર્સના ઉપયોગ સાથેનો વર્ગ એક પેની માટે 9000 યુરોના મૂલ્યના છે?

સોર્સ: www.habr.com