Uma.Tech એ ઇન્ફ્રાસ્ટ્રક્ચર કેવી રીતે વિકસાવ્યું

અમે નવી સેવાઓ શરૂ કરી, ટ્રાફિક વધ્યો, સર્વર બદલ્યાં, નવી સાઇટ્સ અને રિમોડેલ ડેટા સેન્ટર્સ - અને હવે અમે આ વાર્તા કહીશું, જેની શરૂઆત અમે તમને પાંચ વર્ષ પહેલાં કરી હતી..

વચગાળાના પરિણામોના સારાંશ માટે પાંચ વર્ષ એ સામાન્ય સમય છે. તેથી, અમે અમારા ઇન્ફ્રાસ્ટ્રક્ચરના વિકાસ વિશે વાત કરવાનું નક્કી કર્યું, જે છેલ્લા પાંચ વર્ષમાં વિકાસના આશ્ચર્યજનક રીતે રસપ્રદ માર્ગ પરથી પસાર થયું છે, જેનો અમને ગર્વ છે. અમે અમલમાં મૂકેલા જથ્થાત્મક ફેરફારો ગુણાત્મક ફેરફારોમાં ફેરવાઈ ગયા છે; હવે ઈન્ફ્રાસ્ટ્રક્ચર એવા મોડ્સમાં કામ કરી શકે છે જે છેલ્લા દાયકાના મધ્યમાં અદ્ભુત લાગતું હતું.

અમે PREMIER અને Match TV સહિતની વિશ્વસનીયતા અને લોડ માટેની સૌથી કડક આવશ્યકતાઓ સાથે સૌથી જટિલ પ્રોજેક્ટના સંચાલનને સુનિશ્ચિત કરીએ છીએ. રમતગમતના પ્રસારણ અને લોકપ્રિય ટીવી શ્રેણીના પ્રીમિયર માટે ટેરાબિટ્સ/સેમાં ટ્રાફિકની જરૂર પડે છે, અમે આને સરળતાથી અમલમાં મૂકીએ છીએ અને ઘણી વખત આવી ઝડપ સાથે કામ કરવું અમારા માટે લાંબા સમયથી સામાન્ય બની ગયું છે. અને પાંચ વર્ષ પહેલાં, અમારી સિસ્ટમ્સ પર ચાલતો સૌથી ભારે પ્રોજેક્ટ રૂટ્યુબ હતો, જે ત્યારથી વિકસિત થયો છે, વોલ્યુમ અને ટ્રાફિકમાં વધારો થયો છે, જેને લોડનું આયોજન કરતી વખતે ધ્યાનમાં લેવું પડતું હતું.

અમે અમારા ઇન્ફ્રાસ્ટ્રક્ચરનું હાર્ડવેર કેવી રીતે વિકસાવ્યું તે વિશે વાત કરી ("રુટ્યુબ 2009-2015: અમારા હાર્ડવેરનો ઇતિહાસ") અને વિડિયો અપલોડ કરવા માટે જવાબદાર સિસ્ટમ વિકસાવી ("શૂન્ય થી 700 ગીગાબીટ્સ પ્રતિ સેકન્ડ - કેવી રીતે રશિયામાં સૌથી મોટી વિડિઓ હોસ્ટિંગ સાઇટ્સમાંથી એક વિડિઓ અપલોડ કરે છે"), પરંતુ આ ગ્રંથો લખ્યા પછી ઘણો સમય વીતી ગયો છે, અન્ય ઘણા ઉકેલો બનાવવામાં આવ્યા છે અને અમલમાં મૂકાયા છે, જેના પરિણામો અમને આધુનિક આવશ્યકતાઓને પૂર્ણ કરવા અને નવા કાર્યોને અનુકૂલિત કરવા માટે પૂરતા લવચીક બનવાની મંજૂરી આપે છે.

નેટવર્ક કોર અમે સતત વિકાસ કરી રહ્યા છીએ. અમે 2015 માં સિસ્કો સાધનો પર સ્વિચ કર્યું, જેનો અમે અગાઉના લેખમાં ઉલ્લેખ કર્યો હતો. તે સમયે તે હજી પણ સમાન 10/40G હતું, પરંતુ સ્પષ્ટ કારણોસર, થોડા વર્ષો પછી તેઓએ હાલની ચેસિસને અપગ્રેડ કરી, અને હવે અમે સક્રિયપણે 25/100G નો ઉપયોગ કરીએ છીએ.

100G લિંક્સ લાંબા સમયથી ન તો લક્ઝરી (બલ્કે, અમારા સેગમેન્ટમાં સમયની તાકીદની જરૂરિયાત છે), ન તો વિરલતા (વધુ અને વધુ ઓપરેટરો આવી ઝડપે જોડાણો પ્રદાન કરે છે). જો કે, 10/40G સુસંગત રહે છે: આ લિંક્સ દ્વારા અમે ઓપરેટરોને ઓછા ટ્રાફિક સાથે કનેક્ટ કરવાનું ચાલુ રાખીએ છીએ, જેના માટે હાલમાં વધુ ક્ષમતાવાળા પોર્ટનો ઉપયોગ કરવો અયોગ્ય છે.

અમે બનાવેલ નેટવર્ક કોર અલગ વિચારણાને પાત્ર છે અને થોડા સમય પછી તે એક અલગ લેખનો વિષય બનશે. ત્યાં અમે ટેકનિકલ વિગતોનો અભ્યાસ કરીશું અને તેને બનાવતી વખતે અમારી ક્રિયાઓના તર્કને ધ્યાનમાં લઈશું. પરંતુ હવે અમે ઈન્ફ્રાસ્ટ્રક્ચરને વધુ યોજનાકીય રીતે દોરવાનું ચાલુ રાખીશું, કારણ કે પ્રિય વાચકો, તમારું ધ્યાન અમર્યાદિત નથી.

વિડિઓ આઉટપુટ સર્વર્સ ઝડપથી વિકસિત થાય છે, જેના માટે અમે ઘણા પ્રયત્નો કરીએ છીએ. જો અગાઉ આપણે બે 2G પોર્ટ સાથે 4-5 નેટવર્ક કાર્ડ્સ સાથે મુખ્યત્વે 10U સર્વર્સનો ઉપયોગ કર્યો હોય, તો હવે મોટાભાગનો ટ્રાફિક 1U સર્વરથી મોકલવામાં આવે છે, જેમાં દરેકમાં બે 2G પોર્ટ સાથે 3-25 કાર્ડ હોય છે. 10G અને 25G સાથેના કાર્ડ્સ કિંમતમાં લગભગ સમાન છે, અને ઝડપી ઉકેલો તમને 10G અને 25G બંને પર ટ્રાન્સમિટ કરવાની મંજૂરી આપે છે. પરિણામ સ્પષ્ટ બચત હતું: કનેક્શન માટે ઓછા સર્વર ઘટકો અને કેબલ્સ - ઓછી કિંમત (અને ઉચ્ચ વિશ્વસનીયતા), ઘટકો રેકમાં ઓછી જગ્યા લે છે - એકમ વિસ્તાર દીઠ વધુ સર્વર્સ મૂકવાનું શક્ય બન્યું અને તેથી, ભાડા ખર્ચ ઓછો.

પરંતુ વધુ મહત્વની ઝડપમાં વધારો છે! હવે અમે 1U સાથે 100G કરતાં વધુ મોકલી શકીએ છીએ! અને આ એવી પરિસ્થિતિની પૃષ્ઠભૂમિ સામે છે જ્યાં કેટલાક મોટા રશિયન પ્રોજેક્ટ્સ 40U માંથી 2G આઉટપુટને "સિદ્ધિ" કહે છે. અમે તેમની સમસ્યાઓ ગમશે!

નોંધ કરો કે અમે હજી પણ નેટવર્ક કાર્ડની જનરેશનનો ઉપયોગ કરીએ છીએ જે ફક્ત 10G પર કાર્ય કરી શકે છે. આ સાધન સ્થિર રીતે કાર્ય કરે છે અને અમને ખૂબ જ પરિચિત છે, તેથી અમે તેને ફેંકી દીધું નથી, પરંતુ તેનો નવો ઉપયોગ શોધી કાઢ્યો છે. અમે આ ઘટકોને વિડિયો સ્ટોરેજ સર્વર્સમાં ઇન્સ્ટોલ કર્યા છે, જેના માટે એક કે બે 1G ઇન્ટરફેસ સ્પષ્ટપણે અસરકારક રીતે ચલાવવા માટે પૂરતા નથી; અહીં 10G કાર્ડ્સ સંબંધિત હોવાનું બહાર આવ્યું છે.

સ્ટોરેજ સિસ્ટમ્સ પણ વધી રહ્યા છે. છેલ્લાં પાંચ વર્ષોમાં, તેઓ બાર-ડિસ્ક (12x HDD 2U) થી છત્રીસ-ડિસ્ક (36x HDD 4U) માં બદલાઈ ગયા છે. કેટલાક આવા કેપેસિયસ "શબ" નો ઉપયોગ કરવામાં ડરતા હોય છે, કારણ કે જો આવી એક ચેસિસ નિષ્ફળ જાય, તો ઉત્પાદકતા - અથવા તો કાર્યક્ષમતા માટે જોખમ હોઈ શકે છે! - સમગ્ર સિસ્ટમ માટે. પરંતુ અમારી સાથે આ બનશે નહીં: અમે ડેટાની ભૌગોલિક-વિતરિત નકલોના સ્તરે બેકઅપ પ્રદાન કર્યું છે. અમે વિવિધ ડેટા સેન્ટરો પર ચેસિસનું વિતરણ કર્યું છે - અમે કુલ ત્રણનો ઉપયોગ કરીએ છીએ - અને આ ચેસિસમાં નિષ્ફળતાના કિસ્સામાં અને જ્યારે સાઇટ પડી જાય ત્યારે સમસ્યાઓની ઘટનાને દૂર કરે છે.

અલબત્ત, આ અભિગમે હાર્ડવેર RAID ને નિરર્થક બનાવ્યું, જેને અમે છોડી દીધું. નિરર્થકતાને દૂર કરીને, અમે ઉકેલને સરળ બનાવીને અને નિષ્ફળતાના સંભવિત મુદ્દાઓમાંથી એકને દૂર કરીને એક સાથે સિસ્ટમની વિશ્વસનીયતામાં વધારો કર્યો છે. ચાલો તમને યાદ અપાવીએ કે અમારી સ્ટોરેજ સિસ્ટમ "ઘરે બનાવેલી" છે. અમે આ તદ્દન જાણી જોઈને કર્યું અને અમે પરિણામથી સંપૂર્ણ સંતુષ્ટ હતા.

ડેટા કેન્દ્રો છેલ્લાં પાંચ વર્ષમાં અમે ઘણી વખત બદલાયા છીએ. પાછલા લેખના લખ્યા પછી, અમે ફક્ત એક જ ડેટા સેન્ટર - ડેટાલાઈન - અમારા ઇન્ફ્રાસ્ટ્રક્ચરનો વિકાસ થયો તેમ બાકીના રિપ્લેસમેન્ટની જરૂર છે. સાઇટ્સ વચ્ચેના તમામ ટ્રાન્સફરનું આયોજન કરવામાં આવ્યું હતું.

બે વર્ષ પહેલાં, અમે MMTS-9 ની અંદર સ્થળાંતર કર્યું, ઉચ્ચ ગુણવત્તાની સમારકામ, સારી ઠંડક પ્રણાલી, સ્થિર વીજ પુરવઠો અને ધૂળ વિનાની સાઇટ પર ગયા, જે અગાઉ તમામ સપાટીઓ પર જાડા સ્તરોમાં પડેલા હતા અને અમારા સાધનોની અંદરના ભાગમાં પણ ભરાયેલા હતા. . ગુણવત્તાયુક્ત સેવાઓ પસંદ કરો - અને કોઈ ધૂળ નહીં! - અમારા પગલાનું કારણ બન્યું.

લગભગ હંમેશા "એક ચાલ બે અગ્નિ સમાન છે," પરંતુ સ્થળાંતર દરમિયાન સમસ્યાઓ દરેક વખતે અલગ હોય છે. આ વખતે, એક ડેટા સેન્ટરની અંદર જવાની મુખ્ય મુશ્કેલી ઓપ્ટિકલ ક્રોસ-કનેક્શન્સ દ્વારા "પૂરી પાડવામાં આવી હતી" - ટેલિકોમ ઓપરેટરો દ્વારા એક જ ક્રોસ-કનેક્ટમાં જોડાયા વિના ફ્લોર વચ્ચે તેમની વિપુલતા. ક્રોસ-કનેક્શન્સને અપડેટ કરવાની અને ફરીથી રૂટીંગ કરવાની પ્રક્રિયા (જેની સાથે MMTS-9 એન્જિનિયરોએ અમને મદદ કરી) કદાચ સ્થળાંતરનો સૌથી મુશ્કેલ તબક્કો હતો.

બીજું સ્થળાંતર એક વર્ષ પહેલાં થયું હતું; 2019 માં, અમે ખૂબ સારા ડેટા સેન્ટરમાંથી O2xygen પર ગયા. ખસેડવાના કારણો ઉપર ચર્ચા કરાયેલા જેવા જ હતા, પરંતુ તેઓ ટેલિકોમ ઓપરેટરો માટેના મૂળ ડેટા સેન્ટરની અનાકર્ષકતાની સમસ્યા દ્વારા પૂરક હતા - ઘણા પ્રદાતાઓએ તેમના પોતાના પર આ બિંદુ સુધી "પકડવું" હતું.

MMTS-13 માં ઉચ્ચ-ગુણવત્તાવાળી સાઇટ પર 9 રેક્સના સ્થળાંતરથી આ સ્થાનને માત્ર ઓપરેટરના સ્થાન તરીકે જ નહીં (થોડા રેક્સ અને ઓપરેટર્સના "ફોરવર્ડ્સ") તરીકે વિકસાવવાનું શક્ય બન્યું, પણ તેનો ઉપયોગ એક મુખ્ય. આનાથી ખૂબ જ સારા ન હોય તેવા ડેટા સેન્ટરમાંથી સ્થળાંતર કરવાનું કંઈક અંશે સરળ બન્યું - અમે તેમાંથી મોટા ભાગના સાધનોને બીજી સાઇટ પર લઈ ગયા, અને O2xygenને વિકાસશીલ તરીકેની ભૂમિકા આપવામાં આવી, ત્યાં સાધનો સાથે 5 રેક્સ મોકલીને.

આજે O2xygen પહેલેથી જ એક સંપૂર્ણ પ્લેટફોર્મ છે, જ્યાં આપણને જરૂરી ઓપરેટરો "પહોંચ્યા" છે અને નવા કનેક્ટ થવાનું ચાલુ રાખે છે. ઓપરેટરો માટે, O2xygen વ્યૂહાત્મક વિકાસના દૃષ્ટિકોણથી પણ આકર્ષક હોવાનું બહાર આવ્યું છે.

અમે હંમેશા એક રાતમાં ચાલનો મુખ્ય તબક્કો હાથ ધરીએ છીએ, અને જ્યારે MMTS-9 અને O2xygenમાં સ્થળાંતર કરીએ છીએ, ત્યારે અમે આ નિયમનું પાલન કર્યું છે. અમે ભારપૂર્વક જણાવીએ છીએ કે અમે રેક્સની સંખ્યાને ધ્યાનમાં લીધા વિના, "મૂવ ઓવરનાઈટ" નિયમનું સખતપણે પાલન કરીએ છીએ! એવું પણ એક ઉદાહરણ હતું જ્યારે અમે 20 રેક ખસેડ્યા અને તે પણ એક રાતમાં પૂર્ણ કર્યું. સ્થળાંતર એ એકદમ સરળ પ્રક્રિયા છે જેને ચોકસાઈ અને સુસંગતતાની જરૂર હોય છે, પરંતુ તૈયારીની પ્રક્રિયામાં અને ખસેડતી વખતે અને નવા સ્થાન પર જમાવટ કરતી વખતે અહીં કેટલીક યુક્તિઓ છે. જો તમને રસ હોય તો અમે સ્થળાંતર વિશે વિગતવાર વાત કરવા તૈયાર છીએ.

રિઝલ્ટ અમને પંચવર્ષીય વિકાસ યોજનાઓ ગમે છે. અમે ત્રણ ડેટા સેન્ટરોમાં વિતરિત નવા ફોલ્ટ-ટોલરન્ટ ઈન્ફ્રાસ્ટ્રક્ચરનું બાંધકામ પૂર્ણ કર્યું છે. અમે ટ્રાફિકની ઘનતામાં તીવ્ર વધારો કર્યો છે - જો તાજેતરમાં અમે 40U સાથે 80-2Gથી ખુશ હતા, તો હવે અમારા માટે ધોરણ 100U સાથે 1G છે. હવે ટ્રાફિકનો એક ટેરાબિટ પણ આપણા દ્વારા સામાન્ય માનવામાં આવે છે. અમે અમારા ઇન્ફ્રાસ્ટ્રક્ચરને વધુ વિકસાવવા માટે તૈયાર છીએ, જે લવચીક અને માપી શકાય તેવું બહાર આવ્યું છે.

પ્રશ્ન: પ્રિય વાચકો, નીચેના ગ્રંથોમાં મારે તમને શું કહેવું જોઈએ? અમે હોમમેઇડ ડેટા સ્ટોરેજ સિસ્ટમ્સ કેમ બનાવવાનું શરૂ કર્યું તે વિશે? નેટવર્ક કોર અને તેના લક્ષણો વિશે? ડેટા કેન્દ્રો વચ્ચે સ્થળાંતરની યુક્તિઓ અને સૂક્ષ્મતા વિશે? ઘટકો અને ફાઇન-ટ્યુનિંગ પરિમાણો પસંદ કરીને ડિલિવરી નિર્ણયોને ઑપ્ટિમાઇઝ કરવા વિશે? ડેટા સેન્ટરની અંદર બહુવિધ રીડન્ડન્સીઝ અને હોરીઝોન્ટલ સ્કેલિંગ ક્ષમતાઓને આભારી ટકાઉ ઉકેલો બનાવવા વિશે, જે ત્રણ ડેટા કેન્દ્રોના માળખામાં લાગુ કરવામાં આવે છે?

લેખક: Petr Vinogradov - Uma.Tech ના ટેકનિકલ ડિરેક્ટર હેમ્સ્ટર

સોર્સ: www.habr.com