ઓપનસ્ટૅકમાં લોડ બેલેન્સિંગ (ભાગ 2)

В છેલ્લા લેખ અમે Watcher નો ઉપયોગ કરવાના અમારા પ્રયાસો વિશે વાત કરી અને ટેસ્ટ રિપોર્ટ આપ્યો. મોટા એન્ટરપ્રાઇઝ અથવા ઑપરેટર ક્લાઉડના સંતુલન અને અન્ય મહત્વપૂર્ણ કાર્યો માટે અમે સમયાંતરે આવા પરીક્ષણો કરીએ છીએ.

હલ કરવામાં આવી રહેલી સમસ્યાની ઉચ્ચ જટિલતાને કારણે અમારા પ્રોજેક્ટનું વર્ણન કરવા માટે ઘણા લેખોની જરૂર પડી શકે છે. આજે અમે શ્રેણીનો બીજો લેખ પ્રકાશિત કરી રહ્યા છીએ, જે ક્લાઉડમાં વર્ચ્યુઅલ મશીનોને સંતુલિત કરવા માટે સમર્પિત છે.

કેટલીક પરિભાષા

VmWare કંપનીએ DRS (ડિસ્ટ્રિબ્યુટેડ રિસોર્સ શેડ્યૂલર) યુટિલિટી રજૂ કરી છે જેથી તેઓ વિકસિત અને ઓફર કરેલા વર્ચ્યુઅલાઈઝેશન પર્યાવરણના ભારને સંતુલિત કરી શકે.

તેમણે લખ્યું છે તેમ searchvmware.techtarget.com/definition/VMware-DRS
“VMware DRS (ડિસ્ટ્રિબ્યુટેડ રિસોર્સ શેડ્યૂલર) એ એક ઉપયોગિતા છે જે વર્ચ્યુઅલ વાતાવરણમાં ઉપલબ્ધ સંસાધનો સાથે કમ્પ્યુટિંગ લોડને સંતુલિત કરે છે. ઉપયોગિતા એ VMware ઈન્ફ્રાસ્ટ્રક્ચર નામના વર્ચ્યુઅલાઈઝેશન સ્યુટનો ભાગ છે.

VMware DRS સાથે, વપરાશકર્તાઓ વર્ચ્યુઅલ મશીનો (VMs) વચ્ચે ભૌતિક સંસાધનોનું વિતરણ કરવા માટે નિયમો વ્યાખ્યાયિત કરે છે. ઉપયોગિતાને મેન્યુઅલ અથવા સ્વચાલિત નિયંત્રણ માટે ગોઠવી શકાય છે. VMware સંસાધન પૂલ સરળતાથી ઉમેરી, દૂર અથવા પુનઃસંગઠિત કરી શકાય છે. જો ઇચ્છિત હોય, તો વિવિધ વ્યવસાય એકમો વચ્ચે સંસાધન પૂલ અલગ કરી શકાય છે. જો એક અથવા વધુ વર્ચ્યુઅલ મશીનો પરનો વર્કલોડ નાટકીય રીતે બદલાય છે, તો VMware DRS વર્ચ્યુઅલ મશીનોને સમગ્ર ભૌતિક સર્વર્સ પર ફરીથી વહેંચે છે. જો એકંદર વર્કલોડ ઘટે છે, તો કેટલાક ભૌતિક સર્વર્સ અસ્થાયી રૂપે ઑફલાઇન લેવામાં આવી શકે છે અને વર્કલોડ એકીકૃત થઈ શકે છે."

સંતુલન શા માટે જરૂરી છે?

અમારા મતે, DRS એ ક્લાઉડ ફીચર હોવું આવશ્યક છે, જો કે તેનો અર્થ એ નથી કે DRSનો ઉપયોગ હંમેશા અને દરેક જગ્યાએ થવો જોઈએ. ક્લાઉડના હેતુ અને જરૂરિયાતોને આધારે, DRS અને સંતુલન પદ્ધતિઓ માટે અલગ અલગ જરૂરિયાતો હોઈ શકે છે. એવી પરિસ્થિતિઓ હોઈ શકે છે જ્યાં સંતુલનની જરૂર નથી. અથવા તો હાનિકારક.

ક્યાં અને કયા ગ્રાહકો માટે DRSની જરૂર છે તે વધુ સારી રીતે સમજવા માટે, ચાલો તેમના લક્ષ્યો અને ઉદ્દેશ્યોને ધ્યાનમાં લઈએ. વાદળોને જાહેર અને ખાનગીમાં વિભાજિત કરી શકાય છે. અહીં આ વાદળો અને ગ્રાહક લક્ષ્યો વચ્ચેના મુખ્ય તફાવતો છે.

ખાનગી વાદળો / મોટા એન્ટરપ્રાઇઝ ક્લાયન્ટ્સ
જાહેર વાદળો / મધ્યમ અને નાના વ્યવસાયો, લોકો

ઓપરેટરના મુખ્ય માપદંડ અને લક્ષ્યો
વિશ્વસનીય સેવા અથવા ઉત્પાદન પ્રદાન કરવું
સ્પર્ધાત્મક બજારમાં લડાઈમાં સેવાઓની કિંમતમાં ઘટાડો

સેવા જરૂરિયાતો
તમામ સ્તરે અને તમામ સિસ્ટમ તત્વોમાં વિશ્વસનીયતા

કામગીરીની બાંયધરી

વર્ચ્યુઅલ મશીનોને ઘણી શ્રેણીઓમાં પ્રાધાન્ય આપો 

માહિતી અને ભૌતિક માહિતી સુરક્ષા

SLA અને XNUMX/XNUMX સપોર્ટ
સેવા પ્રાપ્ત કરવામાં મહત્તમ સરળતા

પ્રમાણમાં સરળ સેવાઓ

ડેટા માટેની જવાબદારી ક્લાયન્ટની છે

VM પ્રાથમિકતાની જરૂર નથી

માનક સેવાઓના સ્તરે માહિતી સુરક્ષા, ક્લાયંટ પર જવાબદારી

ત્યાં અવરોધો હોઈ શકે છે

કોઈ SLA નથી, ગુણવત્તાની ખાતરી નથી

ઇમેઇલ આધાર

બેકઅપ જરૂરી નથી

ક્લાઈન્ટ લક્ષણો
એપ્લિકેશન્સની ખૂબ વિશાળ શ્રેણી.

કંપનીમાં વારસાગત અરજીઓ.

દરેક ક્લાયંટ માટે જટિલ કસ્ટમ આર્કિટેક્ચર.

એફિનિટી નિયમો.

સોફ્ટવેર 7x24 મોડમાં રોકાયા વગર કામ કરે છે. 

ઑન-ધ-ફ્લાય બેકઅપ સાધનો.

અનુમાનિત ચક્રીય ગ્રાહક લોડ.
લાક્ષણિક એપ્લિકેશન્સ - નેટવર્ક સંતુલન, અપાચે, WEB, VPN, SQL

એપ્લિકેશન થોડા સમય માટે બંધ થઈ શકે છે

ક્લાઉડમાં VM ના મનસ્વી વિતરણની મંજૂરી આપે છે

ક્લાયંટ બેકઅપ

મોટી સંખ્યામાં ગ્રાહકો સાથે અનુમાનિત આંકડાકીય રીતે સરેરાશ લોડ.

આર્કિટેક્ચર માટે અસરો
જીઓક્લસ્ટરિંગ

કેન્દ્રીયકૃત અથવા વિતરિત સંગ્રહ

આરક્ષિત IBS
કમ્પ્યુટ નોડ્સ પર સ્થાનિક ડેટા સ્ટોરેજ

સંતુલિત લક્ષ્યો
પણ લોડ વિતરણ

મહત્તમ એપ્લિકેશન પ્રતિભાવ 

સંતુલન માટે ન્યૂનતમ વિલંબ સમય

જ્યારે સ્પષ્ટપણે જરૂરી હોય ત્યારે જ સંતુલન

નિવારક જાળવણી માટે કેટલાક સાધનો બહાર લાવવા
સેવા ખર્ચ અને ઓપરેટર ખર્ચમાં ઘટાડો 

ઓછા લોડના કિસ્સામાં કેટલાક સંસાધનોને અક્ષમ કરવું

Energyર્જાની બચત

કર્મચારીઓના ખર્ચમાં ઘટાડો

અમે અમારા માટે નીચેના તારણો દોરીએ છીએ:

ખાનગી વાદળો માટેમોટા કોર્પોરેટ ગ્રાહકોને પૂરા પાડવામાં આવેલ, DRS નો ઉપયોગ નીચેના પ્રતિબંધોને આધીન થઈ શકે છે:

• માહિતી સુરક્ષા અને સંતુલન કરતી વખતે એફિનિટી નિયમોને ધ્યાનમાં લેવું;
• અકસ્માતની ઘટનામાં અનામતમાં પૂરતા સંસાધનોની ઉપલબ્ધતા;
• વર્ચ્યુઅલ મશીન ડેટા કેન્દ્રિય અથવા વિતરિત સ્ટોરેજ સિસ્ટમ પર સ્થિત છે;
• સમયાંતરે આશ્ચર્યજનક વહીવટ, બેકઅપ અને સંતુલન પ્રક્રિયાઓ;
• ફક્ત ક્લાયંટ હોસ્ટના એકંદરમાં સંતુલન;
• જ્યારે મજબૂત અસંતુલન હોય ત્યારે જ સંતુલન, સૌથી અસરકારક અને સલામત VM સ્થળાંતર (છેવટે, સ્થળાંતર નિષ્ફળ થઈ શકે છે);
• પ્રમાણમાં "શાંત" વર્ચ્યુઅલ મશીનોને સંતુલિત કરવું ("ઘોંઘાટીયા" વર્ચ્યુઅલ મશીનોના સ્થાનાંતરણમાં ઘણો સમય લાગી શકે છે);
• "ખર્ચ" ને ધ્યાનમાં લેતા સંતુલન - સ્ટોરેજ સિસ્ટમ અને નેટવર્ક પરનો ભાર (મોટા ગ્રાહકો માટે કસ્ટમાઇઝ્ડ આર્કિટેક્ચર સાથે);
• દરેક VM ની વ્યક્તિગત વર્તણૂક લાક્ષણિકતાઓને ધ્યાનમાં લેતા સંતુલન;
• સંતુલન પ્રાધાન્યપણે બિન-કામના કલાકો (રાત્રિ, સપ્તાહાંત, રજાઓ) દરમિયાન કરવામાં આવે છે.

જાહેર વાદળો માટેનાના ગ્રાહકોને સેવાઓ પૂરી પાડવી, ડીઆરએસનો ઉપયોગ અદ્યતન ક્ષમતાઓ સાથે ઘણી વાર થઈ શકે છે:

• માહિતી સુરક્ષા પ્રતિબંધો અને એફિનિટી નિયમોની ગેરહાજરી;
• વાદળની અંદર સંતુલન;
• કોઈપણ વાજબી સમયે સંતુલન;
• કોઈપણ VM સંતુલિત;
• "ઘોંઘાટીયા" વર્ચ્યુઅલ મશીનોને સંતુલિત કરવું (જેથી અન્યને ખલેલ પહોંચાડે નહીં);
• વર્ચ્યુઅલ મશીન ડેટા ઘણીવાર સ્થાનિક ડિસ્ક પર સ્થિત હોય છે;
• સ્ટોરેજ સિસ્ટમ્સ અને નેટવર્ક્સની સરેરાશ કામગીરીને ધ્યાનમાં લેતા (ક્લાઉડ આર્કિટેક્ચર એકીકૃત છે);
• સામાન્ય નિયમો અને ઉપલબ્ધ ડેટા સેન્ટર વર્તન આંકડાઓ અનુસાર સંતુલન.

સમસ્યાની જટિલતા

સંતુલિત કરવામાં મુશ્કેલી એ છે કે DRS એ મોટી સંખ્યામાં અનિશ્ચિત પરિબળો સાથે કામ કરવું જોઈએ:

• દરેક ક્લાયંટની માહિતી પ્રણાલીના વપરાશકર્તાઓનું વર્તન;
• માહિતી સિસ્ટમ સર્વર્સના સંચાલન માટે અલ્ગોરિધમ્સ;
• DBMS સર્વર્સનું વર્તન;
• કમ્પ્યુટિંગ સંસાધનો, સ્ટોરેજ સિસ્ટમ્સ, નેટવર્ક પર લોડ;
• ક્લાઉડ સંસાધનોના સંઘર્ષમાં એકબીજા સાથે સર્વરની ક્રિયાપ્રતિક્રિયા.

ક્લાઉડ સંસાધનો પર મોટી સંખ્યામાં વર્ચ્યુઅલ એપ્લિકેશન સર્વર્સ અને ડેટાબેસેસનો લોડ સમય જતાં થાય છે, પરિણામો પોતાને પ્રગટ કરી શકે છે અને અણધારી સમય પર અણધારી અસર સાથે એકબીજાને ઓવરલેપ કરી શકે છે. પ્રમાણમાં સરળ પ્રક્રિયાઓને નિયંત્રિત કરવા માટે પણ (ઉદાહરણ તરીકે, એન્જિનને નિયંત્રિત કરવા માટે, ઘરે પાણી ગરમ કરવાની સિસ્ટમ), સ્વચાલિત નિયંત્રણ પ્રણાલીઓનો જટિલ ઉપયોગ કરવાની જરૂર છે. પ્રમાણસર-અભિન્ન-વિભેદક પ્રતિસાદ સાથે અલ્ગોરિધમ્સ.

અમારું કાર્ય તીવ્રતાના ઘણા ઓર્ડર્સ વધુ જટિલ છે, અને ત્યાં જોખમ છે કે સિસ્ટમ વાજબી સમયમાં સ્થાપિત મૂલ્યો પર ભારને સંતુલિત કરવામાં સમર્થ હશે નહીં, પછી ભલે ત્યાં વપરાશકર્તાઓ તરફથી કોઈ બાહ્ય પ્રભાવ ન હોય.

આપણા વિકાસનો ઇતિહાસ

આ સમસ્યાને ઉકેલવા માટે, અમે શરૂઆતથી શરૂ ન કરવાનું નક્કી કર્યું, પરંતુ હાલના અનુભવ પર નિર્માણ કરવાનું નક્કી કર્યું અને આ ક્ષેત્રમાં અનુભવ ધરાવતા નિષ્ણાતો સાથે વાતચીત કરવાનું શરૂ કર્યું. સદભાગ્યે, સમસ્યા વિશેની અમારી સમજ સંપૂર્ણપણે એકરૂપ હતી.

સ્ટેજ 1

અમે ન્યુરલ નેટવર્ક ટેક્નોલોજી પર આધારિત સિસ્ટમનો ઉપયોગ કર્યો અને તેના આધારે અમારા સંસાધનોને ઑપ્ટિમાઇઝ કરવાનો પ્રયાસ કર્યો.

આ તબક્કાની રુચિ નવી ટેક્નોલોજીના પરીક્ષણમાં હતી, અને તેનું મહત્વ એવી સમસ્યાને ઉકેલવા માટે બિન-માનક અભિગમ લાગુ કરવામાં હતું જ્યાં, અન્ય બાબતો સમાન હોવાને કારણે, પ્રમાણભૂત અભિગમો વ્યવહારીક રીતે થાકી ગયા હતા.

અમે સિસ્ટમ શરૂ કરી, અને અમે ખરેખર સંતુલન કરવાનું શરૂ કર્યું. અમારા ક્લાઉડના સ્કેલએ અમને વિકાસકર્તાઓ દ્વારા જણાવેલા આશાવાદી પરિણામો મેળવવાની મંજૂરી આપી ન હતી, પરંતુ તે સ્પષ્ટ હતું કે સંતુલન કામ કરી રહ્યું હતું.

તે જ સમયે, અમારી પાસે ખૂબ ગંભીર મર્યાદાઓ હતી:

• ન્યુરલ નેટવર્કને તાલીમ આપવા માટે, વર્ચ્યુઅલ મશીનોને અઠવાડિયા કે મહિનાઓ સુધી નોંધપાત્ર ફેરફારો વિના ચલાવવાની જરૂર છે.
• અલ્ગોરિધમ અગાઉના "ઐતિહાસિક" ડેટાના વિશ્લેષણના આધારે ઑપ્ટિમાઇઝેશન માટે રચાયેલ છે.
• ન્યુરલ નેટવર્કને તાલીમ આપવા માટે એકદમ મોટી માત્રામાં ડેટા અને કમ્પ્યુટિંગ સંસાધનોની જરૂર પડે છે.
• ઑપ્ટિમાઇઝેશન અને સંતુલન પ્રમાણમાં ભાગ્યે જ કરી શકાય છે - દર થોડા કલાકોમાં એકવાર, જે સ્પષ્ટપણે પૂરતું નથી.

સ્ટેજ 2

અમે સ્થિતિથી સંતુષ્ટ ન હોવાથી, અમે સિસ્ટમમાં ફેરફાર કરવાનું નક્કી કર્યું, અને આ કરવા માટે, જવાબ મુખ્ય પ્રશ્ન - આપણે કોના માટે બનાવી રહ્યા છીએ?

પ્રથમ - કોર્પોરેટ ગ્રાહકો માટે. આનો અર્થ એ છે કે અમને એવી સિસ્ટમની જરૂર છે જે ઝડપથી કાર્ય કરે, તે કોર્પોરેટ પ્રતિબંધો સાથે કે જે ફક્ત અમલીકરણને સરળ બનાવે.

બીજો પ્રશ્ન - "તત્કાલ" શબ્દ દ્વારા તમારો અર્થ શું છે? ટૂંકી ચર્ચાના પરિણામે, અમે નક્કી કર્યું કે અમે 5-10 મિનિટના પ્રતિભાવ સમય સાથે પ્રારંભ કરી શકીએ છીએ, જેથી ટૂંકા ગાળાના ઉછાળો સિસ્ટમને પડઘોમાં પરિચય ન આપે.

ત્રીજો પ્રશ્ન - સર્વરની સંતુલિત સંખ્યાનું કયું કદ પસંદ કરવું?
આ મુદ્દો પોતે જ ઉકેલાઈ ગયો. સામાન્ય રીતે, ક્લાયંટ સર્વર એકત્રીકરણને ખૂબ મોટું બનાવતા નથી, અને આ એકત્રીકરણને 30-40 સર્વર્સ સુધી મર્યાદિત કરવા લેખની ભલામણો સાથે સુસંગત છે.

વધુમાં, સર્વર પૂલને વિભાજિત કરીને, અમે સંતુલન અલ્ગોરિધમના કાર્યને સરળ બનાવીએ છીએ.

ચોથો પ્રશ્ન - તેની લાંબી શીખવાની પ્રક્રિયા અને દુર્લભ સંતુલન સાથે ન્યુરલ નેટવર્ક આપણા માટે કેટલું યોગ્ય છે? અમે સેકન્ડોમાં પરિણામો મેળવવા માટે સરળ ઓપરેશનલ અલ્ગોરિધમ્સની તરફેણમાં તેને છોડી દેવાનું નક્કી કર્યું.

આવા અલ્ગોરિધમ્સનો ઉપયોગ કરતી સિસ્ટમનું વર્ણન અને તેના ગેરફાયદા શોધી શકાય છે અહીં

અમે આ સિસ્ટમનો અમલ કર્યો અને લોન્ચ કર્યો અને પ્રોત્સાહક પરિણામો પ્રાપ્ત કર્યા - હવે તે નિયમિતપણે ક્લાઉડ લોડનું વિશ્લેષણ કરે છે અને વર્ચ્યુઅલ મશીનોને ખસેડવા માટે ભલામણો કરે છે, જે મોટાભાગે સાચા છે. અત્યારે પણ તે સ્પષ્ટ છે કે વર્તમાન મશીનોના કામની ગુણવત્તામાં સુધારો કરીને અમે નવા વર્ચ્યુઅલ મશીનો માટે 10-15% સંસાધનોને મુક્ત કરી શકીએ છીએ.

જ્યારે RAM અથવા CPU માં અસંતુલન જોવા મળે છે, ત્યારે સિસ્ટમ આવશ્યક વર્ચ્યુઅલ મશીનોનું જીવંત સ્થળાંતર કરવા માટે Tionix શેડ્યૂલરને આદેશો જારી કરે છે. મોનિટરિંગ સિસ્ટમમાંથી જોઈ શકાય છે તેમ, વર્ચ્યુઅલ મશીન એક (ઉપલા) થી બીજા (નીચલા) હોસ્ટમાં ખસેડ્યું અને ઉપલા હોસ્ટ પર મેમરી મુક્ત કરી (પીળા વર્તુળોમાં પ્રકાશિત), અનુક્રમે તેને નીચેના એક પર કબજે કરે છે (સફેદ રંગમાં પ્રકાશિત). વર્તુળો).

હવે અમે વર્તમાન અલ્ગોરિધમની અસરકારકતાનું વધુ સચોટ મૂલ્યાંકન કરવાનો પ્રયાસ કરી રહ્યા છીએ અને તેમાં શક્ય ભૂલો શોધવાનો પ્રયાસ કરી રહ્યા છીએ.

સ્ટેજ 3

એવું લાગે છે કે કોઈ આના પર શાંત થઈ શકે છે, સાબિત અસરકારકતાની રાહ જોઈ શકે છે અને વિષયને બંધ કરી શકે છે.
પરંતુ અમે નીચેની સ્પષ્ટ ઑપ્ટિમાઇઝેશન તકો દ્વારા એક નવો તબક્કો હાથ ધરવા દબાણ કરીએ છીએ

1. આંકડા, ઉદાહરણ તરીકે, અહીં и અહીં બતાવે છે કે સિંગલ-પ્રોસેસર સિસ્ટમો કરતાં બે અને ચાર-પ્રોસેસર સિસ્ટમો પ્રભાવમાં નોંધપાત્ર રીતે ઓછી છે. આનો અર્થ એ છે કે તમામ વપરાશકર્તાઓ સિંગલ-પ્રોસેસર સિસ્ટમ્સની તુલનામાં મલ્ટિપ્રોસેસર સિસ્ટમ્સમાં ખરીદેલ CPU, RAM, SSD, LAN, FCમાંથી નોંધપાત્ર રીતે ઓછું આઉટપુટ મેળવે છે.
2. સંસાધન સુનિશ્ચિતકર્તાઓમાં ગંભીર ભૂલો હોઈ શકે છે, અહીં એક લેખ છે આ વિષય પર.
3. ઇન્ટેલ અને એએમડી દ્વારા રેમ અને કેશને મોનિટર કરવા માટે આપવામાં આવતી ટેક્નોલોજીઓ વર્ચ્યુઅલ મશીનોની વર્તણૂકનો અભ્યાસ કરવાનું શક્ય બનાવે છે અને તેને એવી રીતે મૂકે છે કે "ઘોંઘાટીયા" પડોશીઓ "શાંત" વર્ચ્યુઅલ મશીનોમાં દખલ ન કરે.
4. પરિમાણોના સમૂહનું વિસ્તરણ (નેટવર્ક, સ્ટોરેજ સિસ્ટમ, વર્ચ્યુઅલ મશીનની પ્રાથમિકતા, સ્થળાંતરની કિંમત, સ્થળાંતર માટેની તેની તૈયારી).

કુલ

સંતુલન અલ્ગોરિધમ્સને સુધારવા માટેના અમારા કાર્યનું પરિણામ એ સ્પષ્ટ નિષ્કર્ષ હતું કે આધુનિક અલ્ગોરિધમનો ઉપયોગ કરીને ડેટા સેન્ટર સંસાધનોનું નોંધપાત્ર ઑપ્ટિમાઇઝેશન (25-30%) પ્રાપ્ત કરવું શક્ય છે અને તે જ સમયે ગ્રાહક સેવાની ગુણવત્તામાં સુધારો કરવો શક્ય છે.

ન્યુરલ નેટવર્ક્સ પર આધારિત અલ્ગોરિધમ ચોક્કસપણે એક રસપ્રદ ઉકેલ છે, પરંતુ એક કે જેને વધુ વિકાસની જરૂર છે, અને હાલની મર્યાદાઓને લીધે, તે ખાનગી વાદળો માટે લાક્ષણિક વોલ્યુમો પર આ પ્રકારની સમસ્યાને ઉકેલવા માટે યોગ્ય નથી. તે જ સમયે, અલ્ગોરિધમ નોંધપાત્ર કદના જાહેર વાદળોમાં સારા પરિણામો દર્શાવે છે.

અમે તમને નીચેના લેખોમાં પ્રોસેસર્સ, શેડ્યુલર્સ અને ઉચ્ચ સ્તરીય સંતુલનની ક્ષમતાઓ વિશે વધુ જણાવીશું.

સોર્સ: www.habr.com