ક્લોઇસ્ટર → સરળ OTP ક્લસ્ટર મેનેજમેન્ટ

લગભગ દરેક સફળ બિઝનેસ એપ્લિકેશન વહેલા કે પછીના તબક્કામાં પ્રવેશે છે જ્યાં આડી સ્કેલિંગ આવશ્યક છે. ઘણા કિસ્સાઓમાં, તમે ફક્ત એક નવો દાખલો શરૂ કરી શકો છો અને લોડ એવરેજ ઘટાડી શકો છો. પરંતુ એવા ઓછા મામૂલી કિસ્સાઓ પણ છે જ્યાં આપણે એ સુનિશ્ચિત કરવાની જરૂર છે કે વિવિધ ગાંઠો એકબીજા વિશે જાણે છે અને વર્કલોડને કાળજીપૂર્વક વિતરિત કરે છે.

તે ખૂબ નસીબદાર બહાર આવ્યું છે કે અર્લંગ, જે અમે તેના સુખદ વાક્યરચના અને તેની આસપાસના હાઇપ માટે પસંદ કર્યું છે, તે પ્રથમ-વર્ગ ધરાવે છે વિતરિત સિસ્ટમો માટે આધાર. સિદ્ધાંતમાં, આ સંપૂર્ણપણે તુચ્છ લાગે છે:

વિવિધ નોડ્સ પરની પ્રક્રિયાઓ તેમજ લિંક્સ અને મોનિટર વચ્ચે પસાર થતો સંદેશ પારદર્શક છે […]

વ્યવહારમાં, બધું થોડું વધુ જટિલ છે. વિતરણ કર્યું અર્લંગ જ્યારે "કન્ટેનર" નો અર્થ શિપિંગ માટે લોખંડની મોટી બોક્સ હોય ત્યારે વિકસાવવામાં આવ્યો હતો, અને "ડોકર" એ લોંગશોરમેનનો પર્યાય હતો. IN IP4 ત્યાં ઘણા અવ્યવસ્થિત સરનામાંઓ હતા, નેટવર્કમાં વિરામ સામાન્ય રીતે ઉંદરો દ્વારા કેબલ દ્વારા ચાવવાને કારણે થાય છે, અને ઉત્પાદન સિસ્ટમનો સરેરાશ અપટાઇમ દાયકાઓમાં માપવામાં આવ્યો હતો.

હવે આપણે બધા અદ્ભુત રીતે આત્મનિર્ભર, પેકેજ્ડ અને વિતરિત ચાલી રહ્યા છીએ અર્લંગ એવા વાતાવરણમાં જ્યાં ડાયનેમિક આઈપી એડ્રેસ મહાન રેન્ડમનેસના સિદ્ધાંત પર આપવામાં આવે છે અને શેડ્યૂલરની ડાબી હીલની ધૂન પર ગાંઠો દેખાઈ અને અદૃશ્ય થઈ શકે છે. વિતરિત ચાલતા દરેક પ્રોજેક્ટમાં બોઈલરપ્લેટ કોડના થાંભલાઓને ટાળવા અર્લંગ, પ્રતિકૂળ વાતાવરણનો સામનો કરવા માટે, મદદની જરૂર છે.

નોંધણી: હું જાણું છું કે ત્યાં છે libcluster. તે ખરેખર સરસ છે, તેમાં એક હજારથી વધુ તારા છે, લેખક સમુદાયમાં પ્રખ્યાત છે, અને તે બધું. જો ક્લસ્ટર બનાવવા અને જાળવવા માટે આ પેકેજ દ્વારા આપવામાં આવતી પદ્ધતિઓ તમારા માટે પૂરતી છે, તો હું તમારા માટે ખુશ છું. કમનસીબે, મારે ઘણું બધું જોઈએ છે. હું સેટઅપને વિગતવાર નિયંત્રિત કરવા માંગુ છું અને ક્લસ્ટર પુનઃરચના થિયેટરમાં બહારના દર્શક બનવા માંગુ છું.

જરૂરીયાતો

મને વ્યક્તિગત રૂપે એક લાઇબ્રેરીની જરૂર હતી જે ક્લસ્ટરનું સંચાલન સંભાળશે અને નીચેની મિલકતો હશે:

• નોડ્સની હાર્ડ-કોડેડ સૂચિ અને સેવાઓ દ્વારા ગતિશીલ શોધ બંને સાથે પારદર્શક કાર્ય અર્લંગ;
• દરેક ટોપોલોજી ફેરફાર માટે સંપૂર્ણ કાર્યાત્મક કોલબેક (નોડ ત્યાં, નોડ અહીં, નેટવર્ક અસ્થિરતા, વિભાજન);
• લાંબા અને ટૂંકા નામો સાથે ક્લસ્ટર શરૂ કરવા માટે પારદર્શક ઇન્ટરફેસ, જેમ કે :nonode@nohost;
• ઈન્ફ્રાસ્ટ્રક્ચર કોડ લખ્યા વિના, બૉક્સની બહાર ડોકર સપોર્ટ.

બાદમાંનો અર્થ એ છે કે મેં સ્થાનિક રીતે એપ્લિકેશનનું પરીક્ષણ કર્યા પછી :nonode@nohost, અથવા ઉપયોગ કરીને કૃત્રિમ રીતે વિતરિત વાતાવરણમાં test_cluster_task, મારે બસ દોડવું છે docker-compose up --scale my_app=3 અને જુઓ કે તે કોઈપણ કોડ ફેરફારો વિના ડોકરમાં ત્રણ ઉદાહરણો કેવી રીતે ચલાવે છે. હું પણ જેવી આશ્રિત એપ્લિકેશનો ઇચ્છું છું mnesia - જ્યારે ટોપોલોજી બદલાય છે, ત્યારે પડદા પાછળ તેઓ એપ્લીકેશનમાંથી કોઈપણ વધારાની કિક વગર ક્લસ્ટર લાઈવનું પુનઃનિર્માણ કરે છે.

ક્લોસ્ટર ક્લસ્ટરને ટેકો આપવાથી લઈને કોફી બનાવવા સુધીની દરેક વસ્તુ માટે સક્ષમ પુસ્તકાલય બનવાનો ઈરાદો નહોતો. તે સિલ્વર બુલેટ નથી કે જેનો હેતુ તમામ સંભવિત કેસોને આવરી લેવાનો છે, અથવા તે અર્થમાં શૈક્ષણિક રીતે સંપૂર્ણ ઉકેલ છે કે જેમાંથી સિદ્ધાંતવાદીઓ CS આ શબ્દમાં મૂકો. આ લાઇબ્રેરી ખૂબ જ સ્પષ્ટ હેતુ માટે ડિઝાઇન કરવામાં આવી છે, પરંતુ તેનું કામ ખૂબ મોટું નથી. આ ધ્યેય સ્થાનિક વિકાસ પર્યાવરણ અને પ્રતિકૂળ કન્ટેનરથી ભરેલા વિતરિત સ્થિતિસ્થાપક વાતાવરણ વચ્ચે સંપૂર્ણ પારદર્શિતા પ્રદાન કરવાનો હશે.

પસંદ કરેલ અભિગમ

ક્લોસ્ટર એપ્લીકેશન તરીકે ચલાવવાનો હેતુ છે, જો કે અદ્યતન વપરાશકર્તાઓ ક્લસ્ટરની એસેમ્બલી અને જાળવણી સાથે સીધા જ ચલાવીને જાતે જ કામ કરી શકે છે. Cloister.Manager લક્ષ્ય એપ્લિકેશનના સુપરવાઇઝર વૃક્ષમાં.

જ્યારે એપ્લિકેશન તરીકે ચલાવવામાં આવે છે, ત્યારે પુસ્તકાલય તેના પર આધાર રાખે છે config, જેમાંથી તે નીચેના મૂળભૂત મૂલ્યો વાંચે છે:

config :cloister,
  otp_app: :my_app,
  sentry: :"cloister.local", # or ~w|n1@foo n2@bar|a
  consensus: 3,              # number of nodes to consider
                             #    the cluster is up
  listener: MyApp.Listener   # listener to be called when
                             #    the ring has changed

ઉપરોક્ત પરિમાણોનો શાબ્દિક અર્થ નીચે મુજબ છે: ક્લોસ્ટર OTP એપ્લિકેશન માટે વપરાય છે :my_app, ઉપયોગ કરે છે erlang સેવા શોધ ગાંઠો જોડવા માટે, ઓછામાં ઓછા ત્રણ, અને MyApp.Listener મોડ્યુલ (અમલીકરણ @behaviour Cloister.Listener) ટોપોલોજી ફેરફારો વિશે સૂચનાઓ પ્રાપ્ત કરવા માટે ગોઠવેલ છે. સંપૂર્ણ રૂપરેખાંકનનું વિગતવાર વર્ણન આમાં મળી શકે છે દસ્તાવેજીકરણ.

આ રૂપરેખાંકન સાથે, એપ્લિકેશન ક્લોસ્ટર હશે તબક્કામાં લોન્ચ, જ્યાં સુધી સર્વસંમતિ ન આવે ત્યાં સુધી મુખ્ય એપ્લિકેશન શરૂ કરવાની પ્રક્રિયામાં વિલંબ થાય છે (ઉપરના ઉદાહરણની જેમ ત્રણ ગાંઠો જોડાયેલા અને જોડાયેલા છે.) આ મુખ્ય એપ્લિકેશનને એવું માની લેવાની તક આપે છે કે જ્યારે તે શરૂ થાય છે, ત્યારે ક્લસ્ટર પહેલેથી જ ઉપલબ્ધ છે. જ્યારે પણ ટોપોલોજી બદલાય છે (તેમાંના ઘણા હશે, કારણ કે ગાંઠો સંપૂર્ણપણે સિંક્રનસ રીતે શરૂ થતા નથી), હેન્ડલરને બોલાવવામાં આવશે. MyApp.Listener.on_state_change/2. જ્યારે અમને સ્ટેટસ મેસેજ મળે છે ત્યારે મોટાભાગે અમે ક્રિયા કરીએ છીએ %Cloister.Monitor{status: :up}, જેનો અર્થ છે: "હેલો, ક્લસ્ટર એસેમ્બલ છે."

મોટા ભાગના કિસ્સાઓમાં, સ્થાપન consensus: 3 શ્રેષ્ઠ છે કારણ કે જો આપણે વધુ નોડ્સ કનેક્ટ થવાની અપેક્ષા રાખીએ તો પણ કૉલબેક પસાર થશે status: :rehashing → status: :up કોઈપણ નવા ઉમેરેલા અથવા દૂર કરેલા નોડ પર.

ડેવલપમેન્ટ મોડમાં પ્રારંભ કરતી વખતે, તમારે ફક્ત સેટ કરવાની જરૂર છે consensus: 1 и ક્લોસ્ટર જ્યારે તે જુએ ત્યારે ખુશીથી ક્લસ્ટર એસેમ્બલીની રાહ છોડી દેશે :nonode@nohost, અથવા :node@host, અથવા :[email protected] - નોડ કેવી રીતે ગોઠવ્યો હતો તેના આધારે (:none | :shortnames | :longnames).

વિતરિત એપ્લિકેશન મેનેજમેન્ટ

શૂન્યાવકાશમાં ન હોય તેવા વિતરિત કાર્યક્રમોમાં સામાન્ય રીતે વિતરિત અવલંબનનો સમાવેશ થાય છે, જેમ કે mnesia. સમાન કૉલબેકમાંથી તેમના પુનઃરૂપરેખાંકનને હેન્ડલ કરવું અમારા માટે સરળ છે on_state_change/2. અહીં, ઉદાહરણ તરીકે, કેવી રીતે પુનઃરૂપરેખાંકિત કરવું તેનું વિગતવાર વર્ણન છે mnesia માં ફ્લાય પર દસ્તાવેજીકરણ ક્લોસ્ટર.

ઉપયોગ કરવાનો મુખ્ય ફાયદો ક્લોસ્ટર તે ટોપોલોજી ફેરફાર પછી ક્લસ્ટરને પુનઃબીલ્ડ કરવા માટે તમામ જરૂરી કામગીરી કરે છે હૂડ હેઠળ. એપ્લિકેશન ફક્ત પહેલાથી જ તૈયાર વિતરિત વાતાવરણમાં ચાલે છે, જેમાં તમામ નોડ્સ જોડાયેલા હોય છે, પછી ભલેને આપણે IP એડ્રેસ અને તેથી નોડના નામ અગાઉથી જાણતા હોઈએ, અથવા તે ગતિશીલ રીતે અસાઇન/બદલવામાં આવ્યા હોય. આના માટે કોઈ ખાસ ડોકર રૂપરેખાંકન સેટિંગ્સની જરૂર નથી અને એપ્લિકેશન ડેવલપરના દૃષ્ટિકોણથી, વિતરિત વાતાવરણમાં ચલાવવા અથવા સ્થાનિકમાં ચલાવવામાં કોઈ તફાવત નથી. :nonode@nohost. તમે આ વિશે વધુ વાંચી શકો છો દસ્તાવેજીકરણ.

જોકે ટોપોલોજીના ફેરફારોનું જટિલ હેન્ડલિંગ કસ્ટમ અમલીકરણ દ્વારા શક્ય છે MyApp.Listener, ત્યાં હંમેશા કિસ્સાઓ હોઈ શકે છે જ્યાં આ લાઇબ્રેરી મર્યાદાઓ અને રૂપરેખાંકન પૂર્વગ્રહો અમલીકરણના પાયાના પથ્થરો સાબિત થાય છે. તે ઠીક છે, ફક્ત ઉપરોક્ત લો libcluster, જે વધુ સામાન્ય હેતુ છે, અથવા તો નીચા-સ્તરના ક્લસ્ટરને જાતે હેન્ડલ કરો. આ કોડ લાઇબ્રેરીનો ધ્યેય દરેક સંભવિત દૃશ્યને આવરી લેવાનો નથી, પરંતુ બિનજરૂરી પીડા અને બોજારૂપ કૉપિ-પેસ્ટ વિના સૌથી સામાન્ય દૃશ્યનો ઉપયોગ કરવાનો છે.

ઉદાહરણ: મૂળમાં આ બિંદુએ "હેપ્પી ક્લસ્ટરિંગ!" વાક્ય હતું, અને યાન્ડેક્સ, જેની સાથે હું અનુવાદ કરું છું (મારે મારી જાતે શબ્દકોશોમાંથી પસાર થવું પડતું નથી), મને "હેપ્પી ક્લસ્ટરિંગ!" વિકલ્પ ઓફર કર્યો. ખાસ કરીને વર્તમાન ભૌગોલિક રાજકીય પરિસ્થિતિના પ્રકાશમાં વધુ સારા અનુવાદની કલ્પના કરવી કદાચ અશક્ય છે.

સોર્સ: www.habr.com