સંદેશ દલાલોને સમજવું. ActiveMQ અને Kafka સાથે મેસેજિંગની મિકેનિક્સ શીખવી. પ્રકરણ 1

હેલો દરેક!

મેં એક નાનકડા પુસ્તકનો અનુવાદ કરવાનું શરૂ કર્યું:
«સંદેશ બ્રોકર્સને સમજવું",
લેખક: જાકુબ કોરાબ, પ્રકાશક: O'Reilly Media, Inc., પ્રકાશનની તારીખ: જૂન 2017, ISBN: 9781492049296.

પુસ્તકના પરિચયમાંથી:
"... આ પુસ્તક તમને શીખવશે કે બ્રોકર મેસેજિંગ સિસ્ટમ્સ વિશે કેવી રીતે વિચારવું, બે લોકપ્રિય બ્રોકર ટેક્નોલોજીઓની તુલના અને વિરોધાભાસ: Apache ActiveMQ અને Apache Kafka. તે ઉપયોગના કિસ્સાઓ અને વિકાસ પ્રોત્સાહનોની રૂપરેખા આપશે જેના કારણે તેમના વિકાસકર્તાઓ સમાન ક્ષેત્રમાં ખૂબ જ અલગ અભિગમ અપનાવે છે - મધ્યવર્તી બ્રોકર સાથેની સિસ્ટમો વચ્ચે સંદેશાવ્યવહાર. અમે આ ટેક્નોલોજીઓને ગ્રાઉન્ડ ઉપરથી જોઈશું અને રસ્તામાં વિવિધ ડિઝાઇન પસંદગીઓની અસરને પ્રકાશિત કરીશું. તમે બંને ઉત્પાદનોની ઊંડી સમજ મેળવશો, તેનો ઉપયોગ કેવી રીતે કરવો જોઈએ અને ન કરવો જોઈએ તેની સમજ અને ભવિષ્યમાં અન્ય મેસેજિંગ ટેક્નોલોજીઓને ધ્યાનમાં લેતી વખતે શું જોવું જોઈએ તેની સમજ મેળવશો. … ”

અત્યાર સુધી અનુવાદિત ભાગો:
પ્રકરણ 1. પરિચય
પ્રકરણ 3. કાફકા

હું પૂર્ણ થયેલા પ્રકરણો પોસ્ટ કરીશ કારણ કે તેઓ અનુવાદિત થાય છે.

પ્રકરણ 1

પરિચય

સિસ્ટમ-ટુ-સિસ્ટમ મેસેજિંગ એ IT ના સૌથી ઓછા સમજી શકાય તેવા ક્ષેત્રોમાંનું એક છે. વિકાસકર્તા અથવા આર્કિટેક્ટ તરીકે, તમે વિવિધ ફ્રેમવર્ક અને ડેટાબેસેસથી ખૂબ પરિચિત હોઈ શકો છો. જો કે, તે સંભવ છે કે બ્રોકર-આધારિત મેસેજિંગ ટેક્નોલોજીઓ કેવી રીતે કાર્ય કરે છે તેની સાથે તમે માત્ર પસાર થતા પરિચિતતા ધરાવો છો. જો તમને આ રીતે લાગે છે, તો ચિંતા કરશો નહીં, તમે સારી કંપનીમાં છો.

લોકોનો સામાન્ય રીતે મેસેજિંગ ઈન્ફ્રાસ્ટ્રક્ચર સાથે ખૂબ જ મર્યાદિત સંપર્ક હોય છે. તેઓ ઘણીવાર લાંબા સમય પહેલા બનાવેલી સિસ્ટમ સાથે જોડાય છે અથવા ઇન્ટરનેટ પરથી વિતરણ ડાઉનલોડ કરે છે, તેને PROM માં ઇન્સ્ટોલ કરે છે અને તેના માટે કોડ લખવાનું શરૂ કરે છે. PROM માં ઈન્ફ્રાસ્ટ્રક્ચર ચલાવ્યા પછી, પરિણામો મિશ્રિત થઈ શકે છે: નિષ્ફળતાને કારણે સંદેશાઓ ખોવાઈ જાય છે, મોકલવાનું તમારી અપેક્ષા મુજબ કામ કરતું નથી, અથવા બ્રોકર્સ તમારા ઉત્પાદકોને "હેન્ગ" કરે છે અથવા તમારા ગ્રાહકોને સંદેશા મોકલતા નથી.

પરિચિત લાગે છે?

એક સામાન્ય દૃશ્ય એ છે કે જ્યાં તમારો મેસેજિંગ કોડ, તે સમય માટે શ્રેષ્ઠ કાર્ય કરે છે. જ્યાં સુધી તે કામ કરવાનું બંધ ન કરે. આ સમયગાળો વ્યક્તિના રક્ષકને સલામતીની ખોટી સમજમાં લાવે છે, જે ટેક્નોલોજીના મૂળભૂત વર્તન વિશે ખોટી માન્યતાઓ પર આધારિત વધુ કોડ તરફ દોરી જાય છે. જ્યારે વસ્તુઓ ખોટી થવાનું શરૂ થાય છે, ત્યારે તમને એક અસુવિધાજનક સત્યનો સામનો કરવો પડે છે: કે તમે ખરેખર ઉત્પાદનની અંતર્ગત વર્તણૂક અથવા લેખકો દ્વારા પસંદ કરાયેલ ટ્રેડ-ઓફને સમજી શક્યા નથી, જેમ કે કામગીરી વિરુદ્ધ વિશ્વસનીયતા, અથવા વ્યવહારો વિરુદ્ધ આડી માપનીયતા. .

બ્રોકર્સ કેવી રીતે કામ કરે છે તેની ઊંડી સમજણ વિના, લોકો તેમની મેસેજિંગ સિસ્ટમ વિશે મોટે ભાગે વાજબી નિવેદનો આપે છે, જેમ કે:

• સિસ્ટમ ક્યારેય સંદેશાઓ ગુમાવશે નહીં
• સંદેશાઓ પર ક્રમિક રીતે પ્રક્રિયા કરવામાં આવશે
• ગ્રાહકો ઉમેરવાથી સિસ્ટમ ઝડપી બનશે
• સંદેશાઓ ફક્ત એક જ વાર વિતરિત કરવામાં આવશે

કમનસીબે, આમાંના કેટલાક વિધાન ધારણાઓ પર આધારિત છે જે માત્ર અમુક સંજોગોમાં જ લાગુ પડે છે, જ્યારે અન્ય ખાલી ખોટા છે.

આ પુસ્તક તમને શીખવશે કે બ્રોકર-આધારિત મેસેજિંગ સિસ્ટમ્સ વિશે કેવી રીતે વિચારવું, બે લોકપ્રિય બ્રોકર ટેક્નોલોજીઓની તુલના અને વિરોધાભાસ: Apache ActiveMQ અને Apache Kafka. તે ઉપયોગના કિસ્સાઓ અને વિકાસ પ્રોત્સાહનોની રૂપરેખા આપશે જેના કારણે તેમના વિકાસકર્તાઓ સમાન ક્ષેત્રમાં ખૂબ જ અલગ અભિગમ અપનાવે છે - મધ્યવર્તી બ્રોકર સાથેની સિસ્ટમો વચ્ચે સંદેશાવ્યવહાર. અમે આ ટેક્નોલોજીઓને ગ્રાઉન્ડ ઉપરથી જોઈશું અને રસ્તામાં વિવિધ ડિઝાઇન પસંદગીઓની અસરને પ્રકાશિત કરીશું. તમે બંને ઉત્પાદનોની ઊંડી સમજ મેળવશો, તેનો ઉપયોગ કેવી રીતે કરવો જોઈએ અને ન કરવો જોઈએ તેની સમજ અને ભવિષ્યમાં અન્ય મેસેજિંગ ટેક્નોલોજીઓ પર વિચાર કરતી વખતે શું જોવું જોઈએ તેની સમજ મેળવશો.

આપણે શરૂ કરીએ તે પહેલાં, ચાલો મૂળભૂત બાબતો પર જઈએ.

મેસેજિંગ સિસ્ટમ શું છે અને તેની શા માટે જરૂર છે?

બે એપ્લિકેશનો એકબીજા સાથે વાતચીત કરવા માટે, તેઓએ પહેલા ઇન્ટરફેસને વ્યાખ્યાયિત કરવું આવશ્યક છે. આ ઈન્ટરફેસને વ્યાખ્યાયિત કરવા માટે ટ્રાન્સપોર્ટ અથવા પ્રોટોકોલ પસંદ કરવાનો સમાવેશ થાય છે, જેમ કે HTTP, MQTT, અથવા SMTP, અને સિસ્ટમો વચ્ચે આદાનપ્રદાન કરવામાં આવનાર સંદેશ ફોર્મેટની વાટાઘાટો. આ એક કડક પ્રક્રિયા હોઈ શકે છે, જેમ કે સંદેશ પેલોડ ખર્ચ જરૂરિયાતો સાથે XML સ્કીમા વ્યાખ્યાયિત કરવી, અથવા તે ઘણી ઓછી ઔપચારિક હોઈ શકે છે, જેમ કે બે વિકાસકર્તાઓ વચ્ચેનો કરાર કે HTTP વિનંતીના અમુક ભાગમાં ક્લાયંટ ઓળખકર્તા હશે.

જ્યાં સુધી સંદેશાઓનું ફોર્મેટ અને જે ક્રમમાં તેઓ મોકલવામાં આવે છે તે સિસ્ટમો વચ્ચે સુસંગત છે, તેઓ અન્ય સિસ્ટમના અમલીકરણ વિશે ચિંતા કર્યા વિના એકબીજા સાથે વાતચીત કરી શકે છે. આ સિસ્ટમોના આંતરિક ભાગો, જેમ કે પ્રોગ્રામિંગ ભાષા અથવા ઉપયોગમાં લેવાતી ફ્રેમવર્ક, સમય જતાં બદલાઈ શકે છે. જ્યાં સુધી કરાર જાળવવામાં આવે છે ત્યાં સુધી, ક્રિયાપ્રતિક્રિયા બીજી બાજુના ફેરફારો વિના ચાલુ રહી શકે છે. આ ઈન્ટરફેસ દ્વારા બે સિસ્ટમો અસરકારક રીતે ડીકપલ્ડ (અલગ) થાય છે.

મેસેજિંગ સિસ્ટમ્સમાં સામાન્ય રીતે બે સિસ્ટમો વચ્ચે મધ્યસ્થીનો સમાવેશ થાય છે જે પ્રાપ્તકર્તા અથવા પ્રાપ્તકર્તાઓમાંથી પ્રેષકને વધુ ડીકપલ (અલગ) કરવા માટે ક્રિયાપ્રતિક્રિયા કરે છે. આ કિસ્સામાં, મેસેજિંગ સિસ્ટમ પ્રેષકને પ્રાપ્તકર્તા ક્યાં છે, તે સક્રિય છે કે કેમ, અથવા કેટલા ઉદાહરણો છે તે જાણ્યા વિના સંદેશ મોકલવાની મંજૂરી આપે છે.

ચાલો મેસેજિંગ સિસ્ટમ કઈ પ્રકારની સમસ્યાઓનું નિરાકરણ લાવે છે તેના માટેના કેટલાક સામ્યતાઓ જોઈએ અને કેટલીક મૂળભૂત શરતોનો પરિચય કરીએ.

પોઇન્ટ-ટુ-પોઇંટ

એલેક્ઝાન્ડ્રા એડમને એક પેકેજ મોકલવા પોસ્ટ ઓફિસ જાય છે. તે બારી પાસે જાય છે અને કર્મચારીને પેકેજ સોંપે છે. કર્મચારી પેકેજ ઉપાડે છે અને એલેક્ઝાન્ડ્રાને રસીદ આપે છે. જ્યારે પેકેજ મોકલવામાં આવે ત્યારે એડમને ઘરે રહેવાની જરૂર નથી. એલેક્ઝાન્ડ્રાને વિશ્વાસ છે કે ભવિષ્યમાં કોઈક સમયે આ પેકેજ એડમને પહોંચાડવામાં આવશે અને તે તેના વ્યવસાયને ચાલુ રાખી શકશે. પાછળથી અમુક સમયે એડમને એક પેકેજ મળે છે.

આ મેસેજિંગ મોડલનું ઉદાહરણ છે પોઈન્ટ ટુ પોઈન્ટ. અહીંની પોસ્ટ ઓફિસ પાર્સલ વિતરણ પદ્ધતિ તરીકે કામ કરે છે, દરેક પાર્સલ એકવાર ડિલિવર થાય તેની ખાતરી કરે છે. પોસ્ટ ઓફિસનો ઉપયોગ પેકેજની ડિલિવરીથી પેકેજ મોકલવાની ક્રિયાને અલગ પાડે છે.
ક્લાસિક મેસેજિંગ સિસ્ટમ્સમાં, પોઈન્ટ-ટુ-પોઈન્ટ મોડલ દ્વારા અમલમાં મૂકવામાં આવે છે કતારો. કતાર FIFO (ફર્સ્ટ ઇન, ફર્સ્ટ આઉટ) બફર તરીકે કામ કરે છે જે એક અથવા વધુ ઉપભોક્તાઓ દ્વારા સબ્સ્ક્રાઇબ કરી શકાય છે. દરેક સંદેશ માત્ર વિતરિત કરવામાં આવે છે સબ્સ્ક્રાઇબ કરેલ ગ્રાહકોમાંથી એકને. કતારો સામાન્ય રીતે ગ્રાહકો વચ્ચે સંદેશાઓનું વિતરણ કરવાનો પ્રયાસ કરે છે. માત્ર એક ઉપભોક્તાને આ સંદેશ પ્રાપ્ત થશે.

"ટકાઉ" શબ્દ કતારોને લાગુ પડે છે. વિશ્વસનીયતા એક સેવા ગુણધર્મ છે જે ખાતરી કરે છે કે મેસેજિંગ સિસ્ટમ સક્રિય સબ્સ્ક્રાઇબર્સની ગેરહાજરીમાં સંદેશાઓને ચાલુ રાખશે જ્યાં સુધી ગ્રાહક મેસેજ ડિલિવરી માટે કતારમાં સબ્સ્ક્રાઇબ ન કરે.

વિશ્વસનીયતા સાથે ઘણીવાર ભેળસેળ થાય છે દ્રઢતા અને જો કે બે શબ્દો એકબીજાના બદલે વાપરવામાં આવે છે, તેઓ વિવિધ કાર્યો કરે છે. દ્રઢતા એ નક્કી કરે છે કે શું મેસેજિંગ સિસ્ટમ તેને પ્રાપ્ત કરવા અને ઉપભોક્તાને મોકલવા વચ્ચે કોઈ પ્રકારના સ્ટોરેજ માટે સંદેશ લખે છે. કતારમાં મોકલવામાં આવેલા સંદેશાઓ સતત હોઈ શકે છે અથવા ન પણ હોઈ શકે.
પોઈન્ટ-ટુ-પોઈન્ટ મેસેજિંગનો ઉપયોગ ત્યારે થાય છે જ્યારે ઉપયોગના કેસમાં સંદેશ પર એક વખતની ક્રિયાની જરૂર હોય. ઉદાહરણોમાં ખાતામાં ભંડોળ જમા કરાવવા અથવા ડિલિવરી ઓર્ડર પૂર્ણ કરવાનો સમાવેશ થાય છે. અમે પછીથી ચર્ચા કરીશું કે શા માટે મેસેજિંગ સિસ્ટમ પોતાની રીતે એક વખતની ડિલિવરી પ્રદાન કરવામાં અસમર્થ છે અને શા માટે કતાર શ્રેષ્ઠ રીતે ડિલિવરી ગેરંટી આપી શકે છે ઓછા માં ઓછુ એક વાર.

પ્રકાશક-સબ્સ્ક્રાઇબર

ગેબ્રિએલા કોન્ફરન્સ નંબર ડાયલ કરે છે. જ્યારે તેણી કોન્ફરન્સ સાથે જોડાયેલ હોય છે, ત્યારે તે બાકીના કૉલ સહભાગીઓ સાથે સ્પીકર જે કહે છે તે બધું સાંભળે છે. જ્યારે તેણી ટ્યુન આઉટ કરે છે, ત્યારે તેણી જે કહેવામાં આવે છે તે ચૂકી જાય છે. જ્યારે ફરીથી કનેક્ટ થાય છે, ત્યારે તેણી જે કહેવામાં આવે છે તે સાંભળવાનું ચાલુ રાખે છે.

આ મેસેજિંગ મોડલનું ઉદાહરણ છે પ્રકાશિત કરો-સબ્સ્ક્રાઇબ કરો. કોન્ફરન્સ કૉલિંગ પ્રસારણ પદ્ધતિ તરીકે કાર્ય કરે છે. બોલતી વ્યક્તિ હાલમાં કૉલ પર કેટલા લોકો છે તેની કાળજી લેતી નથી - સિસ્ટમ ખાતરી કરે છે કે હાલમાં કનેક્ટ થયેલ કોઈપણ વ્યક્તિ જે કહેવામાં આવી રહ્યું છે તે સાંભળશે.
ક્લાસિક મેસેજિંગ સિસ્ટમ્સમાં, પબ્લિશ-સબ્સ્ક્રાઇબ મેસેજિંગ મોડલ દ્વારા અમલમાં મૂકવામાં આવે છે ટોચ. વિષય કોન્ફરન્સિંગ મિકેનિઝમ જેવી જ બ્રોડકાસ્ટિંગ પદ્ધતિ પ્રદાન કરે છે. જ્યારે કોઈ વિષય પર સંદેશ મોકલવામાં આવે છે, ત્યારે તેનું વિતરણ કરવામાં આવે છે બધા સબ્સ્ક્રાઇબ કરેલા વપરાશકર્તાઓ માટે.

વિષયો સામાન્ય રીતે છે અવિશ્વસનીય (અવિશ્વસનીય). જેમ કે કોઈ શ્રોતા જે સાંભળી શકતા નથી કે કોન્ફરન્સ કૉલ પર શું કહેવામાં આવે છે જ્યારે સાંભળનાર ડિસ્કનેક્ટ થાય છે, વિષય સબ્સ્ક્રાઇબર્સ ઑફલાઇન હોય ત્યારે મોકલવામાં આવેલા કોઈપણ સંદેશા ચૂકી જાય છે. આ કારણોસર, અમે કહી શકીએ કે વિષયો ડિલિવરીની ગેરંટી પૂરી પાડે છે એક કરતા વધુ વાર નહીં દરેક ગ્રાહક માટે.

પબ્લિશ-સબ્સ્ક્રાઇબ મેસેજિંગનો ઉપયોગ સામાન્ય રીતે ત્યારે થાય છે જ્યારે સંદેશાઓ માહિતીપ્રદ હોય છે અને એક સંદેશની ખોટ ખાસ મહત્વની ન હોય. ઉદાહરણ તરીકે, એક વિષય સેન્સરના જૂથમાંથી પ્રતિ સેકન્ડમાં એકવાર તાપમાન રીડિંગ્સ ટ્રાન્સમિટ કરી શકે છે. વર્તમાન તાપમાનમાં રસ ધરાવતી અને વિષય પર સબ્સ્ક્રાઇબ કરતી સિસ્ટમ જો સંદેશ ચૂકી જાય તો ચિંતા કરશે નહીં - નજીકના ભવિષ્યમાં બીજો આવશે.

વર્ણસંકર મોડેલો

સ્ટોરની વેબસાઇટ ઓર્ડર સંદેશાઓને "સંદેશ કતાર" માં મૂકે છે. આ સંદેશાઓનો મુખ્ય ઉપભોક્તા એક્ઝિક્યુટિવ સિસ્ટમ છે. વધુમાં, ઑડિટ સિસ્ટમ પાસે અનુગામી ટ્રેકિંગ માટે આ ઓર્ડર સંદેશાઓની નકલો હોવી જોઈએ. બંને સિસ્ટમો સંદેશાઓને પસાર થવાની મંજૂરી આપી શકતી નથી, ભલે સિસ્ટમો પોતે અમુક સમય માટે અનુપલબ્ધ હોય. વેબસાઇટ અન્ય સિસ્ટમોથી વાકેફ હોવી જોઈએ નહીં.

ઉપયોગના કેસોમાં વારંવાર પબ્લિશ-સબ્સ્ક્રાઇબ અને પોઈન્ટ-ટુ-પોઈન્ટ મેસેજિંગ મોડલ્સના સંયોજનની જરૂર પડે છે, જેમ કે જ્યારે બહુવિધ સિસ્ટમોને સંદેશની નકલની જરૂર હોય છે અને સંદેશની ખોટ અટકાવવા માટે વિશ્વસનીયતા અને દ્રઢતા બંને જરૂરી છે.

આ કેસોમાં ગંતવ્ય સ્થાન (કતાર અને વિષયો માટે સામાન્ય શબ્દ)ની જરૂર હોય છે જે મૂળભૂત રીતે એક વિષય તરીકે સંદેશાઓનું વિતરણ કરે છે, જેથી દરેક સંદેશ તે સંદેશાઓમાં રસ ધરાવતી અલગ સિસ્ટમને મોકલવામાં આવે, પણ જેમાં દરેક સિસ્ટમ એવા ગ્રાહકોને વ્યાખ્યાયિત કરી શકે કે જેઓ ઇનકમિંગ મેળવે છે. સંદેશાઓ, જે વધુ એક કતાર જેવું છે. આ કિસ્સામાં વાંચન પ્રકાર છે દરેક હિસ્સેદાર માટે એકવાર. આ હાઇબ્રિડ ગંતવ્યોને ઘણીવાર ટકાઉપણુંની જરૂર પડે છે જેથી જો ગ્રાહક ઑફલાઇન જાય, તો તે સમયે મોકલવામાં આવતા સંદેશા ગ્રાહક ફરીથી કનેક્ટ થયા પછી પ્રાપ્ત થાય છે.

હાઇબ્રિડ મોડલ્સ નવા નથી અને એક્ટિવએમક્યુ (વર્ચ્યુઅલ અથવા કમ્પોઝિટ ડેસ્ટિનેશન દ્વારા જે વિષયો અને કતારોને જોડે છે) અને કાફકા (તેની ગંતવ્ય ડિઝાઇનની મૂળભૂત મિલકત તરીકે સ્પષ્ટપણે) બંને સહિત મોટાભાગની મેસેજિંગ સિસ્ટમ્સમાં તેનો ઉપયોગ કરી શકાય છે.

હવે જ્યારે અમારી પાસે કેટલીક મૂળભૂત પરિભાષા છે અને અમે મેસેજિંગ સિસ્ટમનો ઉપયોગ શેના માટે કરી શકીએ છીએ તેની સમજ છે, ચાલો વિગતો પર જઈએ.

અનુવાદ થઈ ગયો: tele.gg/middle_java

નીચેનો અનુવાદિત ભાગ: પ્રકરણ 3. કાફકા

ચાલુ રહી શકાય…

સોર્સ: www.habr.com