માત્ર પ્રક્રિયા જ નહીં: અમે કાફકા સ્ટ્રીમ્સમાંથી વિતરિત ડેટાબેઝ કેવી રીતે બનાવ્યો અને તેમાંથી શું આવ્યું

હે હબર!

અમે તમને યાદ અપાવીએ છીએ કે પુસ્તકને અનુસરીને કાફકા અમે પુસ્તકાલય વિશે સમાન રસપ્રદ કાર્ય પ્રકાશિત કર્યું છે કાફ્કા સ્ટ્રીમ્સ API.

હમણાં માટે, સમુદાય ફક્ત આ શક્તિશાળી સાધનની મર્યાદા શીખી રહ્યો છે. તેથી, તાજેતરમાં એક લેખ પ્રકાશિત થયો હતો, જેનો અનુવાદ અમે તમને રજૂ કરવા માંગીએ છીએ. તેમના પોતાના અનુભવ પરથી, લેખક કહે છે કે કેવી રીતે કાફકા સ્ટ્રીમ્સને વિતરિત ડેટા સ્ટોરેજમાં ફેરવવું. વાંચનનો આનંદ માણો!

અપાચે પુસ્તકાલય કાફકા સ્ટ્રીમ્સ Apache Kafka ની ટોચ પર વિતરિત સ્ટ્રીમ પ્રોસેસિંગ માટે સાહસોમાં વિશ્વભરમાં વપરાય છે. આ ફ્રેમવર્કનું એક અમૂલ્ય પાસું એ છે કે તે તમને થ્રેડ પ્રોસેસિંગના આધારે ઉત્પાદિત સ્થાનિક રાજ્યને સંગ્રહિત કરવાની મંજૂરી આપે છે.

આ લેખમાં, હું તમને કહીશ કે ક્લાઉડ એપ્લિકેશન સુરક્ષા માટે ઉત્પાદન વિકસાવતી વખતે અમારી કંપનીએ આ તકનો નફાકારક ઉપયોગ કેવી રીતે કર્યો. કાફકા સ્ટ્રીમ્સનો ઉપયોગ કરીને, અમે શેર કરેલી રાજ્ય માઇક્રોસર્વિસિસ બનાવી છે, જેમાંથી પ્રત્યેક ખામી-સહિષ્ણુ અને સિસ્ટમમાં ઑબ્જેક્ટની સ્થિતિ વિશે વિશ્વસનીય માહિતીના અત્યંત ઉપલબ્ધ સ્ત્રોત તરીકે સેવા આપે છે. અમારા માટે, આ વિશ્વસનીયતા અને સમર્થનની સરળતા બંનેની દ્રષ્ટિએ એક પગલું આગળ છે.

જો તમે વૈકલ્પિક અભિગમમાં રસ ધરાવો છો જે તમને તમારા ઑબ્જેક્ટ્સની ઔપચારિક સ્થિતિને સમર્થન આપવા માટે એક કેન્દ્રીય ડેટાબેઝનો ઉપયોગ કરવાની મંજૂરી આપે છે, તો તેને વાંચો, તે રસપ્રદ રહેશે...

અમે શા માટે વિચાર્યું કે અમે વહેંચાયેલ રાજ્ય સાથે કામ કરવાની રીતને બદલવાનો સમય છે

અમારે એજન્ટ રિપોર્ટના આધારે વિવિધ ઑબ્જેક્ટની સ્થિતિ જાળવવાની જરૂર હતી (ઉદાહરણ તરીકે: શું સાઇટ હુમલો હેઠળ હતી)? કાફકા સ્ટ્રીમ્સમાં સ્થળાંતર કરતા પહેલા, અમે રાજ્ય વ્યવસ્થાપન માટે ઘણીવાર એક કેન્દ્રીય ડેટાબેઝ (+ સેવા API) પર આધાર રાખતા હતા. આ અભિગમમાં તેની ખામીઓ છે: તારીખ સઘન પરિસ્થિતિઓ સુસંગતતા અને સુમેળ જાળવવો એ એક વાસ્તવિક પડકાર બની જાય છે. ડેટાબેઝ અડચણ બની શકે છે અથવા સમાપ્ત થઈ શકે છે જાતિની સ્થિતિ અને અણધારીતાથી પીડાય છે.

આકૃતિ 1: સંક્રમણ પહેલા જોવામાં આવેલું લાક્ષણિક વિભાજન-સ્થિતિનું દૃશ્ય
કાફકા અને કાફકા સ્ટ્રીમ્સ: એજન્ટો API દ્વારા તેમના મંતવ્યોનો સંચાર કરે છે, અપડેટ કરેલી સ્થિતિની ગણતરી કેન્દ્રીય ડેટાબેઝ દ્વારા કરવામાં આવે છે

કાફકા સ્ટ્રીમ્સને મળો, શેર કરેલી રાજ્ય માઇક્રો સર્વિસીસ બનાવવાનું સરળ બનાવે છે

લગભગ એક વર્ષ પહેલાં, અમે આ મુદ્દાઓને સંબોધવા માટે અમારા શેર કરેલા રાજ્યના દૃશ્યો પર સખત નજર રાખવાનું નક્કી કર્યું. અમે તરત જ કાફ્કા સ્ટ્રીમ્સ અજમાવવાનું નક્કી કર્યું - અમે જાણીએ છીએ કે તે કેટલું સ્કેલેબલ, અત્યંત ઉપલબ્ધ અને ખામી-સહિષ્ણુ છે અને તેની સ્ટ્રીમિંગ કાર્યક્ષમતા કેટલી સમૃદ્ધ છે (પરિવર્તન, સ્ટેટફુલ સહિત). અમને જે જોઈએ છે તે જ જોઈએ, કાફકામાં મેસેજિંગ સિસ્ટમ કેટલી પરિપક્વ અને વિશ્વસનીય બની છે તેનો ઉલ્લેખ ન કરવો.

અમે બનાવેલ દરેક સ્ટેટફુલ માઈક્રોસેવાઓ એકદમ સરળ ટોપોલોજી સાથે કાફકા સ્ટ્રીમ્સના દાખલાની ટોચ પર બનાવવામાં આવી હતી. તેમાં 1) સ્ત્રોત 2) સતત કી-વેલ્યુ સ્ટોર સાથે પ્રોસેસર 3) સિંકનો સમાવેશ થાય છે:

આકૃતિ 2: સ્ટેટફુલ માઇક્રોસર્વિસિસ માટે અમારા સ્ટ્રીમિંગ ઉદાહરણોની ડિફોલ્ટ ટોપોલોજી. નોંધ કરો કે અહીં એક રીપોઝીટરી પણ છે જેમાં પ્લાનિંગ મેટાડેટા છે.

આ નવા અભિગમમાં, એજન્ટો એવા સંદેશાઓ લખે છે જે સ્ત્રોત વિષયમાં આપવામાં આવે છે, અને ઉપભોક્તાઓ-કહે છે, એક મેલ સૂચના સેવા-સિંક (આઉટપુટ વિષય) દ્વારા ગણતરી કરેલ શેર કરેલી સ્થિતિ પ્રાપ્ત કરે છે.

આકૃતિ 3: શેર કરેલ માઇક્રોસર્વિસિસ સાથેના દૃશ્ય માટે નવું ઉદાહરણ કાર્ય પ્રવાહ: 1) એજન્ટ એક સંદેશ જનરેટ કરે છે જે કાફકા સ્ત્રોત વિષય પર પહોંચે છે; 2) શેર કરેલી સ્થિતિ (કાફકા સ્ટ્રીમ્સનો ઉપયોગ કરીને) સાથેની માઇક્રોસર્વિસ તેની પ્રક્રિયા કરે છે અને ગણતરી કરેલ સ્થિતિને અંતિમ કાફકા વિષય પર લખે છે; જે પછી 3) ગ્રાહકો નવી સ્થિતિ સ્વીકારે છે

અરે, આ બિલ્ટ-ઇન કી-વેલ્યુ સ્ટોર ખરેખર ખૂબ જ ઉપયોગી છે!

ઉપર જણાવ્યા મુજબ, અમારી વહેંચાયેલ રાજ્ય ટોપોલોજીમાં કી-વેલ્યુ સ્ટોર છે. અમને તેનો ઉપયોગ કરવા માટે ઘણા વિકલ્પો મળ્યા છે, અને તેમાંથી બે નીચે વર્ણવેલ છે.

વિકલ્પ #1: ગણતરીઓ માટે કી-વેલ્યુ સ્ટોરનો ઉપયોગ કરો

અમારા પ્રથમ કી-વેલ્યુ સ્ટોરમાં અમને ગણતરી માટે જરૂરી સહાયક ડેટા છે. ઉદાહરણ તરીકે, કેટલાક કિસ્સાઓમાં વહેંચાયેલ રાજ્ય "બહુમતી મતો" ના સિદ્ધાંત દ્વારા નક્કી કરવામાં આવ્યું હતું. રિપોઝીટરી અમુક ઑબ્જેક્ટની સ્થિતિ પરના તમામ નવીનતમ એજન્ટ અહેવાલોને પકડી શકે છે. પછી, જ્યારે અમને એક અથવા બીજા એજન્ટ તરફથી નવો રિપોર્ટ મળ્યો, ત્યારે અમે તેને સાચવી શકીએ છીએ, સ્ટોરેજમાંથી સમાન ઑબ્જેક્ટની સ્થિતિ વિશે અન્ય તમામ એજન્ટો પાસેથી રિપોર્ટ્સ મેળવી શકીએ છીએ અને ગણતરીનું પુનરાવર્તન કરી શકીએ છીએ.
નીચેનો આકૃતિ 4 બતાવે છે કે કેવી રીતે અમે કી/વેલ્યુ સ્ટોરને પ્રોસેસરની પ્રોસેસિંગ પદ્ધતિમાં એક્સપોઝ કર્યો જેથી નવા સંદેશ પર પ્રક્રિયા કરી શકાય.

ચિત્ર 4: અમે પ્રોસેસરની પ્રક્રિયા પદ્ધતિ માટે કી-વેલ્યુ સ્ટોરની ઍક્સેસ ખોલીએ છીએ (આ પછી, દરેક સ્ક્રિપ્ટ કે જે શેર કરેલી સ્થિતિ સાથે કામ કરે છે તેણે પદ્ધતિનો અમલ કરવો જ જોઈએ. doProcess)

વિકલ્પ #2: કાફકા સ્ટ્રીમ્સની ટોચ પર CRUD API બનાવવું

અમારો મૂળભૂત કાર્ય પ્રવાહ સ્થાપિત કર્યા પછી, અમે અમારી વહેંચાયેલ રાજ્ય માઇક્રોસર્વિસિસ માટે RESTful CRUD API લખવાનો પ્રયાસ કરવાનું શરૂ કર્યું. અમે અમુક અથવા તમામ ઑબ્જેક્ટની સ્થિતિને પુનઃપ્રાપ્ત કરવા, તેમજ ઑબ્જેક્ટની સ્થિતિને સેટ અથવા દૂર કરવા માટે સક્ષમ બનવા માગીએ છીએ (બેકએન્ડ સપોર્ટ માટે ઉપયોગી).

તમામ Get State API ને સમર્થન આપવા માટે, જ્યારે પણ અમને પ્રક્રિયા દરમિયાન રાજ્યની પુનઃગણતરી કરવાની જરૂર પડી, ત્યારે અમે તેને બિલ્ટ-ઇન કી-વેલ્યુ સ્ટોરમાં લાંબા સમય સુધી સંગ્રહિત કરીએ છીએ. આ કિસ્સામાં, નીચેની સૂચિમાં બતાવ્યા પ્રમાણે, કાફકા સ્ટ્રીમ્સના એક જ ઉદાહરણનો ઉપયોગ કરીને આવા API ને અમલમાં મૂકવું એકદમ સરળ બની જાય છે:

આકૃતિ 5: ઑબ્જેક્ટની પૂર્વ ગણતરી કરેલ સ્થિતિ મેળવવા માટે બિલ્ટ-ઇન કી-વેલ્યુ સ્ટોરનો ઉપયોગ કરવો

API દ્વારા ઑબ્જેક્ટની સ્થિતિને અપડેટ કરવાનું પણ અમલમાં સરળ છે. મૂળભૂત રીતે, તમારે ફક્ત એક કાફકા નિર્માતા બનાવવાની જરૂર છે અને તેનો ઉપયોગ રેકોર્ડ બનાવવા માટે કરો જેમાં નવું રાજ્ય છે. આ સુનિશ્ચિત કરે છે કે API દ્વારા જનરેટ થયેલા તમામ સંદેશાઓ અન્ય ઉત્પાદકો (દા.ત. એજન્ટો) તરફથી પ્રાપ્ત થયેલા સંદેશાઓની જેમ જ પ્રક્રિયા કરવામાં આવશે.

આકૃતિ 6: તમે કાફકા નિર્માતાનો ઉપયોગ કરીને ઑબ્જેક્ટની સ્થિતિ સેટ કરી શકો છો

નાની ગૂંચવણ: કાફકામાં ઘણા બધા પાર્ટીશનો છે

આગળ, અમે પ્રક્રિયા લોડને વિતરિત કરવા અને દૃશ્ય દીઠ વહેંચાયેલ-રાજ્ય માઇક્રોસર્વિસિસનું ક્લસ્ટર પ્રદાન કરીને ઉપલબ્ધતામાં સુધારો કરવા માગીએ છીએ. સેટઅપ એક વરવું હતું: એકવાર અમે સમાન એપ્લિકેશન ID (અને સમાન બુટસ્ટ્રેપ સર્વર્સ) હેઠળ ચલાવવા માટે તમામ ઉદાહરણો ગોઠવી લીધા પછી, લગભગ બાકીનું બધું આપમેળે થઈ ગયું. અમે એ પણ સ્પષ્ટ કર્યું છે કે દરેક સ્ત્રોત વિષયમાં કેટલાક પાર્ટીશનો હશે, જેથી દરેક દાખલાને આવા પાર્ટીશનોનો સબસેટ સોંપી શકાય.

હું એ પણ ઉલ્લેખ કરીશ કે સ્ટેટ સ્ટોરની બેકઅપ કોપી બનાવવી એ સામાન્ય પ્રથા છે જેથી કરીને, ઉદાહરણ તરીકે, નિષ્ફળતા પછી પુનઃપ્રાપ્તિના કિસ્સામાં, આ નકલને બીજા દાખલામાં સ્થાનાંતરિત કરો. કાફકા સ્ટ્રીમ્સમાં દરેક સ્ટેટ સ્ટોર માટે, ચેન્જ લોગ (જે સ્થાનિક અપડેટ્સને ટ્રૅક કરે છે) સાથે નકલ કરેલ વિષય બનાવવામાં આવે છે. આમ, કાફકા સતત સ્ટેટ સ્ટોરનો બેકઅપ લે છે. તેથી, એક અથવા બીજી કાફકા સ્ટ્રીમ્સ દાખલાની નિષ્ફળતાના કિસ્સામાં, રાજ્ય સ્ટોરને અન્ય ઉદાહરણ પર ઝડપથી પુનઃસ્થાપિત કરી શકાય છે, જ્યાં અનુરૂપ પાર્ટીશનો જશે. અમારા પરીક્ષણોએ બતાવ્યું છે કે સ્ટોરમાં લાખો રેકોર્ડ્સ હોવા છતાં પણ આ થોડીક સેકંડમાં થાય છે.

શેર કરેલ રાજ્ય સાથેની એક માઈક્રોસર્વિસમાંથી માઈક્રોસર્વિસીસના ક્લસ્ટરમાં ખસેડવું, ગેટ સ્ટેટ API ને અમલમાં મૂકવું ઓછું તુચ્છ બની જાય છે. નવી પરિસ્થિતિમાં, દરેક માઇક્રોસર્વિસના સ્ટેટ સ્ટોરમાં એકંદર ચિત્રનો માત્ર એક ભાગ હોય છે (તે ઑબ્જેક્ટ્સ કે જેની કી ચોક્કસ પાર્ટીશનમાં મેપ કરવામાં આવી હતી). અમારે તે નક્કી કરવાનું હતું કે કયા દાખલામાં અમને જોઈતી ઑબ્જેક્ટની સ્થિતિ શામેલ છે, અને અમે નીચે બતાવ્યા પ્રમાણે થ્રેડ મેટાડેટાના આધારે આ કર્યું:

આકૃતિ 7: સ્ટ્રીમ મેટાડેટાનો ઉપયોગ કરીને, અમે નક્કી કરીએ છીએ કે કયા દાખલામાંથી ઇચ્છિત ઑબ્જેક્ટની સ્થિતિને ક્વેરી કરવી; GET ALL API સાથે સમાન અભિગમનો ઉપયોગ કરવામાં આવ્યો હતો

મુખ્ય તારણો

કાફકા સ્ટ્રીમ્સમાં સ્ટેટ સ્ટોર્સ ડી ફેક્ટો વિતરિત ડેટાબેઝ તરીકે સેવા આપી શકે છે,

• કાફકામાં સતત પ્રતિકૃતિ
• આવી સિસ્ટમની ટોચ પર CRUD API સરળતાથી બનાવી શકાય છે
• બહુવિધ પાર્ટીશનો હેન્ડલ કરવું થોડું વધુ જટિલ છે
• સહાયક ડેટા સ્ટોર કરવા માટે સ્ટ્રીમિંગ ટોપોલોજીમાં એક અથવા વધુ સ્ટેટ સ્ટોર્સ ઉમેરવાનું પણ શક્ય છે. આ વિકલ્પનો ઉપયોગ આ માટે થઈ શકે છે:
• સ્ટ્રીમ પ્રોસેસિંગ દરમિયાન ગણતરીઓ માટે જરૂરી ડેટાનો લાંબા ગાળાનો સંગ્રહ
• ડેટાનો લાંબા ગાળાનો સંગ્રહ જે આગલી વખતે સ્ટ્રીમિંગ દાખલાની જોગવાઈ કરવામાં આવે ત્યારે ઉપયોગી થઈ શકે છે
• ઘણું વધારે...

આ અને અન્ય ફાયદાઓ કાફકા સ્ટ્રીમ્સને આપણા જેવી વિતરિત સિસ્ટમમાં વૈશ્વિક સ્થિતિ જાળવવા માટે યોગ્ય બનાવે છે. કાફકા સ્ટ્રીમ્સ પ્રોડક્શનમાં ખૂબ જ ભરોસાપાત્ર સાબિત થઈ છે (તેને જમાવ્યા પછી અમને કોઈ સંદેશની ખોટ થઈ નથી), અને અમને વિશ્વાસ છે કે તેની ક્ષમતાઓ ત્યાં અટકશે નહીં!

સોર્સ: www.habr.com