કુબરનેટ્સ પર કાફકા સારું છે?

શુભેચ્છાઓ, હેબર!

એક સમયે, અમે રશિયન બજારમાં આ વિષયને રજૂ કરનારા પ્રથમ હતા કાફકા અને ચાલુ રાખો ટ્રેક તેના વિકાસ માટે. ખાસ કરીને, અમને કાફકા અને વચ્ચેની ક્રિયાપ્રતિક્રિયાનો વિષય મળ્યો ક્યુબર્નેટિસ. અવલોકનક્ષમ (અને તદ્દન સાવચેત) લેખ આ વિષય ગ્વેન શાપીરાના લેખકત્વ હેઠળ ગયા વર્ષે ઓક્ટોબરમાં કોન્ફ્લુઅન્ટ બ્લોગ પર પ્રકાશિત થયો હતો. આજે અમે તમારું ધ્યાન જોહાન ગીગરના એપ્રિલના એક વધુ તાજેતરના લેખ તરફ દોરવા માંગીએ છીએ, જે શીર્ષકમાં પ્રશ્નાર્થ ચિહ્ન વિના હોવા છતાં, રસપ્રદ લિંક્સ સાથે ટેક્સ્ટની સાથે વિષયને વધુ સચોટ રીતે તપાસે છે. જો તમે કરી શકો તો કૃપા કરીને અમને “અંધાધૂંધી મંકી” ના મફત અનુવાદને માફ કરો!

પરિચય

Kubernetes સ્ટેટલેસ વર્કલોડને હેન્ડલ કરવા માટે રચાયેલ છે. સામાન્ય રીતે, આવા વર્કલોડને માઇક્રોસર્વિસ આર્કિટેક્ચરના રૂપમાં રજૂ કરવામાં આવે છે, તે હળવા હોય છે, સારી રીતે આડા સ્કેલ કરે છે, 12-ફેક્ટર એપ્લિકેશનના સિદ્ધાંતોને અનુસરે છે અને સર્કિટ બ્રેકર્સ અને અરાજકતા વાંદરાઓ સાથે કામ કરી શકે છે.

બીજી બાજુ, કાફકા, આવશ્યકપણે વિતરિત ડેટાબેઝ તરીકે કાર્ય કરે છે. આમ, કામ કરતી વખતે, તમારે રાજ્ય સાથે વ્યવહાર કરવો પડશે, અને તે માઇક્રોસર્વિસ કરતાં ઘણું ભારે છે. કુબરનેટ્સ સ્ટેટફુલ લોડ્સને સપોર્ટ કરે છે, પરંતુ કેલ્સી હાઇટાવર બે ટ્વીટ્સમાં દર્શાવે છે તેમ, તેઓને કાળજી સાથે હેન્ડલ કરવું જોઈએ:

કેટલાક લોકોને લાગે છે કે જો તમે કુબરનેટ્સને સ્ટેટફુલ વર્કલોડમાં રોલ કરો છો, તો તે સંપૂર્ણ રીતે સંચાલિત ડેટાબેઝ બની જાય છે જે RDS ને હરીફ કરે છે. આ ખોટું છે. કદાચ, જો તમે પૂરતી મહેનત કરો, વધારાના ઘટકો ઉમેરો અને SRE એન્જિનિયરોની ટીમને આકર્ષિત કરો, તો તમે Kubernetesની ટોચ પર RDS બનાવી શકશો.

હું હંમેશા ભલામણ કરું છું કે કુબરનેટ્સ પર સ્ટેટફુલ વર્કલોડ ચલાવતી વખતે દરેક વ્યક્તિ અત્યંત સાવધાની રાખે. મોટાભાગના લોકો કે જેઓ પૂછે છે કે "શું હું કુબરનેટ્સ પર સ્ટેટફુલ વર્કલોડ ચલાવી શકું છું" તેમને કુબરનેટ્સ સાથેનો પૂરતો અનુભવ નથી અને ઘણીવાર તેઓ જે વર્કલોડ વિશે પૂછતા હોય છે.

તો, તમારે કુબરનેટ્સ પર કાફકા ચલાવવી જોઈએ? કાઉન્ટર પ્રશ્ન: શું કાફકા કુબરનેટ્સ વિના વધુ સારું કામ કરશે? તેથી જ હું આ લેખમાં પ્રકાશિત કરવા માંગુ છું કે કેવી રીતે કાફકા અને કુબરનેટ્સ એકબીજાના પૂરક છે, અને તેમને સંયોજિત કરવાથી શું મુશ્કેલીઓ આવી શકે છે.

પૂર્ણ થવાનો સમય

ચાલો મૂળભૂત વસ્તુ વિશે વાત કરીએ - રનટાઇમ પર્યાવરણ પોતે

Процесс

કાફકા બ્રોકર્સ CPU મૈત્રીપૂર્ણ છે. TLS કેટલાક ઓવરહેડ રજૂ કરી શકે છે. જો કે, કાફકા ક્લાયન્ટ્સ વધુ CPU સઘન હોઈ શકે છે જો તેઓ એન્ક્રિપ્શનનો ઉપયોગ કરે છે, પરંતુ આ બ્રોકરોને અસર કરતું નથી.

મેમરી

કાફકાના દલાલો યાદશક્તિ ખાઈ જાય છે. JVM હીપનું કદ સામાન્ય રીતે 4-5 GB સુધી મર્યાદિત હોય છે, પરંતુ તમારે ઘણી બધી સિસ્ટમ મેમરીની પણ જરૂર પડશે કારણ કે કાફકા પૃષ્ઠ કેશનો ખૂબ જ ભારે ઉપયોગ કરે છે. Kubernetes માં, કન્ટેનર સંસાધન સેટ કરો અને તે મુજબ વિનંતી મર્યાદા.

ડેટા સ્ટોર

કન્ટેનરમાં ડેટા સ્ટોરેજ ક્ષણિક છે - જ્યારે પુનઃપ્રારંભ કરવામાં આવે ત્યારે ડેટા ખોવાઈ જાય છે. કાફકા ડેટા માટે તમે વોલ્યુમનો ઉપયોગ કરી શકો છો emptyDir, અને અસર સમાન હશે: તમારો બ્રોકર ડેટા પૂર્ણ થયા પછી ખોવાઈ જશે. તમારા સંદેશાઓ હજુ પણ અન્ય બ્રોકર્સ પર પ્રતિકૃતિ તરીકે સંગ્રહિત કરી શકાય છે. તેથી, પુનઃપ્રારંભ કર્યા પછી, નિષ્ફળ બ્રોકરે પહેલા તમામ ડેટાની નકલ કરવી પડશે, અને આ પ્રક્રિયામાં ઘણો સમય લાગી શકે છે.

આ માટે તમારે લાંબા ગાળાના ડેટા સ્ટોરેજનો ઉપયોગ કરવો જોઈએ. તેને XFS ફાઇલ સિસ્ટમ સાથે બિન-સ્થાનિક લાંબા ગાળાના સ્ટોરેજ અથવા, વધુ સ્પષ્ટ રીતે, ext4 રહેવા દો. NFS નો ઉપયોગ કરશો નહીં. મેં તમને ચેતવ્યા હતા. NFS સંસ્કરણ v3 અથવા v4 કામ કરશે નહીં. ટૂંકમાં, કાફકા બ્રોકર જો NFS માં "સ્ટુપિડ રિનેમ" સમસ્યાને કારણે ડેટા ડાયરેક્ટરી કાઢી ન શકે તો ક્રેશ થઈ જશે. જો મેં તમને હજી સુધી સમજાવ્યા નથી, તો ખૂબ કાળજીપૂર્વક આ લેખ વાંચો. ડેટા સ્ટોર બિન-સ્થાનિક હોવો જોઈએ જેથી કરીને પુનઃપ્રારંભ અથવા સ્થાનાંતરણ પછી કુબરનેટ્સ વધુ લવચીક રીતે નવો નોડ પસંદ કરી શકે.

નેટવર્ક

મોટાભાગની વિતરિત પ્રણાલીઓની જેમ, કાફકાનું પ્રદર્શન નેટવર્ક લેટન્સીને ન્યૂનતમ અને બેન્ડવિડ્થને મહત્તમ રાખવા પર ખૂબ જ નિર્ભર છે. એક જ નોડ પર બધા બ્રોકર્સને હોસ્ટ કરવાનો પ્રયાસ કરશો નહીં, કારણ કે આ ઉપલબ્ધતામાં ઘટાડો કરશે. જો કુબરનેટીસ નોડ નિષ્ફળ જાય, તો સમગ્ર કાફકા ક્લસ્ટર નિષ્ફળ જશે. ઉપરાંત, સમગ્ર ડેટા સેન્ટરોમાં કાફકા ક્લસ્ટરને વિખેરશો નહીં. કુબરનેટ્સ ક્લસ્ટર માટે પણ આવું જ છે. આ કિસ્સામાં સારી સમાધાન એ વિવિધ પ્રાપ્યતા ઝોન પસંદ કરવાનું છે.

રૂપરેખાંકન

નિયમિત મેનિફેસ્ટો

કુબરનેટ્સ વેબસાઇટ ધરાવે છે ખૂબ સારી માર્ગદર્શિકા મેનિફેસ્ટનો ઉપયોગ કરીને ZooKeeper ને કેવી રીતે ગોઠવવું તે વિશે. ZooKeeper કાફકાનો ભાગ હોવાથી, કુબરનેટસની વિભાવનાઓ અહીં લાગુ પડે છે તેની સાથે પરિચિત થવા માટે આ એક સારું સ્થળ છે. એકવાર તમે આ સમજી ગયા પછી, તમે કાફકા ક્લસ્ટર સાથે સમાન ખ્યાલોનો ઉપયોગ કરી શકો છો.

• હેઠળ: પોડ એ કુબરનેટીસમાં સૌથી નાનું એકમ છે. પોડ તમારા વર્કલોડને સમાવે છે, અને પોડ પોતે તમારા ક્લસ્ટરની પ્રક્રિયાને અનુરૂપ છે. પોડમાં એક અથવા વધુ કન્ટેનર હોય છે. સમૂહમાં દરેક ઝૂકીપર સર્વર અને કાફકા ક્લસ્ટરમાં દરેક બ્રોકર અલગ પોડમાં ચાલશે.
• સ્ટેટફુલસેટ: સ્ટેટફુલસેટ એ કુબરનેટ્સ ઑબ્જેક્ટ છે જે બહુવિધ સ્ટેટફુલ વર્કલોડને હેન્ડલ કરે છે, અને આવા વર્કલોડને સંકલનની જરૂર છે. સ્ટેટફુલસેટ્સ શીંગોના ક્રમ અને તેમની વિશિષ્ટતા અંગે બાંયધરી આપે છે.
• હેડલેસ સેવાઓ: સેવાઓ તમને લોજિકલ નામનો ઉપયોગ કરીને ક્લાયન્ટ્સમાંથી પોડ્સને અલગ કરવાની મંજૂરી આપે છે. આ કિસ્સામાં કુબરનેટ્સ લોડ બેલેન્સિંગ માટે જવાબદાર છે. જો કે, જ્યારે ZooKeeper અને Kafka જેવા સ્ટેટફુલ વર્કલોડ ઓપરેટ કરી રહ્યા હોય, ત્યારે ગ્રાહકોએ ચોક્કસ ઉદાહરણ સાથે વાતચીત કરવાની જરૂર છે. આ તે છે જ્યાં હેડલેસ સેવાઓ કામમાં આવે છે: આ કિસ્સામાં, ક્લાયંટનું હજી પણ તાર્કિક નામ હશે, પરંતુ તમારે સીધો પોડનો સંપર્ક કરવો પડશે નહીં.
• લાંબા ગાળાના સ્ટોરેજ વોલ્યુમ: ઉપર જણાવેલ બિન-સ્થાનિક બ્લોક પર્સિસ્ટન્ટ સ્ટોરેજને ગોઠવવા માટે આ વોલ્યુમોની જરૂર છે.

માં યોલેન કુબરનેટ્સ પર કાફકા સાથે પ્રારંભ કરવામાં તમારી સહાય કરવા માટે મેનિફેસ્ટનો એક વ્યાપક સેટ પ્રદાન કરે છે.

સુકાન ચાર્ટ્સ

હેલ્મ એ કુબરનેટ્સ માટે પેકેજ મેનેજર છે જેની સરખામણી yum, apt, Homebrew અથવા Chocolatey જેવા OS પેકેજ મેનેજર સાથે કરી શકાય છે. તે હેલ્મ ચાર્ટમાં વર્ણવેલ પૂર્વવ્યાખ્યાયિત સોફ્ટવેર પેકેજોને ઇન્સ્ટોલ કરવાનું સરળ બનાવે છે. સારી રીતે પસંદ કરેલ હેલ્મ ચાર્ટ કુબરનેટ્સ પર કાફકાનો ઉપયોગ કરવા માટે તમામ પરિમાણોને યોગ્ય રીતે કેવી રીતે ગોઠવવા તે મુશ્કેલ કાર્યને સરળ બનાવે છે. કાફકાના ઘણા આકૃતિઓ છે: સત્તાવાર એક સ્થિત થયેલ છે ઇન્ક્યુબેટર સ્થિતિમાં, ત્યાંથી એક છે સંમિશ્રિત, એક વધુ - થી બિન્નામી.

ઓપરેટરો

કારણ કે હેલ્મમાં કેટલીક ખામીઓ છે, બીજું સાધન નોંધપાત્ર લોકપ્રિયતા મેળવી રહ્યું છે: કુબરનેટ્સ ઓપરેટર્સ. ઑપરેટર માત્ર કુબરનેટ્સ માટે સૉફ્ટવેરનું પૅકેજ નથી કરતું, પણ તમને આવા સૉફ્ટવેરને જમાવવા અને તેનું સંચાલન કરવાની પણ મંજૂરી આપે છે.

સૂચિમાં અદ્ભુત ઓપરેટરો કાફકા માટે બે ઓપરેટરોનો ઉલ્લેખ છે. તેમને એક - સ્ટ્રીમઝી. સ્ટ્રીમ્ઝી સાથે, તમારા કાફકા ક્લસ્ટરને મિનિટોમાં ચાલુ કરવું અને ચાલુ કરવું સરળ છે. વર્ચ્યુઅલ રીતે કોઈ રૂપરેખાંકનની જરૂર નથી, વધુમાં, ઓપરેટર પોતે કેટલીક સરસ સુવિધાઓ પ્રદાન કરે છે, ઉદાહરણ તરીકે, ક્લસ્ટરની અંદર પોઈન્ટ-ટુ-પોઈન્ટ TLS એન્ક્રિપ્શન. સંગમ પણ પ્રદાન કરે છે પોતાના ઓપરેટર.

ઉત્પાદકતા

તમારા કાફકા દાખલાને બેન્ચમાર્ક કરીને પ્રદર્શનનું પરીક્ષણ કરવું મહત્વપૂર્ણ છે. સમસ્યાઓ શરૂ થાય તે પહેલાં આવા પરીક્ષણો તમને સંભવિત અવરોધો શોધવામાં મદદ કરશે. સદભાગ્યે, કાફકા પહેલાથી જ બે પ્રદર્શન પરીક્ષણ સાધનો પ્રદાન કરે છે: kafka-producer-perf-test.sh и kafka-consumer-perf-test.sh. તેમનો સક્રિય ઉપયોગ કરો. સંદર્ભ માટે, તમે વર્ણવેલ પરિણામોનો સંદર્ભ લઈ શકો છો આ પોસ્ટ જય ક્રેપ્સ, અથવા તેના પર ધ્યાન કેન્દ્રિત કરો આ સમીક્ષા સ્ટેફન મારેક દ્વારા એમેઝોન MSK.

કામગીરી

મોનીટરીંગ

સિસ્ટમમાં પારદર્શિતા ખૂબ જ મહત્વપૂર્ણ છે - અન્યથા તમે સમજી શકશો નહીં કે તેમાં શું થઈ રહ્યું છે. આજે એક નક્કર ટૂલકિટ છે જે ક્લાઉડ નેટિવ સ્ટાઇલમાં મેટ્રિક્સ-આધારિત મોનિટરિંગ પ્રદાન કરે છે. આ હેતુ માટેના બે લોકપ્રિય સાધનો પ્રોમિથિયસ અને ગ્રાફના છે. પ્રોમિથિયસ JMX નિકાસકારનો ઉપયોગ કરીને તમામ જાવા પ્રક્રિયાઓ (કાફકા, ઝૂકીપર, કાફકા કનેક્ટ)માંથી મેટ્રિક્સ એકત્રિત કરી શકે છે - સરળ રીતે. જો તમે cAdvisor મેટ્રિક્સ ઉમેરશો, તો તમે કુબરનેટ્સમાં સંસાધનોનો ઉપયોગ કેવી રીતે કરવામાં આવે છે તે વધુ સારી રીતે સમજી શકશો.

સ્ટ્રિમ્ઝી પાસે કાફકા માટે ગ્રાફના ડેશબોર્ડનું ખૂબ જ અનુકૂળ ઉદાહરણ છે. તે મુખ્ય મેટ્રિક્સનું વિઝ્યુઅલાઈઝ કરે છે, ઉદાહરણ તરીકે, અંડર-રિપ્લિકેટેડ સેક્ટર અથવા ઑફલાઇન હોય તે વિશે. ત્યાં બધું ખૂબ જ સ્પષ્ટ છે. આ મેટ્રિક્સ સંસાધનના ઉપયોગ અને કામગીરીની માહિતી તેમજ સ્થિરતા સૂચકાંકો દ્વારા પૂરક છે. તેથી તમે કંઈપણ માટે મૂળભૂત કાફકા ક્લસ્ટર મોનિટરિંગ મેળવો છો!

સોર્સ: streamzi.io/docs/master/#kafka_dashboard

ક્લાયંટ મોનિટરિંગ (ગ્રાહકો અને ઉત્પાદકો પરના મેટ્રિક્સ), તેમજ લેટન્સી મોનિટરિંગ સાથે આ બધું પૂરક કરવું સરસ રહેશે (આ માટે ત્યાં છે બરોવ) અને એન્ડ-ટુ-એન્ડ મોનિટરિંગ - આ ઉપયોગ માટે કાફકા મોનિટર.

લોગીંગ

લૉગિંગ એ બીજું જટિલ કાર્ય છે. ખાતરી કરો કે તમારા કાફકા ઇન્સ્ટોલેશનમાં બધા કન્ટેનર લોગ થયેલ છે stdout и stderr, અને એ પણ સુનિશ્ચિત કરો કે તમારું કુબરનેટ્સ ક્લસ્ટર તમામ લોગને કેન્દ્રીય લોગિંગ ઈન્ફ્રાસ્ટ્રક્ચરમાં એકીકૃત કરે છે, દા.ત. સ્થિતિસ્થાપક શોધ.

કાર્યાત્મક પરીક્ષણ

તમારી શીંગો સામાન્ય રીતે ચાલી રહી છે કે કેમ તે તપાસવા માટે કુબરનેટ્સ જીવંતતા અને તૈયારીની ચકાસણીનો ઉપયોગ કરે છે. જો જીવંતતા તપાસ નિષ્ફળ જાય, તો કુબરનેટ્સ તે કન્ટેનરને રોકશે અને પછી જો પુનઃપ્રારંભ નીતિ તે મુજબ સેટ કરેલ હોય તો આપમેળે તેને પુનઃપ્રારંભ કરશે. જો તત્પરતાની તપાસ નિષ્ફળ જાય, તો કુબરનેટ્સ પોડને સર્વિસિંગ વિનંતીઓથી અલગ કરે છે. આમ, આવા કિસ્સાઓમાં, મેન્યુઅલ હસ્તક્ષેપની જરૂર નથી, જે એક મોટી વત્તા છે.

અપડેટ્સ રોલ આઉટ

સ્ટેટફુલસેટ્સ સ્વચાલિત અપડેટ્સને સપોર્ટ કરે છે: જો તમે રોલિંગઅપડેટ વ્યૂહરચના પસંદ કરો છો, તો કાફકા હેઠળની દરેકને બદલામાં અપડેટ કરવામાં આવશે. આ રીતે, ડાઉનટાઇમ શૂન્ય સુધી ઘટાડી શકાય છે.

સ્કેલિંગ

કાફકા ક્લસ્ટરને માપવું એ સરળ કાર્ય નથી. જો કે, કુબરનેટ્સ પોડ્સને ચોક્કસ સંખ્યામાં પ્રતિકૃતિઓ સુધી માપવાનું ખૂબ જ સરળ બનાવે છે, જેનો અર્થ છે કે તમે તમને ગમે તેટલા કાફકા બ્રોકર્સને ઘોષણાત્મક રીતે વ્યાખ્યાયિત કરી શકો છો. આ કિસ્સામાં સૌથી મુશ્કેલ બાબત એ છે કે સ્કેલિંગ અપ કર્યા પછી અથવા સ્કેલિંગ ડાઉન કરતા પહેલા સેક્ટરને ફરીથી સોંપવું. ફરીથી, કુબરનેટ્સ તમને આ કાર્યમાં મદદ કરશે.

વહીવટ

તમારા કાફકા ક્લસ્ટરને સંચાલિત કરવા સંબંધિત કાર્યો, જેમ કે વિષયો બનાવવા અને ક્ષેત્રોને ફરીથી સોંપવા, તમારા પોડ્સમાં કમાન્ડ લાઇન ઇન્ટરફેસ ખોલીને હાલની શેલ સ્ક્રિપ્ટનો ઉપયોગ કરીને કરી શકાય છે. જો કે, આ ઉકેલ ખૂબ સુંદર નથી. Strimzi અલગ ઓપરેટરનો ઉપયોગ કરીને વિષયોનું સંચાલન કરવાનું સમર્થન કરે છે. અહીં સુધારા માટે થોડો અવકાશ છે.

બેકઅપ અને પુનઃસ્થાપિત

હવે કાફકાની ઉપલબ્ધતા પણ કુબરનેટ્સની ઉપલબ્ધતા પર નિર્ભર રહેશે. જો તમારું કુબરનેટ્સ ક્લસ્ટર નિષ્ફળ જાય, તો સૌથી ખરાબ સ્થિતિમાં, તમારું કાફકા ક્લસ્ટર પણ નિષ્ફળ જશે. મર્ફીના કાયદા અનુસાર, આ ચોક્કસપણે થશે, અને તમે ડેટા ગુમાવશો. આ પ્રકારના જોખમને ઘટાડવા માટે, એક સારો બેકઅપ ખ્યાલ રાખો. તમે MirrorMaker નો ઉપયોગ કરી શકો છો, આ માટે S3 નો ઉપયોગ કરવાનો બીજો વિકલ્પ છે, આમાં વર્ણવ્યા પ્રમાણે પોસ્ટ ઝાલેન્ડો તરફથી.

નિષ્કર્ષ

નાનાથી મધ્યમ કદના કાફકા ક્લસ્ટરો સાથે કામ કરતી વખતે, તે ચોક્કસપણે કુબરનેટ્સનો ઉપયોગ કરવા યોગ્ય છે કારણ કે તે વધારાની લવચીકતા પ્રદાન કરે છે અને ઓપરેટરના અનુભવને સરળ બનાવે છે. જો તમારી પાસે ખૂબ જ નોંધપાત્ર બિન-કાર્યકારી લેટન્સી અને/અથવા થ્રુપુટ આવશ્યકતાઓ છે, તો પછી કેટલાક અન્ય ડિપ્લોયમેન્ટ વિકલ્પને ધ્યાનમાં લેવું વધુ સારું રહેશે.

સોર્સ: www.habr.com