કુબરનેટ્સમાં લોગિંગ: EFK વિ PLG

ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સની જટિલતા વધતી હોવાથી મોનિટરિંગ વધતા ક્લાઉડ સોલ્યુશન્સનું ખૂબ મહત્વનું ઘટક બની ગયું છે. તેમના વર્તનને સમજવું જરૂરી છે. અમને સ્કેલેબલ ટૂલ્સની જરૂર છે જે બધી સેવાઓમાંથી ડેટા એકત્રિત કરી શકે - અને નિષ્ણાતોને પ્રદર્શન વિશ્લેષણ, ભૂલ પ્રદર્શન, ઉપલબ્ધતા અને લૉગ્સ સાથે એક ઇન્ટરફેસ સાથે પ્રદાન કરે.

આ જ સાધનો કાર્યક્ષમ અને ઉત્પાદક હોવા જોઈએ. આ લેખમાં, અમે બે લોકપ્રિય ટેક્નોલોજી સ્ટેક્સ જોઈશું: EFK (Elasticsearch) અને PLG (Loki) અને તેમના આર્કિટેક્ચર અને તફાવતોનું પરીક્ષણ કરીશું.

EFK સ્ટેક

તમે પહેલાથી જ ખૂબ જ લોકપ્રિય ELK અથવા EFK વિશે સાંભળ્યું હશે. સ્ટેકમાં કેટલાક અલગ-અલગ ભાગોનો સમાવેશ થાય છે: ઇલાસ્ટિકસર્ચ (ઓબ્જેક્ટ સ્ટોરેજ), લોગસ્ટેશ અથવા ફ્લુએન્ટડી (લોગ કલેક્શન અને એગ્રીગેશન), અને વિઝ્યુલાઇઝેશન માટે કિબાના.

લાક્ષણિક વર્કફ્લો આના જેવો દેખાય છે:

સ્થિતિસ્થાપક શોધ — શોધ અને રીઅલ-ટાઇમ એનાલિટિક્સ સાથે ઑબ્જેક્ટ સ્ટોરેજનું વિતરણ. લોગ જેવા અર્ધ-સંરચિત ડેટા માટે ઉત્તમ ઉકેલ. માહિતી JSON દસ્તાવેજો તરીકે સાચવવામાં આવે છે, જે વાસ્તવિક સમયમાં અનુક્રમિત થાય છે અને ક્લસ્ટર નોડ્સમાં વિતરિત થાય છે. ઇન્વર્ટેડ ઇન્ડેક્સનો ઉપયોગ કરવામાં આવે છે, જેમાં સંપૂર્ણ-ટેક્સ્ટ શોધ માટે તમામ અનન્ય શબ્દો અને સંકળાયેલ દસ્તાવેજો હોય છે, જે બદલામાં અપાચે લ્યુસીન સર્ચ એન્જિન પર આધારિત છે.

અસ્ખલિત ડી ડેટા કલેક્ટર છે જે ડેટાને એકત્ર કરતી વખતે અને તેનો ઉપયોગ કરતી વખતે એકીકૃત કરે છે. તે JSON માં ડેટાને શક્ય તેટલો વ્યવસ્થિત કરવાનો પ્રયાસ કરે છે. તેનું આર્કિટેક્ચર એક્સ્ટેન્સિબલ છે, ત્યાં વધુ છે સેંકડો વિવિધ એક્સ્ટેન્શન્સ, સમુદાય-સમર્થિત, તમામ પ્રસંગો માટે.

કિબના - વિવિધ વધારાની ક્ષમતાઓ સાથે સ્થિતિસ્થાપક શોધ માટે ડેટા વિઝ્યુલાઇઝેશન ટૂલ, ઉદાહરણ તરીકે, સમય શ્રેણી વિશ્લેષણ, ગ્રાફ વિશ્લેષણ, મશીન શિક્ષણ અને વધુ.

સ્થિતિસ્થાપક શોધ આર્કિટેક્ચર

ઇલાસ્ટિકસર્ચ ક્લસ્ટર ડેટા તેના તમામ નોડ્સમાં ફેલાયેલ છે. ક્લસ્ટરમાં ઉપલબ્ધતા અને સ્થિતિસ્થાપકતા સુધારવા માટે બહુવિધ ગાંઠોનો સમાવેશ થાય છે. કોઈપણ નોડ ક્લસ્ટરની તમામ ભૂમિકાઓ કરી શકે છે, પરંતુ મોટા પાયે-આઉટ ડિપ્લોયમેન્ટ્સમાં, નોડ્સને સામાન્ય રીતે વ્યક્તિગત કાર્યો સોંપવામાં આવે છે.

ક્લસ્ટર નોડ પ્રકારો:

• માસ્ટર નોડ - ક્લસ્ટરનું સંચાલન કરે છે, ઓછામાં ઓછા ત્રણની જરૂર હોય છે, એક હંમેશા સક્રિય હોય છે;
• ડેટા નોડ - અનુક્રમિત ડેટા સ્ટોર કરે છે અને તેની સાથે વિવિધ કાર્યો કરે છે;
• ઇન્જેસ્ટ નોડ - ઇન્ડેક્સીંગ પહેલાં ડેટાને રૂપાંતરિત કરવા માટે પાઇપલાઇન્સનું આયોજન કરે છે;
• કોઓર્ડિનેટિંગ નોડ - રૂટીંગ વિનંતીઓ, શોધ પ્રક્રિયાના તબક્કામાં ઘટાડો, સમૂહ અનુક્રમણિકાનું સંકલન;
• ચેતવણી નોડ — ચેતવણી કાર્યો શરૂ કરી રહ્યા છીએ;
• મશીન લર્નિંગ નોડ - પ્રોસેસિંગ મશીન લર્નિંગ કાર્યો.

નીચેનો આકૃતિ બતાવે છે કે કેવી રીતે ડેટા સંગ્રહિત થાય છે અને ઉચ્ચ ડેટાની ઉપલબ્ધતા હાંસલ કરવા માટે નોડ્સમાં નકલ કરવામાં આવે છે.

દરેક પ્રતિકૃતિનો ડેટા ઇન્વર્ટેડ ઇન્ડેક્સમાં સંગ્રહિત થાય છે, નીચેનો આકૃતિ બતાવે છે કે આ કેવી રીતે થાય છે:

સ્થાપન

વિગતો જોઈ શકાશે અહીં, હું સુકાન ચાર્ટનો ઉપયોગ કરીશ:

$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elastics

PLG સ્ટેક

જો તમને આ ટૂંકું નામ ન મળે તો નવાઈ પામશો નહીં, કારણ કે તે Grafana Loki તરીકે વધુ જાણીતું છે. કોઈપણ કિસ્સામાં, આ સ્ટેક લોકપ્રિયતા મેળવી રહ્યું છે કારણ કે તે સાબિત તકનીકી ઉકેલોનો ઉપયોગ કરે છે. તમે ગ્રાફના વિશે સાંભળ્યું હશે, એક લોકપ્રિય વિઝ્યુલાઇઝેશન ટૂલ. પ્રોમિથિયસ દ્વારા પ્રેરિત તેના નિર્માતાઓએ લોકી વિકસાવી, જે આડી રીતે માપી શકાય તેવી, ઉચ્ચ-પ્રદર્શન લોગ એકત્રીકરણ સિસ્ટમ છે. લોકી ફક્ત મેટાડેટાને જ અનુક્રમિત કરે છે, જર્નલ્સને નહીં, એક તકનીકી ઉકેલ જે તેને ઉપયોગમાં સરળ અને ખર્ચ-અસરકારક બનવાની મંજૂરી આપે છે.

પ્રોમટેલ - ઓપરેટિંગ સિસ્ટમમાંથી લોકી ક્લસ્ટરમાં લોગ મોકલવા માટેનો એજન્ટ. ગ્રાફના લોકીના ડેટા પર આધારિત વિઝ્યુલાઇઝેશન ટૂલ છે.

લોકી પ્રોમિથિયસના સમાન સિદ્ધાંતો પર બનેલ છે, જે તેને કુબરનેટસ લોગને સંગ્રહિત કરવા અને તેનું વિશ્લેષણ કરવા માટે યોગ્ય બનાવે છે.

લોકી આર્કિટેક્ચર

લોકીને કાં તો એક પ્રક્રિયા તરીકે અથવા બહુવિધ પ્રક્રિયાઓ તરીકે ચલાવી શકાય છે, જે આડી સ્કેલિંગ માટે પરવાનગી આપે છે.

તે મોનોલિથિક એપ્લિકેશન તરીકે અથવા માઇક્રોસર્વિસ તરીકે પણ કામ કરી શકે છે. એક પ્રક્રિયા તરીકે ચાલવું એ સ્થાનિક વિકાસ માટે અથવા નાના દેખરેખ માટે ઉપયોગી થઈ શકે છે. ઔદ્યોગિક અમલીકરણ અને સ્કેલેબલ વર્કલોડ માટે, માઇક્રોસર્વિસ વિકલ્પનો ઉપયોગ કરવાની ભલામણ કરવામાં આવે છે. ડેટા લખવા અને વાંચવા માટેના માર્ગો અલગ-અલગ છે, તેથી તેને જરૂર મુજબ બારીક ટ્યુન અને સ્કેલ કરી શકાય છે.

ચાલો વિગતમાં ગયા વિના લોગ કલેક્શન સિસ્ટમના આર્કિટેક્ચરને જોઈએ:

અને અહીં વર્ણન છે (માઈક્રોસર્વિસ આર્કિટેક્ચર):

ઘટકો:

પ્રોમટેલ — નોડ્સ પર ઇન્સ્ટોલ કરેલ એજન્ટ (સેવાઓના સમૂહ તરીકે), તે કાર્યોમાંથી લોગ દૂર કરે છે અને મેટાડેટા મેળવવા માટે કુબરનેટ્સ API ને ઍક્સેસ કરે છે જે લોગને ટેગ કરશે. તે પછી લોગને મુખ્ય લોકી સેવાને મોકલે છે. મેટાડેટા મેપિંગ પ્રોમિથિયસ જેવા જ ટેગિંગ નિયમોને સપોર્ટ કરે છે.

ડિસ્ટ્રીબ્યુટર - એક સેવા વિતરક જે બફર તરીકે કામ કરે છે. લાખો રેકોર્ડની પ્રક્રિયા કરવા માટે, તે આવનારા ડેટાને પેક કરે છે, તેને આવતાની સાથે બ્લોકમાં સંકુચિત કરે છે. કેટલાક ડેટા સિંક એકસાથે ચાલી રહ્યા છે, પરંતુ એક ઇનકમિંગ ડેટા સ્ટ્રીમ સાથે જોડાયેલા લોગ તેના તમામ બ્લોક્સ માટે તેમાંથી એકમાં જ દેખાવા જોઈએ. આ સિંક અને ક્રમિક હેશિંગની રિંગમાં ગોઠવવામાં આવે છે. દોષ સહિષ્ણુતા અને નિરર્થકતા માટે, આ n વખત કરવામાં આવે છે (3 જો ગોઠવેલ ન હોય તો).

ઇન્જેસ્ટર - સેવા પ્રાપ્તકર્તા. ડેટા બ્લોક્સ ઉમેરાયેલા લોગ સાથે સંકુચિત આવે છે. એકવાર બ્લોક પર્યાપ્ત કદનો થઈ જાય, પછી બ્લોકને ડેટાબેઝમાં ફ્લશ કરવામાં આવે છે. મેટાડેટા ઇન્ડેક્સ પર જાય છે, અને લોગ બ્લોકમાંથી ડેટા હિસ્સામાં જાય છે (સામાન્ય રીતે ઑબ્જેક્ટ સ્ટોરેજ). રીસેટ કર્યા પછી, રીસીવર એક નવો બ્લોક બનાવે છે જ્યાં નવી એન્ટ્રીઓ ઉમેરવામાં આવશે.

ઇન્ડેક્સ - ડેટાબેઝ, ડાયનામોડીબી, કેસાન્ડ્રા, ગૂગલ બિગટેબલ, વગેરે.

ચૂંટેલા — સંકુચિત સ્વરૂપમાં લોગ બ્લોક્સ, સામાન્ય રીતે ઑબ્જેક્ટ સ્ટોરેજમાં સંગ્રહિત થાય છે, ઉદાહરણ તરીકે, S3.

ક્વેરીયર - વાંચનનો માર્ગ જે તમામ ગંદા કામ કરે છે. તે સમય શ્રેણી અને ટાઇમસ્ટેમ્પ જુએ છે, અને પછી મેળ શોધવા માટે અનુક્રમણિકા જુએ છે. આગળ, તે ડેટાના બ્લોક્સ વાંચે છે અને પરિણામ મેળવવા માટે તેમને ફિલ્ટર કરે છે.

હવે ચાલો બધું ક્રિયામાં જોઈએ.

સ્થાપન

કુબરનેટ્સમાં ઇન્સ્ટોલ કરવાનો સૌથી સહેલો રસ્તો સુકાનનો ઉપયોગ કરવાનો છે. અમે ધારીએ છીએ કે તમે તેને પહેલેથી જ ઇન્સ્ટોલ અને ગોઠવેલ છે (અને ત્રીજું સંસ્કરણ! આશરે અનુવાદક)

રીપોઝીટરી ઉમેરો અને સ્ટેક ઇન્સ્ટોલ કરો.

$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=false

નીચે એક ઉદાહરણ ડેશબોર્ડ છે જે Etcd મેટ્રિક્સ માટે પ્રોમિથિયસ અને Etcd પોડ લોગ્સ માટે લોકીનો ડેટા દર્શાવે છે.

હવે ચાલો બંને સિસ્ટમના આર્કિટેક્ચરની ચર્ચા કરીએ, અને તેમની ક્ષમતાઓની એકબીજા સાથે સરખામણી પણ કરીએ.

સરખામણી

ક્વેરી ભાષા

ઇલાસ્ટિકસર્ચ પૂર્ણ-ટેક્સ્ટ શોધ ક્ષમતાઓ પ્રદાન કરવા માટે ક્વેરી ડીએસએલ અને લ્યુસીન ક્વેરી ભાષાનો ઉપયોગ કરે છે. તે વ્યાપક ઓપરેટર સપોર્ટ સાથે સ્થાપિત, શક્તિશાળી સર્ચ એન્જિન છે. તેની સાથે, તમે સંદર્ભ દ્વારા શોધી શકો છો અને સુસંગતતા દ્વારા સૉર્ટ કરી શકો છો.

રિંગની બીજી બાજુ LogQL છે, જેનો ઉપયોગ Lokiમાં થાય છે, PromQL (પ્રોમિથિયસ ક્વેરી લેંગ્વેજ)ના અનુગામી. તે લોગ ડેટાને ફિલ્ટર કરવા અને પસંદ કરવા માટે લોગ ટૅગ્સનો ઉપયોગ કરે છે. વર્ણવ્યા પ્રમાણે કેટલાક ઓપરેટરો અને અંકગણિતનો ઉપયોગ કરવો શક્ય છે અહીં, પરંતુ ક્ષમતાઓની દ્રષ્ટિએ તે સ્થિતિસ્થાપક ભાષાથી પાછળ છે.

લોકીમાં ક્વેરી ટૅગ્સ સાથે સંકળાયેલી હોવાથી, તેઓ મેટ્રિક્સ સાથે સહસંબંધ કરવા માટે સરળ છે, અને પરિણામે, તેમની સાથે ઓપરેશનલ મોનિટરિંગ ગોઠવવાનું સરળ છે.

માપનીયતા

બંને સ્ટેક્સ આડા રીતે માપી શકાય તેવા છે, પરંતુ લોકી તેને સરળ બનાવે છે કારણ કે તેમાં અલગ વાંચવા અને લખવાના પાથ અને માઇક્રોસર્વિસ આર્કિટેક્ચર છે. તમારી જરૂરિયાતોને અનુરૂપ લોકીને કસ્ટમાઇઝ કરી શકાય છે અને લોગ ડેટાના ખૂબ મોટા વોલ્યુમ માટે ઉપયોગ કરી શકાય છે.

મલ્ટિટેનન્સી

OPEX સંક્ષેપમાં ક્લસ્ટર મલ્ટિટેનન્સી એ એક સામાન્ય થીમ છે, બંને સ્ટેક્સ મલ્ટિટેનન્સી પ્રદાન કરે છે. Elasticsearch માટે ઘણા છે માર્ગો ક્લાયંટનું વિભાજન: દરેક ક્લાયંટ માટે અલગ અનુક્રમણિકા, ક્લાયંટ-આધારિત રૂટીંગ, અનન્ય ક્લાયંટ ક્ષેત્રો, શોધ ફિલ્ટર્સ. લોકી પાસે છે આધાર HTTP X-Scope-OrgID હેડરના સ્વરૂપમાં.

કિંમત

લોકી એ હકીકતને કારણે ખૂબ ખર્ચ અસરકારક છે કે તે ડેટાને અનુક્રમિત કરતું નથી, માત્ર મેટાડેટા. આ હાંસલ કરે છે સંગ્રહ પર બચત અને મેમરી (કેશ), કારણ કે ઑબ્જેક્ટ સ્ટોરેજ બ્લોક સ્ટોરેજ કરતાં સસ્તું છે, જેનો ઉપયોગ ઇલાસ્ટિકસર્ચ ક્લસ્ટરોમાં થાય છે.

નિષ્કર્ષ

EFK સ્ટેકનો ઉપયોગ વિવિધ હેતુઓ માટે થઈ શકે છે, જે મહત્તમ સુગમતા અને એનાલિટિક્સ, વિઝ્યુલાઇઝેશન અને ક્વેરીઝ માટે વિશેષતા-સમૃદ્ધ કિબાના ઇન્ટરફેસ પ્રદાન કરે છે. તેને મશીન લર્નિંગ ક્ષમતાઓ દ્વારા વધુ વધારી શકાય છે.

લોકી સ્ટેક તેની મેટાડેટા શોધ પદ્ધતિને કારણે કુબરનેટ્સ ઇકોસિસ્ટમમાં ઉપયોગી છે. તમે Grafana અને લૉગ્સમાં સમય શ્રેણીના આધારે મોનિટરિંગ માટે ડેટાને સરળતાથી સહસંબંધિત કરી શકો છો.

જ્યારે ખર્ચ અને લાંબા ગાળાના લોગ સ્ટોરેજની વાત આવે છે, ત્યારે લોકી ક્લાઉડ સોલ્યુશન્સમાં એક ઉત્તમ પ્રવેશ બિંદુ છે.

બજારમાં વધુ વિકલ્પો છે - કેટલાક તમારા માટે વધુ સારા હોઈ શકે છે. ઉદાહરણ તરીકે, GKE પાસે સ્ટેકડ્રાઇવર એકીકરણ છે જે એક ઉત્તમ મોનિટરિંગ સોલ્યુશન પૂરું પાડે છે. અમે આ લેખમાં અમારા વિશ્લેષણમાં તેમનો સમાવેશ કર્યો નથી.

સંદર્ભો:

• https://github.com/grafana/loki/blob/master/docs/overview/comparisons.md
• https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up
• https://www.elastic.co/blog/found-elasticsearch-in-production/

લેખનો અનુવાદ અને કર્મચારીઓ દ્વારા હેબર માટે તૈયાર કરવામાં આવ્યો હતો સ્લર્મ તાલીમ કેન્દ્ર — સઘન અભ્યાસક્રમો, વિડિયો અભ્યાસક્રમો અને પ્રેક્ટિસિંગ નિષ્ણાતો તરફથી કોર્પોરેટ તાલીમ (કુબરનેટ્સ, ડેવઓપ્સ, ડોકર, એન્સિબલ, સેફ, એસઆરઇ, એજીલ)

સોર્સ: www.habr.com