લોકી - પ્રોમિથિયસ અભિગમનો ઉપયોગ કરીને લોગ સંગ્રહ

સલામ, ખાબ્રોવસ્ક રહેવાસીઓ! કોર્સ માટે નવી નોંધણીની શરૂઆતની પૂર્વસંધ્યાએ "DevOps પ્રેક્ટિસ અને ટૂલ્સ" અમે તમારા માટે રસપ્રદ સામગ્રીનો અનુવાદ તૈયાર કર્યો છે.

આ લેખ લોકીનો સંક્ષિપ્ત પરિચય છે. પ્રોજેક્ટ લોકી Grafana દ્વારા આધારભૂત અને લૉગ્સ (સર્વર અથવા કન્ટેનરમાંથી) ના કેન્દ્રિય સંગ્રહનો હેતુ છે.

લોકીની મુખ્ય પ્રેરણા હતી પ્રોમિથિયસ લોગ મેનેજમેન્ટ માટે તેના અભિગમોને લાગુ કરવાના વિચાર સાથે:

• ડેટા સ્ટોર કરવા માટે લેબલનો ઉપયોગ કરવો
• થોડા સંસાધનોનો વપરાશ

અમે પ્રોમિથિયસ કેવી રીતે કાર્ય કરે છે તેના પર પાછા ફરીશું અને કુબરનેટ્સના સંદર્ભમાં તેના ઉપયોગના કેટલાક ઉદાહરણો આપીશું.

પ્રોમિથિયસ વિશે થોડાક શબ્દો

લોકી કેવી રીતે કાર્ય કરે છે તે સંપૂર્ણ રીતે સમજવા માટે, એક પગલું પાછું લેવું અને પ્રોમિથિયસ વિશે થોડું યાદ રાખવું મહત્વપૂર્ણ છે.

પ્રોમિથિયસની વિશિષ્ટ વિશેષતાઓમાંની એક છે કલેક્શન પોઈન્ટ્સમાંથી મેટ્રિક્સનું નિષ્કર્ષણ (નિકાસકારો દ્વારા) અને તેને TSDB (ટાઇમ સિરીઝ ડેટા બેઝ) માં સંગ્રહિત કરવું, જેમાં લેબલના સ્વરૂપમાં મેટાડેટા ઉમેરવામાં આવે છે.

કેમ તે જરૂરી છે

તાજેતરમાં, પ્રોમિથિયસ કન્ટેનર અને કુબરનેટીસની દુનિયામાં ડી ફેક્ટો સ્ટાન્ડર્ડ બની ગયું છે: તેનું ઇન્સ્ટોલેશન ખૂબ જ સરળ છે, અને કુબરનેટ્સ ક્લસ્ટર પ્રોમિથિયસ માટે મૂળ અંતિમ બિંદુ સાથે આવે છે. પ્રોમિથિયસ ચોક્કસ લેબલ્સ સ્ટોર કરતી વખતે કન્ટેનરમાં જમાવવામાં આવેલી એપ્લિકેશનમાંથી મેટ્રિક્સ પણ કાઢી શકે છે. તેથી, એપ્લિકેશન મોનીટરીંગ અમલમાં મૂકવું ખૂબ જ સરળ છે.

કમનસીબે, લોગ મેનેજમેન્ટ માટે હજુ પણ કોઈ ટર્નકી સોલ્યુશન નથી, અને તમારે તમારા માટે ઉકેલ શોધવો જ પડશે:

• કેન્દ્રીયકરણ લૉગ્સ (AWS, Azure અથવા Google) માટે સંચાલિત ક્લાઉડ સેવા
• મોનિટરિંગ સેવા "સેવા તરીકે દેખરેખ" (ઉદાહરણ તરીકે, ડેટાડોગ)
• તમારી પોતાની લોગ કલેક્શન સેવા બનાવવી.

ત્રીજા વિકલ્પ માટે, મેં પરંપરાગત રીતે ઇલાસ્ટિકસર્ચનો ઉપયોગ કર્યો, તે હકીકત હોવા છતાં કે હું હંમેશા તેનાથી ખુશ ન હતો (ખાસ કરીને તેની ભારેતા અને ગોઠવણીની જટિલતા).

લોકીને નીચેના સિદ્ધાંતો અનુસાર અમલીકરણને સરળ બનાવવા માટે ડિઝાઇન કરવામાં આવી હતી:

• શરૂ કરવા માટે સરળ બનો
• થોડા સંસાધનોનો ઉપયોગ કરો
• કોઈપણ ખાસ જાળવણી વિના સ્વતંત્ર રીતે કામ કરો
• બગ તપાસમાં મદદ કરવા પ્રોમિથિયસના વધારા તરીકે સેવા આપે છે

જો કે, આ સરળતા કેટલાક સમાધાનના ભોગે આવે છે. તેમાંથી એક સામગ્રીને અનુક્રમિત ન કરવી. તેથી, ટેક્સ્ટ શોધ ખૂબ કાર્યક્ષમ અથવા સમૃદ્ધ નથી અને ટેક્સ્ટની સામગ્રી પર આંકડાઓને મંજૂરી આપતું નથી. પરંતુ કારણ કે લોકી ગ્રેપની સમકક્ષ અને પ્રોમિથિયસના પૂરક બનવા માંગે છે, આ કોઈ ગેરલાભ નથી.

બનાવની તપાસ

શા માટે લોકીને અનુક્રમણિકાની જરૂર નથી તે વધુ સારી રીતે સમજવા માટે, ચાલો ઘટના તપાસ પદ્ધતિ પર પાછા જઈએ જેનો લોકી વિકાસકર્તાઓએ ઉપયોગ કર્યો હતો:

1 ચેતવણી → 2 ડેશબોર્ડ → 3 એડહોક ક્વેરી → 4 લોગ એકત્રીકરણ → 5 વિતરિત ટ્રેસિંગ → 6 ફિક્સ!
(1 ચેતવણી → 2 ડેશબોર્ડ → 3 એડહોક ક્વેરી → 4 લોગ એકત્રીકરણ → 5 વિતરિત ટ્રેસિંગ → 6 ફિક્સિંગ!)

વિચાર એ છે કે અમને અમુક પ્રકારની ચેતવણી (સ્લૅક નોટિફિકેશન, SMS, વગેરે) મળે છે અને તે પછી:

• Grafana ડેશબોર્ડ જુઓ
• સેવા મેટ્રિક્સ જુઓ (ઉદાહરણ તરીકે, પ્રોમિથિયસમાં)
• લોગ એન્ટ્રીઓ જુઓ (ઉદાહરણ તરીકે, Elasticsearch માં)
• કદાચ વિતરિત નિશાનો પર એક નજર નાખો (જેગર, ઝિપકીન, વગેરે.)
• અને અંતે મૂળ સમસ્યાનું નિરાકરણ.

અહીં, Grafana + Prometheus + Elasticsearch + Zipkin સ્ટેકના કિસ્સામાં, તમારે ચાર અલગ-અલગ ટૂલ્સનો ઉપયોગ કરવો પડશે. સમય ઘટાડવા માટે, એક ટૂલનો ઉપયોગ કરીને આ તમામ પગલાંઓ કરવા માટે સક્ષમ થવું સરસ રહેશે: ગ્રાફના. નોંધનીય છે કે સંશોધન માટેનો આ અભિગમ ગ્રાફનામાં સંસ્કરણ 6 થી લાગુ કરવામાં આવ્યો છે. આમ, પ્રોમિથિયસ ડેટાને ગ્રાફનાથી સીધો જ ઍક્સેસ કરવો શક્ય બને છે.

પ્રોમિથિયસ અને લોકી વચ્ચે એક્સપ્લોરર સ્ક્રીન વિભાજિત

આ સ્ક્રીન પરથી તમે સ્પ્લિટ સ્ક્રીન કોન્સેપ્ટનો ઉપયોગ કરીને પ્રોમિથિયસ મેટ્રિક્સથી સંબંધિત લોકી લોગ જોઈ શકો છો. સંસ્કરણ 6.5 થી, Grafana તમને તમારા મનપસંદ વિતરિત ટ્રેસિંગ ટૂલ્સ (જેગર) ની લિંક્સને અનુસરવા માટે લોકી લોગ એન્ટ્રીઓમાં ટ્રેસ આઈડીનું વિશ્લેષિત કરવાની મંજૂરી આપે છે.

સ્થાનિક લોકી પરીક્ષણ

લોકીને સ્થાનિક રીતે ચકાસવાનો સૌથી સહેલો રસ્તો ડોકર-કંપોઝનો ઉપયોગ કરવાનો છે. ડોકર-કંપોઝ ફાઇલ લોકી રિપોઝીટરીમાં સ્થિત છે. તમે નીચેના આદેશનો ઉપયોગ કરીને રીપોઝીટરી મેળવી શકો છો git:

$ git clone https://github.com/grafana/loki.git

પછી તમારે ઉત્પાદન નિર્દેશિકા પર જવાની જરૂર છે:

$ cd production

આ પછી તમે ડોકર છબીઓનું નવીનતમ સંસ્કરણ મેળવી શકો છો:

$ docker-compose pull

છેલ્લે, લોકી સ્ટેક નીચેના આદેશ સાથે લોન્ચ કરવામાં આવે છે:

$ docker-compose up

લોકી આર્કિટેક્ચર

અહીં લોકી આર્કિટેક્ચર સાથેનો એક નાનો આકૃતિ છે:

લોકી આર્કિટેક્ચર સિદ્ધાંતો

વેબ ક્લાયંટ સર્વર પર એપ્લિકેશન ચલાવે છે, પ્રોમટેલ લોગ એકત્રિત કરે છે અને તેને લોકીને મોકલે છે, વેબ ક્લાયંટ લોકીને મેટાડેટા પણ મોકલે છે. લોકી દરેક વસ્તુને એકત્ર કરે છે અને તેને ગ્રાફનામાં ટ્રાન્સમિટ કરે છે.
લોકી લોન્ચ કરવામાં આવી છે. ઉપલબ્ધ ઘટકો જોવા માટે, નીચેનો આદેશ ચલાવો:

$ docker ps

તાજા ઇન્સ્ટોલ કરેલા ડોકરના કિસ્સામાં, આદેશે નીચેનું પરિણામ આપવું જોઈએ:

IMAGE               PORTS                  NAMES
grafana/promtail:                          production_promtail_1
grafana/grafana: m  0.0.0.0:3000->3000/tcp production_grafana_1
grafana/loki: late  80/tcp,0.0.0.0:3100... production_loki_1

અમે નીચેના ઘટકો જોઈએ છીએ:

• પ્રોમટેલ: લોગના કેન્દ્રિયકરણ માટે જવાબદાર એજન્ટ
• Grafana: એક પ્રખ્યાત ડેશબોર્ડ સાધન
• લોકી: ડેટા સેન્ટ્રલાઇઝેશન ડિમન

ક્લાસિક ઈન્ફ્રાસ્ટ્રક્ચરના ભાગ રૂપે (ઉદાહરણ તરીકે, વર્ચ્યુઅલ મશીનો પર આધારિત), પ્રોમટેલ એજન્ટ દરેક મશીન પર તૈનાત હોવા જોઈએ. Grafana અને Loki એક જ મશીન પર ઇન્સ્ટોલ કરી શકાય છે.

કુબરનેટ્સ પર જમાવટ

કુબરનેટ્સ પર લોકી ઘટકોને ઇન્સ્ટોલ કરવું નીચે મુજબ હશે:

• સર્વર ક્લસ્ટરમાં દરેક મશીન પર પ્રોમટેલ એજન્ટને જમાવવા માટે ડેમનસેટ
• જમાવટ લોકી
• અને છેલ્લું એક છે Grafana ની જમાવટ.

સદભાગ્યે, લોકી હેલ્મ પેકેજ તરીકે ઉપલબ્ધ છે, જે તેને જમાવવાનું સરળ બનાવે છે.

હેમલ દ્વારા ઇન્સ્ટોલેશન

તમારે પહેલાથી જ હેમલ ઇન્સ્ટોલ કરેલ હોવું જોઈએ. તે પ્રોજેક્ટના GitHub રીપોઝીટરીમાંથી ડાઉનલોડ કરી શકાય છે. તે તમારા આર્કિટેક્ચરને અનુરૂપ આર્કાઇવને અનપેક કરીને અને તેમાં સુકાન ઉમેરીને ઇન્સ્ટોલ કરેલું છે $PATH.

ઉદાહરણ: હેલ્મનું વર્ઝન 3.0.0 તાજેતરમાં રિલીઝ થયું હતું. તેમાં ઘણા ફેરફારો કરવામાં આવ્યા હોવાથી, વાચકને તેનો ઉપયોગ કરતા પહેલા થોડી રાહ જોવાની સલાહ આપવામાં આવે છે..

હેલ્મ માટે સ્ત્રોત ઉમેરી રહ્યા છીએ

પ્રથમ પગલું એ નીચેના આદેશનો ઉપયોગ કરીને "લોકી" રીપોઝીટરી ઉમેરવાનું છે:

$ helm add loki https://grafana.github.io/loki/charts

આ પછી, તમે "loki" નામના પેકેજો શોધી શકો છો:

$ helm search loki

પરિણામ:

loki/loki       0.17.2 v0.4.0 Loki: like Prometheus, but for logs.
loki/loki-stack 0.19.1 v0.4.0 Loki: like Prometheus, but for logs.
loki/fluent-bit 0.0.2  v0.0.1 Uses fluent-bit Loki go plugin for...
loki/promtail   0.13.1 v0.4.0 Responsible for gathering logs and...

આ પેકેજોમાં નીચેની સુવિધાઓ છે:

• પેકેજ loki/loki ફક્ત લોકી સર્વર સાથે મેળ ખાય છે
• પેકેજ loki/fluent-bit તમને પ્રોમટેલને બદલે લોગ એકત્રિત કરવા માટે ફ્લુઅન્ટ-બિનનો ઉપયોગ કરીને ડેમનસેટ જમાવવાની મંજૂરી આપે છે
• પેકેજ loki/promtail લોગ ફાઇલ કલેક્શન એજન્ટ ધરાવે છે
• પેકેજ loki/loki-stack, તમને Promtail સાથે તરત જ લોકીને જમાવવાની મંજૂરી આપે છે.

લોકી ઇન્સ્ટોલ કરી રહ્યું છે

લોકીને કુબરનેટ્સ પર જમાવવા માટે, "મોનિટરિંગ" નેમસ્પેસમાં નીચેનો આદેશ ચલાવો:

$ helm upgrade --install loki loki/loki-stack --namespace monitoring

ડિસ્ક પર સાચવવા માટે, પરિમાણ ઉમેરો --set loki.persistence.enabled = true:

$ helm upgrade --install loki loki/loki-stack 
              --namespace monitoring 
              --set loki.persistence.enabled=true

ઉદાહરણ: જો તમે તે જ સમયે Grafana જમાવવા માંગતા હો, તો પરિમાણ ઉમેરો --set grafana.enabled = true

જ્યારે તમે આ આદેશ ચલાવો છો ત્યારે તમારે નીચેનું આઉટપુટ મેળવવું જોઈએ:

LAST DEPLOYED: Tue Nov 19 15:56:54 2019
NAMESPACE: monitoring
STATUS: DEPLOYED
RESOURCES:
==> v1/ClusterRole
NAME AGE
loki-promtail-clusterrole 189d
…
NOTES:
The Loki stack has been deployed to your cluster. Loki can now be added as a datasource in Grafana.
See <a href="http://docs.grafana.org/features/datasources/loki/">http://docs.grafana.org/features/datasources/loki/</a> for more details.

"મોનિટરિંગ" નેમસ્પેસમાં શીંગોની સ્થિતિને જોતાં, આપણે જોઈ શકીએ છીએ કે બધું જ તૈનાત છે:

$ kubectl -n monitoring get pods -l release=loki

પરિણામ:

NAME                 READY  STATUS   RESTARTS  AGE
loki-0               1/1    Running  0         147m
loki-promtail-9zjvc  1/1    Running  0         3h25m
loki-promtail-f6brf  1/1    Running  0         11h
loki-promtail-hdcj7  1/1    Running  0         3h23m
loki-promtail-jbqhc  1/1    Running  0         11h
loki-promtail-mj642  1/1    Running  0         62m
loki-promtail-nm64g  1/1    Running  0         24m

બધી શીંગો ચાલી રહી છે. હવે કેટલાક પરીક્ષણો કરવાનો સમય છે!

Grafana સાથે જોડાઈ રહ્યું છે

Kubernetes હેઠળ Grafana સાથે જોડાવા માટે, તમારે તેના પોડ પર એક ટનલ ખોલવાની જરૂર છે. નીચે Grafana પોડ માટે પોર્ટ 3000 ખોલવાનો આદેશ છે:

$ kubectl -n port-forward monitoring svc/loki-grafana 3000:80

બીજો મહત્વનો મુદ્દો એ છે કે ગ્રાફના એડમિનિસ્ટ્રેટર પાસવર્ડને પુનઃપ્રાપ્ત કરવાની જરૂર છે. પાસવર્ડ ગુપ્ત રાખવામાં આવે છે loki-grafana ક્ષેત્રમાં .data.admin-user બેઝ 64 ફોર્મેટમાં.

તેને પુનઃસ્થાપિત કરવા માટે, તમારે નીચેનો આદેશ ચલાવવાની જરૂર છે:

$ kubectl -n monitoring get secret loki-grafana 
 --template '{{index .data "admin-password" | base64decode}}'; echo

ડિફૉલ્ટ એડમિનિસ્ટ્રેટર એકાઉન્ટ (એડમિન) સાથે જોડાણમાં આ પાસવર્ડનો ઉપયોગ કરો.

ગ્રાફનામાં લોકી ડેટા સ્ત્રોતની વ્યાખ્યા કરવી

સૌ પ્રથમ, ખાતરી કરો કે લોકી ડેટા સ્ત્રોત બનાવવામાં આવ્યો છે (કોન્ફિગરેશન/ડેટાસોર્સ).
અહીં એક ઉદાહરણ છે:

લોકી માટે ડેટા સ્ત્રોત સેટ કરવાનું ઉદાહરણ

"ટેસ્ટ" પર ક્લિક કરીને તમે લોકી સાથે કનેક્શન ચેક કરી શકો છો.

લોકીને વિનંતીઓ કરવી

હવે “એક્સપ્લોર” વિભાગમાં ગ્રાફના પર જાઓ. કન્ટેનરમાંથી લોગ પ્રાપ્ત કરતી વખતે, લોકી કુબરનેટ્સમાંથી મેટાડેટા ઉમેરે છે. આમ, ચોક્કસ કન્ટેનરના લોગ જોવાનું શક્ય બને છે.

ઉદાહરણ તરીકે, પ્રોમટેલ કન્ટેનર લોગ પસંદ કરવા માટે, તમે નીચેની ક્વેરીનો ઉપયોગ કરી શકો છો: {container_name = "promtail"}.
અહીં લોકી ડેટા સ્ત્રોત પસંદ કરવાનું પણ યાદ રાખો.

આ ક્વેરી નીચે પ્રમાણે કન્ટેનર પ્રવૃત્તિ આપશે:

Grafana માં ક્વેરી પરિણામ

ડેશબોર્ડમાં ઉમેરો

Grafana 6.4 થી શરૂ કરીને, તમે લોગ માહિતી સીધી ડેશબોર્ડ પર મૂકી શકો છો. આ પછી, વપરાશકર્તા તેની સાઇટ પરની વિનંતીઓની સંખ્યા અને એપ્લિકેશન ટ્રેસ વચ્ચે ઝડપથી સ્વિચ કરી શકશે.

નીચે ડેશબોર્ડનું ઉદાહરણ છે જે આ ક્રિયાપ્રતિક્રિયાને અમલમાં મૂકે છે:

પ્રોમિથિયસ મેટ્રિક્સ અને લોકી લોગ સાથે ડેશબોર્ડનો નમૂનો

લોકીનું ભવિષ્ય

મેં લોકીનો ઉપયોગ મે/જૂનમાં આવૃત્તિ 0.1 સાથે શરૂ કર્યો. આજે સંસ્કરણ 1, અને તે પણ 1.1 અને 1.2 પહેલાથી જ રિલીઝ થઈ ચૂક્યું છે.

તે સ્વીકારવું આવશ્યક છે કે સંસ્કરણ 0.1 પર્યાપ્ત સ્થિર ન હતું. પરંતુ 0.3 એ પહેલાથી જ પરિપક્વતાના વાસ્તવિક સંકેતો દર્શાવ્યા હતા, અને અનુગામી સંસ્કરણો (0.4, પછી 1.0) એ ફક્ત આ છાપને મજબૂત બનાવ્યું હતું.

1.0.0 પછી, કોઈની પાસે આ અદ્ભુત સાધનનો ઉપયોગ ન કરવા માટે કોઈ બહાનું હોઈ શકે નહીં.

વધુ સુધારાઓ લોકી વિશે ન હોવા જોઈએ, પરંતુ તેના ઉત્તમ ગ્રાફના સાથેનું એકીકરણ હોવું જોઈએ. હકીકતમાં, Grafana 6.4 પાસે પહેલાથી જ ડેશબોર્ડ્સ સાથે સારું એકીકરણ છે.

Grafana 6.5, જે તાજેતરમાં રીલીઝ થયું હતું, JSON ફોર્મેટમાં લોગ સમાવિષ્ટોને આપમેળે ઓળખીને આ એકીકરણને વધુ સુધારે છે.

નીચેની વિડિઓ આ પદ્ધતિનું એક નાનું ઉદાહરણ બતાવે છે:

Grafana માં ખુલ્લા લોકી શબ્દમાળાઓનો ઉપયોગ કરવો

JSON ફીલ્ડમાંથી એકનો ઉપયોગ કરવો શક્ય બને છે, ઉદાહરણ તરીકે, આ માટે:

• બાહ્ય સાધનની લિંક્સ
• ફિલ્ટરિંગ લોગ સમાવિષ્ટો

ઉદાહરણ તરીકે, તમે Zipkin અથવા Jaeger પર જવા માટે traceId પર ક્લિક કરી શકો છો.

હંમેશની જેમ, અમે તમારી ટિપ્પણીઓની રાહ જોઈ રહ્યા છીએ અને તમને આમંત્રિત કરીએ છીએ ઓપન વેબિનાર, જ્યાં અમે 2019 દરમિયાન DevOps ઉદ્યોગનો વિકાસ કેવી રીતે થયો તે વિશે વાત કરીશું અને 2020 માટે સંભવિત વિકાસ માર્ગોની ચર્ચા કરીશું.

સોર્સ: www.habr.com