LogStash માં GROK નો ઉપયોગ કરીને લૉગ્સમાંથી અનસ્ટ્રક્ચર્ડ ડેટાને ELK સ્ટેકમાં કન્વર્ટ કરવા માટેની ટિપ્સ અને યુક્તિઓ

GROK સાથે અનસ્ટ્રક્ચર્ડ ડેટાનું માળખું

જો તમે સ્થિતિસ્થાપક (ELK) સ્ટેકનો ઉપયોગ કરી રહ્યાં છો અને વૈવિધ્યપૂર્ણ લોગસ્ટેશ લોગને Elasticsearch પર મેપ કરવામાં રસ ધરાવો છો, તો આ પોસ્ટ તમારા માટે છે.

ELK સ્ટેક એ ત્રણ ઓપન સોર્સ પ્રોજેક્ટ્સનું ટૂંકું નામ છે: Elasticsearch, Logstash અને Kibana. તેઓ સાથે મળીને લોગ મેનેજમેન્ટ પ્લેટફોર્મ બનાવે છે.

• સ્થિતિસ્થાપક શોધ શોધ અને વિશ્લેષણાત્મક સિસ્ટમ છે.
• લોગસ્ટેશ એ સર્વર-સાઇડ ડેટા પ્રોસેસિંગ પાઇપલાઇન છે જે એકસાથે બહુવિધ સ્ત્રોતોમાંથી ડેટા ઇન્જેસ્ટ કરે છે, તેને રૂપાંતરિત કરે છે અને પછી તેને ઇલાસ્ટિકસર્ચ જેવા "સ્ટેશ" પર મોકલે છે.
• કિબના Elasticsearch માં ચાર્ટ અને ગ્રાફનો ઉપયોગ કરીને વપરાશકર્તાઓને ડેટાની કલ્પના કરવાની મંજૂરી આપે છે.

ધબકારા પાછળથી આવ્યો અને લાઇટવેઇટ ડેટા શિપર છે. બીટ્સની રજૂઆતે એલ્ક સ્ટેકને સ્થિતિસ્થાપક સ્ટેકમાં પરિવર્તિત કર્યું, પરંતુ તે મુદ્દો નથી.

આ લેખ Grok વિશે છે, જે Logstash માં એક વિશેષતા છે જે તમારા લોગને સંતાડવાની જગ્યામાં મોકલવામાં આવે તે પહેલાં તેને બદલી શકે છે. અમારા હેતુઓ માટે, હું ફક્ત Logstash થી Elasticsearch માં ડેટાની પ્રક્રિયા કરવા વિશે વાત કરીશ.

Grok એ Logstash ની અંદરનું એક ફિલ્ટર છે જેનો ઉપયોગ અનસ્ટ્રક્ચર્ડ ડેટાને સ્ટ્રક્ચર્ડ અને ક્વેરી કરી શકાય તેવા કંઈકમાં પાર્સ કરવા માટે થાય છે. તે રેગ્યુલર એક્સપ્રેશન (રેજેક્સ)ની ટોચ પર બેસે છે અને લોગ ફાઈલોમાં સ્ટ્રીંગ્સને મેચ કરવા માટે ટેક્સ્ટ પેટર્નનો ઉપયોગ કરે છે.

જેમ આપણે નીચેના વિભાગોમાં જોઈશું, જ્યારે કાર્યક્ષમ લોગ મેનેજમેન્ટની વાત આવે ત્યારે Grok નો ઉપયોગ કરવાથી મોટો ફરક પડે છે.

Grok વિના તમારો લોગ ડેટા અનસ્ટ્રક્ચર્ડ છે

Grok વિના, જ્યારે લોગ્સ Logstash થી Elasticsearch પર મોકલવામાં આવે છે અને કિબાનામાં રેન્ડર કરવામાં આવે છે, ત્યારે તે માત્ર સંદેશ મૂલ્યમાં દેખાય છે.

આ પરિસ્થિતિમાં અર્થપૂર્ણ માહિતીની પૂછપરછ કરવી મુશ્કેલ છે કારણ કે તમામ લોગ ડેટા એક કીમાં સંગ્રહિત છે. જો લોગ સંદેશાઓ વધુ સારી રીતે ગોઠવવામાં આવે તો તે વધુ સારું રહેશે.

લૉગ્સમાંથી અનસ્ટ્રક્ચર્ડ ડેટા

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

જો તમે કાચા ડેટાને નજીકથી જોશો, તો તમે જોશો કે તે વાસ્તવમાં જુદા જુદા ભાગો ધરાવે છે, દરેક એક જગ્યા દ્વારા અલગ પડે છે.

વધુ અનુભવી વિકાસકર્તાઓ માટે, તમે કદાચ અનુમાન કરી શકો છો કે દરેક ભાગનો અર્થ શું છે અને એપીઆઈ કૉલમાંથી તે લોગ સંદેશ શું છે. દરેક વસ્તુની રજૂઆત નીચે દર્શાવેલ છે.

અમારા ડેટાનું સ્ટ્રક્ચર્ડ વ્યુ

• લોકલહોસ્ટ == પર્યાવરણ
• મેળવો == પદ્ધતિ
• ​ /v2/applink/5c2f4bb3e9fda1234edc64d == url
• 400 == પ્રતિભાવ_સ્થિતિ
• 46ms == પ્રતિભાવ_સમય
• ​ 5bc6e716b5d6cb35fc9687c0 == user_id

આપણે સ્ટ્રક્ચર્ડ ડેટામાં જોઈએ છીએ તેમ, અનસ્ટ્રક્ચર્ડ લૉગ્સ માટે ઓર્ડર છે. આગળનું પગલું એ કાચા ડેટાની સોફ્ટવેર પ્રોસેસિંગ છે. આ તે છે જ્યાં ગ્રોક ચમકે છે.

Grok નમૂનાઓ

બિલ્ટ-ઇન Grok નમૂનાઓ

લોગસ્ટેશ અનસ્ટ્રક્ચર્ડ ડેટાને સંરચિત કરવા માટે 100 થી વધુ બિલ્ટ-ઇન ટેમ્પ્લેટ્સ સાથે આવે છે. અપાચે, લિનક્સ, હેપ્રોક્સી, aws અને તેથી વધુ જેવા સામાન્ય સિસ્લોગ માટે જ્યારે પણ શક્ય હોય ત્યારે તમારે ચોક્કસપણે આનો લાભ લેવો જોઈએ.

જો કે, જ્યારે તમારી પાસે ઉપરના ઉદાહરણની જેમ કસ્ટમ લૉગ્સ હોય ત્યારે શું થાય છે? તમારે તમારો પોતાનો Grok ટેમ્પલેટ બનાવવો પડશે.

કસ્ટમ Grok નમૂનાઓ

તમારે તમારો પોતાનો Grok ટેમ્પલેટ બનાવવાનો પ્રયાસ કરવો પડશે. મે વાપર્યુ Grok ડીબગર и Grok પેટર્ન.

નોંધ કરો કે ગ્રોક ટેમ્પલેટ સિન્ટેક્સ નીચે મુજબ છે: %{SYNTAX:SEMANTIC}

પ્રથમ વસ્તુ જે મેં કરવાનો પ્રયાસ કર્યો તે ટેબ પર જવાનો હતો જાણો ગ્રોક ડીબગરમાં. મેં વિચાર્યું કે જો આ ટૂલ આપમેળે Grok પેટર્ન જનરેટ કરી શકે તો તે સરસ રહેશે, પરંતુ તે ખૂબ ઉપયોગી ન હતું કારણ કે તેને ફક્ત બે મેચ મળી હતી.

આ શોધનો ઉપયોગ કરીને, મેં સ્થિતિસ્થાપક ગીથબ પૃષ્ઠ પર મળેલા વાક્યરચનાનો ઉપયોગ કરીને ગ્રોક ડીબગરમાં મારો પોતાનો ટેમ્પલેટ બનાવવાનું શરૂ કર્યું.

વિવિધ વાક્યરચના સાથે રમ્યા પછી, હું આખરે લોગ ડેટાને હું ઇચ્છતો હતો તે રીતે સંરચિત કરવામાં સક્ષમ બન્યો.

Grok ડીબગર લિંક https://grokdebug.herokuapp.com/

મૂળ લખાણ:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

પેટર્ન:

%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}

અંતે શું થયું

{
  "environment": [
    [
      "localhost"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/v2/applink/5c2f4bb3e9fda1234edc64d"
    ]
  ],
  "response_status": [
    [
      "400"
    ]
  ],
  "BASE10NUM": [
    [
      "400"
    ]
  ],
  "response_time": [
    [
      "46ms"
    ]
  ],
  "user_id": [
    [
      "5bc6e716b5d6cb35fc9687c0"
    ]
  ]
}

હાથમાં Grok ટેમ્પલેટ અને મેપ કરેલ ડેટા સાથે, છેલ્લું પગલું તેને Logstash માં ઉમેરવાનું છે.

Logstash.conf રૂપરેખાંકન ફાઇલને અપડેટ કરી રહ્યું છે

સર્વર પર જ્યાં તમે ELK સ્ટેક ઇન્સ્ટોલ કર્યું છે, Logstash રૂપરેખાંકન પર જાઓ:

sudo vi /etc/logstash/conf.d/logstash.conf

ફેરફારો પેસ્ટ કરો.

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

તમારા ફેરફારો સાચવ્યા પછી, Logstash પુનઃપ્રારંભ કરો અને તે હજુ પણ કાર્ય કરી રહ્યું છે તેની ખાતરી કરવા માટે તેની સ્થિતિ તપાસો.

sudo service logstash restart
sudo service logstash status

છેવટે, ફેરફારો અસરમાં આવ્યા છે તેની ખાતરી કરવા માટે, કિબાનામાં લોગસ્ટેશ માટે તમારા ઇલાસ્ટિકસર્ચ ઇન્ડેક્સને અપડેટ કરવાની ખાતરી કરો!

Grok સાથે, તમારો લોગ ડેટા સંરચિત છે!

જેમ આપણે ઉપરની ઈમેજમાં જોઈ શકીએ છીએ, Grok એ ઈલાસ્ટિકસર્ચ સાથે લોગ ડેટાને આપમેળે મેચ કરવામાં સક્ષમ છે. આ લૉગનું સંચાલન કરવાનું અને માહિતીને ઝડપથી પૂછવાનું સરળ બનાવે છે. ડીબગ કરવા માટે લોગ ફાઇલો ખોદવાને બદલે, તમે જે શોધી રહ્યાં છો તેના દ્વારા તમે ફક્ત ફિલ્ટર કરી શકો છો, જેમ કે પર્યાવરણ અથવા url.

Grok અભિવ્યક્તિઓ અજમાવી જુઓ! જો તમારી પાસે આ કરવાની બીજી રીત હોય અથવા ઉપરના ઉદાહરણો સાથે કોઈ સમસ્યા હોય, તો મને જણાવવા માટે નીચે ટિપ્પણી લખો.

વાંચવા બદલ આભાર — અને વધુ રસપ્રદ સોફ્ટવેર એન્જિનિયરિંગ લેખો માટે કૃપા કરીને મને અહીં માધ્યમ પર અનુસરો!

સંપત્તિ

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

પીએસ સ્ત્રોત લિંક

દ્વારા ટેલિગ્રામ ચેનલ સ્થિતિસ્થાપક શોધ

સોર્સ: www.habr.com