लॉगस्टॅशमधील GROK वापरून लॉगमधून असंरचित डेटा ELK स्टॅकमध्ये रूपांतरित करण्यासाठी टिपा आणि युक्त्या

GROK सह असंरचित डेटाची रचना करणे

जर तुम्ही लवचिक (ELK) स्टॅक वापरत असाल आणि इलास्टिकसर्चमध्ये सानुकूल लॉगस्टॅश लॉग मॅप करण्यात स्वारस्य असेल, तर हे पोस्ट तुमच्यासाठी आहे.

ELK स्टॅक हे तीन ओपन सोर्स प्रोजेक्टचे संक्षिप्त रूप आहे: Elasticsearch, Logstash आणि Kibana. ते एकत्रितपणे लॉग मॅनेजमेंट प्लॅटफॉर्म तयार करतात.

• Elasticsearch एक शोध आणि विश्लेषण प्रणाली आहे.
• लॉगस्टॅश ही एक सर्व्हर-साइड डेटा प्रोसेसिंग पाइपलाइन आहे जी एकाच वेळी अनेक स्त्रोतांकडून डेटा अंतर्भूत करते, त्याचे रूपांतर करते आणि नंतर इलास्टिकसर्च सारख्या "स्टॅश" वर पाठवते.
• किबाना Elasticsearch मधील चार्ट आणि आलेख वापरून वापरकर्त्यांना डेटा व्हिज्युअलायझ करण्याची अनुमती देते.

बीट्स नंतर आला आणि एक हलका डेटा शिपर आहे. बीट्सच्या परिचयाने एल्क स्टॅकचे लवचिक स्टॅकमध्ये रूपांतर झाले, परंतु तो मुद्दा नाही.

हा लेख Grok बद्दल आहे, जे Logstash मधील एक वैशिष्ट्य आहे जे तुमचे लॉग स्टॅशमध्ये पाठवण्यापूर्वी ते बदलू शकते. आमच्या उद्देशांसाठी, मी फक्त Logstash वरून Elasticsearch मध्ये डेटा प्रक्रिया करण्याबद्दल बोलेन.

Grok हे लॉगस्टॅशमधील एक फिल्टर आहे ज्याचा वापर संरचित आणि क्वेरी करण्यायोग्य गोष्टीमध्ये असंरचित डेटा पार्स करण्यासाठी केला जातो. हे रेग्युलर एक्सप्रेशन (रेजेक्स) वर बसते आणि लॉग फाइल्समधील स्ट्रिंग्स जुळण्यासाठी मजकूर पॅटर्न वापरते.

जसे आपण पुढील विभागांमध्ये पाहणार आहोत, कार्यक्षम लॉग व्यवस्थापनाच्या बाबतीत Grok वापरल्याने मोठा फरक पडतो.

Grok शिवाय तुमचा लॉग डेटा असंरचित आहे

Grok शिवाय, लॉगस्टॅश वरून Elasticsearch ला लॉग पाठवले जातात आणि Kibana मध्ये रेंडर केले जातात तेव्हा ते फक्त संदेश मूल्यामध्ये दिसतात.

या परिस्थितीत अर्थपूर्ण माहितीची चौकशी करणे कठीण आहे कारण सर्व लॉग डेटा एकाच कीमध्ये संग्रहित केला जातो. लॉग संदेश अधिक चांगल्या प्रकारे व्यवस्थित केले असल्यास ते चांगले होईल.

नोंदींमधून असंरचित डेटा

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

तुम्ही कच्च्या डेटाकडे बारकाईने पाहिल्यास, तुम्हाला दिसेल की त्यात प्रत्यक्षात वेगवेगळे भाग आहेत, प्रत्येक भाग एका जागेने विभक्त केला आहे.

अधिक अनुभवी विकसकांसाठी, तुम्ही कदाचित अंदाज लावू शकता की प्रत्येक भागाचा अर्थ काय आहे आणि API कॉलवरून तो लॉग संदेश काय आहे. प्रत्येक आयटमचे सादरीकरण खाली दिलेले आहे.

आमच्या डेटाचे संरचित दृश्य

• लोकलहोस्ट == पर्यावरण
• मिळवा == पद्धत
• ​ /v2/applink/5c2f4bb3e9fda1234edc64d == url
• 400 == प्रतिसाद_स्थिती
• 46ms == प्रतिसाद_वेळ
• ​ 5bc6e716b5d6cb35fc9687c0 == user_id

जसे आपण संरचित डेटामध्ये पाहतो, असंरचित लॉगसाठी एक ऑर्डर आहे. पुढची पायरी म्हणजे कच्च्या डेटाची सॉफ्टवेअर प्रोसेसिंग. इथेच ग्रोक चमकतो.

Grok टेम्पलेट्स

अंगभूत Grok टेम्पलेट्स

असंरचित डेटा संरचित करण्यासाठी लॉगस्टॅश 100 पेक्षा जास्त अंगभूत टेम्पलेट्ससह येतो. apache, linux, haproxy, aws आणि इतर सारख्या सामान्य syslogs साठी जेव्हा शक्य असेल तेव्हा तुम्ही याचा नक्कीच फायदा घ्यावा.

तथापि, वरील उदाहरणाप्रमाणे आपल्याकडे सानुकूल लॉग असल्यास काय होते? तुम्ही तुमचा स्वतःचा Grok टेम्पलेट तयार करणे आवश्यक आहे.

सानुकूल Grok टेम्पलेट्स

तुम्हाला तुमचा स्वतःचा Grok टेम्पलेट तयार करण्याचा प्रयत्न करावा लागेल. मी वापरले Grok डीबगर и Grok नमुने.

लक्षात घ्या की Grok टेम्पलेट वाक्यरचना खालीलप्रमाणे आहे: %{SYNTAX:SEMANTIC}

पहिली गोष्ट मी टॅबवर जाण्याचा प्रयत्न केला शोधा Grok डीबगर मध्ये. मला वाटले की हे साधन आपोआप Grok पॅटर्न व्युत्पन्न करू शकले तर ते छान होईल, परंतु ते फारसे उपयुक्त नव्हते कारण त्यात फक्त दोन जुळण्या आढळल्या.

हा शोध वापरून, मी लवचिक गिथब पृष्ठावरील वाक्यरचना वापरून ग्रोक डीबगरमध्ये माझे स्वतःचे टेम्पलेट तयार करण्यास सुरुवात केली.

वेगवेगळ्या सिंटॅक्ससह खेळल्यानंतर, मी शेवटी लॉग डेटाची रचना मला पाहिजे तशी करण्यात सक्षम झालो.

Grok डीबगर लिंक https://grokdebug.herokuapp.com/

मूळ मजकूर:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

नमुना:

%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}

काय झालं शेवटी

{
  "environment": [
    [
      "localhost"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/v2/applink/5c2f4bb3e9fda1234edc64d"
    ]
  ],
  "response_status": [
    [
      "400"
    ]
  ],
  "BASE10NUM": [
    [
      "400"
    ]
  ],
  "response_time": [
    [
      "46ms"
    ]
  ],
  "user_id": [
    [
      "5bc6e716b5d6cb35fc9687c0"
    ]
  ]
}

Grok टेम्प्लेट आणि मॅप केलेला डेटा हातात घेऊन, लॉगस्टॅशमध्ये जोडणे ही शेवटची पायरी आहे.

Logstash.conf कॉन्फिगरेशन फाइल अपडेट करत आहे

तुम्ही ELK स्टॅक स्थापित केलेल्या सर्व्हरवर, लॉगस्टॅश कॉन्फिगरेशनवर जा:

sudo vi /etc/logstash/conf.d/logstash.conf

बदल पेस्ट करा.

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

तुमचे बदल सेव्ह केल्यानंतर, Logstash रीस्टार्ट करा आणि ते अजूनही काम करत असल्याची खात्री करण्यासाठी त्याची स्थिती तपासा.

sudo service logstash restart
sudo service logstash status

शेवटी, बदल प्रभावी झाले आहेत याची खात्री करण्यासाठी, किबाना मधील लॉगस्टॅशसाठी तुमचा इलास्टिकसर्च इंडेक्स अपडेट केल्याची खात्री करा!

Grok सह, तुमचा लॉग डेटा संरचित आहे!

जसे आपण वरील प्रतिमेत पाहू शकतो, Grok इलास्टिकसर्चसह लॉग डेटा आपोआप जुळण्यास सक्षम आहे. हे लॉग व्यवस्थापित करणे आणि माहिती द्रुतपणे क्वेरी करणे सोपे करते. डीबग करण्‍यासाठी लॉग फायली खोदण्‍याऐवजी, तुम्ही जे शोधत आहात, जसे की पर्यावरण किंवा url नुसार फिल्टर करू शकता.

Grok अभिव्यक्ती वापरून पहा! तुमच्याकडे हे करण्याचा दुसरा मार्ग असल्यास किंवा वरील उदाहरणांसह काही समस्या असल्यास, मला कळवण्यासाठी खाली टिप्पणी लिहा.

वाचल्याबद्दल धन्यवाद — आणि अधिक मनोरंजक सॉफ्टवेअर अभियांत्रिकी लेखांसाठी कृपया मला येथे माध्यमावर फॉलो करा!

संसाधने

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

PS स्त्रोत दुवा

द्वारे टेलिग्राम चॅनेल Elasticsearch

स्त्रोत: www.habr.com