LogStash मा GROK प्रयोग गरेर लगहरूबाट ELK स्ट्याकमा असंरचित डाटा रूपान्तरण गर्नका लागि सुझाव र युक्तिहरू

GROK सँग असंरचित डेटाको संरचना

यदि तपाइँ इलास्टिक (ELK) स्ट्याक प्रयोग गर्दै हुनुहुन्छ र इलास्टिकसर्चमा अनुकूलन लगस्टास लगहरू म्याप गर्न रुचि राख्नुहुन्छ भने, यो पोस्ट तपाइँको लागि हो।

ELK स्ट्याक तीन ओपन सोर्स प्रोजेक्टहरूको संक्षिप्त रूप हो: Elasticsearch, Logstash र Kibana। सँगै तिनीहरूले लग व्यवस्थापन प्लेटफर्म बनाउँछन्।

• Elasticsearch खोज र विश्लेषणात्मक प्रणाली हो।
• लगस्ट्याश सर्भर-साइड डाटा प्रोसेसिङ पाइपलाइन हो जसले एकै साथ धेरै स्रोतहरूबाट डाटा इन्जेस्ट गर्छ, यसलाई रूपान्तरण गर्छ, र त्यसपछि इलास्टिकसर्च जस्ता "स्ट्याश" मा पठाउँछ।
• किबाना प्रयोगकर्ताहरूलाई Elasticsearch मा चार्ट र ग्राफहरू प्रयोग गरेर डेटा कल्पना गर्न अनुमति दिन्छ।

बीट्स पछि आयो र एक हल्का डेटा शिपर हो। बीट्सको परिचयले एल्क स्ट्याकलाई लोचदार स्ट्याकमा रूपान्तरण गर्यो, तर त्यो बिन्दु होइन।

यो लेख Grok को बारेमा हो, जुन Logstash मा एक विशेषता हो जसले तपाइँको लगहरू स्ट्यासमा पठाउनु अघि रूपान्तरण गर्न सक्छ। हाम्रो उद्देश्यका लागि, म Logstash बाट Elasticsearch मा डाटा प्रशोधन गर्ने बारे मात्र कुरा गर्नेछु।

Grok Logstash भित्रको एउटा फिल्टर हो जुन असंरचित डेटालाई संरचित र क्वेरी गर्न मिल्ने कुरामा पार्स गर्न प्रयोग गरिन्छ। यो नियमित अभिव्यक्ति (regex) को शीर्षमा बस्छ र लग फाइलहरूमा स्ट्रिङहरू मिलाउन पाठ ढाँचाहरू प्रयोग गर्दछ।

हामी निम्न खण्डहरूमा देख्नेछौं, Grok प्रयोग गर्दा ठूलो फरक पार्छ जब यो कुशल लग व्यवस्थापनको कुरा आउँछ।

Grok बिना तपाईंको लग डाटा असंरचित छ

Grok बिना, जब लगहरू Logstash बाट Elasticsearch मा पठाइन्छ र Kibana मा रेन्डर गरिन्छ, तिनीहरू केवल सन्देश मानमा देखा पर्दछन्।

यस अवस्थामा अर्थपूर्ण जानकारी खोज्न गाह्रो छ किनभने सबै लग डाटा एउटै कुञ्जीमा भण्डार गरिएको छ। लग सन्देशहरू राम्रोसँग व्यवस्थित गरिएको भए राम्रो हुन्थ्यो।

लगहरूबाट असंरचित डेटा

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

यदि तपाईंले कच्चा डाटालाई नजिकबाट हेर्नुभयो भने, तपाईंले देख्नुहुनेछ कि यसले वास्तवमा विभिन्न भागहरू समावेश गर्दछ, प्रत्येकलाई स्पेसद्वारा छुट्याइएको छ।

अधिक अनुभवी विकासकर्ताहरूका लागि, तपाईले अनुमान गर्न सक्नुहुन्छ कि प्रत्येक भागको अर्थ के हो र त्यो लग सन्देश API कलबाट के हो। प्रत्येक वस्तुको प्रस्तुति तल उल्लिखित छ।

हाम्रो डेटाको संरचित दृश्य

• स्थानीय होस्ट == वातावरण
• GET == विधि
• ​ /v2/applink/5c2f4bb3e9fda1234edc64d == url
• 400 == प्रतिक्रिया_स्थिति
• 46ms == प्रतिक्रिया_समय
• ​ 5bc6e716b5d6cb35fc9687c0 == user_id

हामी संरचित डेटा मा देख्छौं, त्यहाँ असंरचित लग को लागी एक अर्डर छ। अर्को चरण कच्चा डाटा को सफ्टवेयर प्रशोधन छ। यो जहाँ ग्रोक चम्किन्छ।

Grok टेम्प्लेटहरू

बिल्ट-इन Grok टेम्प्लेटहरू

Logstash 100 भन्दा बढी बिल्ट-इन टेम्प्लेटहरूसँग असंरचित डेटाको संरचनाको लागि आउँछ। Apache, linux, haproxy, aws र अन्य जस्ता सामान्य syslogs को लागी तपाईले निश्चित रूपमा यसको फाइदा लिनु पर्छ।

जे होस्, के हुन्छ जब तपाईंसँग माथिको उदाहरणमा जस्तै अनुकूलन लगहरू छन्? तपाईंले आफ्नो Grok टेम्प्लेट निर्माण गर्नुपर्छ।

अनुकूलन Grok टेम्प्लेटहरू

तपाईंले आफ्नो Grok टेम्प्लेट निर्माण गर्न प्रयास गर्नुपर्छ। मैले प्रयोग गरें Grok डिबगर и Grok ढाँचाहरू.

ध्यान दिनुहोस् कि Grok टेम्प्लेट वाक्य रचना निम्नानुसार छ: %{SYNTAX:SEMANTIC}

मैले गर्ने प्रयास गरेको पहिलो कुरा ट्याबमा जानु थियो पत्ता लगाउनुहोस् Grok डिबगर मा। मैले सोचे कि यो राम्रो हुनेछ यदि यो उपकरणले स्वचालित रूपमा Grok ढाँचा उत्पन्न गर्न सक्छ, तर यो धेरै उपयोगी थिएन किनकि यसले केवल दुईवटा मिल्दोहरू फेला पारेको थियो।

यो खोज प्रयोग गरेर, मैले इलास्टिक गिथब पृष्ठमा फेला परेको सिन्ट्याक्स प्रयोग गरेर ग्रोक डिबगरमा आफ्नै टेम्प्लेट सिर्जना गर्न थालें।

बिभिन्न सिन्ट्याक्सहरूसँग खेलेपछि, मैले अन्ततः लग डेटालाई मैले चाहेको तरिकाले संरचना गर्न सक्षम भएँ।

Grok डिबगर लिङ्क https://grokdebug.herokuapp.com/

मूल पाठ:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

ढाँचा:

%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}

आखिर के भयो

{
  "environment": [
    [
      "localhost"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/v2/applink/5c2f4bb3e9fda1234edc64d"
    ]
  ],
  "response_status": [
    [
      "400"
    ]
  ],
  "BASE10NUM": [
    [
      "400"
    ]
  ],
  "response_time": [
    [
      "46ms"
    ]
  ],
  "user_id": [
    [
      "5bc6e716b5d6cb35fc9687c0"
    ]
  ]
}

हातमा Grok टेम्प्लेट र म्याप गरिएको डेटाको साथ, अन्तिम चरण भनेको यसलाई Logstash मा थप्नु हो।

Logstash.conf कन्फिगरेसन फाइल अद्यावधिक गर्दै

तपाईंले ELK स्ट्याक स्थापना गर्नुभएको सर्भरमा, Logstash कन्फिगरेसनमा जानुहोस्:

sudo vi /etc/logstash/conf.d/logstash.conf

परिवर्तनहरू टाँस्नुहोस्।

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

तपाईंको परिवर्तनहरू बचत गरेपछि, Logstash पुन: सुरु गर्नुहोस् र यो अझै काम गरिरहेको छ भनी सुनिश्चित गर्न यसको स्थिति जाँच गर्नुहोस्।

sudo service logstash restart
sudo service logstash status

अन्तमा, परिवर्तनहरू प्रभावकारी भएको सुनिश्चित गर्न, Kibana मा Logstash को लागि आफ्नो Elasticsearch अनुक्रमणिका अद्यावधिक गर्न निश्चित हुनुहोस्!

Grok संग, तपाइँको लग डाटा संरचित छ!

हामी माथिको छविमा देख्न सक्छौं, Grok स्वचालित रूपमा Elasticsearch सँग लग डाटा मिलाउन सक्षम छ। यसले लगहरू प्रबन्ध गर्न र द्रुत रूपमा क्वेरी जानकारी गर्न सजिलो बनाउँछ। डिबग गर्न लग फाइलहरू मार्फत खन्ने को सट्टा, तपाईले खोजिरहनु भएको कुरा, जस्तै वातावरण वा url लाई फिल्टर गर्न सक्नुहुन्छ।

Grok अभिव्यक्तिहरू प्रयास गर्नुहोस्! यदि तपाइँसँग यो गर्ने अर्को तरिका छ वा माथिका उदाहरणहरूसँग कुनै समस्या छ भने, मलाई थाहा दिनको लागि तल टिप्पणी लेख्नुहोस्।

पढ्नको लागि धन्यवाद — र थप रोचक सफ्टवेयर इन्जिनियरिङ लेखहरूको लागि कृपया मलाई यहाँ माध्यममा पछ्याउनुहोस्!

Ресурсы

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

PS स्रोतमा लिंक

टेलिग्राम च्यानल द्वारा Elasticsearch

स्रोत: www.habr.com