რჩევები და ხრიკები არასტრუქტურირებული მონაცემების ჟურნალებიდან ELK Stack-ში გადაქცევისთვის GROK-ის გამოყენებით LogStash-ში

არასტრუქტურირებული მონაცემების სტრუქტურირება GROK-ით

თუ იყენებთ Elastic (ELK) სტეკს და გაინტერესებთ მორგებული Logstash ჟურნალების Elasticsearch-ში შეტანით, მაშინ ეს პოსტი თქვენთვისაა.

ELK სტეკი არის სამი ღია კოდის პროექტის აკრონიმი: Elasticsearch, Logstash და Kibana. ისინი ერთად ქმნიან ჟურნალის მართვის პლატფორმას.

• ელასტიური ძებნა არის საძიებო და ანალიტიკური სისტემა.
• ლოგსტაში არის სერვერის მხარის მონაცემთა დამუშავების მილსადენი, რომელიც შთანთქავს მონაცემებს რამდენიმე წყაროდან ერთდროულად, გარდაქმნის მას და შემდეგ აგზავნის "სათავსოში", როგორიცაა Elasticsearch.
• კიბანა მომხმარებლებს საშუალებას აძლევს ვიზუალურად წარმოაჩინონ მონაცემები სქემებისა და გრაფიკების გამოყენებით Elasticsearch-ში.

სცემს მოგვიანებით მოვიდა და არის მსუბუქი მონაცემების გამგზავნი. Beats-ის შემოღებამ გარდაქმნა ელკის სტეკი ელასტიკურ სტეკში, მაგრამ ეს არ არის მთავარი.

ეს სტატია ეხება Grok-ს, რომელიც არის Logstash-ის ფუნქცია, რომელსაც შეუძლია გარდაქმნას თქვენი ჟურნალები, სანამ ისინი იგზავნება სათავსოში. ჩვენი მიზნებისთვის, მე ვისაუბრებ მხოლოდ მონაცემების Logstash-დან Elasticsearch-ში დამუშავებაზე.

Grok არის Logstash-ის შიგნით არსებული ფილტრი, რომელიც გამოიყენება არასტრუქტურირებული მონაცემების სტრუქტურირებულ და სათხოვნელად გასაანალიზებლად. ის ზის რეგულარული გამოხატვის (regex) თავზე და იყენებს ტექსტის შაბლონებს ჟურნალის ფაილებში სტრიქონების შესატყვისად.

როგორც შემდეგ სექციებში დავინახავთ, Grok-ის გამოყენება დიდ განსხვავებას ქმნის, როდესაც საქმე ეხება ჟურნალის ეფექტურ მართვას.

Grok-ის გარეშე თქვენი ჟურნალის მონაცემები არასტრუქტურირებულია

Grok-ის გარეშე, როდესაც ჟურნალები იგზავნება Logstash-დან Elasticsearch-ში და კეთდება Kibana-ში, ისინი მხოლოდ ჩნდება შეტყობინების მნიშვნელობაში.

ამ სიტუაციაში მნიშვნელოვანი ინფორმაციის მოძიება რთულია, რადგან ჟურნალის ყველა მონაცემი ინახება ერთ კლავიშში. უკეთესი იქნებოდა, თუ ჟურნალის შეტყობინებები უკეთ იყო ორგანიზებული.

არასტრუქტურირებული მონაცემები ჟურნალებიდან

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

თუ ყურადღებით დააკვირდებით ნედლეულ მონაცემებს, დაინახავთ, რომ ის რეალურად შედგება სხვადასხვა ნაწილისგან, თითოეული გამოყოფილი სივრცეთი.

უფრო გამოცდილი დეველოპერებისთვის, ალბათ, შეგიძლიათ გამოიცნოთ რას ნიშნავს თითოეული ნაწილი და რა არის ეს ჟურნალის შეტყობინება API ზარიდან. თითოეული ელემენტის პრეზენტაცია მოცემულია ქვემოთ.

ჩვენი მონაცემების სტრუქტურირებული ხედი

• localhost == გარემო
• GET == მეთოდი
• ​ /v2/applink/5c2f4bb3e9fda1234edc64d == url
• ​400 == პასუხის_სტატუსები
• ​ 46ms == პასუხის_დრო
• ​ 5bc6e716b5d6cb35fc9687c0 == user_id

როგორც სტრუქტურირებულ მონაცემებში ვხედავთ, არსებობს შეკვეთა არასტრუქტურირებული ჟურნალებისთვის. შემდეგი ნაბიჯი არის ნედლეული მონაცემების პროგრამული დამუშავება. სწორედ აქ ანათებს გროკი.

გროკის შაბლონები

ჩაშენებული Grok შაბლონები

Logstash-ს გააჩნია 100-ზე მეტი ჩაშენებული შაბლონი არასტრუქტურირებული მონაცემების სტრუქტურირებისთვის. თქვენ აუცილებლად უნდა ისარგებლოთ ამით, როდესაც ეს შესაძლებელია ზოგადი სილოგისთვის, როგორიცაა apache, linux, haproxy, aws და ა.შ.

თუმცა, რა მოხდება, როდესაც თქვენ გაქვთ მორგებული ჟურნალები, როგორც ზემოთ მოცემულ მაგალითში? თქვენ უნდა ააწყოთ საკუთარი Grok შაბლონი.

მორგებული Grok შაბლონები

თქვენ უნდა სცადოთ შექმნათ თქვენი საკუთარი Grok შაბლონი. მე გამოვიყენე Grok Debugger и გროკის ნიმუშები.

გაითვალისწინეთ, რომ Grok შაბლონის სინტაქსი ასეთია: %{SYNTAX:SEMANTIC}

პირველი, რისი გაკეთებაც ვცადე, იყო ჩანართზე გადასვლა აღმოაჩინეთ Grok debugger-ში. ვფიქრობდი, რომ მაგარი იქნებოდა, თუ ამ ხელსაწყოს ავტომატურად შეძლებდა Grok-ის შაბლონის გენერირებას, მაგრამ ეს არც ისე სასარგებლო იყო, რადგან მან მხოლოდ ორი შესატყვისი იპოვა.

ამ აღმოჩენის გამოყენებით, მე დავიწყე ჩემი საკუთარი შაბლონის შექმნა Grok debugger-ში, სინტაქსის გამოყენებით, რომელიც ნაპოვნია Elastic Github გვერდზე.

სხვადასხვა სინტაქსებთან თამაშის შემდეგ, საბოლოოდ შევძელი ჟურნალის მონაცემების სტრუქტურირება ისე, როგორც მე მინდოდა.

Grok Debugger Link https://grokdebug.herokuapp.com/

ორიგინალური ტექსტი:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

ნიმუში:

%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}

Რა მოხდა ბოლოს

{
  "environment": [
    [
      "localhost"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/v2/applink/5c2f4bb3e9fda1234edc64d"
    ]
  ],
  "response_status": [
    [
      "400"
    ]
  ],
  "BASE10NUM": [
    [
      "400"
    ]
  ],
  "response_time": [
    [
      "46ms"
    ]
  ],
  "user_id": [
    [
      "5bc6e716b5d6cb35fc9687c0"
    ]
  ]
}

Grok-ის შაბლონით და რუკირებული მონაცემებით ხელში, ბოლო ნაბიჯი არის მისი დამატება Logstash-ში.

მიმდინარეობს Logstash.conf კონფიგურაციის ფაილის განახლება

სერვერზე, სადაც დააინსტალირეთ ELK სტეკი, გადადით Logstash-ის კონფიგურაციაზე:

sudo vi /etc/logstash/conf.d/logstash.conf

ჩასვით ცვლილებები.

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

ცვლილებების შენახვის შემდეგ, გადატვირთეთ Logstash და შეამოწმეთ მისი სტატუსი, რათა დარწმუნდეთ, რომ ის კვლავ მუშაობს.

sudo service logstash restart
sudo service logstash status

დაბოლოს, რომ დარწმუნდეთ, რომ ცვლილებები ძალაში შევიდა, დარწმუნდით, რომ განაახლეთ თქვენი Elasticsearch ინდექსი Logstash-ისთვის კიბანაში!

Grok-თან ერთად, თქვენი ჟურნალის მონაცემები სტრუქტურირებულია!

როგორც ზემოთ სურათზე ვხედავთ, Grok-ს შეუძლია ავტომატურად დააკავშიროს ჟურნალის მონაცემები Elasticsearch-თან. ეს აადვილებს ჟურნალების მართვას და ინფორმაციის სწრაფად მოთხოვნას. იმის ნაცვლად, რომ ჩაწეროთ ჟურნალის ფაილები გამართვის მიზნით, შეგიძლიათ უბრალოდ გაფილტროთ ის, რასაც ეძებთ, როგორიცაა გარემო ან url.

სცადეთ გროკის გამონათქვამები! თუ თქვენ გაქვთ ამის გაკეთების სხვა გზა ან გაქვთ რაიმე პრობლემა ზემოთ მოცემულ მაგალითებთან დაკავშირებით, უბრალოდ დაწერეთ კომენტარი ქვემოთ, რომ შემატყობინოთ.

გმადლობთ, რომ კითხულობთ - და გთხოვთ გამომყვეთ აქ Medium-ზე უფრო საინტერესო პროგრამული უზრუნველყოფის ინჟინერიის სტატიებისთვის!

რესურსები

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

PS წყარო ბმული

ტელეგრამის არხი მიერ ელასტიური ძებნა

წყარო: www.habr.com