লগস্ট্যাশে GROK ব্যবহার করে লগ থেকে ELK স্ট্যাকে অসংগঠিত ডেটা রূপান্তর করার জন্য টিপস এবং কৌশল

GROK এর সাথে অসংগঠিত ডেটা গঠন করা

আপনি যদি ইলাস্টিক (ELK) স্ট্যাক ব্যবহার করেন এবং ইলাস্টিকসার্চে কাস্টম লগস্ট্যাশ লগ ম্যাপ করতে আগ্রহী হন, তাহলে এই পোস্টটি আপনার জন্য।

ELK স্ট্যাক তিনটি ওপেন সোর্স প্রকল্পের সংক্ষিপ্ত রূপ: ইলাস্টিকসার্চ, লগস্ট্যাশ এবং কিবানা। তারা একসাথে একটি লগ ম্যানেজমেন্ট প্ল্যাটফর্ম গঠন করে।

• Elasticsearch একটি অনুসন্ধান এবং বিশ্লেষণী সিস্টেম.
• Logstash একটি সার্ভার-সাইড ডেটা প্রসেসিং পাইপলাইন যা একাধিক উত্স থেকে একযোগে ডেটা গ্রহণ করে, এটিকে রূপান্তরিত করে এবং তারপর ইলাস্টিকসার্চের মতো একটি "স্ট্যাশে" পাঠায়।
• Kibana ব্যবহারকারীদের ইলাস্টিকসার্চে চার্ট এবং গ্রাফ ব্যবহার করে ডেটা কল্পনা করতে দেয়।

Beats পরে এসেছে এবং একটি হালকা ওজনের ডেটা শিপার। বিটস-এর প্রবর্তন এলক স্ট্যাককে ইলাস্টিক স্ট্যাকে রূপান্তরিত করেছে, কিন্তু এটি মূল বিষয় নয়।

এই নিবন্ধটি Grok সম্পর্কে, যা Logstash-এর একটি বৈশিষ্ট্য যা আপনার লগগুলিকে স্ট্যাশে পাঠানোর আগে রূপান্তরিত করতে পারে। আমাদের উদ্দেশ্যে, আমি শুধুমাত্র Logstash থেকে Elasticsearch-এ ডেটা প্রসেস করার বিষয়ে কথা বলব।

Grok হল Logstash-এর ভিতরের একটি ফিল্টার যা কাঠামোগত এবং অনুসন্ধানযোগ্য কিছুতে অসংগঠিত ডেটা পার্স করতে ব্যবহৃত হয়। এটি একটি রেগুলার এক্সপ্রেশনের (রেজেক্স) উপরে বসে এবং লগ ফাইলে স্ট্রিং মেলানোর জন্য টেক্সট প্যাটার্ন ব্যবহার করে।

আমরা নিম্নলিখিত বিভাগগুলিতে দেখব, দক্ষ লগ পরিচালনার ক্ষেত্রে Grok ব্যবহার করা একটি বড় পার্থক্য করে।

Grok ছাড়া আপনার লগ ডেটা গঠনহীন

Grok ব্যতীত, যখন লগগুলি Logstash থেকে Elasticsearch-এ পাঠানো হয় এবং Kibana-এ রেন্ডার করা হয়, তখন সেগুলি শুধুমাত্র বার্তা মানতে উপস্থিত হয়।

এই পরিস্থিতিতে অর্থপূর্ণ তথ্য অনুসন্ধান করা কঠিন কারণ সমস্ত লগ ডেটা একটি একক কীতে সংরক্ষণ করা হয়। লগ বার্তাগুলি আরও ভালভাবে সংগঠিত হলে ভাল হত।

লগ থেকে অসংগঠিত ডেটা

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

আপনি যদি কাঁচা ডেটা ঘনিষ্ঠভাবে দেখেন তবে আপনি দেখতে পাবেন যে এটি আসলে বিভিন্ন অংশ নিয়ে গঠিত, প্রতিটি একটি স্থান দ্বারা পৃথক করা হয়েছে।

আরও অভিজ্ঞ বিকাশকারীদের জন্য, আপনি সম্ভবত অনুমান করতে পারেন প্রতিটি অংশের অর্থ কী এবং API কল থেকে সেই লগ বার্তাটি কী। প্রতিটি আইটেমের উপস্থাপনা নীচে বর্ণিত হয়েছে।

আমাদের ডেটার স্ট্রাকচার্ড ভিউ

• স্থানীয় হোস্ট == পরিবেশ
• GET == পদ্ধতি
• ​ /v2/applink/5c2f4bb3e9fda1234edc64d == url
• 400 == প্রতিক্রিয়া_স্থিতি
• 46ms == প্রতিক্রিয়া_সময়
• ​ 5bc6e716b5d6cb35fc9687c0 == user_id

আমরা স্ট্রাকচার্ড ডেটাতে যেমন দেখি, অসংগঠিত লগগুলির জন্য একটি অর্ডার রয়েছে। পরবর্তী ধাপ হল কাঁচা ডেটার সফ্টওয়্যার প্রক্রিয়াকরণ। এখানেই গ্রোক জ্বলজ্বল করে।

গ্রোক টেমপ্লেট

অন্তর্নির্মিত Grok টেমপ্লেট

Logstash অসংগঠিত ডেটা গঠনের জন্য 100 টিরও বেশি অন্তর্নির্মিত টেমপ্লেটের সাথে আসে। apache, linux, haproxy, aws ইত্যাদির মতো সাধারণ সিসলগগুলির জন্য যখনই সম্ভব আপনার অবশ্যই এটির সুবিধা নেওয়া উচিত।

যাইহোক, উপরের উদাহরণের মত আপনার কাস্টম লগ থাকলে কি হবে? আপনাকে অবশ্যই আপনার নিজের Grok টেমপ্লেট তৈরি করতে হবে।

কাস্টম Grok টেমপ্লেট

আপনাকে নিজের Grok টেমপ্লেট তৈরি করার চেষ্টা করতে হবে। আমি ব্যবহার করতাম গ্রোক ডিবাগার и গ্রোক প্যাটার্নস.

উল্লেখ্য যে Grok টেমপ্লেট সিনট্যাক্স নিম্নরূপ: %{SYNTAX:SEMANTIC}

আমি প্রথম জিনিসটি ট্যাবে যেতে চেষ্টা করেছি আবিষ্কার Grok ডিবাগারে। আমি ভেবেছিলাম এটি দুর্দান্ত হবে যদি এই সরঞ্জামটি স্বয়ংক্রিয়ভাবে একটি গ্রোক প্যাটার্ন তৈরি করতে পারে, তবে এটি খুব বেশি কার্যকর ছিল না কারণ এটি কেবল দুটি মিল খুঁজে পেয়েছে।

এই আবিষ্কারটি ব্যবহার করে, আমি ইলাস্টিক গিথুব পৃষ্ঠায় পাওয়া সিনট্যাক্স ব্যবহার করে গ্রোক ডিবাগারে আমার নিজস্ব টেমপ্লেট তৈরি করা শুরু করেছি।

বিভিন্ন সিনট্যাক্সের সাথে খেলার পরে, আমি অবশেষে লগ ডেটাকে আমার পছন্দ মতো গঠন করতে সক্ষম হয়েছি।

গ্রোক ডিবাগার লিঙ্ক https://grokdebug.herokuapp.com/

মূল পাঠ্য:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

প্যাটার্ন:

%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}

পরিশেষে কি হল

{
  "environment": [
    [
      "localhost"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/v2/applink/5c2f4bb3e9fda1234edc64d"
    ]
  ],
  "response_status": [
    [
      "400"
    ]
  ],
  "BASE10NUM": [
    [
      "400"
    ]
  ],
  "response_time": [
    [
      "46ms"
    ]
  ],
  "user_id": [
    [
      "5bc6e716b5d6cb35fc9687c0"
    ]
  ]
}

Grok টেমপ্লেট এবং ম্যাপ করা ডেটা হাতে নিয়ে, শেষ ধাপ হল Logstash এ যোগ করা।

Logstash.conf কনফিগারেশন ফাইল আপডেট করা হচ্ছে

সার্ভারে যেখানে আপনি ELK স্ট্যাক ইনস্টল করেছেন, Logstash কনফিগারেশনে যান:

sudo vi /etc/logstash/conf.d/logstash.conf

পরিবর্তনগুলি পেস্ট করুন।

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

আপনার পরিবর্তনগুলি সংরক্ষণ করার পরে, Logstash পুনরায় চালু করুন এবং এটি এখনও কাজ করছে তা নিশ্চিত করতে এর স্থিতি পরীক্ষা করুন।

sudo service logstash restart
sudo service logstash status

অবশেষে, পরিবর্তনগুলি কার্যকর হয়েছে তা নিশ্চিত করতে, কিবানায় লগস্ট্যাশের জন্য আপনার ইলাস্টিকসার্চ সূচক আপডেট করতে ভুলবেন না!

Grok এর সাথে, আপনার লগ ডেটা কাঠামোগত!

আমরা উপরের ছবিতে দেখতে পাচ্ছি, Grok স্বয়ংক্রিয়ভাবে ইলাস্টিকসার্চের সাথে লগ ডেটা মেলে দিতে সক্ষম। এটি লগগুলি পরিচালনা করা এবং দ্রুত তথ্য অনুসন্ধান করা সহজ করে তোলে। ডিবাগ করার জন্য লগ ফাইলগুলি খনন করার পরিবর্তে, আপনি যা খুঁজছেন, যেমন একটি পরিবেশ বা একটি url দ্বারা আপনি কেবল ফিল্টার করতে পারেন৷

Grok এক্সপ্রেশন চেষ্টা করে দেখুন! আপনার যদি এটি করার অন্য উপায় থাকে বা উপরের উদাহরণগুলির সাথে কোন সমস্যা থাকে তবে আমাকে জানাতে নীচে একটি মন্তব্য লিখুন।

পড়ার জন্য ধন্যবাদ — এবং আরও আকর্ষণীয় সফ্টওয়্যার ইঞ্জিনিয়ারিং নিবন্ধের জন্য দয়া করে মিডিয়াম-এ আমাকে অনুসরণ করুন!

সম্পদ

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

দ্রষ্টব্য উত্স লিঙ্ক

টেলিগ্রাম চ্যানেল দ্বারা Elasticsearch

উত্স: www.habr.com