ভূমিকা

অন্য একটি সিস্টেম স্থাপন করার সময়, আমরা প্রচুর সংখ্যক বিভিন্ন লগ প্রক্রিয়া করার প্রয়োজনের সম্মুখীন হয়েছিলাম। ইএলকে যন্ত্র হিসেবে বেছে নেওয়া হয়েছিল। এই নিবন্ধটি এই স্ট্যাক সেট আপ করার ক্ষেত্রে আমাদের অভিজ্ঞতা সম্পর্কে কথা বলবে।

আমরা এর সমস্ত ক্ষমতা বর্ণনা করার জন্য একটি লক্ষ্য নির্ধারণ করি না, তবে আমরা ব্যবহারিক সমস্যা সমাধানে মনোনিবেশ করতে চাই। এটি এই কারণে যে পর্যাপ্ত পরিমাণে ডকুমেন্টেশন এবং রেডিমেড ইমেজ সহ, সেখানে প্রচুর ত্রুটি রয়েছে, অন্তত আমরা সেগুলি খুঁজে পেয়েছি।

আমরা ডকার-কম্পোজের মাধ্যমে স্ট্যাক স্থাপন করেছি। তাছাড়া, আমাদের কাছে একটি ভাল-লিখিত docker-compose.yml ছিল যা আমাদের প্রায় কোনও সমস্যা ছাড়াই স্ট্যাক বাড়াতে দেয়। এবং এটি আমাদের কাছে মনে হয়েছিল যে বিজয় ইতিমধ্যেই কাছাকাছি ছিল, এখন আমরা আমাদের প্রয়োজনের সাথে মানানসই করার জন্য এটিকে কিছুটা মোচড় দেব এবং এটিই।

দুর্ভাগ্যবশত, আমাদের অ্যাপ্লিকেশন থেকে লগ গ্রহণ এবং প্রক্রিয়া করার জন্য সিস্টেম টিউন করার একটি প্রচেষ্টা ব্যাট থেকে সরাসরি সফল হয়নি। অতএব, আমরা সিদ্ধান্ত নিয়েছি যে প্রতিটি উপাদান আলাদাভাবে অধ্যয়ন করা মূল্যবান, এবং তারপরে তাদের সংযোগগুলিতে ফিরে যান।

তাহলে logstash দিয়ে শুরু করা যাক।

পরিবেশ, স্থাপনা, একটি ধারক মধ্যে Logstash চলমান

স্থাপনার জন্য, আমরা ডকার-কম্পোজ ব্যবহার করি, এখানে বর্ণিত পরীক্ষাগুলি MacOS এবং উবুন্টু 18.0.4 এ করা হয়েছিল।

আমাদের আসল docker-compose.yml-এ যে logstash চিত্রটি ছিল তা হল docker.elastic.co/logstash/logstash:6.3.2

আমরা পরীক্ষা-নিরীক্ষার জন্য এটি ব্যবহার করব।

logstash চালানোর জন্য, আমরা একটি পৃথক docker-compose.yml লিখেছি। অবশ্যই, কমান্ড লাইন থেকে চিত্রটি চালু করা সম্ভব ছিল, তবে সর্বোপরি, আমরা একটি নির্দিষ্ট কাজ সমাধান করেছি, যেখানে ডকার-কম্পোজ থেকে সবকিছু আমাদের জন্য চালু করা হয়েছে।

কনফিগারেশন ফাইল সম্পর্কে সংক্ষেপে

বর্ণনা থেকে নিম্নরূপ, logstash একটি চ্যানেলের মতো চালানো যেতে পারে, এই ক্ষেত্রে, এটি *.conf ফাইল বা বেশ কয়েকটি চ্যানেলের জন্য স্থানান্তর করতে হবে, এই ক্ষেত্রে এটি pipelines.yml ফাইল স্থানান্তর করতে হবে, যার ফলে, , প্রতিটি চ্যানেলের জন্য ফাইল .conf উল্লেখ করবে।
আমরা দ্বিতীয় পথ ধরলাম। এটি আমাদের কাছে আরও বহুমুখী এবং মাপযোগ্য বলে মনে হয়েছিল। অতএব, আমরা pipelines.yml তৈরি করেছি, এবং একটি পাইপলাইন ডিরেক্টরি তৈরি করেছি যেখানে আমরা প্রতিটি চ্যানেলের জন্য .conf ফাইল রাখব।

ধারকটির ভিতরে আরেকটি কনফিগারেশন ফাইল রয়েছে - logstash.yml। আমরা এটি স্পর্শ করি না, আমরা এটি ব্যবহার করি।

তাই আমাদের ডিরেক্টরি গঠন হল:

আপাতত, আমরা ধরে নিচ্ছি যে ইনপুট ডেটা পাওয়ার জন্য এটি পোর্ট 5046-এ টিসিপি, এবং আমরা আউটপুটের জন্য stdout ব্যবহার করব।

এখানে প্রথম রানের জন্য এমন একটি সহজ কনফিগারেশন রয়েছে। কারণ প্রাথমিক কাজ হলো লঞ্চ করা।

তাই আমরা এই docker-compose.yml আছে

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      	- elk
    ports:
      	- 5046:5046
    volumes:
      	- ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
	- ./config/pipelines:/usr/share/logstash/config/pipelines:ro

আমরা এখানে কি দেখতে পাচ্ছি?

নেটওয়ার্ক এবং ভলিউমগুলি মূল docker-compose.yml থেকে নেওয়া হয়েছিল (যেখানে পুরো স্ট্যাকটি চালু করা হয়েছে) এবং আমি মনে করি যে তারা এখানে সামগ্রিক ছবিকে ব্যাপকভাবে প্রভাবিত করে না।
আমরা docker.elastic.co/logstash/logstash:6.3.2 চিত্র থেকে একটি পরিষেবা (পরিষেবা) লগস্ট্যাশ তৈরি করি এবং এটিকে logstash_one_channel নাম দিই।
আমরা পোর্ট 5046 কনটেইনারের ভিতরে, একই অভ্যন্তরীণ পোর্টে ফরোয়ার্ড করছি।
আমরা আমাদের ./config/pipelines.yml পাইপ কনফিগারেশন ফাইলটিকে পাত্রের ভিতরে /usr/share/logstash/config/pipelines.yml ফাইলে ম্যাপ করি, যেখানে logstash এটিকে তুলে নেবে এবং শুধুমাত্র পঠনযোগ্য করে তুলবে।
আমরা ./config/pipelines ডিরেক্টরিকে ম্যাপ করি, যেখানে আমাদের পাইপ কনফিগারেশন ফাইল আছে, /usr/share/logstash/config/pipelines ডিরেক্টরিতে এবং এটিকে শুধুমাত্র পঠনযোগ্য করে তোলে।

piping.yml ফাইল

- pipeline.id: HABR
  pipeline.workers: 1
  pipeline.batch.size: 1
  path.config: "./config/pipelines/habr_pipeline.conf"

এটি HABR শনাক্তকারীর সাথে একটি চ্যানেল এবং এর কনফিগারেশন ফাইলের পথ বর্ণনা করে।

এবং অবশেষে ফাইল "./config/pipelines/habr_pipeline.conf"

input {
  tcp {
    port => "5046"
   }
  }
filter {
  mutate {
    add_field => [ "habra_field", "Hello Habr" ]
    }
  }
output {
  stdout {
      
    }
  }

আমরা আপাতত এর বর্ণনায় যাব না, আমরা চালানোর চেষ্টা করি:

docker-compose up

আমরা কি দেখতে পাচ্ছি?

পাত্র শুরু হয়েছে। আমরা এর কাজ পরীক্ষা করতে পারি:

echo '13123123123123123123123213123213' | nc localhost 5046

এবং আমরা কন্টেইনার কনসোলে প্রতিক্রিয়া দেখতে পাই:

কিন্তু একই সময়ে, আমরা দেখতে পাই:

logstash_one_channel | [2019-04-29T11:28:59,790][ERROR][logstash.licensechecker.licensereader] লাইসেন্স সার্ভার থেকে লাইসেন্সের তথ্য পুনরুদ্ধার করতে অক্ষম {:message=>"Elasticsearch পৌঁছানো যায় না: [http://elasticsearch:9200/][Manticore ::রেজোলিউশন ব্যর্থতা]ইলাস্টিক সার্চ",...

logstash_one_channel | [2019-04-29T11:28:59,894][INFO ][logstash.pipeline ] পাইপলাইন সফলভাবে শুরু হয়েছে {:pipeline_id=>".monitoring-logstash", :thread=>"# »}

logstash_one_channel | [2019-04-29T11:28:59,988][INFO [logstash.agent ] পাইপলাইন চলছে {:count=>2, :running_pipelines=>[:HABR, :."monitoring-logstash"], :non_running_pipelines=>[ ]}
logstash_one_channel | [2019-04-29T11:29:00,015][ERROR][logstash.inputs.metrics ] X-Pack Logstash-এ ইনস্টল করা আছে কিন্তু Elasticsearch-এ নয়। পর্যবেক্ষণ বৈশিষ্ট্য ব্যবহার করতে ইলাস্টিকসার্চে X-প্যাক ইনস্টল করুন। অন্যান্য বৈশিষ্ট্য উপলব্ধ হতে পারে.
logstash_one_channel | [2019-04-29T11:29:00,526][INFO [logstash.agent ] Logstash API শেষ পয়েন্ট {:port=>9600} সফলভাবে শুরু হয়েছে
logstash_one_channel | [2019-04-29T11:29:04,478][INFO [logstash.outputs.elasticsearch] একটি ইলাস্টিকসার্চ সংযোগ কাজ করছে কিনা তা দেখতে স্বাস্থ্য পরীক্ষা করা হচ্ছে {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,487][WARN [logstash.outputs.elasticsearch] মৃত ES উদাহরণের সাথে সংযোগ পুনরুত্থিত করার চেষ্টা করা হয়েছে, কিন্তু একটি ত্রুটি পেয়েছে। {:url=>"স্থিতিস্থাপক:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch Unreachable: [http://elasticsearch:9200/][Manticore::ResolutionFail] ইলাস্টিক সার্চ"}
logstash_one_channel | [2019-04-29T11:29:04,704][INFO ][logstash.licensechecker.licensereader] একটি ইলাস্টিকসার্চ সংযোগ কাজ করছে কিনা তা দেখতে স্বাস্থ্য পরীক্ষা করা হচ্ছে {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,710][WARN [logstash.licensechecker.licensereader] মৃত ES উদাহরণের সাথে সংযোগ পুনরুত্থিত করার চেষ্টা করা হয়েছে, কিন্তু একটি ত্রুটি পেয়েছে। {:url=>"স্থিতিস্থাপক:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch Unreachable: [http://elasticsearch:9200/][Manticore::ResolutionFail] ইলাস্টিক সার্চ"}

এবং আমাদের লগ সব সময় ক্রল আপ.

এখানে আমি সবুজ রঙে হাইলাইট করেছি যে পাইপলাইনটি সফলভাবে শুরু হয়েছে, লাল রঙে ত্রুটি বার্তা এবং হলুদে যোগাযোগের চেষ্টা করার বার্তাটি স্থিতিস্থাপক: 9200।
ইমেজে অন্তর্ভুক্ত logstash.conf-এ ইলাস্টিক সার্চের উপলব্ধতার জন্য একটি চেক করার কারণে এটি ঘটে। সর্বোপরি, logstash অনুমান করে যে এটি Elk স্ট্যাকের অংশ হিসাবে কাজ করে এবং আমরা এটিকে আলাদা করেছি।

আপনি কাজ করতে পারেন, কিন্তু এটা সুবিধাজনক নয়.

সমাধান হল XPACK_MONITORING_ENABLED এনভায়রনমেন্ট ভেরিয়েবলের মাধ্যমে এই চেকটি নিষ্ক্রিয় করা।

আসুন docker-compose.yml এ একটি পরিবর্তন করি এবং এটি আবার চালাই:

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro

এখন, সবকিছু ঠিক আছে. ধারকটি পরীক্ষার জন্য প্রস্তুত।

আমরা সংলগ্ন কনসোলে আবার টাইপ করতে পারি:

echo '13123123123123123123123213123213' | nc localhost 5046

এবং দেখো:

logstash_one_channel | {
logstash_one_channel |         "message" => "13123123123123123123123213123213",
logstash_one_channel |      "@timestamp" => 2019-04-29T11:43:44.582Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |            "host" => "gateway",
logstash_one_channel |            "port" => 49418
logstash_one_channel | }

একটি চ্যানেলের মধ্যে কাজ করুন

সুতরাং, আমরা শুরু করেছি। এখন আপনি সরাসরি লগস্ট্যাশ কনফিগার করতে সময় নিতে পারেন। চলুন আপাতত pipelines.yml ফাইলটি স্পর্শ না করা যাক, দেখা যাক একটি চ্যানেলে কাজ করে আমরা কী পেতে পারি।

আমাকে অবশ্যই বলতে হবে যে চ্যানেল কনফিগারেশন ফাইলের সাথে কাজ করার সাধারণ নীতিটি এখানে অফিসিয়াল ম্যানুয়ালটিতে ভালভাবে বর্ণিত হয়েছে এখানে
আপনি যদি রাশিয়ান ভাষায় পড়তে চান তবে আমরা এটি ব্যবহার করেছি নিবন্ধ(কিন্তু ক্যোয়ারী সিনট্যাক্স সেখানে পুরানো, আপনাকে এটি বিবেচনায় নিতে হবে)।

ইনপুট বিভাগ থেকে ক্রমানুসারে যাওয়া যাক। আমরা ইতিমধ্যে tcp এর কাজ দেখেছি। এখানে আর কি আকর্ষণীয় হতে পারে?

হার্টবিট ব্যবহার করে বার্তা পরীক্ষা করুন

স্বয়ংক্রিয় পরীক্ষা বার্তা জেনারেট করার যেমন একটি আকর্ষণীয় সম্ভাবনা আছে.
এটি করার জন্য, আপনাকে ইনপুট বিভাগে হার্টবিন প্লাগইন অন্তর্ভুক্ত করতে হবে।

input {
  heartbeat {
    message => "HeartBeat!"
   }
  }

আমরা এটি চালু করি, আমরা এক মিনিটে একবার গ্রহণ করতে শুরু করি

logstash_one_channel | {
logstash_one_channel |      "@timestamp" => 2019-04-29T13:52:04.567Z,
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "HeartBeat!",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "host" => "a0667e5c57ec"
logstash_one_channel | }

আমরা আরো প্রায়ই পেতে চাই, আমাদের ব্যবধান পরামিতি যোগ করতে হবে।
এইভাবে আমরা প্রতি 10 সেকেন্ডে একটি বার্তা পাব।

input {
  heartbeat {
    message => "HeartBeat!"
    interval => 10
   }
  }

একটি ফাইল থেকে তথ্য পাওয়া

আমরা ফাইল মোড তাকান করার সিদ্ধান্ত নিয়েছে. যদি এটি ফাইলের সাথে সূক্ষ্ম কাজ করে, তবে এটি সম্ভব যে কোনও এজেন্টের প্রয়োজন নেই, ভাল, অন্তত স্থানীয় ব্যবহারের জন্য।

বর্ণনা অনুযায়ী, অপারেশন মোড tail -f অনুরূপ হওয়া উচিত, i.e. নতুন লাইন পড়ে বা, ঐচ্ছিকভাবে, পুরো ফাইলটি পড়ে।

তাই আমরা কি পেতে চাই:

আমরা একটি লগ ফাইলে যুক্ত করা লাইনগুলি পেতে চাই।
আমরা এমন ডেটা পেতে চাই যা বিভিন্ন লগ ফাইলে লেখা হয়, যেখানে কোথা থেকে কী প্রাপ্ত হয়েছিল তা আলাদা করতে সক্ষম।
আমরা নিশ্চিত করতে চাই যে লগস্ট্যাশ পুনরায় চালু হলে, এটি এই ডেটা আর পাবে না।
আমরা পরীক্ষা করতে চাই যে যদি লগস্ট্যাশ অক্ষম করা থাকে এবং ফাইলগুলিতে ডেটা লেখা চলতে থাকে, তাহলে আমরা যখন এটি চালাব, আমরা এই ডেটাটি পাব।

পরীক্ষা চালানোর জন্য, ডকার-compose.yml-এ আরও একটি লাইন যোগ করা যাক, যেখানে আমরা ফাইলগুলি রাখি সেই ডিরেক্টরিটি খুলুন।

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input

এবং habr_pipeline.conf এ ইনপুট বিভাগ পরিবর্তন করুন

input {
  file {
    path => "/usr/share/logstash/input/*.log"
   }
  }

আমরা শুরু করছি:

docker-compose up

লগ ফাইল তৈরি করতে এবং লিখতে, আমরা কমান্ডটি ব্যবহার করব:

 echo '1' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:53.876Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

হ্যাঁ, এটা কাজ করে!

একই সময়ে, আমরা দেখতে পাচ্ছি যে আমরা স্বয়ংক্রিয়ভাবে পাথ ক্ষেত্র যোগ করেছি। সুতরাং ভবিষ্যতে, আমরা এটি দ্বারা রেকর্ডগুলি ফিল্টার করতে সক্ষম হব।

আবার চেষ্টা করা যাক:

echo '2' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:59.906Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "2",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

এবং এখন অন্য ফাইলে:

 echo '1' >> logs/number2.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:29:26.061Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log"
logstash_one_channel | }

দারুণ! ফাইলটি তোলা হয়েছে, পথটি সঠিকভাবে নির্দিষ্ট করা হয়েছে, সবকিছু ঠিক আছে।

লগস্ট্যাশ বন্ধ করুন এবং পুনরায় চালু করুন। চল অপেক্ষা করি. নীরবতা। সেগুলো. আমরা আবার এই রেকর্ড গ্রহণ করি না.

এবং এখন সবচেয়ে সাহসী পরীক্ষা.

আমরা লগস্ট্যাশ রাখি এবং কার্যকর করি:

echo '3' >> logs/number2.log
echo '4' >> logs/number1.log

আবার লগস্ট্যাশ চালান এবং দেখুন:

logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "3",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.589Z
logstash_one_channel | }
logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "4",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.856Z
logstash_one_channel | }

হুররে! সবকিছু তুলে নিলাম।

তবে, নিম্নলিখিত সম্পর্কে সতর্ক করা প্রয়োজন। যদি লগস্ট্যাশ কন্টেইনারটি সরানো হয় (ডকার স্টপ logstash_one_channel && docker rm logstash_one_channel), কিছুই তোলা হবে না। ফাইলের অবস্থান যেখানে এটি পড়া হয়েছিল কন্টেইনারের ভিতরে সংরক্ষণ করা হয়েছিল। যদি আপনি স্ক্র্যাচ থেকে শুরু করেন, তাহলে এটি শুধুমাত্র নতুন লাইন গ্রহণ করবে।

বিদ্যমান ফাইল পড়া

ধরা যাক আমরা প্রথমবার logstash চালাচ্ছি, কিন্তু আমাদের ইতিমধ্যেই লগ আছে এবং আমরা সেগুলি প্রক্রিয়া করতে চাই।
আমরা উপরে যে ইনপুট অংশটি ব্যবহার করেছি তার সাথে লগস্ট্যাশ চালালে আমরা কিছুই পাব না। লগস্ট্যাশ দ্বারা শুধুমাত্র নতুন লাইন প্রক্রিয়া করা হবে।

বিদ্যমান ফাইলগুলি থেকে লাইন টানতে, ইনপুট বিভাগে একটি অতিরিক্ত লাইন যোগ করুন:

input {
  file {
    start_position => "beginning"
    path => "/usr/share/logstash/input/*.log"
   }
  }

তাছাড়া, একটি সূক্ষ্মতা রয়েছে, এটি শুধুমাত্র নতুন ফাইলগুলিকে প্রভাবিত করে যা logstash এখনও দেখেনি। একই ফাইলগুলির জন্য যা ইতিমধ্যেই লগস্ট্যাশের দৃশ্যের ক্ষেত্রে ছিল, এটি ইতিমধ্যে তাদের আকার মনে রেখেছে এবং এখন তাদের মধ্যে শুধুমাত্র নতুন রেকর্ড গ্রহণ করবে।

ইনপুট বিভাগ অধ্যয়ন করে এটি বন্ধ করা যাক। আরও অনেক বিকল্প আছে, কিন্তু আপাতত, আমাদের কাছে আরও পরীক্ষা-নিরীক্ষার জন্য যথেষ্ট।

রাউটিং এবং ডেটা ট্রান্সফরমেশন

আসুন নিম্নলিখিত সমস্যাটি সমাধান করার চেষ্টা করি, ধরা যাক আমাদের কাছে একটি চ্যানেল থেকে বার্তা রয়েছে, তাদের মধ্যে কিছু তথ্যপূর্ণ, এবং কিছু ত্রুটি বার্তা। তারা ট্যাগ মধ্যে পার্থক্য. কিছু তথ্য, অন্যরা ERROR৷

আমরা প্রস্থান এ তাদের আলাদা করতে হবে. সেগুলো. আমরা একটি চ্যানেলে তথ্যমূলক বার্তা লিখি এবং অন্যটিতে ত্রুটি বার্তা লিখি।

এটি করার জন্য, ইনপুট বিভাগ থেকে ফিল্টার এবং আউটপুটে যান।

ফিল্টার বিভাগটি ব্যবহার করে, আমরা আগত বার্তাটি পার্স করব, এটি থেকে একটি হ্যাশ (কী-মান জোড়া) পাব, যার সাথে আমরা ইতিমধ্যে কাজ করতে পারি, যেমন শর্ত অনুযায়ী পার্স. এবং আউটপুট বিভাগে, আমরা বার্তা নির্বাচন করব এবং প্রতিটিকে তার নিজস্ব চ্যানেলে পাঠাব।

গ্রোকের সাথে একটি বার্তা পার্স করা হচ্ছে

পাঠ্য লাইন পার্স করার জন্য এবং তাদের থেকে ক্ষেত্রগুলির একটি সেট পেতে, ফিল্টার বিভাগে একটি বিশেষ প্লাগইন রয়েছে - গ্রোক।

এখানে এটির বিশদ বিবরণ দেওয়ার লক্ষ্য নির্ধারণ না করেই (এর জন্য আমি উল্লেখ করছি অফিসিয়াল ডকুমেন্টেশন), আমি আমার সহজ উদাহরণ দিতে হবে.

এটি করার জন্য, আপনাকে ইনপুট লাইনের বিন্যাস সম্পর্কে সিদ্ধান্ত নিতে হবে। আমার কাছে সেগুলি এইরকম আছে:

1 তথ্য বার্তা1
2 ত্রুটি বার্তা2

সেগুলো. শনাক্তকারী প্রথমে, তারপর INFO/ERROR, তারপর স্পেস ছাড়া কিছু শব্দ।
কঠিন নয়, কিন্তু অপারেশন নীতি বুঝতে যথেষ্ট।

সুতরাং, ফিল্টার বিভাগে, গ্রোক প্লাগইনে, আমাদের স্ট্রিং পার্স করার জন্য একটি প্যাটার্ন নির্ধারণ করতে হবে।

এটি এই মত দেখাবে:

filter {
  grok {
    match => { "message" => ["%{INT:message_id} %{LOGLEVEL:message_type} %{WORD:message_text}"] }
   }
  }

মূলত, এটি একটি নিয়মিত অভিব্যক্তি। রেডিমেড প্যাটার্ন ব্যবহার করা হয়, যেমন INT, LOGLEVEL, WORD। তাদের বর্ণনা, সেইসাথে অন্যান্য নিদর্শন, এখানে দেখা যেতে পারে. এখানে

এখন, এই ফিল্টারটি অতিক্রম করে, আমাদের স্ট্রিং তিনটি ক্ষেত্রের একটি হ্যাশে পরিণত হবে: message_id, message_type, message_text।

এগুলি আউটপুট বিভাগে প্রদর্শিত হবে।

if কমান্ড দিয়ে আউটপুট বিভাগে বার্তা রাউটিং করা

আউটপুট বিভাগে, আমাদের মনে আছে, আমরা বার্তাগুলিকে দুটি স্ট্রীমে বিভক্ত করতে যাচ্ছিলাম। কিছু - যা iNFO, আমরা কনসোলে আউটপুট দেব এবং ত্রুটি সহ, আমরা একটি ফাইলে আউটপুট করব।

আমরা কিভাবে এই বার্তা শেয়ার করতে পারি? সমস্যাটির অবস্থা ইতিমধ্যেই একটি সমাধানের পরামর্শ দেয় - সর্বোপরি, আমাদের ইতিমধ্যে একটি ডেডিকেটেড message_type ক্ষেত্র রয়েছে, যা শুধুমাত্র দুটি মান INFO এবং ERROR নিতে পারে। এটার উপরই আমরা if স্টেটমেন্ট ব্যবহার করে একটি পছন্দ করব।

if [message_type] == "ERROR" {
        # Здесь выводим в файл
       } else
     {
      # Здесь выводим в stdout
    }

ক্ষেত্র এবং অপারেটরদের সাথে কাজের বিবরণ এই বিভাগে পাওয়া যাবে অফিসিয়াল ম্যানুয়াল.

এখন, উপসংহার নিজেই সম্পর্কে.

কনসোল আউটপুট, এখানে সবকিছু পরিষ্কার - stdout {}

কিন্তু ফাইলের আউটপুট - মনে রাখবেন যে আমরা এই সমস্ত কন্টেইনার থেকে চালাচ্ছি এবং যে ফাইলটিতে আমরা ফলাফলটি লিখছি যাতে আমরা বাইরে থেকে অ্যাক্সেসযোগ্য হতে পারি, আমাদের এই ডিরেক্টরিটি docker-compose.yml-এ খুলতে হবে।

মোট:

আমাদের ফাইলের আউটপুট বিভাগটি এইরকম দেখাচ্ছে:

 output {
  if [message_type] == "ERROR" {
    file {
          path => "/usr/share/logstash/output/test.log"
          codec => line { format => "custom format: %{message}"}
         }
    } else
     {stdout {
             }
     }
  }

আউটপুটের জন্য docker-compose.yml এ আরও একটি ভলিউম যোগ করুন:

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input
      - ./output:/usr/share/logstash/output

আমরা শুরু করি, আমরা চেষ্টা করি, আমরা দুটি ধারায় বিভাজন দেখি।

উত্স: www.habr.com

ELK এর ব্যবহারিক প্রয়োগ। লগস্ট্যাশ সেট আপ করা হচ্ছে