परिचय

अर्को प्रणाली प्रयोग गर्दा, हामीले धेरै संख्यामा विभिन्न लगहरू प्रशोधन गर्ने आवश्यकताको सामना गर्यौं। ELK उपकरणको रूपमा छानिएको थियो। यस लेखले यो स्ट्याक सेटअप गर्ने हाम्रो अनुभवलाई छलफल गर्नेछ।

हामी यसको सबै क्षमताहरू वर्णन गर्न लक्ष्य सेट गर्दैनौं, तर हामी विशेष रूपमा व्यावहारिक समस्याहरू समाधान गर्नमा ध्यान केन्द्रित गर्न चाहन्छौं। यो तथ्यको कारणले गर्दा हो कि त्यहाँ पर्याप्त मात्रामा कागजातहरू र तयार तस्बिरहरू भए तापनि, त्यहाँ धेरै कमजोरीहरू छन्, कम्तिमा हामीले तिनीहरूलाई भेट्टायौं।

हामीले डकर-कम्पोज मार्फत स्ट्याक तैनात गर्यौं। यसबाहेक, हामीसँग राम्रोसँग लेखिएको docker-compose.yml थियो, जसले हामीलाई समस्या बिना नै स्ट्याक बढाउन अनुमति दियो। र यो हामीलाई लाग्थ्यो कि विजय पहिले नै नजिक थियो, अब हामी यसलाई हाम्रो आवश्यकता अनुरूप गर्न अलिकति ट्वीक गर्नेछौं र यो हो।

दुर्भाग्यवश, हाम्रो अनुप्रयोगबाट लगहरू प्राप्त गर्न र प्रक्रिया गर्न प्रणाली कन्फिगर गर्ने प्रयास तुरुन्तै सफल भएन। त्यसकारण, हामीले निर्णय गर्यौं कि यो प्रत्येक घटकलाई अलग-अलग अध्ययन गर्न लायक थियो, र त्यसपछि तिनीहरूको जडानहरूमा फर्कनुहोस्।

त्यसोभए, हामीले logstash संग सुरु गर्यौं।

वातावरण, परिनियोजन, कन्टेनरमा Logstash चलाउँदै

परिनियोजनको लागि हामी डकर-कम्पोज प्रयोग गर्छौं; यहाँ वर्णन गरिएका प्रयोगहरू MacOS र Ubuntu 18.0.4 मा गरिएको थियो।

हाम्रो मूल docker-compose.yml मा दर्ता गरिएको logstash छवि हो docker.elastic.co/logstash/logstash:6.3.2

हामी यसलाई प्रयोगको लागि प्रयोग गर्नेछौं।

logstash चलाउन हामीले छुट्टै docker-compose.yml लेख्यौं। निस्सन्देह, कमाण्ड लाइनबाट छवि सुरु गर्न सम्भव थियो, तर हामीले एक विशेष समस्या समाधान गरिरहेका थियौं, जहाँ हामी डकर-कम्पोजबाट सबै चलाउँछौं।

संक्षेपमा कन्फिगरेसन फाइलहरूको बारेमा

वर्णनबाट निम्नानुसार, लगस्ट्यास कि त एउटा च्यानलको लागि चलाउन सकिन्छ, जसमा यसले *.conf फाइल पास गर्न आवश्यक छ, वा धेरै च्यानलहरूको लागि, जसमा यसले pipelines.yml फाइल पास गर्न आवश्यक छ, जुन, बारीमा। , प्रत्येक च्यानलका लागि फाइलहरू .conf मा लिङ्क हुनेछ।
हामीले दोस्रो बाटो लियौं। यो हामीलाई अधिक सार्वभौमिक र स्केलेबल देखिन्थ्यो। त्यसकारण, हामीले pipelines.yml सिर्जना गर्यौं, र पाइपलाइन डाइरेक्टरी बनायौं जसमा हामी प्रत्येक च्यानलको लागि .conf फाइलहरू राख्नेछौं।

कन्टेनर भित्र अर्को कन्फिगरेसन फाइल छ - logstash.yml। हामी यसलाई छुदैनौं, हामी यसलाई जस्तै प्रयोग गर्छौं।

त्यसैले, हाम्रो निर्देशिका संरचना:

इनपुट डेटा प्राप्त गर्न, अहिलेको लागि हामी यो पोर्ट 5046 मा tcp हो भनेर मान्दछौं, र आउटपुटको लागि हामी stdout प्रयोग गर्नेछौं।

यहाँ पहिलो प्रक्षेपण को लागी एक साधारण कन्फिगरेसन छ। किनभने प्रारम्भिक काम सुरु गर्ने हो।

त्यसैले, हामीसँग यो docker-compose.yml छ

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      	- elk
    ports:
      	- 5046:5046
    volumes:
      	- ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
	- ./config/pipelines:/usr/share/logstash/config/pipelines:ro

हामी यहाँ के देख्छौं?

सञ्जाल र भोल्युमहरू मूल docker-compose.yml बाट लिइएको थियो (जहाँ सम्पूर्ण स्ट्याक सुरु गरिएको छ) र मलाई लाग्छ कि तिनीहरूले यहाँ समग्र चित्रलाई धेरै असर गर्दैनन्।
हामी docker.elastic.co/logstash/logstash:6.3.2 छविबाट एउटा लगस्ट्याश सेवा(हरू) सिर्जना गर्छौं र यसलाई logstash_one_channel नाम दिन्छौं।
हामी कन्टेनर भित्र पोर्ट 5046 लाई उही आन्तरिक पोर्टमा फर्वार्ड गर्छौं।
हामीले हाम्रो पाइप कन्फिगरेसन फाइल ./config/pipelines.yml लाई कन्टेनर भित्रको फाइल /usr/share/logstash/config/pipelines.yml मा नक्सा गर्छौं, जहाँ logstash ले यसलाई उठाउनेछ र यसलाई पढ्ने मात्र बनाउँदछ, केवल केसमा।
हामीले ./config/pipelines डाइरेक्टरीलाई नक्सा गर्छौं, जहाँ हामीसँग च्यानल सेटिङहरू भएका फाइलहरू छन्, /usr/share/logstash/config/pipelines डाइरेक्टरीमा र यसलाई पढ्न मात्र मिल्छ।

Pipelines.yml फाइल

- pipeline.id: HABR
  pipeline.workers: 1
  pipeline.batch.size: 1
  path.config: "./config/pipelines/habr_pipeline.conf"

HABR पहिचानकर्तासँग एउटा च्यानल र यसको कन्फिगरेसन फाइलको मार्ग यहाँ वर्णन गरिएको छ।

र अन्तमा फाइल "./config/pipelines/habr_pipeline.conf"

input {
  tcp {
    port => "5046"
   }
  }
filter {
  mutate {
    add_field => [ "habra_field", "Hello Habr" ]
    }
  }
output {
  stdout {
      
    }
  }

अहिलेको लागि यसको विवरणमा नजाऔं, यसलाई चलाउने प्रयास गरौं:

docker-compose up

हामी के देख्छौं?

कन्टेनर सुरु भएको छ। हामी यसको सञ्चालन जाँच गर्न सक्छौं:

echo '13123123123123123123123213123213' | nc localhost 5046

र हामी कन्टेनर कन्सोलमा प्रतिक्रिया देख्छौं:

तर एकै समयमा, हामी पनि देख्छौं:

logstash_one_channel | [2019-04-29T11:28:59,790][ERROR][logstash.licensechecker.licensereader] लाइसेन्स सर्भरबाट इजाजतपत्र जानकारी पुन: प्राप्त गर्न असमर्थ {:message=>“Elasticsearch पहुँचयोग्य छैन: [http://elasticsearch:9200/][Manticore ::ResolutionFailure] elasticsearch",...

logstash_one_channel | [2019-04-29T11:28:59,894][INFO ][logstash.pipeline ] पाइपलाइन सफलतापूर्वक सुरु भयो {:pipeline_id=>".monitoring-logstash", :thread=>"# "}

logstash_one_channel | [2019-04-29T11:28:59,988][INFO ][logstash.agent ] चलिरहेको पाइपलाइनहरू {:count=>2, :running_pipelines=>[:HABR, :."monitoring-logstash"], :non_running_pipelines=>[ ]}
logstash_one_channel | [2019-04-29T11:29:00,015][ERROR][logstash.inputs.metrics] X-Pack Logstash मा स्थापना गरिएको छ तर Elasticsearch मा होइन। अनुगमन सुविधा प्रयोग गर्न Elasticsearch मा X-Pack स्थापना गर्नुहोस्। अन्य सुविधाहरू उपलब्ध हुन सक्छ।
logstash_one_channel | [2019-04-29T11:29:00,526][INFO ][logstash.agent ] Logstash API endpoint {:port=>9600} सफलतापूर्वक सुरु भयो
logstash_one_channel | [2019-04-29T11:29:04,478][INFO ][logstash.outputs.elasticsearch] Elasticsearch जडानले काम गरिरहेको छ कि छैन भनेर हेर्नको लागि स्वास्थ्य जाँच चलाउँदै {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,487][WARN ][logstash.outputs.elasticsearch] मृत ES उदाहरणमा जडान पुनरुत्थान गर्ने प्रयास गरियो, तर त्रुटि भयो। {:url=>"इलास्टिकसेर्च:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch पहुँचयोग्य छैन: [http://elasticsearch:9200/][Manticore:]ResolutionFail elasticsearch"}
logstash_one_channel | [2019-04-29T11:29:04,704][INFO ][logstash.licensechecker.licensereader] Elasticsearch जडानले काम गरिरहेको छ कि छैन भनेर हेर्नको लागि स्वास्थ्य जाँच चलाउँदै {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,710][WARN ][logstash.licensechecker.licensereader] मृत ES उदाहरणमा जडान पुन: जीवित गर्ने प्रयास गरियो, तर त्रुटि भयो। {:url=>"इलास्टिकसेर्च:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch पहुँचयोग्य छैन: [http://elasticsearch:9200/][Manticore:]ResolutionFail elasticsearch"}

र हाम्रो लग जहिले पनि बढिरहेको छ।

यहाँ मैले पाइपलाइन सफलतापूर्वक सुरु भएको सन्देश हरियोमा हाइलाइट गरेको छु, रातोमा त्रुटि सन्देश र पहेंलोमा सम्पर्क गर्ने प्रयासको सन्देश। इलास्टिकसेर्च: 9200।
यो हुन्छ किनभने logstash.conf, छविमा समावेश गरिएको, elasticsearch उपलब्धताको लागि जाँच समावेश गर्दछ। आखिर, logstash ले मान्दछ कि यसले Elk स्ट्याकको भागको रूपमा काम गर्दछ, तर हामीले यसलाई अलग गर्यौं।

यो काम गर्न सम्भव छ, तर यो सुविधाजनक छैन।

समाधान XPACK_MONITORING_ENABLED वातावरण चर मार्फत यो जाँच असक्षम पार्नु हो।

docker-compose.yml मा परिवर्तन गरौं र यसलाई फेरि चलाउनुहोस्:

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro

अब, सबै ठीक छ। कन्टेनर प्रयोगको लागि तयार छ।

हामी अर्को कन्सोलमा फेरि टाइप गर्न सक्छौं:

echo '13123123123123123123123213123213' | nc localhost 5046

र हेर्नुहोस्:

logstash_one_channel | {
logstash_one_channel |         "message" => "13123123123123123123123213123213",
logstash_one_channel |      "@timestamp" => 2019-04-29T11:43:44.582Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |            "host" => "gateway",
logstash_one_channel |            "port" => 49418
logstash_one_channel | }

एउटै च्यानल भित्र काम गर्दै

त्यसैले हामीले सुरु गर्यौं। अब तपाई वास्तवमा लगस्ट्यास कन्फिगर गर्न समय लिन सक्नुहुन्छ। अहिलेको लागि pipelines.yml फाइललाई नछोऔं, एउटा च्यानलसँग काम गरेर के प्राप्त गर्न सकिन्छ हेरौं।

मैले भन्नै पर्छ कि च्यानल कन्फिगरेसन फाइलसँग काम गर्ने सामान्य सिद्धान्तलाई आधिकारिक म्यानुअलमा यहाँ वर्णन गरिएको छ यहाँ
यदि तपाईं रूसीमा पढ्न चाहनुहुन्छ भने, हामीले यो प्रयोग गर्यौं लेख(तर त्यहाँ क्वेरी सिन्ट्याक्स पुरानो छ, हामीले यसलाई ध्यानमा राख्नु पर्छ)।

इनपुट खण्डबाट क्रमशः जाऔं। हामीले पहिले नै TCP मा काम देखेका छौं। यहाँ अरू के रोचक हुन सक्छ?

हृदयघात प्रयोग गरेर सन्देशहरू परीक्षण गर्नुहोस्

त्यहाँ स्वचालित परीक्षण सन्देशहरू उत्पन्न गर्न यस्तो रोचक अवसर छ।
यो गर्नको लागि, तपाईंले इनपुट सेक्सनमा हार्टबीन प्लगइन सक्षम गर्न आवश्यक छ।

input {
  heartbeat {
    message => "HeartBeat!"
   }
  }

यसलाई खोल्नुहोस्, मिनेटमा एक पटक प्राप्त गर्न सुरु गर्नुहोस्

logstash_one_channel | {
logstash_one_channel |      "@timestamp" => 2019-04-29T13:52:04.567Z,
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "HeartBeat!",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "host" => "a0667e5c57ec"
logstash_one_channel | }

यदि हामी धेरै पटक प्राप्त गर्न चाहन्छौं भने, हामीले अन्तराल प्यारामिटर थप्न आवश्यक छ।
यसरी हामी प्रत्येक १० सेकेन्डमा सन्देश प्राप्त गर्नेछौं।

input {
  heartbeat {
    message => "HeartBeat!"
    interval => 10
   }
  }

फाइलबाट डाटा पुन: प्राप्त गर्दै

हामीले फाइल मोड हेर्ने निर्णय पनि गर्यौं। यदि यसले फाइलसँग राम्रोसँग काम गर्छ भने, त्यसपछि सायद कुनै एजेन्ट आवश्यक पर्दैन, कम्तिमा स्थानीय प्रयोगको लागि।

विवरण अनुसार, अपरेटिङ मोड tail-f जस्तै हुनुपर्छ, अर्थात्। नयाँ लाइनहरू पढ्छ वा, विकल्पको रूपमा, सम्पूर्ण फाइल पढ्छ।

त्यसोभए हामी के प्राप्त गर्न चाहन्छौं:

हामी एक लग फाइलमा जोडिएका लाइनहरू प्राप्त गर्न चाहन्छौं।
हामी डेटा प्राप्त गर्न चाहन्छौं जुन धेरै लग फाइलहरूमा लेखिएको छ, जहाँबाट प्राप्त भएको छुट्याउन सक्षम हुँदा।
हामी यो सुनिश्चित गर्न चाहन्छौं कि जब लगस्ट्यास पुन: सुरु हुन्छ, यसले यो डेटा फेरि प्राप्त गर्दैन।
हामी जाँच गर्न चाहन्छौं कि यदि लगस्ट्यास बन्द गरिएको छ, र डाटा फाइलहरूमा लेखिन जारी छ, तब हामीले यसलाई चलाउँदा, हामीले यो डाटा प्राप्त गर्नेछौं।

प्रयोग सञ्चालन गर्नको लागि, हामीले फाइलहरू राख्ने डाइरेक्टरी खोलेर docker-compose.yml मा अर्को लाइन थपौं।

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input

र habr_pipeline.conf मा इनपुट खण्ड परिवर्तन गर्नुहोस्

input {
  file {
    path => "/usr/share/logstash/input/*.log"
   }
  }

सुरु गरौँ:

docker-compose up

लग फाइलहरू सिर्जना गर्न र लेख्न हामी आदेश प्रयोग गर्नेछौं:

 echo '1' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:53.876Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

हो, यसले काम गर्छ!

एकै समयमा, हामी देख्छौं कि हामीले स्वचालित रूपमा पथ फिल्ड थपेका छौं। यसको मतलब भविष्यमा, हामी यसको द्वारा रेकर्डहरू फिल्टर गर्न सक्षम हुनेछौं।

फेरी प्रयास गरौ:

echo '2' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:59.906Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "2",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

र अब अर्को फाइलमा:

 echo '1' >> logs/number2.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:29:26.061Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log"
logstash_one_channel | }

महान! फाइल उठाइएको थियो, बाटो सही रूपमा निर्दिष्ट गरिएको थियो, सबै ठीक छ।

लगस्ट्यास रोक्नुहोस् र फेरि सुरु गर्नुहोस्। पर्खौं। मौन। ती। हामीले यी रेकर्डहरू फेरि प्राप्त गर्दैनौं।

र अब सबैभन्दा साहसी प्रयोग।

लगस्ट्यास स्थापना गर्नुहोस् र कार्यान्वयन गर्नुहोस्:

echo '3' >> logs/number2.log
echo '4' >> logs/number1.log

logstash फेरि चलाउनुहोस् र हेर्नुहोस्:

logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "3",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.589Z
logstash_one_channel | }
logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "4",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.856Z
logstash_one_channel | }

हुर्रे! सबै उठाइयो ।

तर हामीले तपाईंलाई निम्न बारे चेतावनी दिनै पर्छ। यदि logstash कन्टेनर मेटाइयो (docker stop logstash_one_channel && docker rm logstash_one_channel), त्यसपछि केहि पनि उठाउने छैन। फाइलको स्थिति जसमा यो पढिएको थियो कन्टेनर भित्र भण्डार गरिएको थियो। यदि तपाईंले यसलाई स्क्र्याचबाट चलाउनुभयो भने, यसले नयाँ लाइनहरू मात्र स्वीकार गर्नेछ।

अवस्थित फाइलहरू पढ्दै

मानौं कि हामी पहिलो पटक लगस्ट्याश सुरु गर्दैछौं, तर हामीसँग पहिले नै लगहरू छन् र हामी तिनीहरूलाई प्रशोधन गर्न चाहन्छौं।
यदि हामीले माथि प्रयोग गरेको इनपुट खण्डको साथ लगस्ट्यास चलायौं भने, हामीले केहि पनि पाउने छैनौं। लगस्ट्यासद्वारा मात्र नयाँ लाइनहरू प्रशोधन गरिनेछ।

अवस्थित फाइलहरूबाट लाइनहरू तान्नको लागि, तपाईंले इनपुट सेक्सनमा थप लाइन थप्नुपर्छ:

input {
  file {
    start_position => "beginning"
    path => "/usr/share/logstash/input/*.log"
   }
  }

यसबाहेक, त्यहाँ एक उपद्रव छ: यसले नयाँ फाइलहरूलाई मात्र असर गर्छ जुन लगस्ट्याशले अहिलेसम्म देखेको छैन। logstash को दृश्य को क्षेत्र मा पहिले नै थियो कि उही फाइलहरु को लागी, यो पहिले नै आफ्नो आकार सम्झना छ र अब ती मा नयाँ प्रविष्टिहरू लिनेछ।

यहाँ रोकौं र इनपुट खण्ड अध्ययन गरौं। त्यहाँ अझै धेरै विकल्पहरू छन्, तर अहिलेको लागि थप प्रयोगहरूको लागि हाम्रो लागि पर्याप्त छ।

राउटिंग र डाटा रूपान्तरण

निम्न समस्या समाधान गर्ने प्रयास गरौं, मानौं हामीसँग एउटा च्यानलबाट सन्देशहरू छन्, तीमध्ये केही सूचनामूलक छन्, र केही त्रुटि सन्देशहरू छन्। तिनीहरू ट्याग द्वारा भिन्न छन्। केही INFO हुन्, अरू ERROR हुन्।

हामीले तिनीहरूलाई बाहिर निस्कनु पर्छ। ती। हामी एक च्यानलमा सूचना सन्देशहरू लेख्छौं, र अर्कोमा त्रुटि सन्देशहरू।

यो गर्नका लागि, इनपुट खण्डबाट फिल्टर र आउटपुटमा सार्नुहोस्।

फिल्टर खण्ड प्रयोग गरेर, हामी आगमन सन्देशलाई पार्स गर्नेछौं, त्यसबाट ह्यास (कुञ्जी-मान जोडीहरू) प्राप्त गर्दै, जुन हामीले पहिले नै काम गर्न सक्छौं, अर्थात्। सर्तहरू अनुसार अलग गर्नुहोस्। र आउटपुट सेक्सनमा, हामी सन्देशहरू चयन गर्नेछौं र प्रत्येकलाई आफ्नै च्यानलमा पठाउनेछौं।

grok सँग सन्देश पार्स गर्दै

पाठ स्ट्रिङहरू पार्स गर्न र तिनीहरूबाट फिल्डहरूको सेट प्राप्त गर्न, फिल्टर सेक्सनमा एक विशेष प्लगइन छ - grok।

यहाँ यसको विस्तृत विवरण दिने लक्ष्य आफैलाई सेट नगरीकन (यसको लागि म सन्दर्भ गर्दछु आधिकारिक दस्तावेज), म मेरो सरल उदाहरण दिनेछु।

यो गर्नको लागि, तपाईंले इनपुट स्ट्रिङको ढाँचामा निर्णय गर्न आवश्यक छ। मसँग तिनीहरू यस प्रकार छन्:

१ जानकारी सन्देश १
2 त्रुटि सन्देश2

ती। पहिचानकर्ता पहिले आउँछ, त्यसपछि INFO/ERROR, त्यसपछि खाली ठाउँ बिना केही शब्द।
यो गाह्रो छैन, तर यो सञ्चालन को सिद्धान्त बुझ्न पर्याप्त छ।

त्यसोभए, grok प्लगइनको फिल्टर खण्डमा, हामीले हाम्रो स्ट्रिङहरू पार्स गर्नको लागि ढाँचा परिभाषित गर्नुपर्छ।

यो यस्तो देखिनेछ:

filter {
  grok {
    match => { "message" => ["%{INT:message_id} %{LOGLEVEL:message_type} %{WORD:message_text}"] }
   }
  }

मूलतः यो एक नियमित अभिव्यक्ति हो। INT, LOGLEVEL, WORD जस्ता तयार ढाँचाहरू प्रयोग गरिन्छ। तिनीहरूको विवरण, साथै अन्य ढाँचाहरू यहाँ पाउन सकिन्छ यहाँ

अब, यो फिल्टरबाट गुज्र्दा, हाम्रो स्ट्रिङ तीनवटा फिल्डहरूको ह्यासमा परिणत हुनेछ: message_id, message_type, message_text।

तिनीहरू आउटपुट सेक्सनमा प्रदर्शित हुनेछन्।

if आदेश प्रयोग गरेर आउटपुट सेक्सनमा सन्देशहरू राउट गर्दै

आउटपुट सेक्सनमा, हामीलाई सम्झना अनुसार, हामी सन्देशहरूलाई दुई स्ट्रिमहरूमा विभाजित गर्न जाँदैछौं। केही - जुन iNFO हो, कन्सोलमा आउटपुट हुनेछ, र त्रुटिहरूको साथ, हामी फाइलमा आउटपुट गर्नेछौं।

हामीले यी सन्देशहरूलाई कसरी अलग गर्ने? समस्याको अवस्थाले पहिले नै समाधानको सुझाव दिन्छ - आखिर, हामीसँग पहिले नै समर्पित सन्देश_प्रकार क्षेत्र छ, जसले केवल दुई मानहरू लिन सक्छ: INFO र ERROR। यो आधारमा हामी if कथन प्रयोग गरेर छनौट गर्नेछौं।

if [message_type] == "ERROR" {
        # Здесь выводим в файл
       } else
     {
      # Здесь выводим в stdout
    }

क्षेत्र र अपरेटरहरूसँग काम गर्ने विवरण यस खण्डमा फेला पार्न सकिन्छ आधिकारिक म्यानुअल.

अब, वास्तविक निष्कर्षको बारेमा।

कन्सोल आउटपुट, यहाँ सबै कुरा स्पष्ट छ - stdout {}

तर फाईलमा आउटपुट - याद गर्नुहोस् कि हामीले यो सबै कन्टेनरबाट चलाउँदैछौं र हामीले नतिजा लेख्ने फाइलको लागि बाहिरबाट पहुँचयोग्य हुनको लागि, हामीले यो डाइरेक्टरीलाई docker-compose.yml मा खोल्न आवश्यक छ।

कुल:

हाम्रो फाइलको आउटपुट खण्ड यस्तो देखिन्छ:

 output {
  if [message_type] == "ERROR" {
    file {
          path => "/usr/share/logstash/output/test.log"
          codec => line { format => "custom format: %{message}"}
         }
    } else
     {stdout {
             }
     }
  }

docker-compose.yml मा हामी आउटपुटको लागि अर्को भोल्युम थप्छौं:

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input
      - ./output:/usr/share/logstash/output

हामी यसलाई सुरु गर्छौं, यसलाई प्रयास गर्नुहोस्, र दुई स्ट्रिमहरूमा विभाजन हेर्नुहोस्।

स्रोत: www.habr.com

ELK को व्यावहारिक आवेदन। लगस्ट्याश सेट अप गर्दै