परिचय

दुसरी प्रणाली तैनात करताना, आम्हाला मोठ्या संख्येने वेगवेगळ्या लॉगवर प्रक्रिया करण्याची आवश्यकता होती. ELK हे साधन म्हणून निवडले गेले. हा लेख हा स्टॅक सेट करण्याच्या आमच्या अनुभवावर चर्चा करेल.

आम्ही त्याच्या सर्व क्षमतांचे वर्णन करण्यासाठी एक ध्येय सेट करत नाही, परंतु आम्ही विशेषत: व्यावहारिक समस्या सोडवण्यावर लक्ष केंद्रित करू इच्छितो. हे या वस्तुस्थितीमुळे आहे की जरी मोठ्या प्रमाणात दस्तऐवजीकरण आणि तयार प्रतिमा आहेत, तरीही तेथे बरेच तोटे आहेत, कमीतकमी आम्हाला ते सापडले.

आम्ही डॉकर-कंपोज द्वारे स्टॅक तैनात केले. शिवाय, आमच्याकडे एक चांगले लिहिलेले docker-compose.yml होते, ज्यामुळे आम्हाला जवळजवळ समस्यांशिवाय स्टॅक वाढवता आला. आणि आम्हाला असे वाटले की विजय आधीच जवळ आला आहे, आता आम्ही आमच्या गरजेनुसार थोडासा बदल करू आणि तेच आहे.

दुर्दैवाने, आमच्या अनुप्रयोगावरून लॉग प्राप्त करण्यासाठी आणि त्यावर प्रक्रिया करण्यासाठी सिस्टम कॉन्फिगर करण्याचा प्रयत्न त्वरित यशस्वी झाला नाही. म्हणून, आम्ही ठरवले की प्रत्येक घटकाचा स्वतंत्रपणे अभ्यास करणे आणि नंतर त्यांच्या कनेक्शनवर परत जाणे योग्य आहे.

तर, आम्ही लॉगस्टॅशने सुरुवात केली.

पर्यावरण, उपयोजन, कंटेनरमध्ये लॉगस्टॅश चालवणे

तैनातीसाठी आम्ही डॉकर-कंपोज वापरतो; येथे वर्णन केलेले प्रयोग MacOS आणि Ubuntu 18.0.4 वर केले गेले.

आमच्या मूळ docker-compose.yml मध्ये नोंदणीकृत लॉगस्टॅश प्रतिमा docker.elastic.co/logstash/logstash:6.3.2 आहे

आम्ही ते प्रयोगांसाठी वापरू.

लॉगस्टॅश चालवण्यासाठी आम्ही स्वतंत्र docker-compose.yml लिहिले. अर्थात, कमांड लाइनवरून प्रतिमा लाँच करणे शक्य होते, परंतु आम्ही एक विशिष्ट समस्या सोडवत होतो, जिथे आम्ही डॉकर-कंपोजपासून सर्वकाही चालवतो.

कॉन्फिगरेशन फाइल्सबद्दल थोडक्यात

वर्णनावरून खालीलप्रमाणे, लॉगस्टॅश एकतर एका चॅनेलसाठी चालवला जाऊ शकतो, ज्या बाबतीत त्याला *.conf फाइल पास करणे आवश्यक आहे, किंवा अनेक चॅनेलसाठी, अशा परिस्थितीत त्याला pipelines.yml फाईल पास करणे आवश्यक आहे, ज्यामुळे, , प्रत्येक चॅनेलसाठी .conf फाइल्सशी लिंक करेल.
आम्ही दुसरा रस्ता धरला. ते आम्हाला अधिक सार्वत्रिक आणि स्केलेबल वाटले. म्हणून, आम्ही pipelines.yml तयार केली, आणि एक पाइपलाइन डिरेक्टरी बनवली ज्यामध्ये आम्ही प्रत्येक चॅनेलसाठी .conf फाइल्स ठेवू.

कंटेनरच्या आत आणखी एक कॉन्फिगरेशन फाइल आहे - logstash.yml. आम्ही त्याला स्पर्श करत नाही, आम्ही ते जसेच्या तसे वापरतो.

तर, आमची निर्देशिका रचना:

इनपुट डेटा प्राप्त करण्यासाठी, आत्ता आम्ही असे गृहीत धरू की हे पोर्ट 5046 वर tcp आहे आणि आउटपुटसाठी आम्ही stdout वापरू.

प्रथम लॉन्चसाठी येथे एक साधी कॉन्फिगरेशन आहे. कारण सुरुवातीचे काम लाँच करायचे असते.

तर, आमच्याकडे हे docker-compose.yml आहे

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      	- elk
    ports:
      	- 5046:5046
    volumes:
      	- ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
	- ./config/pipelines:/usr/share/logstash/config/pipelines:ro

आम्ही येथे काय पाहतो?

नेटवर्क आणि व्हॉल्यूम मूळ docker-compose.yml वरून घेतले गेले आहेत (ज्या ठिकाणी संपूर्ण स्टॅक लाँच केला जातो) आणि मला वाटते की ते येथील एकूण चित्रावर फारसा परिणाम करत नाहीत.
आम्ही docker.elastic.co/logstash/logstash:6.3.2 इमेज वरून एक लॉगस्टॅश सेवा तयार करतो आणि तिला logstash_one_channel असे नाव देतो.
आम्ही कंटेनरच्या आत पोर्ट 5046 त्याच अंतर्गत पोर्टवर फॉरवर्ड करतो.
आम्ही आमची पाईप कॉन्फिगरेशन फाईल ./config/pipelines.yml ला कंटेनरच्या आत /usr/share/logstash/config/pipelines.yml फाइलवर मॅप करतो, जिथे logstash ती उचलेल आणि ती फक्त वाचण्यासाठी बनवेल.
आम्ही ./config/pipelines डिरेक्टरी, जिथे आमच्याकडे चॅनेल सेटिंग्ज असलेल्या फाइल्स आहेत, ते /usr/share/logstash/config/pipelines डिरेक्टरीमध्ये मॅप करतो आणि ते केवळ वाचनीय बनवतो.

Pipelines.yml फाइल

- pipeline.id: HABR
  pipeline.workers: 1
  pipeline.batch.size: 1
  path.config: "./config/pipelines/habr_pipeline.conf"

HABR आयडेंटिफायरसह एक चॅनेल आणि त्याच्या कॉन्फिगरेशन फाइलचा मार्ग येथे वर्णन केला आहे.

आणि शेवटी फाइल “./config/pipelines/habr_pipeline.conf”

input {
  tcp {
    port => "5046"
   }
  }
filter {
  mutate {
    add_field => [ "habra_field", "Hello Habr" ]
    }
  }
output {
  stdout {
      
    }
  }

आता त्याच्या वर्णनात जाऊ नका, ते चालवण्याचा प्रयत्न करूया:

docker-compose up

आम्ही काय पाहतो?

कंटेनर सुरू झाला आहे. आम्ही त्याचे कार्य तपासू शकतो:

echo '13123123123123123123123213123213' | nc localhost 5046

आणि आम्ही कंटेनर कन्सोलमध्ये प्रतिसाद पाहतो:

परंतु त्याच वेळी, आम्ही हे देखील पाहतो:

logstash_one_channel | [2019-04-29T11:28:59,790][ERROR][logstash.licensechecker.licensereader] परवाना सर्व्हरवरून परवाना माहिती पुनर्प्राप्त करण्यात अक्षम {:message=>“Elasticsearch पोहोचण्यायोग्य नाही: [http://elasticsearch:9200/][Manticore ::ResolutionFailure] elasticsearch", ...

logstash_one_channel | [2019-04-29T11:28:59,894][INFO ][logstash.pipeline ] पाइपलाइन यशस्वीपणे सुरू झाली {:pipeline_id=>".monitoring-logstash", :thread=>"# "}

logstash_one_channel | [2019-04-29T11:28:59,988][INFO ][logstash.agent ] पाइपलाइन चालू आहेत {:count=>2, :running_pipelines=>[:HABR, :."monitoring-logstash"], :non_running_pipelines=>[ ]}
logstash_one_channel | [2019-04-29T11:29:00,015][ERROR][logstash.inputs.metrics] X-Pack Logstash वर इंस्टॉल केला आहे पण Elasticsearch वर नाही. मॉनिटरिंग वैशिष्ट्य वापरण्यासाठी कृपया Elasticsearch वर X-Pack स्थापित करा. इतर वैशिष्ट्ये उपलब्ध असू शकतात.
logstash_one_channel | [2019-04-29T11:29:00,526][INFO ][logstash.agent ] Logstash API एंडपॉइंट {:port=>9600} यशस्वीरित्या सुरू केला
logstash_one_channel | [2019-04-29T11:29:04,478][INFO ][logstash.outputs.elasticsearch] Elasticsearch कनेक्शन काम करत आहे की नाही हे पाहण्यासाठी आरोग्य तपासणी चालू करणे {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,487][WARN ][logstash.outputs.elasticsearch] मृत ES उदाहरणाशी कनेक्शन पुनरुत्थान करण्याचा प्रयत्न केला, परंतु त्रुटी आली. {:url=>"लवचिक:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch अगम्य: [http://elasticsearch:9200/][Manticore::ResolutionFail] elasticsearch"}
logstash_one_channel | [2019-04-29T11:29:04,704][INFO ][logstash.licensechecker.licensereader] Elasticsearch कनेक्शन काम करत आहे की नाही हे पाहण्यासाठी आरोग्य तपासणी चालू आहे {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,710][WARN ][logstash.licensechecker.licensereader] मृत ES उदाहरणाशी कनेक्शन पुनरुत्थित करण्याचा प्रयत्न केला, परंतु त्रुटी आली. {:url=>"लवचिक:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch अगम्य: [http://elasticsearch:9200/][Manticore::ResolutionFail] elasticsearch"}

आणि आमचा लॉग सतत रेंगाळत असतो.

पाइपलाइन यशस्वीरित्या सुरू झाल्याचा संदेश मी येथे हिरव्या रंगात हायलाइट केला आहे, लाल रंगात त्रुटी संदेश आणि पिवळ्या रंगात संपर्क करण्याचा प्रयत्न केल्याचा संदेश लवचिक: 9200
हे घडते कारण logstash.conf, इमेजमध्ये समाविष्ट आहे, मध्ये elasticsearch उपलब्धतेची तपासणी आहे. शेवटी, लॉगस्टॅश असे गृहीत धरते की ते एल्क स्टॅकचा भाग म्हणून कार्य करते, परंतु आम्ही ते वेगळे केले.

काम करणे शक्य आहे, परंतु ते सोयीचे नाही.

XPACK_MONITORING_ENABLED पर्यावरण व्हेरिएबलद्वारे ही तपासणी अक्षम करणे हा उपाय आहे.

चला docker-compose.yml मध्ये बदल करू आणि ते पुन्हा चालवू:

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro

आता, सर्व काही ठीक आहे. कंटेनर प्रयोगांसाठी तयार आहे.

आम्ही पुढील कन्सोलमध्ये पुन्हा टाइप करू शकतो:

echo '13123123123123123123123213123213' | nc localhost 5046

आणि पाहा:

logstash_one_channel | {
logstash_one_channel |         "message" => "13123123123123123123123213123213",
logstash_one_channel |      "@timestamp" => 2019-04-29T11:43:44.582Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |            "host" => "gateway",
logstash_one_channel |            "port" => 49418
logstash_one_channel | }

एका चॅनेलमध्ये काम करत आहे

म्हणून आम्ही लॉन्च केले. आता तुम्ही लॉगस्टॅश स्वतःच कॉन्फिगर करण्यासाठी वेळ काढू शकता. चला सध्या pipelines.yml फाईलला स्पर्श करू नका, एका चॅनेलसह कार्य करून काय मिळवू शकतो ते पाहूया.

मला असे म्हणणे आवश्यक आहे की चॅनेल कॉन्फिगरेशन फाईलसह कार्य करण्याचे सामान्य तत्त्व येथे अधिकृत मॅन्युअलमध्ये चांगले वर्णन केले आहे येथे
तुम्हाला रशियन भाषेत वाचायचे असल्यास, आम्ही हे वापरले लेख(परंतु तेथील क्वेरी वाक्यरचना जुनी आहे, आम्हाला हे लक्षात घेणे आवश्यक आहे).

इनपुट विभागातून क्रमशः जाऊ. आम्ही आधीच TCP वर काम पाहिले आहे. येथे आणखी काय मनोरंजक असू शकते?

हृदयाचा ठोका वापरून संदेशांची चाचणी घ्या

स्वयंचलित चाचणी संदेश व्युत्पन्न करण्याची अशी एक मनोरंजक संधी आहे.
हे करण्यासाठी, तुम्हाला इनपुट विभागात हार्टबीन प्लगइन सक्षम करणे आवश्यक आहे.

input {
  heartbeat {
    message => "HeartBeat!"
   }
  }

ते चालू करा, मिनिटातून एकदा प्राप्त करणे सुरू करा

logstash_one_channel | {
logstash_one_channel |      "@timestamp" => 2019-04-29T13:52:04.567Z,
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "HeartBeat!",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "host" => "a0667e5c57ec"
logstash_one_channel | }

आम्हाला अधिक वेळा प्राप्त करायचे असल्यास, आम्हाला अंतराल पॅरामीटर जोडणे आवश्यक आहे.
अशा प्रकारे आम्हाला दर 10 सेकंदांनी एक संदेश प्राप्त होईल.

input {
  heartbeat {
    message => "HeartBeat!"
    interval => 10
   }
  }

फाइलमधून डेटा पुनर्प्राप्त करत आहे

आम्ही देखील फाइल मोड पाहण्याचे ठरविले. जर ते फाइलसह चांगले कार्य करत असेल, तर कदाचित एजंटची गरज नाही, किमान स्थानिक वापरासाठी.

वर्णनानुसार, ऑपरेटिंग मोड tail -f सारखा असावा, म्हणजे. नवीन ओळी वाचते किंवा पर्याय म्हणून संपूर्ण फाइल वाचते.

तर आम्हाला काय मिळवायचे आहे:

आम्हाला एका लॉग फाइलमध्ये जोडलेल्या ओळी प्राप्त करायच्या आहेत.
आम्‍हाला अनेक लॉग फायलींवर लिहिलेला डेटा प्राप्त करायचा आहे, आणि कोठून काय प्राप्त झाले ते वेगळे करण्यात सक्षम आहे.
लॉगस्टॅश रीस्टार्ट झाल्यावर, त्याला हा डेटा पुन्हा मिळणार नाही याची आम्ही खात्री करू इच्छितो.
आम्ही तपासू इच्छितो की लॉगस्टॅश बंद असल्यास, आणि डेटा फाइल्सवर लिहिला जात असेल, तर आम्ही जेव्हा तो चालवतो तेव्हा आम्हाला हा डेटा मिळेल.

प्रयोग करण्यासाठी, docker-compose.yml वर दुसरी ओळ जोडू या, ज्या डिरेक्टरीमध्ये फाइल्स ठेवल्या आहेत ती उघडून.

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input

आणि habr_pipeline.conf मधील इनपुट विभाग बदला

input {
  file {
    path => "/usr/share/logstash/input/*.log"
   }
  }

आपण सुरु करू:

docker-compose up

लॉग फाइल्स तयार करण्यासाठी आणि लिहिण्यासाठी आम्ही कमांड वापरू:

 echo '1' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:53.876Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

होय, ते कार्य करते!

त्याच वेळी, आपण पाहतो की आपण पथ फील्ड स्वयंचलितपणे जोडले आहे. याचा अर्थ भविष्यात, आम्ही त्याद्वारे रेकॉर्ड फिल्टर करण्यास सक्षम होऊ.

चला पुन्हा प्रयत्न करूया:

echo '2' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:59.906Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "2",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

आणि आता दुसर्‍या फाईलवर:

 echo '1' >> logs/number2.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:29:26.061Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log"
logstash_one_channel | }

छान! फाइल उचलली गेली, मार्ग योग्यरित्या निर्दिष्ट केला गेला, सर्व काही ठीक आहे.

लॉगस्टॅश थांबवा आणि पुन्हा सुरू करा. चला थांबूया. शांतता. त्या. हे रेकॉर्ड आम्हाला पुन्हा मिळत नाहीत.

आणि आता सर्वात धाडसी प्रयोग.

लॉगस्टॅश स्थापित करा आणि कार्यान्वित करा:

echo '3' >> logs/number2.log
echo '4' >> logs/number1.log

लॉगस्टॅश पुन्हा चालवा आणि पहा:

logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "3",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.589Z
logstash_one_channel | }
logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "4",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.856Z
logstash_one_channel | }

हुर्रे! सर्व काही उचलले गेले.

परंतु आम्ही तुम्हाला खालील गोष्टींबद्दल चेतावणी दिली पाहिजे. लॉगस्टॅश कंटेनर हटवला असल्यास (डॉकर स्टॉप logstash_one_channel && docker rm logstash_one_channel), नंतर काहीही उचलले जाणार नाही. फाईलची स्थिती ज्यापर्यंत ती वाचली गेली ती कंटेनरमध्ये संग्रहित केली गेली. तुम्ही ते सुरवातीपासून चालवल्यास, ते फक्त नवीन ओळी स्वीकारेल.

विद्यमान फायली वाचत आहे

समजा आम्ही प्रथमच लॉगस्टॅश लाँच करत आहोत, परंतु आमच्याकडे आधीपासूनच लॉग आहेत आणि आम्ही त्यावर प्रक्रिया करू इच्छितो.
आम्ही वर वापरलेल्या इनपुट विभागासह लॉगस्टॅश चालवल्यास, आम्हाला काहीही मिळणार नाही. लॉगस्टॅशद्वारे फक्त नवीन ओळींवर प्रक्रिया केली जाईल.

विद्यमान फाइल्समधील ओळी वर खेचल्या जाण्यासाठी, तुम्ही इनपुट विभागात अतिरिक्त ओळ जोडली पाहिजे:

input {
  file {
    start_position => "beginning"
    path => "/usr/share/logstash/input/*.log"
   }
  }

शिवाय, एक सूक्ष्मता आहे: हे फक्त नवीन फायलींवर परिणाम करते ज्या लॉगस्टॅशने अद्याप पाहिलेल्या नाहीत. लॉगस्टॅशच्या दृश्याच्या क्षेत्रात आधीपासून असलेल्या समान फायलींसाठी, त्यांनी त्यांचा आकार आधीच लक्षात ठेवला आहे आणि आता त्यामध्ये फक्त नवीन नोंदी घेतील.

चला इथे थांबू आणि इनपुट विभागाचा अभ्यास करूया. अजूनही बरेच पर्याय आहेत, परंतु आताच्या पुढील प्रयोगांसाठी आमच्यासाठी ते पुरेसे आहे.

राउटिंग आणि डेटा ट्रान्सफॉर्मेशन

चला खालील समस्येचे निराकरण करण्याचा प्रयत्न करूया, समजा आमच्याकडे एका चॅनेलचे संदेश आहेत, त्यापैकी काही माहितीपूर्ण आहेत आणि काही त्रुटी संदेश आहेत. ते टॅगनुसार भिन्न आहेत. काही INFO आहेत, तर काही ERROR आहेत.

बाहेर पडताना आपण त्यांना वेगळे करणे आवश्यक आहे. त्या. आम्ही एका चॅनेलमध्ये माहिती संदेश आणि दुसर्‍या चॅनेलमध्ये त्रुटी संदेश लिहितो.

हे करण्यासाठी, इनपुट विभागातून फिल्टर आणि आउटपुटवर जा.

फिल्टर विभाग वापरून, आम्ही येणारा संदेश पार्स करू, त्यातून हॅश (की-व्हॅल्यू जोड्या) मिळवू, ज्यावर आम्ही आधीच काम करू शकतो, उदा. परिस्थितीनुसार वेगळे करा. आणि आउटपुट विभागात, आम्ही संदेश निवडू आणि प्रत्येकाला त्याच्या स्वतःच्या चॅनेलवर पाठवू.

grok सह संदेश पार्स करणे

मजकूर स्ट्रिंग पार्स करण्यासाठी आणि त्यांच्याकडून फील्डचा संच मिळविण्यासाठी, फिल्टर विभागात एक विशेष प्लगइन आहे - grok.

त्याचे सविस्तर वर्णन येथे देण्याचे ध्येय स्वतः ठरवल्याशिवाय (यासाठी मी संदर्भ देतो अधिकृत दस्तऐवजीकरण), मी माझे साधे उदाहरण देईन.

हे करण्यासाठी, तुम्हाला इनपुट स्ट्रिंगचे स्वरूप ठरवावे लागेल. माझ्याकडे ते असे आहेत:

1 माहिती संदेश1
2 त्रुटी संदेश2

त्या. आयडेंटिफायर प्रथम येतो, नंतर माहिती/त्रुटी, नंतर काही शब्द स्पेसशिवाय.
हे अवघड नाही, परंतु ऑपरेशनचे तत्त्व समजून घेणे पुरेसे आहे.

म्हणून, grok प्लगइनच्या फिल्टर विभागात, आम्हाला आमच्या स्ट्रिंग पार्स करण्यासाठी एक नमुना परिभाषित करणे आवश्यक आहे.

हे असे दिसेल:

filter {
  grok {
    match => { "message" => ["%{INT:message_id} %{LOGLEVEL:message_type} %{WORD:message_text}"] }
   }
  }

मूलत: ही एक नियमित अभिव्यक्ती आहे. तयार नमुने वापरले जातात, जसे की INT, LOGLEVEL, WORD. त्यांचे वर्णन, तसेच इतर नमुने येथे आढळू शकतात येथे

आता, या फिल्टरमधून गेल्यावर, आमची स्ट्रिंग तीन फील्डच्या हॅशमध्ये बदलेल: message_id, message_type, message_text.

ते आउटपुट विभागात प्रदर्शित केले जातील.

if कमांड वापरून आउटपुट विभागात संदेश राउटिंग करणे

आऊटपुट सेक्शनमध्ये, जसे आम्हाला आठवते, आम्ही संदेशांना दोन प्रवाहांमध्ये विभाजित करणार आहोत. काही - जे iNFO आहेत, कन्सोलवर आउटपुट केले जातील आणि त्रुटींसह, आम्ही फाइलमध्ये आउटपुट करू.

आम्ही हे संदेश कसे वेगळे करू? समस्येची स्थिती आधीच एक उपाय सुचवते - शेवटी, आमच्याकडे आधीपासूनच एक समर्पित संदेश_प्रकार फील्ड आहे, जी फक्त दोन मूल्ये घेऊ शकते: INFO आणि ERROR. या आधारावर आपण if विधान वापरून निवड करू.

if [message_type] == "ERROR" {
        # Здесь выводим в файл
       } else
     {
      # Здесь выводим в stdout
    }

फील्ड आणि ऑपरेटरसह कार्य करण्याचे वर्णन या विभागात आढळू शकते अधिकृत मॅन्युअल.

आता प्रत्यक्ष निष्कर्षाविषयी.

कन्सोल आउटपुट, येथे सर्वकाही स्पष्ट आहे - stdout {}

परंतु फाईलचे आउटपुट - लक्षात ठेवा की आपण हे सर्व कंटेनरमधून चालवित आहोत आणि ज्या फाईलमध्ये आपण निकाल लिहितो त्या बाहेरून प्रवेश करण्यायोग्य होण्यासाठी, आपल्याला ही निर्देशिका docker-compose.yml मध्ये उघडणे आवश्यक आहे.

एकूण:

आमच्या फाईलचा आउटपुट विभाग असा दिसतो:

 output {
  if [message_type] == "ERROR" {
    file {
          path => "/usr/share/logstash/output/test.log"
          codec => line { format => "custom format: %{message}"}
         }
    } else
     {stdout {
             }
     }
  }

docker-compose.yml मध्ये आम्ही आउटपुटसाठी दुसरा व्हॉल्यूम जोडतो:

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input
      - ./output:/usr/share/logstash/output

आम्ही ते लॉन्च करतो, प्रयत्न करतो आणि दोन प्रवाहांमध्ये विभागणी करतो.

स्त्रोत: www.habr.com

ELK चा व्यावहारिक अनुप्रयोग. लॉगस्टॅश सेट करत आहे