សេចក្តីណែនាំ

ខណៈពេលដែលដាក់ពង្រាយប្រព័ន្ធមួយផ្សេងទៀត យើងត្រូវប្រឈមមុខនឹងតម្រូវការដើម្បីដំណើរការកំណត់ហេតុផ្សេងៗគ្នាជាច្រើន។ ELK ត្រូវបានជ្រើសរើសជាឧបករណ៍។ អត្ថបទនេះនឹងពិភាក្សាអំពីបទពិសោធន៍របស់យើងក្នុងការដំឡើងជង់នេះ។

យើងមិនកំណត់គោលដៅដើម្បីពិពណ៌នាអំពីសមត្ថភាពរបស់វាទាំងអស់នោះទេ ប៉ុន្តែយើងចង់ផ្តោតជាពិសេសលើការដោះស្រាយបញ្ហាជាក់ស្តែង។ នេះគឺដោយសារតែការពិតដែលថា ទោះបីជាមានឯកសារច្រើនគួរសម និងរូបភាពដែលត្រៀមរួចជាស្រេចក៏ដោយ វាមានកំហុសច្រើនណាស់ យ៉ាងហោចណាស់យើងបានរកឃើញពួកគេ។

យើងបានដាក់ពង្រាយជង់តាមរយៈ docker-compose ។ លើសពីនេះទៅទៀត យើងមានឯកសារ docker-compose.yml ដែលសរសេរបានល្អ ដែលអនុញ្ញាតឱ្យយើងលើកជង់ស្ទើរតែគ្មានបញ្ហា។ ហើយវាហាក់ដូចជាពួកយើងថា ជ័យជំនះបានខិតជិតមកដល់ហើយ ឥឡូវនេះយើងនឹងកែប្រែវាបន្តិច ដើម្បីបំពេញតម្រូវការរបស់យើង ហើយនោះជាវា។

ជាអកុសល ការព្យាយាមកំណត់រចនាសម្ព័ន្ធប្រព័ន្ធដើម្បីទទួល និងដំណើរការកំណត់ហេតុពីកម្មវិធីរបស់យើងមិនបានជោគជ័យភ្លាមៗនោះទេ។ ដូច្នេះហើយ យើងបានសម្រេចចិត្តថាវាមានតម្លៃសិក្សាសមាសធាតុនីមួយៗដាច់ដោយឡែកពីគ្នា ហើយបន្ទាប់មកត្រឡប់ទៅការតភ្ជាប់របស់ពួកគេវិញ។

ដូច្នេះយើងចាប់ផ្តើមជាមួយ logstash ។

បរិស្ថាន ការដាក់ពង្រាយ ដំណើរការ Logstash នៅក្នុងកុងតឺន័រ

សម្រាប់ការដាក់ពង្រាយ យើងប្រើ docker-compose ការពិសោធន៍ដែលបានពិពណ៌នានៅទីនេះត្រូវបានអនុវត្តនៅលើ MacOS និង Ubuntu 18.0.4 ។

រូបភាព logstash ដែលត្រូវបានចុះឈ្មោះនៅក្នុង docker-compose.yml ដើមរបស់យើងគឺ docker.elastic.co/logstash/logstash:6.3.2

យើងនឹងប្រើវាសម្រាប់ការពិសោធន៍។

យើងបានសរសេរ docker-compose.yml ដាច់ដោយឡែកដើម្បីដំណើរការ logstash ។ ជាការពិតណាស់ វាអាចចាប់ផ្តើមរូបភាពពីបន្ទាត់ពាក្យបញ្ជា ប៉ុន្តែយើងកំពុងដោះស្រាយបញ្ហាជាក់លាក់មួយ ដែលអ្វីៗទាំងអស់ត្រូវបានចាប់ផ្តើមពី docker-compose ។

សង្ខេបអំពីឯកសារកំណត់រចនាសម្ព័ន្ធ

ដូចខាងក្រោមពីការពិពណ៌នា logstash អាចត្រូវបានដំណើរការទាំងសម្រាប់ឆានែលមួយ ក្នុងករណីដែលវាត្រូវការឆ្លងកាត់ឯកសារ *.conf ឬសម្រាប់ឆានែលជាច្រើន ក្នុងករណីនេះវាត្រូវការឆ្លងកាត់ឯកសារ pipelines.yml ដែលតាមនោះ នឹងភ្ជាប់ទៅឯកសារ .conf សម្រាប់ឆានែលនីមួយៗ។
យើងបានយកផ្លូវទីពីរ។ វាហាក់ដូចជាយើងមានលក្ខណៈជាសកល និងអាចធ្វើមាត្រដ្ឋានបាន។ ដូច្នេះហើយ យើងបានបង្កើត pipelines.yml ហើយបង្កើតបញ្ជី pipelines ដែលយើងនឹងដាក់ឯកសារ .conf សម្រាប់ឆានែលនីមួយៗ។

នៅខាងក្នុងធុងមានឯកសារកំណត់រចនាសម្ព័ន្ធមួយផ្សេងទៀត - logstash.yml ។ យើង​មិន​ប៉ះ​វា​ទេ យើង​ប្រើ​វា​ដូច​ជា។

ដូច្នេះរចនាសម្ព័ន្ធថតរបស់យើង៖

ដើម្បីទទួលបានទិន្នន័យបញ្ចូល សម្រាប់ពេលនេះយើងសន្មតថានេះគឺជា tcp នៅលើច្រក 5046 ហើយសម្រាប់លទ្ធផលយើងនឹងប្រើ stdout ។

នេះគឺជាការកំណត់រចនាសម្ព័ន្ធសាមញ្ញសម្រាប់ការបើកដំណើរការដំបូង។ ដោយសារតែភារកិច្ចដំបូងគឺការបើកដំណើរការ។

ដូច្នេះយើងមាន docker-compose.yml នេះ។

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      	- elk
    ports:
      	- 5046:5046
    volumes:
      	- ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
	- ./config/pipelines:/usr/share/logstash/config/pipelines:ro

តើយើងឃើញអ្វីនៅទីនេះ?

1. បណ្តាញ និងបរិមាណត្រូវបានយកចេញពី docker-compose.yml ដើម (ជាកន្លែងដែលជង់ទាំងមូលត្រូវបានចាប់ផ្តើម) ហើយខ្ញុំគិតថាវាមិនប៉ះពាល់ដល់រូបភាពទាំងមូលនៅទីនេះទេ។
2. យើងបង្កើតសេវាកម្ម logstash មួយពីរូបភាព docker.elastic.co/logstash/logstash:6.3.2 ហើយដាក់ឈ្មោះវាថា logstash_one_channel ។
3. យើងបញ្ជូនច្រក 5046 នៅខាងក្នុងកុងតឺន័រទៅច្រកខាងក្នុងដូចគ្នា។
4. យើងគូសផែនទីឯកសារកំណត់រចនាសម្ព័ន្ធបំពង់របស់យើង ./config/pipelines.yml ទៅនឹងឯកសារ /usr/share/logstash/config/pipelines.yml នៅខាងក្នុងធុង ដែល logstash នឹងយកវាឡើង ហើយធ្វើឱ្យវាអាចអានបានតែក្នុងករណីប៉ុណ្ណោះ។
5. យើងគូសផែនទីថតឯកសារ ./config/pipelines ដែលយើងមានឯកសារជាមួយការកំណត់ឆានែល ទៅក្នុងថតឯកសារ /usr/share/logstash/config/pipelines ហើយធ្វើឱ្យវាបានតែអាន។

ឯកសារ Pipelines.yml

- pipeline.id: HABR
  pipeline.workers: 1
  pipeline.batch.size: 1
  path.config: "./config/pipelines/habr_pipeline.conf"

ឆានែលមួយដែលមានឧបករណ៍កំណត់ HABR និងផ្លូវទៅកាន់ឯកសារកំណត់រចនាសម្ព័ន្ធរបស់វាត្រូវបានពិពណ៌នានៅទីនេះ។

ហើយទីបំផុតឯកសារ “./config/pipelines/habr_pipeline.conf”

input {
  tcp {
    port => "5046"
   }
  }
filter {
  mutate {
    add_field => [ "habra_field", "Hello Habr" ]
    }
  }
output {
  stdout {
      
    }
  }

តោះ​កុំ​ចូល​ទៅ​ក្នុង​ការ​ពិពណ៌នា​របស់​វា​សម្រាប់​ពេល​នេះ​ តោះ​ព្យាយាម​ដំណើរការ​វា៖

docker-compose up

តើយើងឃើញអ្វី?

ធុងបានចាប់ផ្តើម។ យើងអាចពិនិត្យមើលប្រតិបត្តិការរបស់វា៖

echo '13123123123123123123123213123213' | nc localhost 5046

ហើយយើងឃើញការឆ្លើយតបនៅក្នុងកុងសូលកុងតឺន័រ៖

ប៉ុន្តែទន្ទឹមនឹងនោះ យើងក៏ឃើញផងដែរ៖

logstash_one_channel | [2019-04-29T11:28:59,790][ERROR][logstash.licensechecker.licensereader] មិនអាចទាញយកព័ត៌មានអាជ្ញាប័ណ្ណពីម៉ាស៊ីនមេអាជ្ញាប័ណ្ណ {:message=>“Elasticsearch Unreachable: [http://elasticsearch:9200/][Manticore ::ResolutionFailure] elasticsearch",...

logstash_one_channel | [2019-04-29T11:28:59,894][INFO][logstash.pipeline] បំពង់បង្ហូរប្រេងបានចាប់ផ្តើមដោយជោគជ័យ {:pipeline_id=>".monitoring-logstash", :thread=>"# "}

logstash_one_channel | [2019-04-29T11:28:59,988][INFO][logstash.agent] បំពង់ដែលកំពុងដំណើរការ {:count=>2, :running_pipelines=>[:HABR, :"monitoring-logstash"], :non_running_pipelines=>[ ]}
logstash_one_channel | [2019-04-29T11:29:00,015][ERROR][logstash.inputs.metrics] X-Pack ត្រូវបានដំឡើងនៅលើ Logstash ប៉ុន្តែមិនមែននៅលើ Elasticsearch ទេ។ សូមដំឡើង X-Pack នៅលើ Elasticsearch ដើម្បីប្រើមុខងារត្រួតពិនិត្យ។ មុខងារផ្សេងទៀតអាចមាន។
logstash_one_channel | [2019-04-29T11:29:00,526][INFO][logstash.agent] បានចាប់ផ្តើមដោយជោគជ័យ Logstash API endpoint {:port=>9600}
logstash_one_channel | [2019-04-29T11:29:04,478][INFO][logstash.outputs.elasticsearch] កំពុងដំណើរការការពិនិត្យសុខភាព ដើម្បីមើលថាតើការតភ្ជាប់ Elasticsearch កំពុងដំណើរការដែរឬទេ {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,487][WARN ][logstash.outputs.elasticsearch] បានព្យាយាមធ្វើឱ្យការតភ្ជាប់ឡើងវិញទៅវត្ថុ ES ដែលបានស្លាប់ ប៉ុន្តែមានកំហុស។ {:url=>“សរសៃពួរ។:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch Unreachable: [http://elasticsearch:9200/][Manticore::ResolutionFailure] ស្វែងរកយឺត"}
logstash_one_channel | [2019-04-29T11:29:04,704][INFO ][logstash.licensechecker.licensereader] កំពុងដំណើរការការពិនិត្យសុខភាព ដើម្បីមើលថាតើការតភ្ជាប់ Elasticsearch កំពុងដំណើរការដែរឬទេ {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,710][WARN ][logstash.licensechecker.licensereader] បានព្យាយាមស្តារឡើងវិញនូវការភ្ជាប់ទៅវត្ថុ ES ដែលបានស្លាប់ ប៉ុន្តែបានទទួលកំហុស។ {:url=>“សរសៃពួរ។:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch Unreachable: [http://elasticsearch:9200/][Manticore::ResolutionFailure] ស្វែងរកយឺត"}

ហើយកំណត់ហេតុរបស់យើងកំពុងលូនឡើងគ្រប់ពេលវេលា។

នៅទីនេះខ្ញុំបានរំលេចជាពណ៌បៃតងនូវសារដែលបំពង់បង្ហូរប្រេងបានដំណើរការដោយជោគជ័យ ពណ៌ក្រហមនៃសារកំហុស និងពណ៌លឿងជាសារអំពីការព្យាយាមទាក់ទង។ សរសៃពួរ។: 9200 ។
វាកើតឡើងដោយសារតែ logstash.conf ដែលរួមបញ្ចូលក្នុងរូបភាពមានការត្រួតពិនិត្យសម្រាប់ភាពអាចរកបាននៃ elasticsearch ។ យ៉ាងណាមិញ logstash សន្មត់ថាវាដំណើរការជាផ្នែកនៃ Elk stack ប៉ុន្តែយើងបានបំបែកវាចេញ។

វាអាចធ្វើការបាន ប៉ុន្តែវាមិនងាយស្រួលនោះទេ។

ដំណោះស្រាយគឺដើម្បីបិទការត្រួតពិនិត្យនេះតាមរយៈអថេរបរិស្ថាន XPACK_MONITORING_ENABLED ។

តោះធ្វើការផ្លាស់ប្តូរទៅ docker-compose.yml ហើយដំណើរការវាម្តងទៀត៖

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro

ឥឡូវនេះអ្វីគ្រប់យ៉ាងគឺល្អ។ ធុងត្រៀមរួចរាល់សម្រាប់ការពិសោធន៍។

យើងអាចវាយម្តងទៀតនៅក្នុងកុងសូលបន្ទាប់៖

echo '13123123123123123123123213123213' | nc localhost 5046

ហើយ​ឃើញ:

logstash_one_channel | {
logstash_one_channel |         "message" => "13123123123123123123123213123213",
logstash_one_channel |      "@timestamp" => 2019-04-29T11:43:44.582Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |            "host" => "gateway",
logstash_one_channel |            "port" => 49418
logstash_one_channel | }

ធ្វើការនៅក្នុងឆានែលមួយ។

ដូច្នេះយើងបានចាប់ផ្តើម។ ឥឡូវនេះ អ្នកពិតជាអាចចំណាយពេលដើម្បីកំណត់រចនាសម្ព័ន្ធ logstash ដោយខ្លួនឯង។ តោះកុំប៉ះឯកសារ pipelines.yml ឥឡូវនេះ តោះមើលអ្វីដែលយើងអាចទទួលបានដោយធ្វើការជាមួយឆានែលមួយ។

ខ្ញុំត្រូវតែនិយាយថាគោលការណ៍ទូទៅនៃការធ្វើការជាមួយឯកសារកំណត់រចនាសម្ព័ន្ធឆានែលត្រូវបានពិពណ៌នាយ៉ាងល្អនៅក្នុងសៀវភៅណែនាំផ្លូវការនៅទីនេះ នៅទីនេះ
ប្រសិនបើអ្នកចង់អានជាភាសារុស្សី យើងបានប្រើមួយនេះ អត្ថបទ(ប៉ុន្តែវាក្យសម្ព័ន្ធសំណួរនៅទីនោះគឺចាស់ យើងត្រូវយកមកពិចារណា)។

តោះបន្តបន្ទាប់គ្នាពីផ្នែកបញ្ចូល។ យើងបានឃើញការងារនៅលើ TCP រួចហើយ។ តើមានអ្វីទៀតដែលអាចគួរឱ្យចាប់អារម្មណ៍នៅទីនេះ?

សាកល្បងសារដោយប្រើចង្វាក់បេះដូង

មានឱកាសគួរឱ្យចាប់អារម្មណ៍បែបនេះដើម្បីបង្កើតសារសាកល្បងដោយស្វ័យប្រវត្តិ។
ដើម្បីធ្វើដូចនេះអ្នកត្រូវបើកកម្មវិធីជំនួយបេះដូងនៅក្នុងផ្នែកបញ្ចូល។

input {
  heartbeat {
    message => "HeartBeat!"
   }
  } 

បើកវា ចាប់ផ្តើមទទួលម្តងក្នុងមួយនាទី

logstash_one_channel | {
logstash_one_channel |      "@timestamp" => 2019-04-29T13:52:04.567Z,
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "HeartBeat!",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "host" => "a0667e5c57ec"
logstash_one_channel | }

ប្រសិនបើយើងចង់ទទួលបានញឹកញាប់ជាងនេះ យើងត្រូវបន្ថែមប៉ារ៉ាម៉ែត្រចន្លោះពេល។
នេះជារបៀបដែលយើងនឹងទទួលបានសាររៀងរាល់ 10 វិនាទី។

input {
  heartbeat {
    message => "HeartBeat!"
    interval => 10
   }
  }

ការទាញយកទិន្នន័យពីឯកសារ

យើងក៏សម្រេចចិត្តមើលរបៀបឯកសារ។ ប្រសិនបើវាដំណើរការល្អជាមួយឯកសារ នោះប្រហែលជាមិនត្រូវការភ្នាក់ងារទេ យ៉ាងហោចណាស់សម្រាប់ការប្រើប្រាស់ក្នុងមូលដ្ឋាន។

យោងតាមការពិពណ៌នារបៀបប្រតិបត្តិការគួរតែស្រដៀងទៅនឹងកន្ទុយ -f, i.e. អានបន្ទាត់ថ្មី ឬជាជម្រើសមួយ អានឯកសារទាំងមូល។

ដូច្នេះអ្វីដែលយើងចង់ទទួលបាន៖

1. យើងចង់ទទួលបន្ទាត់ដែលត្រូវបានបន្ថែមទៅឯកសារកំណត់ហេតុមួយ។
2. យើងចង់ទទួលទិន្នន័យដែលត្រូវបានសរសេរទៅឯកសារកំណត់ហេតុជាច្រើន ខណៈពេលដែលអាចបំបែកអ្វីដែលបានទទួលពីកន្លែងណា។
3. យើងចង់ធ្វើឱ្យប្រាកដថា នៅពេលដែល logstash ត្រូវបានចាប់ផ្តើមឡើងវិញ វាមិនទទួលបានទិន្នន័យនេះម្តងទៀតទេ។
4. យើងចង់ពិនិត្យមើលថាប្រសិនបើ logstash ត្រូវបានបិទ ហើយទិន្នន័យនៅតែបន្តត្រូវបានសរសេរទៅឯកសារ នោះនៅពេលដែលយើងដំណើរការវា យើងនឹងទទួលបានទិន្នន័យនេះ។

ដើម្បីធ្វើការពិសោធន៍ យើងបន្ថែមបន្ទាត់មួយទៀតទៅ docker-compose.yml ដោយបើកថតដែលយើងដាក់ឯកសារ។

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input

ហើយផ្លាស់ប្តូរផ្នែកបញ្ចូលក្នុង habr_pipeline.conf

input {
  file {
    path => "/usr/share/logstash/input/*.log"
   }
  }

តោះ​ចាប់​ផ្ដើម:

docker-compose up

ដើម្បីបង្កើត និងសរសេរកំណត់ហេតុ យើងនឹងប្រើពាក្យបញ្ជា៖


echo '1' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:53.876Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

បាទ វាដំណើរការ!

ក្នុងពេលជាមួយគ្នានេះ យើងឃើញថាយើងបានបន្ថែមវាលផ្លូវដោយស្វ័យប្រវត្តិ។ នេះមានន័យថានៅពេលអនាគត យើងនឹងអាចត្រងកំណត់ត្រាដោយវា។

សូម​ព្យាយាម​ម្ដង​ទៀត:

echo '2' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:59.906Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "2",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

ហើយឥឡូវនេះទៅកាន់ឯកសារមួយទៀត៖

 echo '1' >> logs/number2.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:29:26.061Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log"
logstash_one_channel | }

អស្ចារ្យ! ឯកសារត្រូវបានរើស ផ្លូវត្រូវបានបញ្ជាក់យ៉ាងត្រឹមត្រូវ អ្វីគ្រប់យ៉ាងគឺល្អ។

បញ្ឈប់ logstash ហើយចាប់ផ្តើមម្តងទៀត។ សូម​រង់ចាំ។ ស្ងាត់។ ទាំងនោះ។ យើងមិនទទួលបានកំណត់ត្រាទាំងនេះម្តងទៀតទេ។

ហើយឥឡូវនេះការពិសោធន៍ដ៏ក្លាហានបំផុត។

ដំឡើង logstash និងប្រតិបត្តិ:

echo '3' >> logs/number2.log
echo '4' >> logs/number1.log

ដំណើរការ logstash ម្តងទៀតហើយមើល៖

logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "3",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.589Z
logstash_one_channel | }
logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "4",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.856Z
logstash_one_channel | }

ហ៊ឺយ! អ្វីគ្រប់យ៉ាងត្រូវបានប្រមូល។

ប៉ុន្តែយើងត្រូវតែព្រមានអ្នកអំពីចំណុចខាងក្រោម។ ប្រសិនបើកុងតឺន័រ logstash ត្រូវបានលុប (docker បញ្ឈប់ logstash_one_channel && docker rm logstash_one_channel) នោះគ្មានអ្វីនឹងត្រូវបានទាញយកទេ។ ទីតាំងនៃឯកសារដែលវាត្រូវបានអានត្រូវបានរក្សាទុកនៅខាងក្នុងធុង។ ប្រសិនបើអ្នកដំណើរការវាពីដំបូង វានឹងទទួលយកតែបន្ទាត់ថ្មីប៉ុណ្ណោះ។

ការអានឯកសារដែលមានស្រាប់

ឧបមាថាយើងកំពុងបើកដំណើរការ logstash ជាលើកដំបូង ប៉ុន្តែយើងមានកំណត់ហេតុរួចហើយ ហើយយើងចង់ដំណើរការពួកវា។
ប្រសិនបើយើងដំណើរការ logstash ជាមួយផ្នែកបញ្ចូលដែលយើងបានប្រើខាងលើ យើងនឹងមិនទទួលបានអ្វីទាំងអស់។ មានតែបន្ទាត់ថ្មីនឹងត្រូវបានដំណើរការដោយ logstash ។

ដើម្បីឱ្យបន្ទាត់ពីឯកសារដែលមានស្រាប់ត្រូវបានទាញឡើង អ្នកគួរតែបន្ថែមបន្ទាត់បន្ថែមទៅផ្នែកបញ្ចូល៖

input {
  file {
    start_position => "beginning"
    path => "/usr/share/logstash/input/*.log"
   }
  }

លើសពីនេះទៅទៀត មានភាពខុសប្លែកគ្នាមួយ៖ វាប៉ះពាល់តែឯកសារថ្មីដែល logstash មិនទាន់បានឃើញ។ សម្រាប់ឯកសារដូចគ្នាដែលមានរួចហើយនៅក្នុងវាលនៃទិដ្ឋភាពនៃ logstash វាបានចងចាំទំហំរបស់វារួចហើយ ហើយឥឡូវនេះនឹងយកតែធាតុថ្មីនៅក្នុងពួកវាប៉ុណ្ណោះ។

ចូរយើងឈប់នៅទីនេះ ហើយសិក្សាផ្នែកបញ្ចូល។ នៅមានជម្រើសជាច្រើន ប៉ុន្តែវាគ្រប់គ្រាន់សម្រាប់យើងសម្រាប់ការពិសោធន៍បន្ថែមទៀតសម្រាប់ពេលនេះ។

ការផ្លាស់ប្តូរផ្លូវ និងទិន្នន័យ

តោះសាកល្បងដោះស្រាយបញ្ហាខាងក្រោម ឧបមាថាយើងមានសារពីឆានែលមួយ ខ្លះជាព័ត៌មាន និងខ្លះជាសារកំហុស។ ពួកវាខុសគ្នាតាមស្លាក។ ខ្លះជា INFO ខ្លះទៀតជា ERROR។

យើងត្រូវបំបែកពួកគេនៅច្រកចេញ។ ទាំងនោះ។ យើង​សរសេរ​សារ​ព័ត៌មាន​ក្នុង​ឆានែល​មួយ ហើយ​សារ​កំហុស​ក្នុង​មួយ​ទៀត​។

ដើម្បីធ្វើដូចនេះផ្លាស់ទីពីផ្នែកបញ្ចូលទៅតម្រងនិងទិន្នផល។

ដោយប្រើផ្នែកតម្រង យើងនឹងញែកសារចូល ដោយទទួលបាន hash (key-value pairs) ពីវា ដែលយើងអាចធ្វើការបានរួចហើយ ពោលគឺឧ។ រុះរើតាមលក្ខខណ្ឌ។ ហើយនៅក្នុងផ្នែកលទ្ធផល យើងនឹងជ្រើសរើសសារ ហើយផ្ញើនីមួយៗទៅកាន់ប៉ុស្តិ៍របស់ខ្លួន។

ញែកសារជាមួយ grok

ដើម្បីញែកខ្សែអក្សរអត្ថបទ និងទទួលបានសំណុំនៃវាលពីពួកវា មានកម្មវិធីជំនួយពិសេសមួយនៅក្នុងផ្នែកតម្រង - grok ។

ដោយមិនកំណត់ខ្លួនឯងនូវគោលដៅនៃការផ្តល់ការពិពណ៌នាលម្អិតអំពីវានៅទីនេះ (សម្រាប់រឿងនេះខ្ញុំយោង ឯកសារផ្លូវការ) ខ្ញុំនឹងលើកឧទាហរណ៍ដ៏សាមញ្ញរបស់ខ្ញុំ។

ដើម្បីធ្វើដូចនេះអ្នកត្រូវសម្រេចចិត្តលើទម្រង់នៃខ្សែអក្សរបញ្ចូល។ ខ្ញុំមានពួកគេដូចនេះ៖

1 សារពត៌មាន 1
2 សារកំហុស 2

ទាំងនោះ។ ឧបករណ៍កំណត់អត្តសញ្ញាណមកមុន បន្ទាប់មក INFO/ERROR បន្ទាប់មកពាក្យមួយចំនួនដោយគ្មានចន្លោះ។
វាមិនពិបាកទេប៉ុន្តែវាគ្រប់គ្រាន់ដើម្បីយល់ពីគោលការណ៍នៃប្រតិបត្តិការ។

ដូច្នេះ នៅក្នុងផ្នែកតម្រងនៃកម្មវិធីជំនួយ grok យើងត្រូវកំណត់លំនាំសម្រាប់ញែកខ្សែអក្សររបស់យើង។

វានឹងមើលទៅដូចនេះ៖

filter {
  grok {
    match => { "message" => ["%{INT:message_id} %{LOGLEVEL:message_type} %{WORD:message_text}"] }
   }
  } 

សំខាន់វាជាកន្សោមធម្មតា។ គំរូដែលផលិតរួចរាល់ត្រូវបានប្រើប្រាស់ដូចជា INT, LOGLEVEL, WORD ។ ការពិពណ៌នារបស់ពួកគេ ក៏ដូចជាគំរូផ្សេងទៀតអាចរកបាននៅទីនេះ នៅទីនេះ

ឥឡូវនេះ ឆ្លងកាត់តម្រងនេះ ខ្សែអក្សររបស់យើងនឹងប្រែទៅជា hash នៃវាលចំនួនបី៖ message_id, message_type, message_text។

ពួកវានឹងត្រូវបានបង្ហាញនៅក្នុងផ្នែកលទ្ធផល។

ការបញ្ជូនសារទៅកាន់ផ្នែកលទ្ធផលដោយប្រើពាក្យបញ្ជា if

នៅក្នុងផ្នែកលទ្ធផល ដូចដែលយើងចងចាំ យើងនឹងបំបែកសារជាពីរស្ទ្រីម។ មួយចំនួន - ដែលជា iNFO នឹងចេញទៅកាន់កុងសូល ហើយដោយមានកំហុស យើងនឹងបញ្ចេញទៅឯកសារមួយ។

តើយើងបែងចែកសារទាំងនេះដោយរបៀបណា? លក្ខខណ្ឌនៃបញ្ហាបានណែនាំដំណោះស្រាយរួចហើយ - បន្ទាប់ពីទាំងអស់ យើងមានប្រអប់ប្រភេទ message_type ជាក់លាក់រួចហើយ ដែលអាចទទួលយកបានតែពីរតម្លៃប៉ុណ្ណោះ៖ INFO និង ERROR ។ វាស្ថិតនៅលើមូលដ្ឋាននេះ ដែលយើងនឹងធ្វើការជ្រើសរើសដោយប្រើពាក្យ if statement។

if [message_type] == "ERROR" {
        # Здесь выводим в файл
       } else
     {
      # Здесь выводим в stdout
    }

ការពិពណ៌នាអំពីការធ្វើការជាមួយវាល និងប្រតិបត្តិករអាចរកបាននៅក្នុងផ្នែកនេះ។ សៀវភៅណែនាំផ្លូវការ.

ឥឡូវនេះអំពីការសន្និដ្ឋានជាក់ស្តែង។

លទ្ធផលកុងសូល អ្វីគ្រប់យ៉ាងគឺច្បាស់នៅទីនេះ - stdout {}

ប៉ុន្តែលទ្ធផលទៅជាឯកសារ - ចងចាំថាយើងកំពុងដំណើរការទាំងអស់នេះពីកុងតឺន័រ ហើយដើម្បីឱ្យឯកសារដែលយើងសរសេរលទ្ធផលអាចចូលប្រើបានពីខាងក្រៅ យើងត្រូវបើកថតឯកសារនេះនៅក្នុង docker-compose.yml ។

សរុប:

ផ្នែកលទ្ធផលនៃឯកសាររបស់យើងមើលទៅដូចនេះ៖


output {
  if [message_type] == "ERROR" {
    file {
          path => "/usr/share/logstash/output/test.log"
          codec => line { format => "custom format: %{message}"}
         }
    } else
     {stdout {
             }
     }
  }

នៅក្នុង docker-compose.yml យើងបន្ថែមកម្រិតសំឡេងផ្សេងទៀតសម្រាប់លទ្ធផល៖

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input
      - ./output:/usr/share/logstash/output

យើងបើកដំណើរការវា សាកល្បងវា ហើយឃើញការបែងចែកជាពីរស្ទ្រីម។

ប្រភព: www.habr.com