ການນໍາສະເຫນີ

ໃນຂະນະທີ່ນໍາໃຊ້ລະບົບອື່ນ, ພວກເຮົາປະເຊີນກັບຄວາມຕ້ອງການທີ່ຈະປະມວນຜົນຈໍານວນຂະຫນາດໃຫຍ່ຂອງບັນທຶກທີ່ແຕກຕ່າງກັນ. ELK ຖືກເລືອກເປັນເຄື່ອງມື. ບົດຄວາມນີ້ຈະສົນທະນາປະສົບການຂອງພວກເຮົາໃນການຕັ້ງຄ່າ stack ນີ້.

ພວກເຮົາບໍ່ໄດ້ກໍານົດເປົ້າຫມາຍເພື່ອອະທິບາຍຄວາມສາມາດຂອງມັນທັງຫມົດ, ແຕ່ພວກເຮົາຕ້ອງການທີ່ຈະສຸມໃສ່ການແກ້ໄຂບັນຫາພາກປະຕິບັດໂດຍສະເພາະ. ນີ້ແມ່ນເນື່ອງມາຈາກຄວາມຈິງທີ່ວ່າເຖິງແມ່ນວ່າມີເອກະສານແລະຮູບພາບທີ່ກຽມພ້ອມຫຼາຍພໍສົມຄວນ, ມັນມີຂຸມຫຼາຍ, ຢ່າງຫນ້ອຍພວກເຮົາໄດ້ພົບເຫັນພວກມັນ.

ພວກເຮົາໄດ້ນຳໃຊ້ stack ຜ່ານ docker-compose. ຍິ່ງໄປກວ່ານັ້ນ, ພວກເຮົາມີ docker-compose.yml ທີ່ຂຽນໄດ້ດີ, ເຊິ່ງອະນຸຍາດໃຫ້ພວກເຮົາຍົກ stack ເກືອບບໍ່ມີບັນຫາ. ແລະ​ເບິ່ງ​ຄື​ວ່າ​ພວກ​ເຮົາ​ໄຊ​ຊະ​ນະ​ໄດ້​ໃກ້​ເຂົ້າ​ມາ​ແລ້ວ, ບັດ​ນີ້​ພວກ​ເຮົາ​ຈະ​ປັບ​ປ່ຽນ​ມັນ​ໜ້ອຍ​ໜຶ່ງ​ໃຫ້​ເໝາະ​ສົມ​ກັບ​ຄວາມ​ຕ້ອງ​ການ​ຂອງ​ພວກ​ເຮົາ ແລະ​ນັ້ນ​ແມ່ນ​ມັນ.

ແຕ່ຫນ້າເສຍດາຍ, ຄວາມພະຍາຍາມໃນການຕັ້ງຄ່າລະບົບເພື່ອຮັບ ແລະປະມວນຜົນບັນທຶກຈາກແອັບພລິເຄຊັນຂອງພວກເຮົາບໍ່ປະສົບຜົນສໍາເລັດໃນທັນທີ. ດັ່ງນັ້ນ, ພວກເຮົາໄດ້ຕັດສິນໃຈວ່າມັນມີມູນຄ່າການສຶກສາແຕ່ລະອົງປະກອບແຍກຕ່າງຫາກ, ແລະຫຼັງຈາກນັ້ນກັບຄືນສູ່ການເຊື່ອມຕໍ່ຂອງພວກເຂົາ.

ດັ່ງນັ້ນ, ພວກເຮົາເລີ່ມຕົ້ນດ້ວຍ logstash.

ສະພາບແວດລ້ອມ, ການປະຕິບັດ, ແລ່ນ Logstash ໃນຖັງ

ສໍາລັບການຕິດຕັ້ງພວກເຮົາໃຊ້ docker-compose;

ຮູບພາບ logstash ທີ່ໄດ້ລົງທະບຽນຢູ່ໃນ docker-compose.yml ຕົ້ນສະບັບຂອງພວກເຮົາແມ່ນ docker.elastic.co/logstash/logstash:6.3.2

ພວກເຮົາຈະໃຊ້ມັນສໍາລັບການທົດລອງ.

ພວກເຮົາໄດ້ຂຽນ docker-compose.yml ແຍກຕ່າງຫາກເພື່ອດໍາເນີນການ logstash. ແນ່ນອນ, ມັນເປັນໄປໄດ້ທີ່ຈະເປີດຕົວຮູບພາບຈາກເສັ້ນຄໍາສັ່ງ, ແຕ່ພວກເຮົາກໍາລັງແກ້ໄຂບັນຫາສະເພາະ, ບ່ອນທີ່ພວກເຮົາດໍາເນີນການທຸກຢ່າງຈາກ docker-compose.

ໂດຍຫຍໍ້ກ່ຽວກັບໄຟລ໌ການຕັ້ງຄ່າ

ດັ່ງຕໍ່ໄປນີ້ຈາກຄໍາອະທິບາຍ, logstash ສາມາດດໍາເນີນການໄດ້ສໍາລັບຫນຶ່ງຊ່ອງ, ໃນກໍລະນີນີ້ມັນຈໍາເປັນຕ້ອງຜ່ານໄຟລ໌ *.conf, ຫຼືສໍາລັບຫຼາຍຊ່ອງທາງ, ໃນກໍລະນີນີ້ມັນຈໍາເປັນຕ້ອງຜ່ານໄຟລ໌ pipelines.yml, ເຊິ່ງ, ໃນທາງກັບກັນ. , ຈະເຊື່ອມຕໍ່ກັບໄຟລ໌ .conf ສໍາລັບແຕ່ລະຊ່ອງ.
ພວກເຮົາໄດ້ເອົາເສັ້ນທາງທີສອງ. ເບິ່ງ​ຄື​ວ່າ​ພວກ​ເຮົາ​ສາ​ກົນ​ແລະ​ສາ​ມາດ​ຂະ​ຫຍາຍ​ຕົວ​ຫຼາຍ​ຂຶ້ນ. ດັ່ງນັ້ນ, ພວກເຮົາສ້າງ pipelines.yml, ແລະສ້າງລະບົບ pipelines ທີ່ພວກເຮົາຈະໃສ່ໄຟລ໌ .conf ສໍາລັບແຕ່ລະຊ່ອງ.

ພາຍໃນບັນຈຸມີໄຟລ໌ການຕັ້ງຄ່າອື່ນ - logstash.yml . ພວກເຮົາບໍ່ແຕະຕ້ອງມັນ, ພວກເຮົາໃຊ້ມັນຄືເກົ່າ.

ດັ່ງນັ້ນ, ໂຄງສ້າງໄດເລກະທໍລີຂອງພວກເຮົາ:

ເພື່ອຮັບຂໍ້ມູນການປ້ອນຂໍ້ມູນ, ສໍາລັບຕອນນີ້ພວກເຮົາສົມມຸດວ່ານີ້ແມ່ນ tcp ໃນພອດ 5046, ແລະສໍາລັບຜົນຜະລິດພວກເຮົາຈະໃຊ້ stdout.

ນີ້ແມ່ນການຕັ້ງຄ່າທີ່ງ່າຍດາຍສໍາລັບການເປີດຕົວຄັ້ງທໍາອິດ. ເນື່ອງຈາກວ່າວຽກງານເບື້ອງຕົ້ນແມ່ນເພື່ອເປີດຕົວ.

ດັ່ງນັ້ນ, ພວກເຮົາມີ docker-compose.yml ນີ້

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      	- elk
    ports:
      	- 5046:5046
    volumes:
      	- ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
	- ./config/pipelines:/usr/share/logstash/config/pipelines:ro

ພວກເຮົາເຫັນຫຍັງຢູ່ນີ້?

1. ເຄືອຂ່າຍແລະປະລິມານໄດ້ຖືກເອົາມາຈາກ docker-compose.yml ຕົ້ນສະບັບ (ຫນຶ່ງບ່ອນທີ່ stack ທັງຫມົດຖືກເປີດຕົວ) ແລະຂ້ອຍຄິດວ່າພວກມັນບໍ່ມີຜົນກະທົບຢ່າງຫຼວງຫຼາຍຕໍ່ພາບລວມຢູ່ທີ່ນີ້.
2. ພວກເຮົາສ້າງການບໍລິການບັນທຶກໜຶ່ງຈາກຮູບ docker.elastic.co/logstash/logstash:6.3.2 ແລະຕັ້ງຊື່ມັນວ່າ logstash_one_channel.
3. ພວກເຮົາສົ່ງຕໍ່ພອດ 5046 ພາຍໃນຕູ້ຄອນເທນເນີ, ໄປຫາພອດພາຍໃນດຽວກັນ.
4. ພວກເຮົາສ້າງແຜນທີ່ໄຟລ໌ການຕັ້ງຄ່າທໍ່ຂອງພວກເຮົາ ./config/pipelines.yml ກັບໄຟລ໌ /usr/share/logstash/config/pipelines.yml ພາຍໃນຖັງ, ບ່ອນທີ່ logstash ຈະເອົາມັນຂຶ້ນແລະເຮັດໃຫ້ມັນອ່ານໄດ້ເທົ່ານັ້ນ, ໃນກໍລະນີ.
5. ພວກເຮົາສ້າງແຜນທີ່ ./config/pipelines directory, ບ່ອນທີ່ພວກເຮົາມີໄຟລ໌ທີ່ມີການຕັ້ງຄ່າຊ່ອງ, ເຂົ້າໄປໃນໄດເລກະທໍລີ /usr/share/logstash/config/pipelines ແລະຍັງເຮັດໃຫ້ມັນອ່ານໄດ້ເທົ່ານັ້ນ.

ໄຟລ໌ Pipelines.yml

- pipeline.id: HABR
  pipeline.workers: 1
  pipeline.batch.size: 1
  path.config: "./config/pipelines/habr_pipeline.conf"

ຊ່ອງທາງຫນຶ່ງທີ່ມີຕົວລະບຸ HABR ແລະເສັ້ນທາງໄປຫາໄຟລ໌ການຕັ້ງຄ່າຂອງມັນໄດ້ຖືກອະທິບາຍຢູ່ທີ່ນີ້.

ແລະສຸດທ້າຍແມ່ນໄຟລ໌ “./config/pipelines/habr_pipeline.conf”

input {
  tcp {
    port => "5046"
   }
  }
filter {
  mutate {
    add_field => [ "habra_field", "Hello Habr" ]
    }
  }
output {
  stdout {
      
    }
  }

ຢ່າເຂົ້າໄປໃນຄໍາອະທິບາຍຂອງມັນສໍາລັບຕອນນີ້, ໃຫ້ພະຍາຍາມແລ່ນມັນ:

docker-compose up

ພວກເຮົາເຫັນຫຍັງ?

ຕູ້ຄອນເທນເນີໄດ້ເລີ່ມຕົ້ນແລ້ວ. ພວກເຮົາສາມາດກວດສອບການດໍາເນີນງານຂອງມັນ:

echo '13123123123123123123123213123213' | nc localhost 5046

ແລະພວກເຮົາເຫັນການຕອບສະ ໜອງ ໃນຄອນໂຊນບັນຈຸ:

ແຕ່ໃນເວລາດຽວກັນ, ພວກເຮົາຍັງເຫັນວ່າ:

logstash_one_channel | [2019-04-29T11:28:59,790][ERROR][logstash.licensechecker.licensereader] ບໍ່ສາມາດດຶງຂໍ້ມູນໃບອະນຸຍາດຈາກເຊີບເວີໃບອະນຸຍາດໄດ້ {:message=>“Elasticsearch Unreachable: [http://elasticsearch:9200/][Manticore ::ResolutionFailure] elasticsearch",...

logstash_one_channel | [2019-04-29T11:28:59,894][INFO][logstash.pipeline ] ທໍ່ໄດ້ເລີ່ມສຳເລັດແລ້ວ {:pipeline_id=>".monitoring-logstash", :thread=>"# "}

logstash_one_channel | [2019-04-29T11:28:59,988][INFO ][logstash.agent ] ທໍ່ແລ່ນ {:count=>2, :running_pipelines=>[:HABR, :"monitoring-logstash"], :non_running_pipelines=>[ ]}
logstash_one_channel | [2019-04-29T11:29:00,015][ERROR][logstash.inputs.metrics] X-Pack ຖືກຕິດຕັ້ງຢູ່ໃນ Logstash ແຕ່ບໍ່ແມ່ນຢູ່ໃນ Elasticsearch. ກະລຸນາຕິດຕັ້ງ X-Pack ໃນ Elasticsearch ເພື່ອໃຊ້ຄຸນສົມບັດການຕິດຕາມ. ຄຸນສົມບັດອື່ນໆອາດຈະສາມາດໃຊ້ໄດ້.
logstash_one_channel | [2019-04-29T11:29:00,526][INFO][logstash.agent ] ເລີ່ມ​ຕົ້ນ​ສໍາ​ເລັດ Logstash API endpoint {:port=>9600}
logstash_one_channel | [2019-04-29T11:29:04,478][INFO][logstash.outputs.elasticsearch] ກຳລັງແລ່ນການກວດສຸຂະພາບເພື່ອເບິ່ງວ່າການເຊື່ອມຕໍ່ Elasticsearch ເຮັດວຽກຫຼືບໍ່ {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,487][WARN ][logstash.outputs.elasticsearch] ໄດ້ພະຍາຍາມຟື້ນຄືນການເຊື່ອມຕໍ່ກັບຕົວຢ່າງ ES ທີ່ຕາຍແລ້ວ, ແຕ່ໄດ້ຮັບຄວາມຜິດພາດ. {:url=>“ແຜ່ນຍືດ:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch Unreachable: [http://elasticsearch:9200/][Manticore::ResolutionFailure] elasticsearch"}
logstash_one_channel | [2019-04-29T11:29:04,704][INFO ][logstash.licensechecker.licensereader] ກຳລັງແລ່ນການກວດສຸຂະພາບເພື່ອເບິ່ງວ່າການເຊື່ອມຕໍ່ Elasticsearch ເຮັດວຽກຫຼືບໍ່ {:healthcheck_url=>http://elasticsearch:9200/, :path=> "/"}
logstash_one_channel | [2019-04-29T11:29:04,710][WARN ][logstash.licensechecker.licensereader] ໄດ້ພະຍາຍາມຟື້ນຄືນການເຊື່ອມຕໍ່ກັບຕົວຢ່າງ ES ທີ່ຕາຍແລ້ວ, ແຕ່ໄດ້ຮັບຄວາມຜິດພາດ. {:url=>“ແຜ່ນຍືດ:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch Unreachable: [http://elasticsearch:9200/][Manticore::ResolutionFailure] elasticsearch"}

ແລະບັນທຶກຂອງພວກເຮົາແມ່ນ creeping ເຖິງຕະຫຼອດເວລາ.

ໃນທີ່ນີ້ຂ້າພະເຈົ້າໄດ້ເນັ້ນໃສ່ຂໍ້ຄວາມສີຂຽວວ່າທໍ່ໄດ້ເປີດຕົວຢ່າງສໍາເລັດຜົນ, ຂໍ້ຄວາມສະແດງຂໍ້ຜິດພາດສີແດງແລະເປັນສີເຫຼືອງຂໍ້ຄວາມກ່ຽວກັບຄວາມພະຍາຍາມທີ່ຈະຕິດຕໍ່. ແຜ່ນຍືດ: 9200
ອັນນີ້ເກີດຂຶ້ນເພາະວ່າ logstash.conf, ລວມຢູ່ໃນຮູບ, ມີການກວດສອບຄວາມພ້ອມຂອງ elasticsearch. ຫຼັງຈາກທີ່ທັງຫມົດ, logstash ຖືວ່າມັນເຮັດວຽກເປັນສ່ວນຫນຶ່ງຂອງ Elk stack, ແຕ່ພວກເຮົາແຍກມັນອອກ.

ມັນເປັນໄປໄດ້ທີ່ຈະເຮັດວຽກ, ແຕ່ມັນບໍ່ສະດວກ.

ການແກ້ໄຂແມ່ນເພື່ອປິດການກວດສອບນີ້ຜ່ານຕົວແປສະພາບແວດລ້ອມ XPACK_MONITORING_ENABLED.

ມາປ່ຽນແປງ docker-compose.yml ແລະເປີດໃຊ້ມັນອີກຄັ້ງ:

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro

ໃນປັດຈຸບັນ, ທຸກສິ່ງທຸກຢ່າງແມ່ນດີ. ຖັງແມ່ນກຽມພ້ອມສໍາລັບການທົດລອງ.

ພວກເຮົາສາມາດພິມອີກເທື່ອຫນຶ່ງໃນ console ຕໍ່ໄປ:

echo '13123123123123123123123213123213' | nc localhost 5046

ແລະເບິ່ງ:

logstash_one_channel | {
logstash_one_channel |         "message" => "13123123123123123123123213123213",
logstash_one_channel |      "@timestamp" => 2019-04-29T11:43:44.582Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |            "host" => "gateway",
logstash_one_channel |            "port" => 49418
logstash_one_channel | }

ເຮັດວຽກພາຍໃນຊ່ອງດຽວ

ດັ່ງນັ້ນພວກເຮົາໄດ້ເປີດຕົວ. ໃນປັດຈຸບັນທ່ານສາມາດໃຊ້ເວລາໃນການຕັ້ງຄ່າ logstash ຕົວຂອງມັນເອງ. ບໍ່ໃຫ້ແຕະທີ່ໄຟລ໌ pipelines.yml ສໍາລັບໃນປັດຈຸບັນ, ໃຫ້ເບິ່ງສິ່ງທີ່ພວກເຮົາສາມາດໄດ້ຮັບໂດຍການເຮັດວຽກກັບຊ່ອງທາງດຽວ.

ຂ້າພະເຈົ້າຕ້ອງເວົ້າວ່າຫຼັກການທົ່ວໄປຂອງການເຮັດວຽກກັບໄຟລ໌ການຕັ້ງຄ່າຊ່ອງທາງແມ່ນໄດ້ອະທິບາຍໄວ້ໃນຄູ່ມືຢ່າງເປັນທາງການ, ທີ່ນີ້ ທີ່ນີ້
ຖ້າທ່ານຕ້ອງການອ່ານພາສາລັດເຊຍ, ພວກເຮົາໃຊ້ອັນນີ້ ບົດຄວາມ(ແຕ່ syntax ຄໍາຖາມມີເກົ່າ, ພວກເຮົາຈໍາເປັນຕ້ອງພິຈາລະນາເລື່ອງນີ້).

ໃຫ້ໄປຕາມລໍາດັບຈາກພາກສ່ວນປ້ອນຂໍ້ມູນ. ພວກເຮົາໄດ້ເຫັນການເຮັດວຽກກ່ຽວກັບ TCP ແລ້ວ. ມີຫຍັງອີກແດ່ທີ່ໜ້າສົນໃຈຢູ່ທີ່ນີ້?

ທົດສອບຂໍ້ຄວາມໂດຍໃຊ້ການເຕັ້ນຂອງຫົວໃຈ

ມີໂອກາດທີ່ຫນ້າສົນໃຈທີ່ຈະສ້າງຂໍ້ຄວາມທົດສອບອັດຕະໂນມັດ.
ເພື່ອເຮັດສິ່ງນີ້, ທ່ານຈໍາເປັນຕ້ອງໄດ້ເປີດໃຊ້ plugin heartbean ໃນພາກປ້ອນຂໍ້ມູນ.

input {
  heartbeat {
    message => "HeartBeat!"
   }
  } 

ເປີດມັນ, ເລີ່ມຮັບເທື່ອລະນາທີ

logstash_one_channel | {
logstash_one_channel |      "@timestamp" => 2019-04-29T13:52:04.567Z,
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "HeartBeat!",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "host" => "a0667e5c57ec"
logstash_one_channel | }

ຖ້າພວກເຮົາຕ້ອງການຮັບເລື້ອຍໆ, ພວກເຮົາຈໍາເປັນຕ້ອງເພີ່ມພາລາມິເຕີໄລຍະຫ່າງ.
ນີ້ແມ່ນວິທີທີ່ພວກເຮົາຈະໄດ້ຮັບຂໍ້ຄວາມທຸກໆ 10 ວິນາທີ.

input {
  heartbeat {
    message => "HeartBeat!"
    interval => 10
   }
  }

ດຶງຂໍ້ມູນຈາກໄຟລ໌

ພວກເຮົາຍັງໄດ້ຕັດສິນໃຈເບິ່ງຮູບແບບໄຟລ໌. ຖ້າມັນເຮັດວຽກໄດ້ດີກັບໄຟລ໌, ບາງທີອາດຈະບໍ່ຕ້ອງການຕົວແທນ, ຢ່າງຫນ້ອຍສໍາລັບການນໍາໃຊ້ໃນທ້ອງຖິ່ນ.

ອີງຕາມຄໍາອະທິບາຍ, ຮູບແບບການເຮັດວຽກຄວນຈະຄ້າຍຄືກັບ tail -f, i.e. ອ່ານແຖວໃໝ່ ຫຼື, ເປັນທາງເລືອກ, ອ່ານໄຟລ໌ທັງໝົດ.

ດັ່ງນັ້ນສິ່ງທີ່ພວກເຮົາຕ້ອງການທີ່ຈະໄດ້ຮັບ:

1. ພວກ​ເຮົາ​ຕ້ອງ​ການ​ທີ່​ຈະ​ໄດ້​ຮັບ​ເສັ້ນ​ທີ່​ຕໍ່​ທ້າຍ​ກັບ​ໄຟລ​໌​ບັນ​ທຶກ​ຫນຶ່ງ​.
2. ພວກເຮົາຕ້ອງການທີ່ຈະໄດ້ຮັບຂໍ້ມູນທີ່ຂຽນລົງໃນໄຟລ໌ບັນທຶກຫຼາຍ, ໃນຂະນະທີ່ສາມາດແຍກສິ່ງທີ່ໄດ້ຮັບຈາກບ່ອນໃດ.
3. ພວກ​ເຮົາ​ຕ້ອງ​ການ​ທີ່​ຈະ​ເຮັດ​ໃຫ້​ແນ່​ໃຈວ່​າ​ໃນ​ເວ​ລາ​ທີ່ logstash ແມ່ນ restarted​, ມັນ​ບໍ່​ໄດ້​ຮັບ​ຂໍ້​ມູນ​ນີ້​ອີກ​ເທື່ອ​ຫນຶ່ງ​.
4. ພວກເຮົາຕ້ອງການກວດສອບວ່າຖ້າ logstash ຖືກປິດ, ແລະຂໍ້ມູນຍັງສືບຕໍ່ຖືກຂຽນໃສ່ໄຟລ໌, ຫຼັງຈາກນັ້ນເມື່ອພວກເຮົາເປີດຕົວມັນ, ພວກເຮົາຈະໄດ້ຮັບຂໍ້ມູນນີ້.

ເພື່ອດໍາເນີນການທົດລອງ, ໃຫ້ເພີ່ມແຖວອື່ນໃສ່ docker-compose.yml, ເປີດໄດເລກະທໍລີທີ່ພວກເຮົາວາງໄຟລ໌.

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input

ແລະປ່ຽນພາກສ່ວນການປ້ອນຂໍ້ມູນໃນ habr_pipeline.conf

input {
  file {
    path => "/usr/share/logstash/input/*.log"
   }
  }

ມາເລີ່ມກັນເລີຍ:

docker-compose up

ເພື່ອສ້າງແລະຂຽນໄຟລ໌ບັນທຶກພວກເຮົາຈະໃຊ້ຄໍາສັ່ງ:


echo '1' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:53.876Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

ແມ່ນແລ້ວ, ມັນເຮັດວຽກ!

ໃນເວລາດຽວກັນ, ພວກເຮົາເຫັນວ່າພວກເຮົາໄດ້ເພີ່ມພາກສະຫນາມເສັ້ນທາງໂດຍອັດຕະໂນມັດ. ນີ້ຫມາຍຄວາມວ່າໃນອະນາຄົດ, ພວກເຮົາຈະສາມາດກັ່ນຕອງບັນທຶກໂດຍມັນ.

ລອງອີກຄັ້ງ:

echo '2' >> logs/number1.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:28:59.906Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "2",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log"
logstash_one_channel | }

ແລະຕອນນີ້ໄປຫາໄຟລ໌ອື່ນ:

 echo '1' >> logs/number2.log

{
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:29:26.061Z,
logstash_one_channel |        "@version" => "1",
logstash_one_channel |         "message" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log"
logstash_one_channel | }

ຍິ່ງໃຫຍ່! ໄຟລ໌ໄດ້ຖືກເກັບຂຶ້ນ, ເສັ້ນທາງໄດ້ຖືກລະບຸຢ່າງຖືກຕ້ອງ, ທຸກສິ່ງທຸກຢ່າງແມ່ນດີ.

ຢຸດ logstash ແລະເລີ່ມຕົ້ນອີກເທື່ອຫນຶ່ງ. ໃຫ້ລໍຖ້າ. ຄວາມງຽບ. ເຫຼົ່ານັ້ນ. ພວກເຮົາບໍ່ໄດ້ຮັບບັນທຶກເຫຼົ່ານີ້ອີກເທື່ອຫນຶ່ງ.

ແລະໃນປັດຈຸບັນການທົດລອງ daring ທີ່ສຸດ.

ຕິດຕັ້ງ logstash ແລະດໍາເນີນການ:

echo '3' >> logs/number2.log
echo '4' >> logs/number1.log

ແລ່ນ logstash ອີກເທື່ອຫນຶ່ງແລະເບິ່ງ:

logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "3",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number2.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.589Z
logstash_one_channel | }
logstash_one_channel | {
logstash_one_channel |            "host" => "ac2d4e3ef70f",
logstash_one_channel |     "habra_field" => "Hello Habr",
logstash_one_channel |         "message" => "4",
logstash_one_channel |        "@version" => "1",
logstash_one_channel |            "path" => "/usr/share/logstash/input/number1.log",
logstash_one_channel |      "@timestamp" => 2019-04-29T14:48:50.856Z
logstash_one_channel | }

ໂຫ້ຍ! ທຸກສິ່ງທຸກຢ່າງໄດ້ຖືກເກັບຂຶ້ນ.

ແຕ່ພວກເຮົາຕ້ອງເຕືອນທ່ານກ່ຽວກັບສິ່ງຕໍ່ໄປນີ້. ຖ້າຕົວບັນຈຸ logstash ຖືກລຶບ (docker ຢຸດ logstash_one_channel && docker rm logstash_one_channel), ຫຼັງຈາກນັ້ນບໍ່ມີຫຍັງຈະຖືກເກັບຂຶ້ນ. ຕຳແໜ່ງຂອງໄຟລ໌ທີ່ມັນຖືກອ່ານຖືກເກັບໄວ້ພາຍໃນຖັງ. ຖ້າທ່ານດໍາເນີນການຕັ້ງແຕ່ເລີ່ມຕົ້ນ, ມັນຈະຍອມຮັບພຽງແຕ່ສາຍໃຫມ່.

ກຳລັງອ່ານໄຟລ໌ທີ່ມີຢູ່

ສົມມຸດວ່າພວກເຮົາກໍາລັງເປີດຕົວ logstash ເປັນຄັ້ງທໍາອິດ, ແຕ່ພວກເຮົາມີບັນທຶກແລ້ວແລະພວກເຮົາຕ້ອງການປຸງແຕ່ງພວກມັນ.
ຖ້າພວກເຮົາແລ່ນ logstash ກັບພາກສ່ວນປ້ອນຂໍ້ມູນທີ່ພວກເຮົາໃຊ້ຂ້າງເທິງ, ພວກເຮົາຈະບໍ່ມີຫຍັງເລີຍ. ພຽງແຕ່ເສັ້ນໃຫມ່ຈະຖືກປະມວນຜົນໂດຍ logstash.

ເພື່ອໃຫ້ເສັ້ນຈາກໄຟລ໌ທີ່ມີຢູ່ຖືກດຶງຂຶ້ນ, ທ່ານຄວນເພີ່ມແຖວເພີ່ມເຕີມໃສ່ພາກສ່ວນປ້ອນຂໍ້ມູນ:

input {
  file {
    start_position => "beginning"
    path => "/usr/share/logstash/input/*.log"
   }
  }

ຍິ່ງໄປກວ່ານັ້ນ, ມີຄວາມແຕກຕ່າງກັນ: ນີ້ພຽງແຕ່ຜົນກະທົບຕໍ່ໄຟລ໌ໃຫມ່ທີ່ logstash ຍັງບໍ່ທັນເຫັນ. ສໍາລັບໄຟລ໌ດຽວກັນທີ່ຢູ່ໃນພາກສະຫນາມຂອງ view of logstash, ມັນຈື່ຂະຫນາດຂອງເຂົາເຈົ້າແລ້ວແລະໃນປັດຈຸບັນຈະເອົາພຽງແຕ່ລາຍການໃຫມ່ໃນພວກມັນ.

ໃຫ້ຢຸດຢູ່ທີ່ນີ້ແລະສຶກສາພາກປ້ອນຂໍ້ມູນ. ຍັງມີຫຼາຍທາງເລືອກ, ແຕ່ມັນພຽງພໍສໍາລັບພວກເຮົາສໍາລັບການທົດລອງຕໍ່ໄປໃນປັດຈຸບັນ.

ການປ່ຽນເສັ້ນທາງ ແລະຂໍ້ມູນ

ໃຫ້ພະຍາຍາມແກ້ໄຂບັນຫາຕໍ່ໄປນີ້, ໃຫ້ເວົ້າວ່າພວກເຮົາມີຂໍ້ຄວາມຈາກຊ່ອງທາງຫນຶ່ງ, ບາງສ່ວນຂອງມັນເປັນຂໍ້ມູນ, ແລະບາງຂໍ້ຄວາມແມ່ນຄວາມຜິດພາດ. ພວກເຂົາແຕກຕ່າງກັນໂດຍແທັກ. ບາງອັນແມ່ນ INFO, ບາງອັນແມ່ນຜິດພາດ.

ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ແຍກເຂົາເຈົ້າຢູ່ທາງອອກ. ເຫຼົ່ານັ້ນ. ພວກ​ເຮົາ​ຂຽນ​ຂໍ້​ຄວາມ​ຂໍ້​ມູນ​ຂ່າວ​ສານ​ຢູ່​ໃນ​ຊ່ອງ​ທາງ​ຫນຶ່ງ​, ແລະ​ຂໍ້​ຄວາມ​ຜິດ​ພາດ​ໃນ​ອີກ​.

ເພື່ອເຮັດສິ່ງນີ້, ຍ້າຍຈາກພາກສ່ວນປ້ອນເຂົ້າໄປຫາການກັ່ນຕອງແລະຜົນຜະລິດ.

ການນໍາໃຊ້ພາກສ່ວນການກັ່ນຕອງ, ພວກເຮົາຈະວິເຄາະຂໍ້ຄວາມທີ່ເຂົ້າມາ, ໄດ້ຮັບ hash (ຄູ່ທີ່ສໍາຄັນ) ຈາກມັນ, ທີ່ພວກເຮົາສາມາດເຮັດວຽກໄດ້ແລ້ວ, i.e. disassemble ຕາມເງື່ອນໄຂ. ແລະໃນພາກຜົນຜະລິດ, ພວກເຮົາຈະເລືອກຂໍ້ຄວາມແລະສົ່ງແຕ່ລະຄົນໄປຫາຊ່ອງທາງຂອງຕົນເອງ.

ວິເຄາະຂໍ້ຄວາມດ້ວຍ grok

ເພື່ອແຍກສາຍຂໍ້ຄວາມແລະໄດ້ຮັບຊຸດຂອງພາກສະຫນາມຈາກພວກເຂົາ, ມີ plugin ພິເສດໃນພາກການກັ່ນຕອງ - grok .

ໂດຍບໍ່ຕັ້ງເປົ້າຫມາຍໃຫ້ຕົນເອງມີລາຍລະອຽດກ່ຽວກັບມັນຢູ່ທີ່ນີ້ (ສໍາລັບການນີ້ຂ້າພະເຈົ້າອ້າງເຖິງ ເອກະສານທາງການ), ຂ້ອຍຈະຍົກຕົວຢ່າງງ່າຍໆຂອງຂ້ອຍ.

ເພື່ອເຮັດສິ່ງນີ້, ທ່ານຈໍາເປັນຕ້ອງຕັດສິນໃຈກ່ຽວກັບຮູບແບບຂອງສາຍເຂົ້າ. ຂ້ອຍມີພວກມັນແບບນີ້:

1 ຂໍ້​ມູນ​ຂ່າວ​ສານ1
2 ຂໍ້​ຄວາມ​ຜິດ​ພາດ2

ເຫຼົ່ານັ້ນ. ຕົວລະບຸມາກ່ອນ, ຈາກນັ້ນ INFO/Error, ຈາກນັ້ນບາງຄຳທີ່ບໍ່ມີຊ່ອງຫວ່າງ.
ມັນບໍ່ຍາກ, ແຕ່ມັນພຽງພໍທີ່ຈະເຂົ້າໃຈຫຼັກການຂອງການດໍາເນີນງານ.

ດັ່ງນັ້ນ, ໃນສ່ວນການກັ່ນຕອງຂອງ plugin grok, ພວກເຮົາຕ້ອງກໍານົດຮູບແບບສໍາລັບການແຍກສາຍຂອງພວກເຮົາ.

ມັນຈະມີລັກສະນະນີ້:

filter {
  grok {
    match => { "message" => ["%{INT:message_id} %{LOGLEVEL:message_type} %{WORD:message_text}"] }
   }
  } 

ໂດຍພື້ນຖານແລ້ວມັນເປັນການສະແດງອອກປົກກະຕິ. ຮູບແບບທີ່ເຮັດແລ້ວແມ່ນຖືກນໍາໃຊ້, ເຊັ່ນ: INT, LOGLEVEL, WORD. ຄໍາອະທິບາຍຂອງເຂົາເຈົ້າ, ເຊັ່ນດຽວກັນກັບຮູບແບບອື່ນໆ, ສາມາດພົບໄດ້ທີ່ນີ້ ທີ່ນີ້

ໃນປັດຈຸບັນ, ຜ່ານການກັ່ນຕອງນີ້, ສະຕິງຂອງພວກເຮົາຈະປ່ຽນເປັນ hash ຂອງສາມຊ່ອງຂໍ້ມູນ: message_id, message_type, message_text.

ພວກເຂົາເຈົ້າຈະຖືກສະແດງຢູ່ໃນພາກຜົນຜະລິດ.

ກໍານົດເສັ້ນທາງຂໍ້ຄວາມໄປຫາພາກຜົນຜະລິດໂດຍໃຊ້ຄໍາສັ່ງ if

ໃນພາກຜົນຜະລິດ, ດັ່ງທີ່ພວກເຮົາຈື່, ພວກເຮົາຈະແຍກຂໍ້ຄວາມອອກເປັນສອງສາຍ. ບາງຢ່າງ - ເຊິ່ງແມ່ນ iNFO, ຈະຖືກສົ່ງອອກໄປຫາ console, ແລະມີຂໍ້ຜິດພາດ, ພວກເຮົາຈະສົ່ງອອກໄປຫາໄຟລ໌.

ພວກເຮົາຈະແຍກຂໍ້ຄວາມເຫຼົ່ານີ້ແນວໃດ? ເງື່ອນໄຂຂອງບັນຫາໄດ້ແນະນໍາການແກ້ໄຂ - ຫຼັງຈາກທີ່ທັງຫມົດ, ພວກເຮົາມີຊ່ອງຂໍ້ຄວາມທີ່ອຸທິດຕົນແລ້ວ, ເຊິ່ງສາມາດເອົາສອງຄ່າເທົ່ານັ້ນ: INFO ແລະ ERROR. ມັນແມ່ນບົນພື້ນຖານນີ້ທີ່ພວກເຮົາຈະເລືອກໂດຍໃຊ້ຄໍາຖະແຫຼງການ if.

if [message_type] == "ERROR" {
        # Здесь выводим в файл
       } else
     {
      # Здесь выводим в stdout
    }

ລາຍລະອຽດຂອງການເຮັດວຽກກັບພາກສະຫນາມແລະຜູ້ປະກອບການສາມາດພົບໄດ້ຢູ່ໃນພາກນີ້ ຄູ່​ມື​ຢ່າງ​ເປັນ​ທາງ​ການ​.

ໃນປັດຈຸບັນ, ກ່ຽວກັບການສະຫລຸບຕົວຈິງຂອງມັນເອງ.

ຜົນຜະລິດຂອງຄອນໂຊນ, ທຸກສິ່ງທຸກຢ່າງຈະແຈ້ງຢູ່ທີ່ນີ້ - stdout {}

ແຕ່ຜົນຜະລິດໄປຫາໄຟລ໌ - ຈົ່ງຈື່ໄວ້ວ່າພວກເຮົາກໍາລັງດໍາເນີນການທັງຫມົດນີ້ຈາກຖັງແລະເພື່ອໃຫ້ໄຟລ໌ທີ່ພວກເຮົາຂຽນຜົນໄດ້ຮັບສາມາດເຂົ້າເຖິງໄດ້ຈາກພາຍນອກ, ພວກເຮົາຈໍາເປັນຕ້ອງເປີດໄດເລກະທໍລີນີ້ໃນ docker-compose.yml.

ລວມ:

ພາກສ່ວນຜົນຜະລິດຂອງໄຟລ໌ຂອງພວກເຮົາເບິ່ງຄືດັ່ງນີ້:


output {
  if [message_type] == "ERROR" {
    file {
          path => "/usr/share/logstash/output/test.log"
          codec => line { format => "custom format: %{message}"}
         }
    } else
     {stdout {
             }
     }
  }

ໃນ docker-compose.yml ພວກເຮົາເພີ່ມປະລິມານອື່ນສໍາລັບຜົນຜະລິດ:

version: '3'

networks:
  elk:

volumes:
  elasticsearch:
    driver: local

services:

  logstash:
    container_name: logstash_one_channel
    image: docker.elastic.co/logstash/logstash:6.3.2
    networks:
      - elk
    environment:
      XPACK_MONITORING_ENABLED: "false"
    ports:
      - 5046:5046
   volumes:
      - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro
      - ./config/pipelines:/usr/share/logstash/config/pipelines:ro
      - ./logs:/usr/share/logstash/input
      - ./output:/usr/share/logstash/output

ພວກເຮົາເປີດຕົວມັນ, ລອງມັນ, ແລະເບິ່ງການແບ່ງອອກເປັນສອງສາຍ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com