1.Elastic stack: ການວິເຄາະບັນທຶກຄວາມປອດໄພ. ແນະນຳ

ໃນການເຊື່ອມຕໍ່ກັບການສິ້ນສຸດຂອງການຂາຍໃນລັດເຊຍຂອງລະບົບການຕັດໄມ້ແລະການວິເຄາະ Splunk, ຄໍາຖາມທີ່ເກີດຂື້ນ: ສິ່ງທີ່ສາມາດທົດແທນການແກ້ໄຂນີ້ດ້ວຍ? ຫຼັງຈາກໃຊ້ເວລາເຮັດຄວາມຄຸ້ນເຄີຍກັບການແກ້ໄຂທີ່ແຕກຕ່າງກັນ, ຂ້າພະເຈົ້າໄດ້ຕົກລົງກ່ຽວກັບການແກ້ໄຂສໍາລັບຜູ້ຊາຍທີ່ແທ້ຈິງ - "ELK stack". ລະບົບນີ້ໃຊ້ເວລາໃນການຕັ້ງຄ່າ, ແຕ່ເປັນຜົນມາຈາກທ່ານສາມາດໄດ້ຮັບລະບົບທີ່ມີປະສິດທິພາບຫຼາຍສໍາລັບການວິເຄາະສະຖານະພາບແລະຕອບສະຫນອງຕໍ່ເຫດການຄວາມປອດໄພຂອງຂໍ້ມູນໃນອົງການຈັດຕັ້ງທັນທີ. ໃນຊຸດຂອງບົດຄວາມນີ້, ພວກເຮົາຈະເບິ່ງຄວາມສາມາດພື້ນຖານ (ຫຼືອາດຈະບໍ່) ຂອງ ELK stack, ພິຈາລະນາວິທີທີ່ທ່ານສາມາດແຍກບັນທຶກ, ວິທີການສ້າງກາຟແລະ dashboards, ແລະຫນ້າທີ່ທີ່ຫນ້າສົນໃຈສາມາດເຮັດໄດ້ໂດຍໃຊ້ຕົວຢ່າງຂອງບັນທຶກຈາກ. Check Point firewall ຫຼືເຄື່ອງສະແກນຄວາມປອດໄພ OpenVas. ເພື່ອເລີ່ມຕົ້ນ, ໃຫ້ເບິ່ງວ່າມັນແມ່ນຫຍັງ - stack ELK, ແລະອົງປະກອບທີ່ມັນປະກອບດ້ວຍ.

"ELK stack" ແມ່ນຕົວຫຍໍ້ຂອງສາມໂຄງການແຫຼ່ງເປີດ: Elasticsearch, logstash и ຄູບາ. ພັດທະນາໂດຍ Elastic ພ້ອມກັບໂຄງການທີ່ກ່ຽວຂ້ອງທັງຫມົດ. Elasticsearch ແມ່ນຫຼັກຂອງລະບົບທັງຫມົດ, ເຊິ່ງລວມເອົາຫນ້າທີ່ຂອງຖານຂໍ້ມູນ, ການຄົ້ນຫາແລະລະບົບການວິເຄາະ. Logstash ເປັນທໍ່ປະມວນຜົນຂໍ້ມູນດ້ານເຊີບເວີທີ່ຮັບຂໍ້ມູນຈາກຫຼາຍແຫຼ່ງພ້ອມໆກັນ, ວິເຄາະບັນທຶກ, ແລະຫຼັງຈາກນັ້ນສົ່ງໄປທີ່ຖານຂໍ້ມູນ Elasticsearch. Kibana ອະນຸຍາດໃຫ້ຜູ້ໃຊ້ສາມາດເບິ່ງເຫັນຂໍ້ມູນໂດຍໃຊ້ຕາຕະລາງແລະກາຟໃນ Elasticsearch. ນອກນັ້ນທ່ານຍັງສາມາດບໍລິຫານຖານຂໍ້ມູນຜ່ານ Kibana. ຕໍ່ໄປ, ພວກເຮົາຈະພິຈາລະນາແຕ່ລະລະບົບແຍກຕ່າງຫາກໃນລາຍລະອຽດເພີ່ມເຕີມ.

logstash

Logstash ເປັນຜົນປະໂຫຍດສໍາລັບການປະມວນຜົນເຫດການບັນທຶກຈາກແຫຼ່ງຕ່າງໆ, ທີ່ທ່ານສາມາດເລືອກພາກສະຫນາມແລະຄ່າຂອງເຂົາເຈົ້າໃນຂໍ້ຄວາມ, ແລະທ່ານຍັງສາມາດກໍາຫນົດຄ່າການກັ່ນຕອງຂໍ້ມູນແລະການແກ້ໄຂ. ຫຼັງຈາກການຫມູນໃຊ້ທັງຫມົດ, Logstash redirects ເຫດການໄປຫາບ່ອນເກັບຂໍ້ມູນສຸດທ້າຍ. ຜົນປະໂຫຍດແມ່ນ configured ຜ່ານໄຟລ໌ການຕັ້ງຄ່າເທົ່ານັ້ນ.
ການຕັ້ງຄ່າ logstash ປົກກະຕິແມ່ນໄຟລ໌ທີ່ປະກອບດ້ວຍຫຼາຍກະແສຂໍ້ມູນຂາເຂົ້າ (ຂາເຂົ້າ), ການກັ່ນຕອງຫຼາຍສໍາລັບຂໍ້ມູນນີ້ (ການກັ່ນຕອງ) ແລະສາຍສົ່ງອອກຫຼາຍອັນ (ຜົນຜະລິດ). ມັນຄ້າຍຄືໄຟລ໌ການຕັ້ງຄ່າຫນຶ່ງຫຼືຫຼາຍ, ເຊິ່ງໃນສະບັບທີ່ງ່າຍດາຍທີ່ສຸດ (ເຊິ່ງບໍ່ມີຫຍັງເລີຍ) ເບິ່ງຄືວ່ານີ້:

input {
}

filter {
}

output {
}

ໃນ INPUT ພວກເຮົາກໍານົດວ່າພອດໃດທີ່ບັນທຶກຈະຖືກສົ່ງໄປຫາແລະຜ່ານໂປໂຕຄອນໃດ, ຫຼືຈາກໂຟນເດີໃດທີ່ຈະອ່ານໄຟລ໌ໃຫມ່ຫຼືປັບປຸງຢ່າງຕໍ່ເນື່ອງ. ໃນ FILTER ພວກເຮົາກໍານົດຕົວວິເຄາະບັນທຶກ: ການແຍກຊ່ອງຂໍ້ມູນ, ການແກ້ໄຂຄ່າ, ເພີ່ມພາລາມິເຕີໃຫມ່ຫຼືລຶບພວກມັນ. FILTER ແມ່ນພາກສະຫນາມສໍາລັບການຄຸ້ມຄອງຂໍ້ຄວາມທີ່ມາຮອດ Logstash ທີ່ມີທາງເລືອກໃນການດັດແກ້ຫຼາຍ. ໃນຜົນຜະລິດພວກເຮົາກໍານົດບ່ອນທີ່ພວກເຮົາສົ່ງບັນທຶກທີ່ວິເຄາະແລ້ວ, ໃນກໍລະນີທີ່ມັນແມ່ນ elasticsearch ຄໍາຮ້ອງຂໍ JSON ຖືກສົ່ງໄປໃນຊ່ອງທີ່ມີຄ່າທີ່ຖືກສົ່ງ, ຫຼືເປັນສ່ວນຫນຶ່ງຂອງ debug ມັນສາມາດຖືກສົ່ງອອກໄປຫາ stdout ຫຼືຂຽນໃສ່ໄຟລ໌.

ElasticSearch

ໃນເບື້ອງຕົ້ນ, Elasticsearch ແມ່ນການແກ້ໄຂສໍາລັບການຄົ້ນຫາແບບເຕັມຮູບແບບ, ແຕ່ມີສິ່ງອໍານວຍຄວາມສະດວກເພີ່ມເຕີມເຊັ່ນ: ການປັບຂະຫນາດງ່າຍ, ການຈໍາລອງແລະສິ່ງອື່ນໆ, ເຊິ່ງເຮັດໃຫ້ຜະລິດຕະພັນສະດວກຫຼາຍແລະເປັນການແກ້ໄຂທີ່ດີສໍາລັບໂຄງການທີ່ມີຂໍ້ມູນທີ່ມີປະລິມານຫຼາຍ. Elasticsearch ເປັນບ່ອນເກັບເອກະສານ JSON ທີ່ບໍ່ກ່ຽວຂ້ອງ (NoSQL) ແລະເຄື່ອງຈັກຊອກຫາໂດຍອີງໃສ່ການຄົ້ນຫາຂໍ້ຄວາມເຕັມ Lucene. ແພລະຕະຟອມຮາດແວແມ່ນ Java Virtual Machine, ດັ່ງນັ້ນລະບົບຕ້ອງການໂປເຊດເຊີແລະຊັບພະຍາກອນ RAM ຈໍານວນຫລາຍເພື່ອປະຕິບັດງານ.
ແຕ່ລະຂໍ້ຄວາມທີ່ເຂົ້າມາ, ບໍ່ວ່າຈະເປັນ Logstash ຫຼືການນໍາໃຊ້ API ສອບຖາມ, ຖືກດັດສະນີເປັນ "ເອກະສານ" - ຄ້າຍຄືກັນກັບຕາຕະລາງໃນ SQL ທີ່ກ່ຽວຂ້ອງ. ເອກະສານທັງຫມົດຖືກເກັບໄວ້ໃນດັດຊະນີ - ການປຽບທຽບຂອງຖານຂໍ້ມູນໃນ SQL.

ຕົວຢ່າງຂອງເອກະສານໃນຖານຂໍ້ມູນ:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

ການເຮັດວຽກທັງຫມົດກັບຖານຂໍ້ມູນແມ່ນອີງໃສ່ຄໍາຮ້ອງຂໍ JSON ໂດຍໃຊ້ REST API, ເຊິ່ງທັງຜະລິດເອກະສານໂດຍດັດສະນີຫຼືສະຖິຕິບາງຢ່າງໃນຮູບແບບ: ຄໍາຖາມ - ຄໍາຕອບ. ເພື່ອສະແດງພາບການຕອບສະຫນອງຕໍ່ການຮ້ອງຂໍ, Kibana ໄດ້ຖືກຂຽນ, ເຊິ່ງເປັນບໍລິການເວັບ.

ຄູບາ

Kibana ຊ່ວຍໃຫ້ທ່ານສາມາດຄົ້ນຫາ, ດຶງຂໍ້ມູນແລະສະຖິຕິການສອບຖາມຈາກຖານຂໍ້ມູນ elasticsearch, ແຕ່ກາຟແລະ dashboards ທີ່ສວຍງາມຫຼາຍແມ່ນຖືກສ້າງຂຶ້ນໂດຍອີງໃສ່ຄໍາຕອບ. ລະບົບຍັງມີຫນ້າທີ່ບໍລິຫານຖານຂໍ້ມູນ elasticsearch; ໃນບົດຄວາມຕໍ່ໄປພວກເຮົາຈະເບິ່ງການບໍລິການນີ້ໃນລາຍລະອຽດເພີ່ມເຕີມ. ຕອນນີ້ໃຫ້ສະແດງຕົວຢ່າງຂອງ dashboards ສໍາລັບ Check Point firewall ແລະເຄື່ອງສະແກນຊ່ອງໂຫວ່ OpenVas ທີ່ສາມາດສ້າງໄດ້.

ຕົວຢ່າງຂອງ dashboard ສໍາລັບ Check Point, ຮູບພາບແມ່ນສາມາດຄລິກໄດ້:

ຕົວຢ່າງຂອງ dashboard ສໍາລັບ OpenVas, ຮູບພາບແມ່ນສາມາດຄລິກໄດ້:

ສະຫລຸບ

ພວກເຮົາໄດ້ເບິ່ງສິ່ງທີ່ມັນປະກອບດ້ວຍ ELK stack, ພວກເຮົາໄດ້ຮູ້ຈັກເລັກນ້ອຍກັບຜະລິດຕະພັນຕົ້ນຕໍ, ຕໍ່ມາໃນຫຼັກສູດພວກເຮົາຈະພິຈາລະນາແຍກຕ່າງຫາກໃນການຂຽນໄຟລ໌ການຕັ້ງຄ່າ Logstash, ການຕັ້ງຄ່າ dashboards ໃນ Kibana, ຮູ້ຈັກກັບຄໍາຮ້ອງຂໍ API, ອັດຕະໂນມັດແລະອື່ນໆ!

ສະນັ້ນຢູ່ຕິດຕາມ (ໂທລະເລກ, ເຟສບຸກ, VK, TS Solution Blog), Yandex.Zen.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com