ການສ້າງ Dashboard ໃນ Kibana ເພື່ອຕິດຕາມບັນທຶກ

ສະບາຍດີ, ຂ້ອຍຊື່ Eugene, ຂ້ອຍເປັນຫົວໜ້າທີມ B2B ຢູ່ Citymobil. ຫນຶ່ງໃນວຽກງານຂອງທີມງານຂອງພວກເຮົາແມ່ນເພື່ອສະຫນັບສະຫນູນການເຊື່ອມໂຍງສໍາລັບການສັ່ງ taxi ຈາກຄູ່ຮ່ວມງານ, ແລະເພື່ອຮັບປະກັນການບໍລິການທີ່ຫມັ້ນຄົງ, ພວກເຮົາສະເຫມີຕ້ອງເຂົ້າໃຈສິ່ງທີ່ເກີດຂຶ້ນໃນ microservices ຂອງພວກເຮົາ. ແລະສໍາລັບການນີ້, ທ່ານຈໍາເປັນຕ້ອງໄດ້ຕິດຕາມກວດກາຢູ່ສະເຫມີບັນທຶກ.

ໃນ Citymobil, ພວກເຮົາໃຊ້ ELK stack (ElasticSearch, Logstash, Kibana) ເພື່ອເຮັດວຽກກັບບັນທຶກ, ແລະຈໍານວນຂໍ້ມູນທີ່ເຂົ້າມາມີຂະຫນາດໃຫຍ່. ການຊອກຫາບັນຫາໃນການຮ້ອງຂໍມະຫາຊົນນີ້ທີ່ອາດຈະປາກົດຫຼັງຈາກການນໍາໃຊ້ລະຫັດໃຫມ່ແມ່ນຂ້ອນຂ້າງຍາກ. ແລະສໍາລັບການກໍານົດສາຍຕາຂອງພວກເຂົາ, Kibana ມີສ່ວນ Dashboard.

ມີບົດຄວາມບໍ່ຫຼາຍປານໃດກ່ຽວກັບHabre ກັບຕົວຢ່າງຂອງວິທີການຕັ້ງ stack ELK ເພື່ອຮັບແລະເກັບຮັກສາຂໍ້ມູນ, ແຕ່ບໍ່ມີເອກະສານທີ່ກ່ຽວຂ້ອງໃນການສ້າງ Dashboard. ດັ່ງນັ້ນ, ຂ້ອຍຕ້ອງການສະແດງວິທີການສ້າງການສະແດງພາບຂອງຂໍ້ມູນໂດຍອີງໃສ່ບັນທຶກທີ່ເຂົ້າມາໃນ Kibana.

ການປັບ

ເພື່ອເຮັດໃຫ້ມັນຊັດເຈນຂຶ້ນ, ຂ້ອຍສ້າງຮູບພາບ Docker ກັບ ELK ແລະ Filebeat. ແລະວາງໄວ້ໃນຖັງຂະຫນາດນ້ອຍ ໂຄງການ ໃນ Go, ເຊິ່ງສໍາລັບຕົວຢ່າງຂອງພວກເຮົາຈະສ້າງບັນທຶກການທົດສອບ. ຂ້າ​ພະ​ເຈົ້າ​ຈະ​ບໍ່​ໄດ້​ອະ​ທິ​ບາຍ​ໃນ​ລາຍ​ລະ​ອຽດ​ການ​ຕັ້ງ​ຄ່າ​ຂອງ ELK​, ມີ​ພຽງ​ພໍ​ຂຽນ​ກ່ຽວ​ກັບ​ມັນ​ກ່ຽວ​ກັບ​ການ Habré​.

Clone the config repository docker-compose ແລະການຕັ້ງຄ່າ ELK, ແລະເປີດມັນດ້ວຍຄໍາສັ່ງ docker-compose up. ຕັ້ງໃຈບໍ່ເພີ່ມກະແຈ -dເພື່ອເບິ່ງຄວາມຄືບຫນ້າຂອງ stack ELK.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

ຖ້າທຸກສິ່ງທຸກຢ່າງຖືກຕັ້ງຄ່າຢ່າງຖືກຕ້ອງ, ພວກເຮົາຈະເຫັນການເຂົ້າຢູ່ໃນບັນທຶກ (ບາງທີອາດບໍ່ແມ່ນທັນທີ, ຂະບວນການເລີ່ມຕົ້ນຖັງທີ່ມີ stack ທັງຫມົດອາດຈະໃຊ້ເວລາຫຼາຍນາທີ):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

ໂດຍທີ່ຢູ່ localhost:5061 Kibana ຄວນເປີດ.

ສິ່ງດຽວທີ່ພວກເຮົາຕ້ອງກໍາຫນົດຄ່າແມ່ນເພື່ອສ້າງ Index Pattern ສໍາລັບ Kibana ທີ່ມີຂໍ້ມູນກ່ຽວກັບຂໍ້ມູນທີ່ຈະສະແດງ. ເພື່ອເຮັດສິ່ງນີ້, ພວກເຮົາຈະປະຕິບັດການຮ້ອງຂໍ curl ຫຼືປະຕິບັດຊຸດຂອງການປະຕິບັດໃນການໂຕ້ຕອບຮູບພາບ.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

ການສ້າງຮູບແບບດັດສະນີຜ່ານ GUI
ເພື່ອຕັ້ງຄ່າ, ເລືອກພາກ Discover ໃນເມນູດ້ານຊ້າຍ, ແລະໄປຫາຫນ້າການສ້າງຮູບແບບດັດສະນີ.

ໂດຍການຄລິກໃສ່ປຸ່ມ "ສ້າງຮູບແບບດັດສະນີ", ພວກເຮົາໄປຫາຫນ້າສ້າງດັດສະນີ. ໃນຊ່ອງ "ຊື່ຮູບແບບດັດສະນີ", ໃສ່ "logstash-*". ຖ້າທຸກສິ່ງທຸກຢ່າງຖືກຕັ້ງຄ່າຢ່າງຖືກຕ້ອງ, ຂ້າງລຸ່ມນີ້ Kibana ຈະສະແດງດັດຊະນີທີ່ຕົກຢູ່ພາຍໃຕ້ກົດລະບຽບ.

ໃນຫນ້າຕໍ່ໄປ, ເລືອກພາກສະຫນາມທີ່ສໍາຄັນທີ່ມີເວລາ, ໃນກໍລະນີຂອງພວກເຮົາມັນແມ່ນ @timestamp.

ນີ້ຈະນໍາຫນ້າການຕັ້ງຄ່າດັດສະນີ, ແຕ່ບໍ່ມີການດໍາເນີນການເພີ່ມເຕີມຈາກພວກເຮົາໃນເວລານີ້.

ໃນປັດຈຸບັນພວກເຮົາສາມາດໄປຫາພາກ Discover ອີກເທື່ອຫນຶ່ງ, ບ່ອນທີ່ພວກເຮົາຈະເຫັນລາຍການບັນທຶກ.

Dashboard

ໃນເມນູດ້ານຊ້າຍ, ໃຫ້ຄລິກໃສ່ສ່ວນການສ້າງ Dashboard ແລະໄປຫາຫນ້າທີ່ສອດຄ້ອງກັນ.

ໃຫ້ຄລິກໃສ່ "ສ້າງ dashboard ໃຫມ່" ແລະໄປຫາຫນ້າສໍາລັບການເພີ່ມວັດຖຸໃສ່ Dashboard.

ໃຫ້ຄລິກໃສ່ປຸ່ມ "ສ້າງໃຫມ່", ແລະລະບົບຈະເຕືອນໃຫ້ທ່ານເລືອກປະເພດຂອງການສະແດງຂໍ້ມູນ. Kibana ມີຈໍານວນຂະຫນາດໃຫຍ່ຂອງພວກເຂົາ, ແຕ່ພວກເຮົາຈະເບິ່ງການສ້າງຮູບພາບທີ່ເປັນຕົວແທນຂອງ "ແຖບແນວຕັ້ງ" ແລະຕາຕະລາງ "ຕາຕະລາງຂໍ້ມູນ". ປະເພດຂອງການນໍາສະເຫນີອື່ນໆແມ່ນຖືກກໍານົດໄວ້ໃນລັກສະນະທີ່ຄ້າຍຄືກັນ. 

ວັດຖຸທີ່ມີຢູ່ບາງອັນມີປ້າຍຊື່ B ແລະ E, ຊຶ່ງຫມາຍຄວາມວ່າຮູບແບບແມ່ນການທົດລອງຫຼືຢູ່ໃນການທົດສອບເບຕ້າ. ເມື່ອເວລາຜ່ານໄປ, ຮູບແບບອາດຈະປ່ຽນແປງຫຼືຫາຍໄປຈາກ Kibana.

ແຖບແນວຕັ້ງ

ສໍາລັບຕົວຢ່າງ "ແຖບແນວຕັ້ງ", ໃຫ້ສ້າງ histogram ຂອງອັດຕາສ່ວນຂອງສະຖານະການຕອບສະຫນອງສົບຜົນສໍາເລັດແລະບໍ່ສໍາເລັດຂອງການບໍລິການຂອງພວກເຮົາ. ໃນຕອນທ້າຍຂອງການຕັ້ງຄ່າ, ພວກເຮົາໄດ້ຮັບເສັ້ນສະແດງດັ່ງຕໍ່ໄປນີ້:

ພວກ​ເຮົາ​ຈະ​ຈັດ​ປະ​ເພດ​ການ​ຮ້ອງ​ຂໍ​ທັງ​ຫມົດ​ທີ່​ມີ​ສະ​ຖາ​ນະ​ການ​ຕອບ​ສະ​ຫນອງ <400 ເປັນ​ສໍາ​ເລັດ​ຜົນ​, ແລະ​>= 400 ເປັນ​ບັນ​ຫາ​.

ເພື່ອສ້າງຕາຕະລາງ "Vertical Bar", ພວກເຮົາຈໍາເປັນຕ້ອງເລືອກແຫຼ່ງຂໍ້ມູນ. ເລືອກຮູບແບບດັດສະນີທີ່ພວກເຮົາສ້າງກ່ອນຫນ້ານີ້.

ໂດຍຄ່າເລີ່ມຕົ້ນ, ກຣາບແຂງອັນດຽວຈະປາກົດຂຶ້ນຫຼັງຈາກເລືອກແຫຼ່ງຂໍ້ມູນ. ໃຫ້ຕັ້ງມັນຂຶ້ນ.

ໃນບລັອກ "Buckets", ກົດປຸ່ມ "ຕື່ມ", ເລືອກ "X-asis" ແລະຕັ້ງຄ່າແກນ X. ໃຫ້ພວກເຮົາກໍານົດເວລາຂອງລາຍການໃນບັນທຶກຕາມມັນ. ໃນພາກສະຫນາມ "ການລວບລວມ", ເລືອກ "Date Histogram", ແລະໃນ "Field" ເລືອກ "@timestamp", ຊີ້ບອກເວລາ. ປ່ອຍໃຫ້ "ໄລຍະຫ່າງຂັ້ນຕ່ໍາ" ຢູ່ໃນສະຖານະ "ອັດຕະໂນມັດ", ແລະມັນຈະປັບອັດຕະໂນມັດກັບການສະແດງຂອງພວກເຮົາ. 

ໂດຍການຄລິກໃສ່ປຸ່ມ "ອັບເດດ", ພວກເຮົາຈະເຫັນເສັ້ນສະແດງທີ່ມີຈໍານວນຄໍາຮ້ອງຂໍທຸກໆ 30 ວິນາທີ.

ຕອນນີ້ໃຫ້ພວກເຮົາຕັ້ງຖັນຕາມແກນ Y. ຕອນນີ້ພວກເຮົາສະແດງຈໍານວນຄໍາຮ້ອງຂໍທັງຫມົດໃນໄລຍະເວລາທີ່ເລືອກ.

ໃຫ້ປ່ຽນຄ່າ "ການລວບລວມ" ເປັນ "Sum Bucket", ເຊິ່ງຈະຊ່ວຍໃຫ້ພວກເຮົາລວມຂໍ້ມູນສໍາລັບຄໍາຮ້ອງຂໍທີ່ປະສົບຜົນສໍາເລັດແລະບໍ່ປະສົບຜົນສໍາເລັດ. ໃນ Bucket -> Aggregation block, ເລືອກການລວບລວມໂດຍ "Filters" ແລະກໍານົດການກັ່ນຕອງໂດຍ "statusCode >= 400". ແລະໃນພາກສະຫນາມ "ປ້າຍກໍານົດເອງ", ພວກເຮົາຊີ້ບອກຊື່ຂອງພວກເຮົາຂອງຕົວຊີ້ວັດສໍາລັບການສະແດງຄວາມເຂົ້າໃຈຫຼາຍໃນຄວາມຫມາຍໃນຕາຕະລາງແລະໃນບັນຊີລາຍຊື່ທົ່ວໄປ.

ໂດຍການຄລິກໃສ່ປຸ່ມ "ອັບເດດ" ພາຍໃຕ້ບລັອກການຕັ້ງຄ່າ, ພວກເຮົາຈະໄດ້ຮັບກາຟທີ່ມີການຮ້ອງຂໍບັນຫາ.

ຖ້າທ່ານຄລິກໃສ່ຮູບວົງມົນຖັດຈາກຄວາມຫມາຍ, ປ່ອງຢ້ຽມຈະປາກົດຂຶ້ນທີ່ທ່ານສາມາດປ່ຽນສີຂອງຖັນໄດ້.

ຕອນນີ້ໃຫ້ພວກເຮົາເພີ່ມຂໍ້ມູນການຮ້ອງຂໍທີ່ປະສົບຜົນສໍາເລັດໃນຕາຕະລາງ. ໃນສ່ວນ "Metrics", ໃຫ້ຄລິກໃສ່ປຸ່ມ "Add" ແລະເລືອກ "Y-axis".

ໃນ metric ທີ່ສ້າງຂຶ້ນ, ພວກເຮົາເຮັດການຕັ້ງຄ່າດຽວກັນກັບການຮ້ອງຂໍທີ່ຜິດພາດ. ພຽງແຕ່ຢູ່ໃນຕົວກອງທີ່ພວກເຮົາລະບຸ "statusCode < 400".

ໂດຍການປ່ຽນສີຂອງຖັນໃຫມ່, ພວກເຮົາໄດ້ຮັບການສະແດງອັດຕາສ່ວນຂອງຄໍາຮ້ອງຂໍທີ່ມີບັນຫາແລະປະສົບຜົນສໍາເລັດ.

ໂດຍການກົດປຸ່ມ "ບັນທຶກ" ຢູ່ເທິງສຸດຂອງຫນ້າຈໍແລະລະບຸຊື່, ພວກເຮົາຈະເຫັນຕາຕະລາງທໍາອິດໃນ Dashboard.

ຕາຕະລາງຂໍ້ມູນ

ຕອນນີ້ພິຈາລະນາເບິ່ງຕາຕະລາງ "ຕາຕະລາງຂໍ້ມູນ". ໃຫ້ສ້າງຕາຕະລາງທີ່ມີບັນຊີລາຍຊື່ຂອງ URL ທັງຫມົດທີ່ຮ້ອງຂໍແລະຈໍານວນຄໍາຮ້ອງຂໍເຫຼົ່ານັ້ນ. ເຊັ່ນດຽວກັນກັບຕົວຢ່າງແຖບຕັ້ງ, ພວກເຮົາທໍາອິດເລືອກແຫຼ່ງຂໍ້ມູນ.

ຫຼັງຈາກນັ້ນ, ຕາຕະລາງທີ່ມີຖັນຫນຶ່ງຈະຖືກສະແດງຢູ່ໃນຫນ້າຈໍ, ເຊິ່ງສະແດງໃຫ້ເຫັນຈໍານວນການຮ້ອງຂໍທັງຫມົດສໍາລັບຊ່ວງເວລາທີ່ເລືອກ.

ພວກເຮົາຈະປ່ຽນພຽງແຕ່ "Buckets" block. ກົດປຸ່ມ "ຕື່ມ" ແລະເລືອກ "ແຍກແຖວ".

ໃນຊ່ອງ "ການລວບລວມ", ເລືອກ "ເງື່ອນໄຂ". ແລະໃນພາກສະຫນາມທີ່ປາກົດ "ພາກສະຫນາມ" ເລືອກ "url.keyword".

ໂດຍການລະບຸຄ່າ "Url" ໃນຊ່ອງ "ປ້າຍກໍານົດເອງ" ແລະຄລິກໃສ່ "ອັບເດດ", ພວກເຮົາຈະໄດ້ຮັບຕາຕະລາງທີ່ຕ້ອງການດ້ວຍຈໍານວນຄໍາຮ້ອງຂໍສໍາລັບແຕ່ລະ URLs ສໍາລັບໄລຍະເວລາທີ່ເລືອກ.

ຢູ່ເທິງສຸດຂອງຫນ້າຈໍ, ໃຫ້ຄລິກໃສ່ປຸ່ມ "ບັນທຶກ" ອີກເທື່ອຫນຶ່ງແລະລະບຸຊື່ຂອງຕາຕະລາງ, ຕົວຢ່າງ Urls. ໃຫ້ກັບຄືນໄປຫາ Dashboard ແລະເບິ່ງທັງສອງມຸມເບິ່ງທີ່ສ້າງຂຶ້ນ.

ເຮັດວຽກກັບ Dashboard

ເມື່ອສ້າງ Dashboard, ພວກເຮົາກໍານົດພຽງແຕ່ຕົວກໍານົດການເບິ່ງຕົ້ນຕໍໃນການຕັ້ງຄ່າວັດຖຸສະແດງ. ມັນບໍ່ມີຄວາມຫມາຍທີ່ຈະລະບຸຂໍ້ມູນສໍາລັບການກັ່ນຕອງໃນວັດຖຸ, ຕົວຢ່າງ, "ຊ່ວງວັນທີ", "ການກັ່ນຕອງໂດຍຜູ້ໃຊ້", "ການກັ່ນຕອງໂດຍປະເທດທີ່ຮ້ອງຂໍ", ແລະອື່ນໆ. ມັນສະດວກກວ່າທີ່ຈະລະບຸໄລຍະເວລາທີ່ຕ້ອງການຫຼືກໍານົດການກັ່ນຕອງທີ່ຈໍາເປັນໃນແຖບສອບຖາມ, ເຊິ່ງຕັ້ງຢູ່ຂ້າງເທິງວັດຖຸ.

ການກັ່ນຕອງທີ່ເພີ່ມໃສ່ໃນແຜງນີ້ຈະຖືກນໍາໄປໃຊ້ກັບ Dashboard ທັງຫມົດ, ແລະວັດຖຸສະແດງທັງຫມົດຈະຖືກສ້າງຂື້ນໃຫມ່ຕາມຂໍ້ມູນການກັ່ນຕອງຕົວຈິງ.

ສະຫລຸບ

Kibana ເປັນເຄື່ອງມືທີ່ມີປະສິດທິພາບທີ່ຊ່ວຍໃຫ້ທ່ານສາມາດເບິ່ງເຫັນຂໍ້ມູນໃດໆໃນວິທີທີ່ສະດວກ. ຂ້າພະເຈົ້າໄດ້ພະຍາຍາມສະແດງການຕັ້ງຄ່າຂອງສອງປະເພດຕົ້ນຕໍຂອງການສະແດງ. ແຕ່ປະເພດອື່ນໆຖືກຕັ້ງຄ່າໃນລັກສະນະທີ່ຄ້າຍຄືກັນ. ແລະຄວາມອຸດົມສົມບູນຂອງການຕັ້ງຄ່າທີ່ຂ້ອຍໄດ້ປະໄວ້ "ຫລັງສາກ" ຈະຊ່ວຍໃຫ້ທ່ານສາມາດປັບແຕ່ງຕາຕະລາງທີ່ມີຄວາມຍືດຫຍຸ່ນຫຼາຍເພື່ອໃຫ້ເຫມາະສົມກັບຄວາມຕ້ອງການຂອງເຈົ້າ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com