Grafana+Zabbix: ການສະແດງພາບຂອງການດໍາເນີນງານສາຍການຜະລິດ

ໃນບົດຄວາມນີ້ຂ້ອຍຢາກແບ່ງປັນປະສົບການຂອງຂ້ອຍໃນການນໍາໃຊ້ລະບົບແຫຼ່ງເປີດ Zabbix ແລະ Grafana ເພື່ອເບິ່ງພາບການດໍາເນີນງານຂອງສາຍການຜະລິດ. ຂໍ້ມູນດັ່ງກ່າວອາດຈະເປັນປະໂຫຍດຕໍ່ຜູ້ທີ່ຊອກຫາວິທີທີ່ໄວທີ່ຈະສະແດງສາຍຕາຫຼືວິເຄາະຂໍ້ມູນທີ່ເກັບກໍາຢູ່ໃນລະບົບອັດຕະໂນມັດອຸດສາຫະກໍາຫຼືໂຄງການ IoT. ບົດຄວາມບໍ່ແມ່ນບົດສອນລະອຽດ, ແຕ່ເປັນແນວຄວາມຄິດສໍາລັບລະບົບການຕິດຕາມໂດຍອີງໃສ່ຊອບແວແຫຼ່ງເປີດສໍາລັບໂຮງງານຜະລິດ.

ເຄື່ອງມື

Zabbix – ພວກ​ເຮົາ​ໄດ້​ນໍາ​ໃຊ້​ມັນ​ເປັນ​ເວ​ລາ​ດົນ​ນານ​ເພື່ອ​ຕິດ​ຕາມ​ກວດ​ກາ​ພື້ນ​ຖານ​ໂຄງ​ລ່າງ IT ຂອງ​ພືດ​. ລະບົບໄດ້ຫັນອອກເປັນສະດວກແລະທົ່ວໄປທີ່ພວກເຮົາໄດ້ເລີ່ມປ້ອນຂໍ້ມູນຈາກສາຍການຜະລິດ, ເຊັນເຊີແລະຕົວຄວບຄຸມເຂົ້າໄປໃນມັນ. ນີ້ອະນຸຍາດໃຫ້ພວກເຮົາເກັບກໍາຂໍ້ມູນ metrics ທັງຫມົດຢູ່ໃນສະຖານທີ່ດຽວ, ສ້າງກາຟທີ່ງ່າຍດາຍຂອງການບໍລິໂພກຊັບພະຍາກອນແລະການປະຕິບັດອຸປະກອນ, ແຕ່ພວກເຮົາຂາດການວິເຄາະແລະກາຟທີ່ສວຍງາມແທ້ໆ.

ກຣາຟານາ ເປັນເຄື່ອງມືທີ່ມີປະສິດທິພາບສໍາລັບການວິເຄາະແລະການເບິ່ງເຫັນຂໍ້ມູນ. ປັ໊ກອິນຈໍານວນຫລາຍຊ່ວຍໃຫ້ທ່ານເອົາຂໍ້ມູນຈາກແຫຼ່ງຕ່າງໆ (zabbix, clickhouse, influxDB), ປຸງແຕ່ງມັນທັນທີ (ຄິດໄລ່ຄ່າສະເລ່ຍ, ຜົນລວມ, ຄວາມແຕກຕ່າງ, ແລະອື່ນໆ) ແລະແຕ້ມກາຟທຸກປະເພດ (ຈາກເສັ້ນງ່າຍໆ, speedometers, ຕາ​ຕະ​ລາງ​ກັບ​ແຜນ​ວາດ​ສະ​ລັບ​ສັບ​ຊ້ອນ​)​.

Draw.io - ການບໍລິການທີ່ຊ່ວຍໃຫ້ທ່ານສາມາດແຕ້ມຈາກແຜນຜັງບລັອກແບບງ່າຍໆໄປຫາແຜນຊັ້ນໃນບັນນາທິການອອນໄລນ໌. ມີແມ່ແບບທີ່ກຽມພ້ອມຫຼາຍແລະວັດຖຸທີ່ຖືກແຕ້ມ. ຂໍ້​ມູນ​ສາ​ມາດ​ຖືກ​ສົ່ງ​ອອກ​ໄປ​ທຸກ​ຮູບ​ແບບ​ຮູບ​ພາບ​ທີ່​ສໍາ​ຄັນ​ຫຼື xml​.

ເອົາມັນທັງຫມົດຮ່ວມກັນ

ມີຫຼາຍບົດຄວາມທີ່ຂຽນກ່ຽວກັບວິທີການຕິດຕັ້ງແລະການຕັ້ງຄ່າ Grafana ແລະ Zabbix, ຂ້ອຍຈະບອກທ່ານກ່ຽວກັບຈຸດການຕັ້ງຄ່າຕົ້ນຕໍ.

"ໂຫມດເຄືອຂ່າຍ" (ໂຮດ) ຖືກສ້າງຂື້ນໃນເຊີບເວີ Zabbix, ເຊິ່ງຈະເປັນເຈົ້າຂອງ "ອົງປະກອບຂໍ້ມູນ" (ລາຍການ) ດ້ວຍການວັດແທກຈາກເຊັນເຊີຂອງພວກເຮົາ. ມັນແນະນໍາໃຫ້ຄິດໂດຍຜ່ານຊື່ຂອງ nodes ແລະອົງປະກອບຂໍ້ມູນລ່ວງຫນ້າແລະເຮັດໃຫ້ພວກເຂົາເປັນໂຄງສ້າງທີ່ເປັນໄປໄດ້, ເພາະວ່າພວກເຮົາຈະເຂົ້າເຖິງພວກມັນຈາກ grafana ໂດຍຜ່ານການສະແດງອອກເປັນປົກກະຕິ. ວິທີການນີ້ແມ່ນສະດວກເພາະວ່າທ່ານສາມາດໄດ້ຮັບຂໍ້ມູນຈາກກຸ່ມຂອງອົງປະກອບທີ່ມີຄໍາຮ້ອງຂໍດຽວ.

ເພື່ອຕັ້ງຄ່າ grafana ທ່ານຈະຕ້ອງຕິດຕັ້ງ plugins ເພີ່ມເຕີມ:

• Zabbix ໂດຍ Alexander Zobnin (alexanderzobnin-zabbix-app) - ການ​ເຊື່ອມ​ໂຍງ​ກັບ zabbix
• natel-discrete-panel – ປັ໊ກອິນສໍາລັບການເບິ່ງເຫັນແບບແຍກກັນໃນກາຟແນວນອນ
• pierosavi-imageit-panel – plugin ສໍາລັບການສະແດງຂໍ້ມູນຢູ່ເທິງສຸດຂອງຮູບພາບຂອງທ່ານ
• agenty-flowcharting-panel – plugin ສໍາລັບການສະແດງພາບແບບເຄື່ອນໄຫວຂອງແຜນວາດຈາກ draw.io

ການປະສົມປະສານກັບ Zabbix ຕົວຂອງມັນເອງຖືກຕັ້ງຄ່າໃນ grafana, ລາຍການເມນູ ConfigurationData sourcesZabbix. ຢູ່ທີ່ນັ້ນທ່ານຈໍາເປັນຕ້ອງລະບຸທີ່ຢູ່ຂອງເຄື່ອງແມ່ຂ່າຍ api zabbix, ນີ້ແມ່ນສິ່ງທີ່ຂ້ອຍມີ http://zabbix.local/zabbix/api_jsonrpc.php, ແລະເຂົ້າສູ່ລະບົບດ້ວຍລະຫັດຜ່ານເພື່ອເຂົ້າເຖິງ. ຖ້າທຸກສິ່ງທຸກຢ່າງຖືກເຮັດຢ່າງຖືກຕ້ອງ, ເມື່ອບັນທຶກການຕັ້ງຄ່າຈະມີຂໍ້ຄວາມທີ່ມີຈໍານວນ api version: zabbix API version: 5.0.1.

ການສ້າງ Dashboard

ນີ້ແມ່ນບ່ອນທີ່ magic ຂອງ Grafana ແລະ plugins ຂອງມັນເລີ່ມຕົ້ນ.

ປລັກອິນ Natel-discrete-panel
ພວກເຮົາມີຂໍ້ມູນກ່ຽວກັບສະຖານະຂອງມໍເຕີໃນສາຍ (ເຮັດວຽກ = 1, ບໍ່ເຮັດວຽກ = 0). ການ​ນໍາ​ໃຊ້​ເສັ້ນ​ສະ​ແດງ​ທີ່​ແຕກ​ຕ່າງ​ກັນ​, ພວກ​ເຮົາ​ສາ​ມາດ​ແຕ້ມ​ຂະ​ຫນາດ​ທີ່​ຈະ​ສະ​ແດງ​ໃຫ້​ເຫັນ​: ສະ​ຖາ​ນະ​ພາບ​ຂອງ​ເຄື່ອງ​ຈັກ​, ວິ​ທີ​ການ​ຫຼາຍ​ນາ​ທີ / ຊົ່ວ​ໂມງ​ຫຼື % ມັນ​ເຮັດ​ວຽກ​ແລະ​ເລື້ອຍໆ​ການ​ເລີ່ມ​ຕົ້ນ​.

ການເບິ່ງເຫັນສະຖານະຂອງເຄື່ອງຈັກ

ໃນຄວາມຄິດເຫັນຂອງຂ້ອຍ, ນີ້ແມ່ນຫນຶ່ງໃນກາຟທີ່ດີທີ່ສຸດສໍາລັບການເບິ່ງເຫັນປະສິດທິພາບຂອງຮາດແວ. ເຈົ້າສາມາດເຫັນໄດ້ທັນທີວ່າມັນຢູ່ຊື່ໆດົນປານໃດ ແລະໃນໂໝດໃດທີ່ມັນເຮັດວຽກເລື້ອຍໆ. ສາມາດມີຂໍ້ມູນຫຼາຍ, ມັນເປັນໄປໄດ້ທີ່ຈະລວບລວມພວກມັນໂດຍໄລຍະ, ປ່ຽນພວກມັນໂດຍຄ່າ (ຖ້າຄ່າແມ່ນ "1", ຫຼັງຈາກນັ້ນສະແດງມັນເປັນ "ON")

ປລັກອິນ pierosavi-imageit-panel

Imageit ແມ່ນສະດວກໃນການນໍາໃຊ້ໃນເວລາທີ່ທ່ານມີແຜນວາດແຕ້ມແລ້ວຫຼືແຜນພື້ນທີ່ທ່ານຕ້ອງການນໍາໃຊ້ຂໍ້ມູນຈາກເຊັນເຊີ. ໃນການຕັ້ງຄ່າການເບິ່ງເຫັນ, ທ່ານຈໍາເປັນຕ້ອງລະບຸ URL ໃຫ້ກັບຮູບພາບແລະເພີ່ມອົງປະກອບເຊັນເຊີທີ່ທ່ານຕ້ອງການ. ອົງປະກອບທີ່ປາກົດຢູ່ໃນຮູບແລະສາມາດຖືກຈັດໃສ່ໃນສະຖານທີ່ທີ່ຕ້ອງການດ້ວຍຫນູ.

ແຜນວາດ furnace ກັບ metrics ອຸນຫະພູມແລະຄວາມກົດດັນ

Agenty-flowcharting-panel plugin

ຂ້າພະເຈົ້າຢາກຈະສົນທະນາໃນລາຍລະອຽດເພີ່ມເຕີມກ່ຽວກັບການສ້າງຕາ FlowCharting, ເນື່ອງຈາກວ່າມັນເປັນເຄື່ອງມືທີ່ເປັນປະໂຫຍດ incredibly. ມັນຊ່ວຍໃຫ້ທ່ານສາມາດສ້າງແຜນວາດ mnemonic ແບບເຄື່ອນໄຫວ, ອົງປະກອບທີ່ຈະປະຕິບັດກັບຄ່າຂອງ metrics (ປ່ຽນສີ, ຕໍາແຫນ່ງ, ຊື່, ແລະອື່ນໆ).

ກຳລັງຮັບຂໍ້ມູນ

ການສ້າງອົງປະກອບການເບິ່ງເຫັນໃດໆໃນ Grafana ເລີ່ມຕົ້ນດ້ວຍການຮ້ອງຂໍຂໍ້ມູນຈາກແຫຼ່ງ, ໃນກໍລະນີຂອງພວກເຮົາມັນແມ່ນ zabbix. ການນໍາໃຊ້ແບບສອບຖາມ, ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ຮັບຕົວຊີ້ບອກທັງຫມົດທີ່ພວກເຮົາຕ້ອງການໃຊ້ໃນແຜນວາດ. ລາຍລະອຽດເມຕຣິກແມ່ນຊື່ຂອງອົງປະກອບຂໍ້ມູນໃນ Zabbix; ທ່ານສາມາດກໍານົດເປັນຕົວຊີ້ວັດສ່ວນບຸກຄົນຫຼືຊຸດທີ່ຖືກກັ່ນຕອງໂດຍຜ່ານການສະແດງຜົນປົກກະຕິ. ໃນຕົວຢ່າງຂອງຂ້ອຍ, ພາກສະຫນາມລາຍການປະກອບມີການສະແດງອອກ: "/(^line 1)|(availability)|(zucchini)/" - ນີ້ຫມາຍຄວາມວ່າ: ເລືອກທຸກຕົວຊີ້ບອກທີ່ຊື່ເລີ່ມຕົ້ນຢ່າງເຂັ້ມງວດດ້ວຍ "ແຖວ 1" ຫຼືມີຄໍາວ່າ "ມີຢູ່" ” ຫຼືປະກອບດ້ວຍຄໍາວ່າ "zucchini"

ຕົວຢ່າງຂອງການຕັ້ງຄ່າການຮ້ອງຂໍຂໍ້ມູນຂອງເຄື່ອງຈັກໃນແຖວທໍາອິດແລະຄວາມພ້ອມຂອງວັດຖຸດິບ

ການແປງຂໍ້ມູນ

ຂໍ້ມູນແຫຼ່ງອາດຈະບໍ່ຢູ່ໃນຮູບແບບທີ່ພວກເຮົາຈໍາເປັນຕ້ອງສະແດງມັນສະເຫມີ. ຕົວຢ່າງ, ພວກເຮົາມີຂໍ້ມູນນາທີຕໍ່ນາທີກ່ຽວກັບນ້ໍາຫນັກຂອງຜະລິດຕະພັນໃນຖັງ (ກິໂລ), ແລະພວກເຮົາຈໍາເປັນຕ້ອງສະແດງອັດຕາການຕື່ມໃນ t / ຊົ່ວໂມງ. ຂ້ອຍເຮັດແບບນີ້: ຂ້ອຍເອົາຂໍ້ມູນນ້ໍາຫນັກແລະປ່ຽນມັນດ້ວຍຟັງຊັນ grafana delta, ເຊິ່ງຄິດໄລ່ຄວາມແຕກຕ່າງລະຫວ່າງຄ່າ metric, ດັ່ງນັ້ນນ້ໍາຫນັກປະຈຸບັນປ່ຽນເປັນ kg / min. ຫຼັງຈາກນັ້ນ, ຂ້ອຍຄູນດ້ວຍ 0.06 ເພື່ອໃຫ້ໄດ້ຜົນເປັນໂຕນ/ຊົ່ວໂມງ. ນັບຕັ້ງແຕ່ການວັດແທກນ້ໍາຫນັກຖືກນໍາໃຊ້ໃນການສອບຖາມຫຼາຍໆຄັ້ງ, ຂ້ອຍລະບຸນາມແຝງໃຫມ່ສໍາລັບມັນ (setAlias) ແລະຈະໃຊ້ມັນໃນກົດລະບຽບການເບິ່ງເຫັນ.

ຕົວຢ່າງຂອງການໃຊ້ delta ແລະຕົວຄູນແລະປ່ຽນຊື່ metric ໃນການສອບຖາມ

ນີ້ແມ່ນຕົວຢ່າງອື່ນຂອງການແປງຂໍ້ມູນ: ຂ້ອຍຈໍາເປັນຕ້ອງນັບຈໍານວນຊຸດ (ການເລີ່ມຕົ້ນຂອງຮອບວຽນ = ເຄື່ອງຈັກເລີ່ມຕົ້ນ). metric ແມ່ນຄິດໄລ່ໂດຍອີງໃສ່ສະຖານະພາບຂອງເຄື່ອງຈັກ "ເສັ້ນ 1 - pump pump ຈາກ tank 1 (ສະຖານະ)". ການຫັນປ່ຽນ: ພວກເຮົາປ່ຽນຂໍ້ມູນຂອງ metric ຕົ້ນສະບັບກັບຟັງຊັນ delta (ຄວາມແຕກຕ່າງຂອງຄ່າ), ດັ່ງນັ້ນ metric ຈະມີມູນຄ່າ "+1" ສໍາລັບການເລີ່ມຕົ້ນເຄື່ອງຈັກ, "-1" ສໍາລັບການຢຸດແລະ "0" ເມື່ອເຄື່ອງຈັກເຮັດ. ບໍ່​ມີ​ການ​ປ່ຽນ​ແປງ​ສະ​ຖາ​ນະ​ພາບ​ຂອງ​ຕົນ​. ຫຼັງຈາກນັ້ນ, ຂ້າພະເຈົ້າເອົາຄ່າທັງຫມົດຫນ້ອຍກວ່າ 1 ແລະລວມພວກມັນ. ຜົນໄດ້ຮັບແມ່ນຈໍານວນຂອງເຄື່ອງຈັກໃນການເລີ່ມຕົ້ນ.

ຕົວຢ່າງຂອງການປ່ຽນຂໍ້ມູນຈາກສະຖານະປັດຈຸບັນເປັນຈໍານວນເລີ່ມຕົ້ນ

ໃນປັດຈຸບັນກ່ຽວກັບການເບິ່ງເຫັນຕົວມັນເອງ

ໃນ​ການ​ຕັ້ງ​ຄ່າ​ການ​ສະ​ແດງ​ມີ​ປຸ່ມ "ດັດ​ແກ້​ການ​ແຕ້ມ​"​; ມັນ​ເປີດ​ຕົວ​ບັນ​ນາ​ທິ​ການ​ທີ່​ທ່ານ​ສາ​ມາດ​ແຕ້ມ​ແຜນ​ວາດ​ໄດ້​. ແຕ່ລະວັດຖຸໃນແຜນວາດມີພາລາມິເຕີຂອງຕົນເອງ. ຕົວຢ່າງ, ຖ້າທ່ານກໍານົດການຕັ້ງຄ່າຕົວອັກສອນໃນບັນນາທິການ, ພວກມັນຈະຖືກນໍາໄປໃຊ້ກັບການເບິ່ງເຫັນຂໍ້ມູນໃນ Grafana.

ນີ້ແມ່ນສິ່ງທີ່ບັນນາທິການເບິ່ງຄືໃນ Draw.io

ຫຼັງຈາກບັນທຶກແຜນວາດ, ມັນຈະປາກົດຢູ່ໃນ grafana ແລະທ່ານສາມາດສ້າງກົດລະບຽບສໍາລັບການປ່ຽນແປງອົງປະກອບ.

ໃນພາລາມິເຕີ () ພວກເຮົາລະບຸ:

• ຕົວເລືອກ—ຕັ້ງຊື່ກົດລະບຽບ, ຊື່ ຫຼືນາມແຝງຂອງຕົວວັດແທກທີ່ຂໍ້ມູນຈະຖືກໃຊ້ (ນຳໃຊ້ກັບຕົວວັດແທກ). ປະເພດຂອງການລວບລວມຂໍ້ມູນ (Aggregation) ມີຜົນກະທົບຕໍ່ຜົນໄດ້ຮັບສຸດທ້າຍຂອງ metric, ດັ່ງນັ້ນ Last ຫມາຍຄວາມວ່າຄ່າສຸດທ້າຍຈະຖືກເລືອກ, avg ແມ່ນຄ່າສະເລ່ຍສໍາລັບໄລຍະເວລາທີ່ເລືອກຢູ່ໃນມຸມຂວາເທິງ.
• Thresholds - ພາລາມິເຕີຄ່າ threshold ອະທິບາຍເຫດຜົນຂອງການໃຊ້ສີ, ນັ້ນແມ່ນ, ສີທີ່ເລືອກຈະຖືກນໍາໃຊ້ກັບອົງປະກອບໃນແຜນວາດໂດຍອີງຕາມຂໍ້ມູນ metric. ໃນຕົວຢ່າງຂອງຂ້ອຍ, ຖ້າຄ່າ metrics ແມ່ນ "0", ສະຖານະພາບແມ່ນ "OK", ສີຈະເປັນສີຂຽວ, ຖ້າຄ່າແມ່ນ "> 1", ສະຖານະພາບຈະເປັນສໍາຄັນແລະສີຈະເປັນສີແດງ.
• Color/Tooltip Mappings" ແລະ "Label/Text Mappings" - ການເລືອກອົງປະກອບ schema ແລະສະຖານະການສໍາລັບພຶດຕິກໍາຂອງມັນ. ໃນສະຖານະການທໍາອິດ, ວັດຖຸຈະຖືກທາສີ, ໃນທີສອງ, ຈະມີຂໍ້ຄວາມໃສ່ມັນດ້ວຍຂໍ້ມູນຈາກ metric. ເພື່ອເລືອກວັດຖຸໃນແຜນວາດ, ທ່ານຈໍາເປັນຕ້ອງຄລິກໃສ່ເຄື່ອງຫມາຍວົງຈອນແລະຄລິກໃສ່ແຜນວາດ.

ໃນຕົວຢ່າງນີ້, ຂ້ອຍທາສີປັ໊ມແລະລູກສອນສີແດງຖ້າມັນເຮັດວຽກແລະສີຂຽວຖ້າມັນບໍ່ມີ.

ການນໍາໃຊ້ plugin flowcharting, ຂ້ອຍສາມາດແຕ້ມແຜນວາດຂອງເສັ້ນທັງຫມົດ, ເຊິ່ງ:

1. ສີຂອງຫນ່ວຍງານມີການປ່ຽນແປງຕາມສະຖານະພາບຂອງເຂົາເຈົ້າ
2. ມີສັນຍານເຕືອນສໍາລັບການບໍ່ມີຜະລິດຕະພັນຢູ່ໃນບັນຈຸ
3. ການຕັ້ງຄ່າຄວາມຖີ່ຂອງມໍເຕີຖືກສະແດງ
4. ຄວາມໄວການຕື່ມ / ການຖິ້ມຂີ້ເຫຍື້ອຖັງທໍາອິດ
5. ຈໍາ​ນວນ​ຂອງ​ຮອບ​ວຽນ​ຂອງ​ການ​ດໍາ​ເນີນ​ງານ​ເສັ້ນ (batch​) ຖືກ​ຄິດ​ໄລ່​

ການສະແດງພາບຂອງການດໍາເນີນງານຂອງສາຍການຜະລິດ

ຜົນ

ສິ່ງທີ່ຍາກທີ່ສຸດສໍາລັບຂ້ອຍແມ່ນການໄດ້ຮັບຂໍ້ມູນຈາກຕົວຄວບຄຸມ. ຂໍຂອບໃຈກັບ versatility ຂອງ Zabbix ໃນການຮັບຂໍ້ມູນແລະຄວາມຍືດຫຍຸ່ນຂອງ Grafana ເນື່ອງຈາກ plugins, ມັນໃຊ້ເວລາພຽງແຕ່ສອງສາມມື້ເພື່ອສ້າງຫນ້າຈໍຕິດຕາມກວດກາສາຍການຜະລິດທີ່ສົມບູນແບບ. Visualization ເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະເບິ່ງກາຟແລະສະຖິຕິຂອງລັດ, ບວກກັບການເຂົ້າເຖິງໄດ້ງ່າຍໂດຍຜ່ານເວັບເພື່ອທຸກຄົນທີ່ສົນໃຈ - ທັງຫມົດນີ້ເຮັດໃຫ້ມັນສາມາດກໍານົດໄດ້ໄວຂອດຄໍແລະການນໍາໃຊ້ທີ່ບໍ່ມີປະສິດທິພາບຂອງຫນ່ວຍງານ.

ສະຫລຸບ

ຂ້ອຍມັກການປະສົມປະສານ Zabbix + Grafana ແລະຂ້ອຍຂໍແນະນໍາໃຫ້ເອົາໃຈໃສ່ມັນຖ້າທ່ານຕ້ອງການການປຸງແຕ່ງຂໍ້ມູນຢ່າງໄວວາຈາກຕົວຄວບຄຸມຫຼືເຊັນເຊີໂດຍບໍ່ມີການຂຽນໂປຼແກຼມຫຼືປະຕິບັດຜະລິດຕະພັນການຄ້າທີ່ສັບສົນ. ແນ່ນອນ, ນີ້ຈະບໍ່ທົດແທນລະບົບ SCADA ທີ່ເປັນມືອາຊີບ, ແຕ່ມັນຈະພຽງພໍເປັນເຄື່ອງມືສໍາລັບການກວດສອບສູນກາງຂອງການຜະລິດທັງຫມົດ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com