ການສ້າງລະບົບອັດຕະໂນມັດເພື່ອຕ້ານຜູ້ບຸກລຸກຢູ່ໃນເວັບໄຊ (ການສໍ້ໂກງ)

ສໍາລັບທີ່ຜ່ານມາປະມານຫົກເດືອນຂ້າພະເຈົ້າໄດ້ສ້າງລະບົບເພື່ອຕ້ານການສໍ້ໂກງ (ກິດຈະກໍາການສໍ້ໂກງ, ການສໍ້ໂກງ, ແລະອື່ນໆ) ໂດຍບໍ່ມີໂຄງສ້າງພື້ນຖານສໍາລັບການນີ້. ແນວຄວາມຄິດໃນມື້ນີ້ທີ່ພວກເຮົາໄດ້ພົບເຫັນແລະປະຕິບັດໃນລະບົບຂອງພວກເຮົາຊ່ວຍໃຫ້ພວກເຮົາກວດພົບແລະວິເຄາະກິດຈະກໍາການສໍ້ໂກງຫຼາຍ. ໃນບົດຄວາມນີ້, ຂ້າພະເຈົ້າຢາກເວົ້າກ່ຽວກັບຫຼັກການທີ່ພວກເຮົາປະຕິບັດຕາມແລະສິ່ງທີ່ພວກເຮົາເຮັດເພື່ອບັນລຸສະຖານະຂອງລະບົບຂອງພວກເຮົາໃນປະຈຸບັນ, ໂດຍບໍ່ມີການເຂົ້າໄປໃນພາກສ່ວນດ້ານວິຊາການ.

ຫຼັກການຂອງລະບົບຂອງພວກເຮົາ

ເມື່ອທ່ານໄດ້ຍິນຄໍາສັບຕ່າງໆເຊັ່ນ "ອັດຕະໂນມັດ" ແລະ "ການສໍ້ໂກງ", ທ່ານມັກຈະເລີ່ມຄິດກ່ຽວກັບການຮຽນຮູ້ເຄື່ອງຈັກ, Apache Spark, Hadoop, Python, Airflow, ແລະເຕັກໂນໂລຢີອື່ນໆຈາກລະບົບນິເວດຂອງ Apache Foundation ແລະພາກສະຫນາມວິທະຍາສາດຂໍ້ມູນ. ຂ້າພະເຈົ້າຄິດວ່າມັນມີລັກສະນະຫນຶ່ງຂອງການນໍາໃຊ້ເຄື່ອງມືເຫຼົ່ານີ້ທີ່ມັກຈະບໍ່ໄດ້ຮັບການກ່າວເຖິງ: ພວກເຂົາຕ້ອງການເງື່ອນໄຂເບື້ອງຕົ້ນບາງຢ່າງໃນລະບົບວິສາຫະກິດຂອງທ່ານກ່ອນທີ່ທ່ານຈະສາມາດເລີ່ມໃຊ້ພວກມັນໄດ້. ໃນສັ້ນ, ທ່ານຕ້ອງການແພລະຕະຟອມຂໍ້ມູນວິສາຫະກິດທີ່ປະກອບມີຖານຂໍ້ມູນແລະຄັງສິນຄ້າ. ແຕ່ຈະເປັນແນວໃດຖ້າທ່ານບໍ່ມີເວທີດັ່ງກ່າວແລະຍັງຈໍາເປັນຕ້ອງພັດທະນາການປະຕິບັດນີ້? ຫຼັກການຕໍ່ໄປນີ້ທີ່ຂ້າພະເຈົ້າແບ່ງປັນຂ້າງລຸ່ມນີ້ໄດ້ຊ່ວຍໃຫ້ພວກເຮົາບັນລຸຈຸດທີ່ພວກເຮົາສາມາດສຸມໃສ່ການປັບປຸງແນວຄວາມຄິດຂອງພວກເຮົາແທນທີ່ຈະຊອກຫາຫນຶ່ງທີ່ເຮັດວຽກ. ຢ່າງໃດກໍຕາມ, ນີ້ບໍ່ແມ່ນພູພຽງຂອງໂຄງການ. ຍັງມີຫຼາຍສິ່ງຫຼາຍຢ່າງຢູ່ໃນແຜນການຈາກທັດສະນະທາງດ້ານເຕັກໂນໂລຢີແລະຜະລິດຕະພັນ.

ຫຼັກການທີ 1: ມູນຄ່າທຸລະກິດທໍາອິດ

ພວກເຮົາວາງ “ຄຸນຄ່າທາງທຸລະກິດ” ຢູ່ແຖວໜ້າຂອງຄວາມພະຍາຍາມທັງໝົດຂອງພວກເຮົາ. ໂດຍທົ່ວໄປ, ລະບົບການວິເຄາະອັດຕະໂນມັດໃດໆເປັນຂອງກຸ່ມຂອງລະບົບສະລັບສັບຊ້ອນທີ່ມີລະດັບສູງຂອງອັດຕະໂນມັດແລະຄວາມຊັບຊ້ອນດ້ານວິຊາການ. ການສ້າງການແກ້ໄຂທີ່ສົມບູນຈະໃຊ້ເວລາຫຼາຍຖ້າທ່ານສ້າງມັນຈາກ scratch. ພວກ​ເຮົາ​ໄດ້​ຕັດ​ສິນ​ໃຈ​ທີ່​ຈະ​ເອົາ​ຄ່າ​ທຸ​ລະ​ກິດ​ເປັນ​ອັນ​ດັບ​ຫນຶ່ງ​ແລະ​ຄວາມ​ສົມ​ບູນ​ດ້ານ​ເຕັກ​ໂນ​ໂລ​ຊີ​ທີ່​ສອງ​. ໃນຊີວິດຈິງ, ນີ້ຫມາຍຄວາມວ່າພວກເຮົາບໍ່ຍອມຮັບເຕັກໂນໂລຊີກ້າວຫນ້າທາງດ້ານເປັນ dogma. ພວກເຮົາເລືອກເຕັກໂນໂລຊີທີ່ເຮັດວຽກທີ່ດີທີ່ສຸດສໍາລັບພວກເຮົາໃນປັດຈຸບັນ. ເມື່ອເວລາຜ່ານໄປ, ມັນອາດຈະເບິ່ງຄືວ່າພວກເຮົາຈະຕ້ອງໄດ້ປະຕິບັດບາງໂມດູນຄືນໃຫມ່. ນີ້ແມ່ນການປະນີປະນອມທີ່ພວກເຮົາຍອມຮັບ.

ຫຼັກການທີ 2: ເພີ່ມສະຕິປັນຍາ

ຂ້າ​ພະ​ເຈົ້າ​ພະ​ນັນ​ຄົນ​ສ່ວນ​ໃຫຍ່​ທີ່​ບໍ່​ໄດ້​ເຂົ້າ​ຮ່ວມ​ຢ່າງ​ເລິກ​ເຊິ່ງ​ໃນ​ການ​ພັດ​ທະ​ນາ​ວິ​ທີ​ແກ້​ໄຂ​ການ​ຮຽນ​ຮູ້​ເຄື່ອງ​ຈັກ​ອາດ​ຈະ​ຄິດ​ວ່າ​ການ​ປ່ຽນ​ແທນ​ມະ​ນຸດ​ແມ່ນ​ເປົ້າ​ຫມາຍ. ໃນຄວາມເປັນຈິງ, ການແກ້ໄຂການຮຽນຮູ້ເຄື່ອງຈັກແມ່ນຢູ່ໄກຈາກທີ່ສົມບູນແບບແລະພຽງແຕ່ໃນບາງພື້ນທີ່ເທົ່ານັ້ນທີ່ສາມາດທົດແທນໄດ້. ພວກເຮົາປະຕິເສດຄວາມຄິດນີ້ຕັ້ງແຕ່ເລີ່ມຕົ້ນດ້ວຍເຫດຜົນຫຼາຍຢ່າງ: ຂໍ້ມູນທີ່ບໍ່ສົມດຸນກ່ຽວກັບກິດຈະກໍາການສໍ້ໂກງແລະບໍ່ສາມາດສະຫນອງບັນຊີລາຍຊື່ທີ່ສົມບູນແບບຂອງລັກສະນະການຮຽນຮູ້ຂອງເຄື່ອງຈັກ. ໃນທາງກົງກັນຂ້າມ, ພວກເຮົາເລືອກທາງເລືອກທາງປັນຍາທີ່ປັບປຸງ. ນີ້ແມ່ນແນວຄວາມຄິດທາງເລືອກຂອງປັນຍາປະດິດທີ່ເນັ້ນໃສ່ບົດບາດສະຫນັບສະຫນູນຂອງ AI, ເນັ້ນຫນັກເຖິງຄວາມຈິງທີ່ວ່າເຕັກໂນໂລຢີມັນສະຫມອງມີຈຸດປະສົງເພື່ອເສີມຂະຫຍາຍປັນຍາຂອງມະນຸດແທນທີ່ຈະທົດແທນມັນ. [1]

ດ້ວຍເຫດຜົນນີ້, ການພັດທະນາການແກ້ໄຂການຮຽນຮູ້ເຄື່ອງຈັກທີ່ສົມບູນຕັ້ງແຕ່ເລີ່ມຕົ້ນຈະຕ້ອງໃຊ້ຄວາມພະຍາຍາມອັນໃຫຍ່ຫຼວງ, ເຊິ່ງຈະຊັກຊ້າການສ້າງມູນຄ່າສໍາລັບທຸລະກິດຂອງພວກເຮົາ. ພວກເຮົາໄດ້ຕັດສິນໃຈສ້າງລະບົບທີ່ມີລັກສະນະການຮຽນຮູ້ເຄື່ອງຈັກທີ່ເພີ່ມຂຶ້ນເລື້ອຍໆພາຍໃຕ້ການຊີ້ນໍາຂອງຜູ້ຊ່ຽວຊານດ້ານໂດເມນຂອງພວກເຮົາ. ພາກສ່ວນທີ່ທ້າທາຍຂອງການພັດທະນາລະບົບດັ່ງກ່າວແມ່ນວ່າມັນຕ້ອງໃຫ້ນັກວິເຄາະຂອງພວກເຮົາກ່ຽວກັບກໍລະນີບໍ່ພຽງແຕ່ໃນແງ່ຂອງກິດຈະກໍາການສໍ້ໂກງຫຼືບໍ່. ໂດຍທົ່ວໄປ, ຄວາມຜິດປົກກະຕິໃດໆໃນພຶດຕິກໍາຂອງລູກຄ້າແມ່ນເປັນກໍລະນີທີ່ຫນ້າສົງໄສທີ່ຜູ້ຊ່ຽວຊານຈໍາເປັນຕ້ອງໄດ້ສືບສວນແລະຕອບສະຫນອງບາງຢ່າງ. ພຽງແຕ່ສ່ວນຫນຶ່ງຂອງກໍລະນີທີ່ລາຍງານເຫຼົ່ານີ້ສາມາດຖືກຈັດປະເພດເປັນການສໍ້ໂກງຢ່າງແທ້ຈິງ.

ຫຼັກການ 3: ແພລະຕະຟອມການວິເຄາະທີ່ອຸດົມສົມບູນ

ພາກສ່ວນທີ່ທ້າທາຍທີ່ສຸດຂອງລະບົບຂອງພວກເຮົາແມ່ນການກວດສອບຂັ້ນສຸດທ້າຍຂອງຂັ້ນຕອນການເຮັດວຽກຂອງລະບົບ. ນັກວິເຄາະແລະນັກພັດທະນາຄວນໄດ້ຮັບຊຸດຂໍ້ມູນປະຫວັດສາດໄດ້ຢ່າງງ່າຍດາຍດ້ວຍຕົວຊີ້ວັດທັງຫມົດທີ່ໃຊ້ສໍາລັບການວິເຄາະ. ນອກຈາກນັ້ນ, ແພລະຕະຟອມຂໍ້ມູນຄວນໃຫ້ວິທີທີ່ງ່າຍໃນການເສີມສ້າງຊຸດ metrics ທີ່ມີຢູ່ແລ້ວກັບອັນໃຫມ່. ຂະບວນການທີ່ພວກເຮົາສ້າງ, ແລະເຫຼົ່ານີ້ແມ່ນບໍ່ພຽງແຕ່ຂະບວນການຊອບແວ, ຄວນໃຫ້ພວກເຮົາສາມາດຄິດໄລ່ໄລຍະເວລາທີ່ຜ່ານມາໄດ້ຢ່າງງ່າຍດາຍ, ເພີ່ມ metrics ໃຫມ່ແລະການປ່ຽນແປງການຄາດຄະເນຂໍ້ມູນ. ພວກເຮົາສາມາດບັນລຸໄດ້ໂດຍການສະສົມຂໍ້ມູນທັງຫມົດທີ່ລະບົບການຜະລິດຂອງພວກເຮົາສ້າງ. ໃນກໍລະນີນີ້, ຂໍ້ມູນຈະຄ່ອຍໆກາຍເປັນບັນຫາ. ພວກເຮົາຈະຕ້ອງເກັບຮັກສາຂໍ້ມູນຈໍານວນເພີ່ມຂຶ້ນທີ່ພວກເຮົາບໍ່ໄດ້ໃຊ້ແລະປົກປ້ອງມັນ. ໃນສະຖານະການດັ່ງກ່າວ, ຂໍ້ມູນຈະກາຍເປັນຄວາມກ່ຽວຂ້ອງຫຼາຍຂຶ້ນໃນໄລຍະເວລາ, ແຕ່ຍັງຕ້ອງການຄວາມພະຍາຍາມຂອງພວກເຮົາໃນການຄຸ້ມຄອງມັນ. ສໍາລັບພວກເຮົາ, ການເກັບຮັກສາຂໍ້ມູນບໍ່ມີຄວາມຫມາຍ, ດັ່ງນັ້ນພວກເຮົາຈຶ່ງຕັດສິນໃຈໃຊ້ວິທີອື່ນ. ພວກເຮົາໄດ້ຕັດສິນໃຈຈັດລະບຽບເກັບຮັກສາຂໍ້ມູນໃນເວລາທີ່ແທ້ຈິງປະມານຫນ່ວຍງານເປົ້າຫມາຍທີ່ພວກເຮົາຕ້ອງການຈັດປະເພດ, ແລະເກັບຮັກສາພຽງແຕ່ຂໍ້ມູນທີ່ອະນຸຍາດໃຫ້ພວກເຮົາກວດສອບໄລຍະເວລາທີ່ຜ່ານມາແລະທີ່ກ່ຽວຂ້ອງທີ່ສຸດ. ສິ່ງທ້າທາຍຕໍ່ຄວາມພະຍາຍາມນີ້ແມ່ນວ່າລະບົບຂອງພວກເຮົາມີຄວາມແຕກຕ່າງກັນ, ມີບ່ອນເກັບຂໍ້ມູນຫຼາຍອັນແລະໂມດູນຊອບແວທີ່ຮຽກຮ້ອງໃຫ້ມີການວາງແຜນຢ່າງລະມັດລະວັງເພື່ອດໍາເນີນການຢ່າງສອດຄ່ອງ.

ແນວຄວາມຄິດການອອກແບບຂອງລະບົບຂອງພວກເຮົາ

ພວກເຮົາມີສີ່ອົງປະກອບຕົ້ນຕໍໃນລະບົບຂອງພວກເຮົາ: ລະບົບການກິນ, ຄອມພິວເຕີ້, ການວິເຄາະ BI ແລະລະບົບການຕິດຕາມ. ພວກເຂົາຮັບໃຊ້ຈຸດປະສົງສະເພາະ, ໂດດດ່ຽວ, ແລະພວກເຮົາຮັກສາພວກມັນຢູ່ໂດດດ່ຽວໂດຍການປະຕິບັດຕາມວິທີການອອກແບບສະເພາະ.

ການອອກແບບຕາມສັນຍາ

ກ່ອນອື່ນ ໝົດ, ພວກເຮົາຕົກລົງເຫັນດີວ່າອົງປະກອບຄວນອີງໃສ່ພຽງແຕ່ໂຄງສ້າງຂໍ້ມູນບາງຢ່າງ (ສັນຍາ) ທີ່ຜ່ານລະຫວ່າງພວກມັນ. ນີ້ເຮັດໃຫ້ມັນງ່າຍຕໍ່ການເຊື່ອມໂຍງລະຫວ່າງພວກມັນແລະບໍ່ບັງຄັບໃຊ້ອົງປະກອບສະເພາະ (ແລະຄໍາສັ່ງ) ຂອງອົງປະກອບ. ຕົວຢ່າງ, ໃນບາງກໍລະນີນີ້ອະນຸຍາດໃຫ້ພວກເຮົາປະສົມປະສານໂດຍກົງກັບລະບົບການກິນກັບລະບົບການຕິດຕາມການແຈ້ງເຕືອນ. ໃນກໍລະນີດັ່ງກ່າວ, ນີ້ຈະເຮັດຕາມສັນຍາເຕືອນທີ່ຕົກລົງ. ນີ້ຫມາຍຄວາມວ່າອົງປະກອບທັງສອງຈະຖືກປະສົມປະສານໂດຍໃຊ້ສັນຍາທີ່ອົງປະກອບອື່ນໆສາມາດນໍາໃຊ້ໄດ້. ພວກເຮົາຈະບໍ່ໄດ້ຮັບການເພີ່ມສັນຍາເພີ່ມເຕີມເພື່ອເພີ່ມການແຈ້ງເຕືອນໃນລະບົບການຕິດຕາມຈາກລະບົບການປ້ອນຂໍ້ມູນ. ວິທີການນີ້ຮຽກຮ້ອງໃຫ້ມີການນໍາໃຊ້ຈໍານວນສັນຍາຕໍາ່ສຸດທີ່ກໍານົດໄວ້ລ່ວງຫນ້າແລະເຮັດໃຫ້ລະບົບແລະການສື່ສານງ່າຍຂຶ້ນ. ໂດຍພື້ນຖານແລ້ວ, ພວກເຮົາໃຊ້ວິທີການທີ່ເອີ້ນວ່າ "Contract First Design" ແລະນໍາໃຊ້ມັນເຂົ້າໃນສັນຍາການຖ່າຍທອດ. [2]

ຖ່າຍທອດຢູ່ທົ່ວທຸກແຫ່ງ

ການປະຫຍັດແລະການຄຸ້ມຄອງລັດໃນລະບົບຈະເຮັດໃຫ້ເກີດຄວາມສັບສົນໃນການປະຕິບັດຂອງມັນ. ໂດຍທົ່ວໄປ, ລັດຄວນຈະສາມາດເຂົ້າເຖິງໄດ້ຈາກອົງປະກອບໃດກໍ່ຕາມ, ມັນຄວນຈະສອດຄ່ອງແລະໃຫ້ມູນຄ່າໃນປະຈຸບັນຫຼາຍທີ່ສຸດໃນທົ່ວອົງປະກອບທັງຫມົດ, ແລະມັນຄວນຈະມີຄວາມຫນ້າເຊື່ອຖືກັບຄ່າທີ່ຖືກຕ້ອງ. ນອກຈາກນັ້ນ, ການໂທຫາການເກັບຮັກສາຢ່າງຕໍ່ເນື່ອງເພື່ອດຶງຂໍ້ມູນສະຖານະຫລ້າສຸດຈະເພີ່ມຈໍານວນການດໍາເນີນງານ I/O ແລະຄວາມຊັບຊ້ອນຂອງສູດການຄິດໄລ່ທີ່ໃຊ້ໃນທໍ່ເວລາທີ່ແທ້ຈິງຂອງພວກເຮົາ. ດ້ວຍເຫດນີ້, ພວກເຮົາຈຶ່ງຕັດສິນໃຈເອົາບ່ອນເກັບຂໍ້ມູນຂອງລັດ, ຖ້າເປັນໄປໄດ້, ອອກຈາກລະບົບຂອງພວກເຮົາຢ່າງສົມບູນ. ວິທີການນີ້ຮຽກຮ້ອງໃຫ້ຂໍ້ມູນທີ່ຈໍາເປັນທັງຫມົດຖືກລວມຢູ່ໃນບລັອກຂໍ້ມູນທີ່ຖືກສົ່ງຜ່ານ (ຂໍ້ຄວາມ). ຕົວຢ່າງ: ຖ້າພວກເຮົາຕ້ອງການຄິດໄລ່ຈໍານວນການສັງເກດການບາງຢ່າງ (ຈໍານວນການດໍາເນີນງານຫຼືກໍລະນີທີ່ມີລັກສະນະບາງຢ່າງ), ພວກເຮົາຄິດໄລ່ມັນຢູ່ໃນຫນ່ວຍຄວາມຈໍາແລະສ້າງກະແສຂອງມູນຄ່າດັ່ງກ່າວ. ໂມດູນທີ່ເພິ່ງພາອາໄສຈະໃຊ້ການແບ່ງສ່ວນ ແລະ batching ເພື່ອແຍກກະແສອອກເປັນຫົວໜ່ວຍຕ່າງໆ ແລະເຮັດວຽກກັບຄ່າຫຼ້າສຸດ. ວິທີການນີ້ໄດ້ລົບລ້າງຄວາມຕ້ອງການທີ່ຈະມີການເກັບຮັກສາແຜ່ນຄົງທີ່ສໍາລັບຂໍ້ມູນດັ່ງກ່າວ. ລະບົບຂອງພວກເຮົາໃຊ້ Kafka ເປັນນາຍຫນ້າຂໍ້ຄວາມແລະມັນສາມາດຖືກນໍາໃຊ້ເປັນຖານຂໍ້ມູນທີ່ມີ KSQL. [3​] ແຕ່​ການ​ນໍາ​ໃຊ້​ມັນ​ຈະ​ໄດ້ tied ການ​ແກ້​ໄຂ​ຂອງ​ພວກ​ເຮົາ​ຫຼາຍ​ກັບ Kafka​, ແລະ​ພວກ​ເຮົາ​ໄດ້​ຕັດ​ສິນ​ໃຈ​ທີ່​ຈະ​ບໍ່​ນໍາ​ໃຊ້​ມັນ​. ວິທີການທີ່ພວກເຮົາເລືອກອະນຸຍາດໃຫ້ພວກເຮົາປ່ຽນແທນ Kafka ກັບນາຍຫນ້າຂໍ້ຄວາມອື່ນໂດຍບໍ່ມີການປ່ຽນແປງພາຍໃນລະບົບທີ່ສໍາຄັນ.

ແນວຄວາມຄິດນີ້ບໍ່ໄດ້ຫມາຍຄວາມວ່າພວກເຮົາບໍ່ໃຊ້ການເກັບຮັກສາແຜ່ນດິດແລະຖານຂໍ້ມູນ. ເພື່ອທົດສອບແລະວິເຄາະປະສິດທິພາບຂອງລະບົບ, ພວກເຮົາຈໍາເປັນຕ້ອງເກັບຮັກສາຂໍ້ມູນຈໍານວນຫຼວງຫຼາຍໃນແຜ່ນທີ່ເປັນຕົວແທນຂອງ metrics ແລະລັດຕ່າງໆ. ຈຸດສໍາຄັນຢູ່ທີ່ນີ້ແມ່ນວ່າ algorithms ໃນເວລາທີ່ແທ້ຈິງບໍ່ຂຶ້ນກັບຂໍ້ມູນດັ່ງກ່າວ. ໃນກໍລະນີຫຼາຍທີ່ສຸດ, ພວກເຮົາໃຊ້ຂໍ້ມູນທີ່ເກັບໄວ້ສໍາລັບການວິເຄາະອອບໄລນ໌, ການດີບັກແລະການຕິດຕາມກໍລະນີສະເພາະແລະຜົນໄດ້ຮັບທີ່ລະບົບຜະລິດ.

ບັນຫາຂອງລະບົບຂອງພວກເຮົາ

ມີບັນຫາບາງຢ່າງທີ່ພວກເຮົາໄດ້ແກ້ໄຂໃນລະດັບໃດຫນຶ່ງ, ແຕ່ພວກເຂົາຕ້ອງການການແກ້ໄຂທີ່ມີຄວາມຄິດຫຼາຍຂຶ້ນ. ໃນປັດຈຸບັນຂ້າພະເຈົ້າພຽງແຕ່ຢາກກ່າວເຖິງພວກເຂົາຢູ່ທີ່ນີ້ເພາະວ່າແຕ່ລະຈຸດແມ່ນມີມູນຄ່າບົດຄວາມຂອງຕົນເອງ.

• ພວກເຮົາຍັງຈໍາເປັນຕ້ອງໄດ້ກໍານົດຂະບວນການແລະນະໂຍບາຍທີ່ສະຫນັບສະຫນູນການສະສົມຂອງຂໍ້ມູນທີ່ມີຄວາມຫມາຍແລະທີ່ກ່ຽວຂ້ອງສໍາລັບການວິເຄາະຂໍ້ມູນອັດຕະໂນມັດຂອງພວກເຮົາ, ການຄົ້ນພົບ, ແລະການສໍາຫຼວດ.
• ການລວມເອົາຜົນການວິເຄາະຂອງມະນຸດເຂົ້າໄປໃນຂະບວນການຂອງການຕັ້ງຄ່າລະບົບອັດຕະໂນມັດເພື່ອປັບປຸງມັນດ້ວຍຂໍ້ມູນຫຼ້າສຸດ. ນີ້ແມ່ນບໍ່ພຽງແຕ່ການປັບປຸງແບບຈໍາລອງຂອງພວກເຮົາ, ແຕ່ຍັງປັບປຸງຂະບວນການຂອງພວກເຮົາແລະປັບປຸງຄວາມເຂົ້າໃຈຂອງພວກເຮົາກ່ຽວກັບຂໍ້ມູນຂອງພວກເຮົາ.
• ຊອກຫາຄວາມສົມດູນລະຫວ່າງວິທີການກໍານົດຂອງ IF-ELSE ແລະ ML. ບາງຄົນເວົ້າວ່າ, "ML ແມ່ນເຄື່ອງມືສໍາລັບຜູ້ຫມົດຫວັງ." ນີ້ຫມາຍຄວາມວ່າທ່ານຈະຕ້ອງການທີ່ຈະໃຊ້ ML ໃນເວລາທີ່ທ່ານບໍ່ເຂົ້າໃຈວິທີການເພີ່ມປະສິດທິພາບແລະປັບປຸງສູດການຄິດໄລ່ຂອງທ່ານ. ໃນທາງກົງກັນຂ້າມ, ວິທີການກໍານົດບໍ່ອະນຸຍາດໃຫ້ກວດພົບຄວາມຜິດປົກກະຕິທີ່ບໍ່ໄດ້ຄາດຫວັງ.
• ພວກເຮົາຕ້ອງການວິທີງ່າຍໆເພື່ອທົດສອບສົມມຸດຕິຖານຂອງພວກເຮົາຫຼືຄວາມກ່ຽວຂ້ອງກັນລະຫວ່າງ metrics ໃນຂໍ້ມູນ.
• ລະບົບຈະຕ້ອງມີຫຼາຍລະດັບຂອງຜົນໄດ້ຮັບໃນທາງບວກທີ່ແທ້ຈິງ. ກໍລະນີການສໍ້ໂກງແມ່ນພຽງແຕ່ສ່ວນຫນຶ່ງຂອງກໍລະນີທັງຫມົດທີ່ສາມາດພິຈາລະນາໃນທາງບວກສໍາລັບລະບົບ. ຕົວຢ່າງ, ນັກວິເຄາະຕ້ອງການທີ່ຈະໄດ້ຮັບກໍລະນີທີ່ຫນ້າສົງໄສທັງຫມົດສໍາລັບການຢັ້ງຢືນ, ແລະພຽງແຕ່ສ່ວນນ້ອຍຂອງພວກເຂົາແມ່ນການສໍ້ໂກງ. ລະບົບຕ້ອງໄດ້ນໍາສະເຫນີທຸກກໍລະນີໃຫ້ນັກວິເຄາະຢ່າງມີປະສິດທິພາບ, ບໍ່ວ່າຈະເປັນການສໍ້ໂກງຕົວຈິງຫຼືພຽງແຕ່ພຶດຕິກໍາທີ່ຫນ້າສົງໄສ.
• ແພລະຕະຟອມຂໍ້ມູນຄວນຈະສາມາດດຶງເອົາຊຸດຂໍ້ມູນປະຫວັດສາດດ້ວຍການຄິດໄລ່ທີ່ສ້າງຂຶ້ນແລະຄິດໄລ່ໄດ້ທັນທີ.
• ນຳໃຊ້ອົງປະກອບລະບົບຢ່າງງ່າຍດາຍ ແລະ ອັດຕະໂນມັດໃນຢ່າງໜ້ອຍສາມສະພາບແວດລ້ອມທີ່ແຕກຕ່າງກັນ: ການຜະລິດ, ການທົດລອງ (ເບຕ້າ) ແລະ ສຳລັບນັກພັດທະນາ.
• ແລະສຸດທ້າຍແຕ່ບໍ່ໄດ້ຢ່າງຫນ້ອຍ. ພວກເຮົາຈໍາເປັນຕ້ອງສ້າງເວທີການທົດສອບປະສິດທິພາບທີ່ອຸດົມສົມບູນທີ່ພວກເຮົາສາມາດວິເຄາະຕົວແບບຂອງພວກເຮົາ. [4]

ເອກະສານ

1. Augmented Intelligence ແມ່ນຫຍັງ?
2. ການປະຕິບັດວິທີການ API-First Design Methodology
3. Kafka ປ່ຽນເປັນ "ຖານຂໍ້ມູນການຖ່າຍທອດເຫດການ"
4. ຄວາມເຂົ້າໃຈ AUC - ROC Curve

ແຫຼ່ງຂໍ້ມູນ: www.habr.com