ການຈັດປະເພດຂໍ້ມູນທີ່ສາມາດຂະຫຍາຍໄດ້ເພື່ອຄວາມປອດໄພ ແລະຄວາມເປັນສ່ວນຕົວ

ການຈັດປະເພດຂໍ້ມູນໂດຍອີງໃສ່ເນື້ອຫາແມ່ນບັນຫາທີ່ເປີດເຜີຍ. ລະບົບການປ້ອງກັນການສູນເສຍຂໍ້ມູນແບບດັ້ງເດີມ (DLP) ແກ້ໄຂບັນຫານີ້ໂດຍການພິມນີ້ວມືຂໍ້ມູນທີ່ກ່ຽວຂ້ອງແລະຕິດຕາມຈຸດສິ້ນສຸດສໍາລັບການພິມນີ້ວມື. ເນື່ອງຈາກຈໍານວນຊັບພະຍາກອນຂໍ້ມູນທີ່ມີການປ່ຽນແປງຢ່າງຕໍ່ເນື່ອງຢູ່ Facebook, ວິທີການນີ້ບໍ່ພຽງແຕ່ບໍ່ສາມາດຂະຫຍາຍໄດ້, ແຕ່ຍັງບໍ່ມີປະສິດຕິຜົນສໍາລັບການກໍານົດບ່ອນທີ່ຂໍ້ມູນຢູ່. ເອກະສານນີ້ເນັ້ນໃສ່ລະບົບ end-to-end ທີ່ສ້າງຂຶ້ນເພື່ອກວດພົບປະເພດ semantic ທີ່ລະອຽດອ່ອນໃນ Facebook ໃນລະດັບຂະຫນາດແລະອັດຕະໂນມັດບັງຄັບການເກັບຮັກສາຂໍ້ມູນແລະການຄວບຄຸມການເຂົ້າເຖິງ.

ວິທີການທີ່ອະທິບາຍນີ້ແມ່ນລະບົບຄວາມເປັນສ່ວນຕົວໃນຕອນທ້າຍທໍາອິດຂອງພວກເຮົາທີ່ພະຍາຍາມແກ້ໄຂບັນຫານີ້ໂດຍການລວມເອົາສັນຍານຂໍ້ມູນ, ການຮຽນຮູ້ເຄື່ອງຈັກ, ແລະເຕັກນິກການພິມນີ້ວມືແບບດັ້ງເດີມເພື່ອວາງແຜນແລະຈັດປະເພດຂໍ້ມູນທັງຫມົດໃນ Facebook. ລະບົບທີ່ໄດ້ອະທິບາຍແມ່ນດໍາເນີນການໃນສະພາບແວດລ້ອມການຜະລິດ, ບັນລຸໄດ້ຄະແນນ F2 ສະເລ່ຍຂອງ 0,9+ ໃນທົ່ວຫ້ອງຮຽນຄວາມເປັນສ່ວນຕົວຕ່າງໆໃນຂະນະທີ່ການປະມວນຜົນຂໍ້ມູນຈໍານວນຫລາຍໃນທົ່ວຫຼາຍສິບ repositories. ແນະນຳການແປເອກະສານ ArXiv ຂອງ Facebook ກ່ຽວກັບການຈັດປະເພດຂໍ້ມູນທີ່ສາມາດຂະຫຍາຍໄດ້ເພື່ອຄວາມປອດໄພ ແລະຄວາມເປັນສ່ວນຕົວໂດຍອີງໃສ່ການຮຽນຮູ້ຂອງເຄື່ອງຈັກ.

ການນໍາສະເຫນີ

ໃນມື້ນີ້, ອົງການຈັດຕັ້ງເກັບກໍາແລະເກັບຮັກສາຂໍ້ມູນຈໍານວນຫລາຍໃນຫຼາຍຮູບແບບແລະສະຖານທີ່ [1], ຫຼັງຈາກນັ້ນ, ຂໍ້ມູນໄດ້ຖືກບໍລິໂພກໃນຫຼາຍບ່ອນ, ບາງຄັ້ງຖືກຄັດລອກຫຼື cache ຫຼາຍຄັ້ງ, ເຮັດໃຫ້ຂໍ້ມູນທຸລະກິດທີ່ມີຄຸນຄ່າແລະລະອຽດອ່ອນຖືກກະແຈກກະຈາຍໄປທົ່ວຂໍ້ມູນວິສາຫະກິດຈໍານວນຫຼາຍ. ຮ້ານຄ້າ. ເມື່ອອົງການໃດຕ້ອງການປະຕິບັດຕາມຂໍ້ກໍານົດທາງດ້ານກົດຫມາຍຫຼືກົດລະບຽບບາງຢ່າງເຊັ່ນການປະຕິບັດຕາມກົດລະບຽບໃນການດໍາເນີນຄະດີແພ່ງ, ຈໍາເປັນຕ້ອງເກັບກໍາຂໍ້ມູນກ່ຽວກັບສະຖານທີ່ຂອງຂໍ້ມູນທີ່ຕ້ອງການ. ເມື່ອກົດລະບຽບຄວາມເປັນສ່ວນຕົວລະບຸວ່າອົງການຈັດຕັ້ງຕ້ອງປິດບັງເລກປະກັນສັງຄົມ (SSNs) ທັງໝົດເມື່ອແບ່ງປັນຂໍ້ມູນສ່ວນຕົວກັບໜ່ວຍງານທີ່ບໍ່ໄດ້ຮັບອະນຸຍາດ, ຂັ້ນຕອນທຳອິດທີ່ເປັນທຳມະຊາດແມ່ນການຊອກຫາ SSNs ທັງໝົດໃນທົ່ວບ່ອນເກັບຂໍ້ມູນຂອງອົງກອນ. ພາຍໃຕ້ສະຖານະການດັ່ງກ່າວ, ການຈັດປະເພດຂໍ້ມູນກາຍເປັນຄວາມສໍາຄັນ [1]. ລະບົບການຈັດປະເພດຈະຊ່ວຍໃຫ້ອົງການຈັດຕັ້ງສາມາດບັງຄັບໃຊ້ນະໂຍບາຍຄວາມເປັນສ່ວນຕົວແລະຄວາມປອດໄພໂດຍອັດຕະໂນມັດ, ເຊັ່ນ: ການເປີດໃຊ້ນະໂຍບາຍການຄວບຄຸມການເຂົ້າເຖິງ, ການຮັກສາຂໍ້ມູນ. ເຟສບຸກກໍາລັງນໍາສະເຫນີລະບົບທີ່ພວກເຮົາສ້າງຢູ່ໃນເຟສບຸກທີ່ໃຊ້ສັນຍານຂໍ້ມູນຫຼາຍ, ສະຖາປັດຕະຍະກໍາລະບົບທີ່ສາມາດຂະຫຍາຍໄດ້, ແລະການຮຽນຮູ້ເຄື່ອງຈັກເພື່ອຄົ້ນພົບປະເພດຂໍ້ມູນ semantic ທີ່ລະອຽດອ່ອນ.

ການຄົ້ນພົບແລະການຈັດປະເພດຂໍ້ມູນແມ່ນຂະບວນການຂອງການຊອກຫາແລະການຕິດສະຫຼາກຂໍ້ມູນເພື່ອໃຫ້ຂໍ້ມູນທີ່ກ່ຽວຂ້ອງສາມາດດຶງຂໍ້ມູນໄດ້ໄວແລະມີປະສິດທິພາບໃນເວລາທີ່ຈໍາເປັນ. ຂະບວນການປະຈຸບັນແມ່ນແທນທີ່ຈະເປັນຄູ່ມືໃນລັກສະນະແລະປະກອບດ້ວຍການກວດກາກົດຫມາຍທີ່ກ່ຽວຂ້ອງຫຼືລະບຽບການ, ກໍານົດປະເພດຂອງຂໍ້ມູນຂ່າວສານທີ່ຄວນຈະຖືກພິຈາລະນາຄວາມອ່ອນໄຫວແລະສິ່ງທີ່ລະດັບຄວາມອ່ອນໄຫວທີ່ແຕກຕ່າງກັນ, ແລະຫຼັງຈາກນັ້ນການກໍ່ສ້າງຫ້ອງຮຽນແລະນະໂຍບາຍການຈັດປະເພດຕາມຄວາມເຫມາະສົມ [1]. ການ​ປ້ອງ​ກັນ​ການ​ສູນ​ເສຍ​ຂໍ້​ມູນ (DLP) ຫຼັງ​ຈາກ​ນັ້ນ​ລາຍ​ນີ້ວ​ມື​ຂໍ້​ມູນ​ແລະ​ຕິດ​ຕາມ​ກວດ​ກາ​ຈຸດ​ສຸດ​ທ້າຍ​ເພື່ອ​ໃຫ້​ໄດ້​ຮັບ​ລາຍ​ນີ້​ວ​ມື​. ເມື່ອຈັດການກັບຄັງສິນຄ້າທີ່ຫນັກແຫນ້ນກັບຂໍ້ມູນ petabytes, ວິທີການນີ້ພຽງແຕ່ບໍ່ໄດ້ຂະຫນາດ.

ເປົ້າໝາຍຂອງພວກເຮົາແມ່ນເພື່ອສ້າງລະບົບການຈັດປະເພດຂໍ້ມູນທີ່ມີຂະໜາດໃຫ້ທັງຂໍ້ມູນຜູ້ໃຊ້ທີ່ເຂັ້ມແຂງ ແລະຂໍ້ມູນຊົ່ວຄາວ, ໂດຍບໍ່ມີຂໍ້ຈຳກັດເພີ່ມເຕີມຕໍ່ກັບປະເພດຂໍ້ມູນ ຫຼືຮູບແບບ. ນີ້ແມ່ນເປົ້າຫມາຍທີ່ກ້າຫານ, ແລະຕາມທໍາມະຊາດມັນມາພ້ອມກັບສິ່ງທ້າທາຍ. ບັນທຶກຂໍ້ມູນທີ່ໃຫ້ໄວ້ສາມາດຍາວຫຼາຍພັນຕົວອັກສອນ.

ຮູບທີ 1. ກະແສການພະຍາກອນອອນໄລນ໌ ແລະອອບໄລນ໌

ດັ່ງນັ້ນ, ພວກເຮົາຕ້ອງເປັນຕົວແທນຂອງມັນຢ່າງມີປະສິດທິພາບໂດຍໃຊ້ຊຸດລັກສະນະທົ່ວໄປທີ່ຕໍ່ມາສາມາດຖືກລວມເຂົ້າກັນແລະເຄື່ອນຍ້າຍໄດ້ງ່າຍ. ຄຸນສົມບັດເຫຼົ່ານີ້ບໍ່ພຽງແຕ່ໃຫ້ການຈັດປະເພດທີ່ຖືກຕ້ອງເທົ່ານັ້ນ, ແຕ່ຍັງໃຫ້ຄວາມຍືດຫຍຸ່ນ ແລະ ຄວາມຍືດຍຸ່ນເພື່ອເພີ່ມ ແລະຄົ້ນພົບປະເພດຂໍ້ມູນໃໝ່ໄດ້ຢ່າງງ່າຍດາຍໃນອະນາຄົດ. ອັນທີສອງ, ທ່ານຈໍາເປັນຕ້ອງຈັດການກັບຕາຕະລາງອອຟໄລຂະຫນາດໃຫຍ່. ຂໍ້​ມູນ​ທີ່​ທົນ​ທານ​ສາ​ມາດ​ໄດ້​ຮັບ​ການ​ເກັບ​ຮັກ​ສາ​ໄວ້​ໃນ​ຕາ​ຕະ​ລາງ​ທີ່​ມີ​ຫຼາຍ petabytes ໃນ​ຂະ​ຫນາດ​. ອັນນີ້ອາດຈະເຮັດໃຫ້ຄວາມໄວການສະແກນຊ້າລົງ. ອັນທີສາມ, ພວກເຮົາຕ້ອງປະຕິບັດຕາມການຈັດປະເພດ SLA ຢ່າງເຂັ້ມງວດກ່ຽວກັບຂໍ້ມູນການເຫນັງຕີງ. ນີ້ບັງຄັບໃຫ້ລະບົບມີປະສິດທິພາບສູງ, ໄວແລະຖືກຕ້ອງ. ສຸດທ້າຍ, ພວກເຮົາຕ້ອງສະຫນອງການຈັດປະເພດຂໍ້ມູນ latency ຕ່ໍາສໍາລັບຂໍ້ມູນທີ່ປ່ຽນແປງເພື່ອປະຕິບັດການຈັດປະເພດໃນເວລາທີ່ແທ້ຈິງເຊັ່ນດຽວກັນກັບກໍລະນີການນໍາໃຊ້ອິນເຕີເນັດ.

ເອກະສານສະບັບນີ້ອະທິບາຍວິທີການທີ່ພວກເຮົາຈັດການກັບສິ່ງທ້າທາຍຂ້າງເທິງນີ້ແລະນໍາສະເຫນີລະບົບການຈັດປະເພດທີ່ໄວແລະສາມາດຂະຫຍາຍໄດ້ເຊິ່ງຈັດປະເພດອົງປະກອບຂໍ້ມູນຂອງທຸກປະເພດ, ຮູບແບບ, ແລະແຫຼ່ງຂໍ້ມູນໂດຍອີງໃສ່ຊຸດລັກສະນະທົ່ວໄປ. ພວກເຮົາໄດ້ຂະຫຍາຍສະຖາປັດຕະຍະກຳລະບົບ ແລະສ້າງຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກແບບກຳນົດເອງເພື່ອຈັດປະເພດຂໍ້ມູນອອບໄລນ໌ ແລະອິນເຕີເນັດຢ່າງວ່ອງໄວ. ເອກະສານສະບັບນີ້ຖືກຈັດຂື້ນດັ່ງນີ້: ພາກທີ 2 ນຳສະເໜີການອອກແບບລວມຂອງລະບົບ. ພາກທີ 3 ສົນທະນາກ່ຽວກັບພາກສ່ວນຕ່າງໆຂອງລະບົບການຮຽນຮູ້ເຄື່ອງຈັກ. ພາກທີ 4 ແລະ 5 ເນັ້ນໃສ່ວຽກງານທີ່ກ່ຽວຂ້ອງ ແລະ ກໍານົດທິດທາງວຽກງານໃນອະນາຄົດ.

ຖາປັດຕະຍະ

ເພື່ອຮັບມືກັບສິ່ງທ້າທາຍຂອງຂໍ້ມູນອອນໄລນ໌ແບບຄົງທີ່ແລະ Facebook, ລະບົບການຈັດປະເພດມີສອງສາຍນ້ໍາແຍກຕ່າງຫາກ, ເຊິ່ງພວກເຮົາຈະປຶກສາຫາລືຢ່າງລະອຽດ.

ຂໍ້ມູນແບບຍືນຍົງ

ໃນເບື້ອງຕົ້ນ, ລະບົບຕ້ອງຮຽນຮູ້ກ່ຽວກັບຊັບສິນຂໍ້ມູນຈໍານວນຫຼາຍຂອງ Facebook. ສໍາລັບແຕ່ລະ repository, ບາງຂໍ້ມູນພື້ນຖານໄດ້ຖືກເກັບກໍາ, ເຊັ່ນ: ສູນຂໍ້ມູນທີ່ມີຂໍ້ມູນນັ້ນ, ລະບົບທີ່ມີຂໍ້ມູນນັ້ນ, ແລະຊັບສິນທີ່ຢູ່ໃນບ່ອນເກັບຂໍ້ມູນສະເພາະ. ນີ້ສ້າງລາຍການ metadata ທີ່ອະນຸຍາດໃຫ້ລະບົບສາມາດດຶງຂໍ້ມູນໄດ້ຢ່າງມີປະສິດທິພາບໂດຍບໍ່ມີການ overloading ລູກຄ້າແລະຊັບພະຍາກອນທີ່ໃຊ້ໂດຍວິສະວະກອນອື່ນໆ.

ລາຍການ metadata ນີ້ສະຫນອງແຫຼ່ງອໍານາດສໍາລັບຊັບສິນທີ່ສະແກນທັງຫມົດແລະຊ່ວຍໃຫ້ທ່ານສາມາດຕິດຕາມສະຖານະພາບຂອງຊັບສິນຕ່າງໆ. ການນໍາໃຊ້ຂໍ້ມູນນີ້, ການຈັດຕາຕະລາງບູລິມະສິດແມ່ນສ້າງຕັ້ງຂຶ້ນໂດຍອີງໃສ່ຂໍ້ມູນທີ່ເກັບກໍາແລະຂໍ້ມູນພາຍໃນຈາກລະບົບ, ເຊັ່ນເວລາທີ່ຊັບສິນໄດ້ຖືກສະແກນສົບຜົນສໍາເລັດແລະເວລາທີ່ມັນຖືກສ້າງຂຶ້ນ, ເຊັ່ນດຽວກັນກັບຄວາມຕ້ອງການຫນ່ວຍຄວາມຈໍາແລະ CPU ທີ່ຜ່ານມາສໍາລັບຊັບສິນນັ້ນຖ້າ ມັນໄດ້ຖືກສະແກນກ່ອນ. ຫຼັງຈາກນັ້ນ, ສໍາລັບແຕ່ລະຊັບພະຍາກອນຂໍ້ມູນ (ເປັນຊັບພະຍາກອນທີ່ມີຢູ່), ວຽກເຮັດງານທໍາແມ່ນເອີ້ນວ່າການສະແກນຊັບພະຍາກອນ.

ແຕ່ລະວຽກແມ່ນເອກະສານຄູ່ທີ່ລວບລວມທີ່ປະຕິບັດການເກັບຕົວຢ່າງ Bernoulli ກ່ຽວກັບຂໍ້ມູນຫຼ້າສຸດທີ່ມີຢູ່ໃນແຕ່ລະຊັບສິນ. ຊັບສິນໄດ້ຖືກແບ່ງອອກເປັນແຕ່ລະຖັນ, ບ່ອນທີ່ຜົນການຈັດປະເພດຂອງແຕ່ລະຖັນຖືກປະມວນຜົນເປັນເອກະລາດ. ນອກຈາກນັ້ນ, ລະບົບຈະສະແກນຫາຂໍ້ມູນທີ່ອີ່ມຕົວພາຍໃນຖັນຕ່າງໆ. JSON, arrays, ໂຄງສ້າງທີ່ຖືກເຂົ້າລະຫັດ, URLs, base 64 serialized data, and more are all scanned. ນີ້ສາມາດເພີ່ມເວລາປະຕິບັດການສະແກນໄດ້ຢ່າງຫຼວງຫຼາຍ ເພາະວ່າຕາຕະລາງດຽວສາມາດບັນຈຸຖັນທີ່ຊ້ອນກັນຫຼາຍພັນຖັນຢູ່ໃນ blob. json.

ສໍາລັບແຕ່ລະແຖວທີ່ຖືກເລືອກໃນຊັບສິນຂໍ້ມູນ, ລະບົບການຈັດປະເພດຈະສະກັດຂໍ້ຄວາມທີ່ເລື່ອນແລະວັດຖຸອອກຈາກເນື້ອຫາແລະເຊື່ອມໂຍງແຕ່ລະວັດຖຸກັບຄືນໄປຫາຖັນທີ່ມັນຖືກປະຕິບັດ. ຜົນຜະລິດຂອງຂັ້ນຕອນການສະກັດເອົາຄຸນສົມບັດແມ່ນແຜນທີ່ຂອງລັກສະນະທັງຫມົດສໍາລັບແຕ່ລະຄໍລໍາທີ່ພົບເຫັນຢູ່ໃນຊັບສິນຂໍ້ມູນ.

ອາການແມ່ນຫຍັງ?

ແນວຄວາມຄິດຂອງຄຸນລັກສະນະແມ່ນສໍາຄັນ. ແທນທີ່ຈະເປັນລັກສະນະທີ່ເລື່ອນໄດ້ແລະລັກສະນະຂໍ້ຄວາມ, ພວກເຮົາສາມາດຜ່ານຕົວຢ່າງ string ດິບທີ່ຖືກສະກັດໂດຍກົງຈາກແຕ່ລະຊັບພະຍາກອນຂໍ້ມູນ. ນອກຈາກນັ້ນ, ຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກສາມາດໄດ້ຮັບການຝຶກອົບຮົມໂດຍກົງໃນແຕ່ລະຕົວຢ່າງ, ແທນທີ່ຈະກ່ວາການຄິດໄລ່ລັກສະນະຫຼາຍຮ້ອຍຄົນທີ່ພຽງແຕ່ພະຍາຍາມປະມານຕົວຢ່າງ. ມີຫຼາຍເຫດຜົນສໍາລັບການນີ້:

1. ຄວາມເປັນສ່ວນຕົວທໍາອິດ: ສໍາຄັນທີ່ສຸດ, ແນວຄວາມຄິດຂອງຄຸນນະສົມບັດອະນຸຍາດໃຫ້ພວກເຮົາເກັບຮັກສາໄວ້ໃນຄວາມຊົງຈໍາພຽງແຕ່ຮູບແບບທີ່ພວກເຮົາດຶງຂໍ້ມູນ. ນີ້ຮັບປະກັນວ່າພວກເຮົາເກັບຮັກສາຕົວຢ່າງສໍາລັບຈຸດປະສົງດຽວແລະບໍ່ເຄີຍບັນທຶກໃຫ້ເຂົາເຈົ້າໂດຍຜ່ານຄວາມພະຍາຍາມຂອງພວກເຮົາເອງ. ນີ້ແມ່ນສິ່ງສໍາຄັນໂດຍສະເພາະສໍາລັບຂໍ້ມູນການຜັນຜວນ, ນັບຕັ້ງແຕ່ການບໍລິການຕ້ອງຮັກສາສະຖານະການຈັດປະເພດບາງຢ່າງກ່ອນທີ່ຈະສະຫນອງການຄາດຄະເນ.
2. ຫນ່ວຍຄວາມຈໍາ: ບາງຕົວຢ່າງສາມາດຍາວຫຼາຍພັນຕົວອັກສອນ. ການເກັບຮັກສາຂໍ້ມູນດັ່ງກ່າວແລະສົ່ງກັບພາກສ່ວນຂອງລະບົບໂດຍບໍ່ຈໍາເປັນບໍລິໂພກຫຼາຍ bytes ເພີ່ມເຕີມ. ທັງສອງປັດໃຈສາມາດປະສົມປະສານໃນໄລຍະເວລາ, ເນື່ອງຈາກມີຊັບພະຍາກອນຂໍ້ມູນຫຼາຍພັນຄໍລໍາ.
3. ການລວບລວມຄຸນສົມບັດ: ຄຸນນະສົມບັດສະແດງໃຫ້ເຫັນຢ່າງຊັດເຈນຜົນຂອງການສະແກນແຕ່ລະອັນຜ່ານຊຸດຂອງລັກສະນະ, ຊ່ວຍໃຫ້ລະບົບສາມາດລວມຜົນຂອງການສະແກນທີ່ຜ່ານມາຂອງຊັບພະຍາກອນຂໍ້ມູນດຽວກັນໃນທາງທີ່ສະດວກ. ນີ້ສາມາດເປັນປະໂຫຍດສໍາລັບການລວບລວມຜົນການສະແກນຈາກຊັບພະຍາກອນຂໍ້ມູນດຽວໃນທົ່ວໄລຍະຫຼາຍ.

ຫຼັງຈາກນັ້ນ, ຄຸນສົມບັດດັ່ງກ່າວຖືກສົ່ງໄປຫາການບໍລິການຄາດຄະເນທີ່ພວກເຮົາໃຊ້ການຈັດປະເພດຕາມກົດລະບຽບແລະການຮຽນຮູ້ເຄື່ອງຈັກເພື່ອຄາດຄະເນປ້າຍຂໍ້ມູນຂອງແຕ່ລະຄໍລໍາ. ການບໍລິການແມ່ນອີງໃສ່ທັງຕົວຈັດປະເພດກົດລະບຽບ ແລະການຮຽນຮູ້ເຄື່ອງຈັກ ແລະເລືອກການຄາດຄະເນທີ່ດີທີ່ສຸດຈາກແຕ່ລະວັດຖຸທີ່ຄາດຄະເນ.

ຕົວຈັດປະເພດກົດລະບຽບແມ່ນ heuristics ຄູ່ມື, ພວກເຂົາໃຊ້ການຄິດໄລ່ແລະຄ່າສໍາປະສິດເພື່ອເຮັດໃຫ້ວັດຖຸປົກກະຕິໃນລະດັບ 0 ຫາ 100. ເມື່ອຄະແນນເບື້ອງຕົ້ນດັ່ງກ່າວຖືກສ້າງຂື້ນສໍາລັບແຕ່ລະປະເພດຂໍ້ມູນແລະຊື່ຖັນທີ່ກ່ຽວຂ້ອງກັບຂໍ້ມູນນັ້ນ, ມັນບໍ່ໄດ້ຖືກລວມເຂົ້າໃນ "ຫ້າມ" lists.” ,ຕົວຈັດປະເພດກົດລະບຽບເລືອກຄະແນນປົກກະຕິທີ່ສູງທີ່ສຸດໃນບັນດາປະເພດຂໍ້ມູນທັງໝົດ.

ເນື່ອງຈາກຄວາມສັບສົນຂອງການຈັດປະເພດ, ການອີງໃສ່ພຽງແຕ່ heuristics ຄູ່ມືເຮັດໃຫ້ຄວາມຖືກຕ້ອງຂອງການຈັດປະເພດຕ່ໍາ, ໂດຍສະເພາະສໍາລັບຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງ. ສໍາລັບເຫດຜົນນີ້, ພວກເຮົາພັດທະນາລະບົບການຮຽນຮູ້ເຄື່ອງຈັກເພື່ອເຮັດວຽກກັບການຈັດປະເພດຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງເຊັ່ນເນື້ອຫາຜູ້ໃຊ້ແລະທີ່ຢູ່. ການຮຽນຮູ້ຂອງເຄື່ອງຈັກໄດ້ເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະເລີ່ມຕົ້ນທີ່ຈະຍ້າຍອອກໄປຈາກ heuristics ຄູ່ມືແລະນໍາໃຊ້ສັນຍານຂໍ້ມູນເພີ່ມເຕີມ (ເຊັ່ນ: ຊື່ຖັນ, ຫຼັກຖານສະແດງຂໍ້ມູນ), ຢ່າງຫຼວງຫຼາຍປັບປຸງຄວາມຖືກຕ້ອງຂອງການກວດສອບ. ພວກເຮົາຈະລົງເລິກເຂົ້າໄປໃນສະຖາປັດຕະຍະກຳການຮຽນຮູ້ເຄື່ອງຈັກຂອງພວກເຮົາໃນພາຍຫຼັງ.

ບໍລິການຄາດຄະເນເກັບຮັກສາຜົນໄດ້ຮັບສໍາລັບແຕ່ລະຄໍລໍາພ້ອມກັບ metadata ກ່ຽວກັບເວລາແລະສະຖານະຂອງການສະແກນ. ຜູ້ບໍລິໂພກໃດໆແລະຂະບວນການລົງລຸ່ມທີ່ຂຶ້ນກັບຂໍ້ມູນນີ້ສາມາດອ່ານມັນໄດ້ຈາກຊຸດຂໍ້ມູນທີ່ເຜີຍແຜ່ປະຈໍາວັນ. ຊຸດນີ້ຮວບຮວມຜົນໄດ້ຮັບຂອງວຽກສະແກນທັງໝົດເຫຼົ່ານີ້, ຫຼື APIs Catalog Data ແບບສົດໆ. ການຄາດຄະເນທີ່ເຜີຍແຜ່ແມ່ນພື້ນຖານສໍາລັບການບັງຄັບໃຊ້ອັດຕະໂນມັດຂອງນະໂຍບາຍຄວາມເປັນສ່ວນຕົວແລະຄວາມປອດໄພ.

ສຸດທ້າຍ, ຫຼັງຈາກການບໍລິການການພະຍາກອນຂຽນຂໍ້ມູນທັງຫມົດແລະການຄາດຄະເນທັງຫມົດຖືກເກັບໄວ້, Data Catalog API ຂອງພວກເຮົາສາມາດສົ່ງຄືນການພະຍາກອນປະເພດຂໍ້ມູນທັງຫມົດສໍາລັບຊັບພະຍາກອນໃນເວລາທີ່ແທ້ຈິງ. ທຸກໆມື້ລະບົບຈະເຜີຍແຜ່ຊຸດຂໍ້ມູນທີ່ມີການຄາດຄະເນຫຼ້າສຸດສໍາລັບແຕ່ລະຊັບສິນ.

ຂໍ້ມູນການຜັນຜວນ

ເຖິງແມ່ນວ່າຂະບວນການຂ້າງເທິງນີ້ຖືກອອກແບບມາສໍາລັບຊັບສິນທີ່ຍັງຄົງຄ້າງ, ການຈະລາຈອນທີ່ບໍ່ຄົງທີ່ຍັງຖືວ່າເປັນສ່ວນຫນຶ່ງຂອງຂໍ້ມູນຂອງອົງການຈັດຕັ້ງແລະສາມາດມີຄວາມສໍາຄັນ. ສໍາລັບເຫດຜົນນີ້, ລະບົບສະຫນອງ API ອອນໄລນ໌ສໍາລັບການສ້າງການຄາດຄະເນການຈັດປະເພດໃນເວລາທີ່ແທ້ຈິງສໍາລັບການຈາລະຈອນ intermittent ໃດ. ລະບົບການພະຍາກອນແບບສົດໆໄດ້ຖືກນໍາໃຊ້ຢ່າງກວ້າງຂວາງໃນການຈັດປະເພດການຈະລາຈອນຂາອອກ, ການຈະລາຈອນຂາເຂົ້າເຂົ້າໄປໃນຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກແລະຂໍ້ມູນຂອງຜູ້ໂຄສະນາ.

ທີ່ນີ້ API ໃຊ້ສອງການໂຕ້ຖຽງຕົ້ນຕໍ: ລະຫັດກຸ່ມແລະຂໍ້ມູນດິບທີ່ຈະຄາດຄະເນ. ການບໍລິການປະຕິບັດການດຶງວັດຖຸດຽວກັນຕາມທີ່ອະທິບາຍຂ້າງເທິງນີ້ແລະຈັດກຸ່ມວັດຖຸເຂົ້າກັນສໍາລັບລະຫັດດຽວກັນ. ຄຸນສົມບັດເຫຼົ່ານີ້ຍັງໄດ້ຮັບການສະຫນັບສະຫນູນຢູ່ໃນ cache ຄົງທົນສໍາລັບການຟື້ນຕົວຄວາມລົ້ມເຫຼວ. ສໍາລັບແຕ່ລະກຸ່ມທີ່ສໍາຄັນ, ການບໍລິການຮັບປະກັນວ່າມັນໄດ້ເຫັນຕົວຢ່າງພຽງພໍກ່ອນທີ່ຈະໂທຫາການບໍລິການຄາດຄະເນ, ປະຕິບັດຕາມຂະບວນການທີ່ໄດ້ອະທິບາຍຂ້າງເທິງ.

ການເພີ່ມປະສິດທິພາບ

ເພື່ອສະແກນບາງບ່ອນເກັບມ້ຽນ, ພວກເຮົາໃຊ້ຫ້ອງສະໝຸດ ແລະເຕັກນິກຕ່າງໆເພື່ອເພີ່ມປະສິດທິພາບການອ່ານຈາກບ່ອນເກັບຂໍ້ມູນຮ້ອນ [2] ແລະຮັບປະກັນວ່າບໍ່ມີການລົບກວນຈາກຜູ້ໃຊ້ອື່ນທີ່ເຂົ້າເຖິງບ່ອນເກັບຂໍ້ມູນດຽວກັນ.

ສໍາລັບຕາຕະລາງຂະຫນາດໃຫຍ່ທີ່ສຸດ (50+ petabytes), ເຖິງວ່າຈະມີການເພີ່ມປະສິດທິພາບແລະຄວາມຊົງຈໍາທັງຫມົດ, ລະບົບຈະເຮັດວຽກເພື່ອສະແກນແລະຄິດໄລ່ທຸກສິ່ງທຸກຢ່າງກ່ອນທີ່ຈະຫມົດຄວາມຈໍາ. ຫຼັງຈາກທີ່ທັງຫມົດ, ການສະແກນໄດ້ຖືກຄິດໄລ່ທັງຫມົດໃນຫນ່ວຍຄວາມຈໍາແລະບໍ່ໄດ້ເກັບຮັກສາໄວ້ໃນລະຫວ່າງການສະແກນ. ຖ້າຕາຕະລາງໃຫຍ່ມີຄໍລໍາຫລາຍພັນຄໍລໍາທີ່ມີຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງ, ວຽກອາດຈະລົ້ມເຫລວເນື່ອງຈາກຊັບພະຍາກອນຫນ່ວຍຄວາມຈໍາບໍ່ພຽງພໍໃນເວລາເຮັດການຄາດເດົາໃນຕາຕະລາງທັງຫມົດ. ນີ້ຈະເຮັດໃຫ້ການຄຸ້ມຄອງຫຼຸດລົງ. ເພື່ອຕໍ່ສູ້ກັບສິ່ງດັ່ງກ່າວ, ພວກເຮົາໄດ້ປັບປຸງລະບົບໃຫ້ໃຊ້ຄວາມໄວສະແກນເປັນຕົວແທນສໍາລັບວ່າລະບົບຈັດການກັບວຽກປະຈຸບັນໄດ້ດີປານໃດ. ພວກເຮົາໃຊ້ຄວາມໄວເປັນກົນໄກການຄາດເດົາເພື່ອເບິ່ງບັນຫາຄວາມຊົງຈໍາແລະຄາດຄະເນການຄິດໄລ່ແຜນທີ່ຄຸນນະສົມບັດ. ໃນເວລາດຽວກັນ, ພວກເຮົາໃຊ້ຂໍ້ມູນຫນ້ອຍກວ່າປົກກະຕິ.

ສັນຍານຂໍ້ມູນ

ລະບົບການຈັດປະເພດແມ່ນດີເທົ່າກັບສັນຍານຈາກຂໍ້ມູນ. ໃນທີ່ນີ້ພວກເຮົາຈະເບິ່ງສັນຍານທັງຫມົດທີ່ໃຊ້ໂດຍລະບົບການຈັດປະເພດ.

• ເນື້ອຫາອີງໃສ່: ແນ່ນອນ, ສັນຍານທໍາອິດແລະສໍາຄັນທີ່ສຸດແມ່ນເນື້ອຫາ. ການເກັບຕົວຢ່າງ Bernoulli ແມ່ນປະຕິບັດໃນແຕ່ລະຊັບສິນຂໍ້ມູນທີ່ພວກເຮົາສະແກນແລະສະກັດຄຸນສົມບັດໂດຍອີງໃສ່ເນື້ອໃນຂໍ້ມູນ. ອາການຫຼາຍແມ່ນມາຈາກເນື້ອໃນ. ຈໍານວນຂອງວັດຖຸທີ່ເລື່ອນໄດ້ແມ່ນເປັນໄປໄດ້, ເຊິ່ງສະແດງເຖິງການຄິດໄລ່ຈໍານວນຄັ້ງທີ່ປະເພດຂອງຕົວຢ່າງທີ່ໄດ້ຖືກເຫັນ. ຕົວຢ່າງ, ພວກເຮົາອາດຈະມີອາການຂອງຈໍານວນອີເມວທີ່ເຫັນໃນຕົວຢ່າງ, ຫຼືສັນຍານຂອງຈໍານວນ emojis ທີ່ເຫັນຢູ່ໃນຕົວຢ່າງ. ການຄິດໄລ່ຄຸນສົມບັດເຫຼົ່ານີ້ສາມາດຖືກປັບໃຫ້ເປັນປົກກະຕິແລະລວບລວມໃນທົ່ວການສະແກນທີ່ແຕກຕ່າງກັນ.
• ການພິສູດຂໍ້ມູນ: ເປັນສັນຍານທີ່ສໍາຄັນທີ່ສາມາດຊ່ວຍໃນເວລາທີ່ເນື້ອຫາມີການປ່ຽນແປງຈາກຕາຕະລາງພໍ່ແມ່. ຕົວຢ່າງທົ່ວໄປແມ່ນຂໍ້ມູນ hashed. ເມື່ອຂໍ້ມູນໃນຕາຕະລາງເດັກນ້ອຍຖືກ hashed, ມັນມັກຈະມາຈາກຕາຕະລາງພໍ່ແມ່, ບ່ອນທີ່ມັນຍັງຄົງຢູ່ໃນຄວາມຊັດເຈນ. ຂໍ້ມູນ Lineage ຊ່ວຍຈັດປະເພດຂໍ້ມູນບາງປະເພດເມື່ອພວກມັນບໍ່ໄດ້ອ່ານຢ່າງຈະແຈ້ງ ຫຼືຖືກປ່ຽນຈາກຕາຕະລາງຂັ້ນເທິງ.
• ໝາຍເຫດ: ສັນຍານຄຸນນະພາບສູງອີກອັນໜຶ່ງທີ່ຊ່ວຍໃນການລະບຸຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງ. ໃນຄວາມເປັນຈິງ, ຄໍາບັນຍາຍແລະຂໍ້ມູນຫຼັກຖານສາມາດເຮັດວຽກຮ່ວມກັນເພື່ອເຜີຍແຜ່ຄຸນລັກສະນະຕ່າງໆໃນທົ່ວຊັບສິນຂໍ້ມູນທີ່ແຕກຕ່າງກັນ. ຄຳບັນຍາຍຊ່ວຍລະບຸແຫຼ່ງທີ່ມາຂອງຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງ, ໃນຂະນະທີ່ຂໍ້ມູນສາຍພັນສາມາດຊ່ວຍຕິດຕາມການໄຫຼເຂົ້າຂອງຂໍ້ມູນນັ້ນໃນທົ່ວບ່ອນເກັບມ້ຽນ.
• ການສີດຂໍ້ມູນແມ່ນເຕັກນິກທີ່ລັກສະນະພິເສດທີ່ບໍ່ສາມາດອ່ານໄດ້ໂດຍເຈດຕະນານໍາເຂົ້າໄປໃນແຫຼ່ງທີ່ຮູ້ຈັກຂອງປະເພດຂໍ້ມູນທີ່ຮູ້ຈັກ. ຫຼັງຈາກນັ້ນ, ທຸກຄັ້ງທີ່ພວກເຮົາສະແກນເນື້ອຫາດ້ວຍລໍາດັບຕົວອັກສອນດຽວກັນທີ່ບໍ່ສາມາດອ່ານໄດ້, ພວກເຮົາສາມາດຄາດເດົາໄດ້ວ່າເນື້ອຫາມາຈາກປະເພດຂໍ້ມູນທີ່ຮູ້ຈັກນັ້ນ. ນີ້ແມ່ນສັນຍານຂໍ້ມູນທີ່ມີຄຸນນະພາບອີກອັນໜຶ່ງທີ່ຄ້າຍຄືກັບຄຳອະທິບາຍປະກອບ. ຍົກ​ເວັ້ນ​ແຕ່​ວ່າ​ການ​ຊອກ​ຄົ້ນ​ຫາ​ໂດຍ​ອີງ​ໃສ່​ເນື້ອ​ຫາ​ທີ່​ຈະ​ຊ່ວຍ​ໃຫ້​ຄົ້ນ​ພົບ​ຂໍ້​ມູນ​ທີ່​ປ້ອນ​ເຂົ້າ​.

ເມຕຣິກການວັດແທກ

ອົງປະກອບທີ່ສໍາຄັນແມ່ນວິທີການທີ່ເຄັ່ງຄັດສໍາລັບການວັດແທກ metrics. metrics ຕົ້ນຕໍສໍາລັບການ iteration ການປັບປຸງການຈັດປະເພດແມ່ນຄວາມແມ່ນຍໍາແລະການເອີ້ນຄືນຂອງແຕ່ລະປ້າຍຊື່, ດ້ວຍຄະແນນ F2 ແມ່ນສໍາຄັນທີ່ສຸດ.

ເພື່ອຄິດໄລ່ metrics ເຫຼົ່ານີ້, ວິທີການທີ່ເປັນເອກະລາດສໍາລັບການຕິດສະຫຼາກຊັບສິນຂໍ້ມູນແມ່ນຈໍາເປັນທີ່ເປັນເອກະລາດຂອງລະບົບຕົວມັນເອງ, ແຕ່ສາມາດນໍາໃຊ້ສໍາລັບການປຽບທຽບໂດຍກົງກັບມັນ. ຂ້າງລຸ່ມນີ້ພວກເຮົາອະທິບາຍວິທີການທີ່ພວກເຮົາເກັບກໍາຄວາມຈິງພື້ນຖານຈາກເຟສບຸກແລະນໍາໃຊ້ມັນເພື່ອຝຶກອົບຮົມລະບົບການຈັດປະເພດຂອງພວກເຮົາ.

ການເກັບກໍາຂໍ້ມູນທີ່ເຊື່ອຖືໄດ້

ພວກເຮົາສະສົມຂໍ້ມູນທີ່ເຊື່ອຖືໄດ້ຈາກແຕ່ລະແຫຼ່ງທີ່ລະບຸໄວ້ຂ້າງລຸ່ມນີ້ເຂົ້າໄປໃນຕາຕະລາງຂອງຕົນເອງ. ແຕ່ລະຕາຕະລາງແມ່ນຮັບຜິດຊອບສໍາລັບການລວບລວມມູນຄ່າທີ່ສັງເກດເຫັນຫລ້າສຸດຈາກແຫຼ່ງສະເພາະນັ້ນ. ແຕ່ລະແຫຼ່ງມີການກວດສອບຄຸນນະພາບຂໍ້ມູນເພື່ອຮັບປະກັນວ່າຄ່າທີ່ສັງເກດເຫັນສໍາລັບແຕ່ລະແຫຼ່ງແມ່ນມີຄຸນນະພາບສູງແລະມີປ້າຍປະເພດຂໍ້ມູນຫຼ້າສຸດ.

• ການຕັ້ງຄ່າແພລະຕະຟອມບັນທຶກ: ບາງຊ່ອງຂໍ້ມູນໃນຕາຕະລາງ hive ແມ່ນມີຂໍ້ມູນປະເພດສະເພາະ. ການນໍາໃຊ້ແລະການເຜີຍແຜ່ຂໍ້ມູນນີ້ເຮັດຫນ້າທີ່ເປັນແຫຼ່ງຄວາມຈິງທີ່ເຊື່ອຖືໄດ້.
• ການຕິດສະຫຼາກດ້ວຍມື: ຜູ້ພັດທະນາຮັກສາລະບົບເຊັ່ນດຽວກັນກັບຜູ້ຕິດສະຫຼາກພາຍນອກໄດ້ຮັບການຝຶກອົບຮົມເພື່ອຕິດສະຫຼາກຖັນ. ໂດຍທົ່ວໄປແລ້ວນີ້ເຮັດວຽກໄດ້ດີສໍາລັບທຸກປະເພດຂອງຂໍ້ມູນໃນສາງ, ແລະສາມາດເປັນຕົ້ນສະບັບຂອງຄວາມຈິງສໍາລັບບາງຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງ, ເຊັ່ນ: ຂໍ້ມູນຂໍ້ຄວາມຫຼືເນື້ອໃນຂອງຜູ້ໃຊ້.
• ຖັນຈາກຕາຕະລາງພໍ່ແມ່ສາມາດຖືກໝາຍ ຫຼືໝາຍຫຍໍ້ວ່າມີຂໍ້ມູນສະເພາະ, ແລະພວກເຮົາສາມາດຕິດຕາມຂໍ້ມູນນັ້ນຢູ່ໃນຕາຕະລາງຂອງເດັກນ້ອຍໄດ້.
• ການດຶງເອົາກະທູ້ຂອງການປະຕິບັດ: ກະທູ້ຂອງການປະຕິບັດໃນ Facebook ປະຕິບັດປະເພດຂໍ້ມູນສະເພາະ. ການນໍາໃຊ້ເຄື່ອງສະແກນຂອງພວກເຮົາເປັນສະຖາປັດຕະຍະການບໍລິການ, ພວກເຮົາສາມາດເອົາຕົວຢ່າງນ້ໍາທີ່ມີປະເພດຂໍ້ມູນທີ່ຮູ້ຈັກແລະສົ່ງຜ່ານລະບົບ. ລະບົບສັນຍາວ່າຈະບໍ່ເກັບຮັກສາຂໍ້ມູນນີ້.
• ຕາຕະລາງຕົວຢ່າງ: ຕາຕະລາງ hive ຂະຫນາດໃຫຍ່, ເຊິ່ງຮູ້ວ່າມີຂໍ້ມູນທັງຫມົດ corpus, ຍັງສາມາດຖືກນໍາໃຊ້ເປັນຂໍ້ມູນການຝຶກອົບຮົມແລະຜ່ານເຄື່ອງສະແກນເປັນບໍລິການ. ນີ້ແມ່ນດີເລີດສໍາລັບຕາຕະລາງທີ່ມີປະເພດຂໍ້ມູນເຕັມຮູບແບບ, ດັ່ງນັ້ນການເກັບຕົວຢ່າງຄໍລໍາແບບສຸ່ມແມ່ນເທົ່າກັບການເກັບຕົວຢ່າງຊຸດຂໍ້ມູນທັງຫມົດ.
• ຂໍ້​ມູນ​ສັງ​ເຄາະ​: ພວກ​ເຮົາ​ແມ່ນ​ແຕ່​ສາ​ມາດ​ນໍາ​ໃຊ້​ຫ້ອງ​ສະ​ຫມຸດ​ທີ່​ສ້າງ​ຂໍ້​ມູນ​ໃນ​ການ​ບິນ​ໄດ້​. ນີ້ເຮັດວຽກໄດ້ດີສໍາລັບປະເພດຂໍ້ມູນສາທາລະນະແບບງ່າຍດາຍເຊັ່ນ: ທີ່ຢູ່ ຫຼື GPS.
• Data Stewards: ປົກກະຕິແລ້ວໂປຣແກຣມຄວາມເປັນສ່ວນຕົວໃຊ້ data stewards ເພື່ອມອບໝາຍນະໂຍບາຍໃຫ້ກັບຂໍ້ມູນຕ່າງໆດ້ວຍຕົນເອງ. ອັນນີ້ໃຊ້ເປັນແຫຼ່ງຄວາມຈິງທີ່ມີຄວາມຖືກຕ້ອງສູງ.

ພວກເຮົາລວມເອົາແຫຼ່ງຄວາມຈິງຫຼັກໆທັງໝົດເຂົ້າໄປໃນສູນລວມຂໍ້ມູນທັງໝົດນັ້ນ. ສິ່ງທ້າທາຍທີ່ໃຫຍ່ທີ່ສຸດກັບຄວາມຖືກຕ້ອງແມ່ນໃຫ້ແນ່ໃຈວ່າມັນເປັນຕົວແທນຂອງບ່ອນເກັບຂໍ້ມູນ. ຖ້າບໍ່ດັ່ງນັ້ນ, ເຄື່ອງຈັກການຈັດປະເພດອາດຈະ overtrain. ເພື່ອຕ້ານການນີ້, ທັງຫມົດຂອງແຫຼ່ງຂໍ້ມູນຂ້າງເທິງນີ້ຖືກນໍາໃຊ້ເພື່ອຮັບປະກັນຄວາມສົມດູນໃນເວລາທີ່ຮູບແບບການຝຶກອົບຮົມຫຼືການຄິດໄລ່ metrics. ນອກຈາກນັ້ນ, ຜູ້ຕິດສະຫຼາກຂອງມະນຸດໃຫ້ຕົວຢ່າງເປັນຖັນທີ່ແຕກຕ່າງກັນຢູ່ໃນບ່ອນເກັບມ້ຽນແລະຕິດສະຫຼາກຂໍ້ມູນຕາມຄວາມເຫມາະສົມເພື່ອໃຫ້ການລວບລວມຄວາມຈິງຂອງພື້ນຖານຍັງຄົງບໍ່ມີຄວາມລໍາອຽງ.

ການປະສົມປະສານຢ່າງຕໍ່ເນື່ອງ

ເພື່ອຮັບປະກັນການ iteration ແລະການປັບປຸງຢ່າງໄວວາ, ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະວັດແທກການປະຕິບັດລະບົບໃນເວລາທີ່ແທ້ຈິງ. ພວກເຮົາສາມາດວັດແທກການປັບປຸງການຈັດປະເພດກັບລະບົບໃນມື້ນີ້, ດັ່ງນັ້ນພວກເຮົາສາມາດແນະນໍາການປັບປຸງໃນອະນາຄົດໂດຍອີງໃສ່ຂໍ້ມູນ. ທີ່ນີ້ພວກເຮົາເບິ່ງວິທີການທີ່ລະບົບເຮັດສໍາເລັດ loop ຄວາມຄິດເຫັນທີ່ສະຫນອງໃຫ້ໂດຍຂໍ້ມູນທີ່ຖືກຕ້ອງ.

ເມື່ອລະບົບການກໍານົດເວລາພົບກັບຊັບສິນທີ່ມີປ້າຍຊື່ຈາກແຫຼ່ງທີ່ເຊື່ອຖືໄດ້, ພວກເຮົາຈັດຕາຕະລາງສອງວຽກງານ. ທໍາອິດໃຊ້ເຄື່ອງສະແກນການຜະລິດຂອງພວກເຮົາແລະດັ່ງນັ້ນຄວາມສາມາດໃນການຜະລິດຂອງພວກເຮົາ. ວຽກງານທີສອງໃຊ້ເຄື່ອງສະແກນການກໍ່ສ້າງຫລ້າສຸດທີ່ມີລັກສະນະຫລ້າສຸດ. ແຕ່ລະວຽກງານຂຽນຜົນໄດ້ຮັບຂອງຕົນໃສ່ຕາຕະລາງຂອງຕົນເອງ, tagging ສະບັບພ້ອມກັບຜົນໄດ້ຮັບການຈັດປະເພດ.

ນີ້ແມ່ນວິທີທີ່ພວກເຮົາປຽບທຽບຜົນໄດ້ຮັບການຈັດປະເພດຂອງຜູ້ສະຫມັກການປ່ອຍຕົວແລະຮູບແບບການຜະລິດໃນເວລາທີ່ແທ້ຈິງ.

ໃນຂະນະທີ່ຊຸດຂໍ້ມູນປຽບທຽບລັກສະນະ RC ແລະ PROD, ຫຼາຍໆຕົວປ່ຽນແປງຂອງເຄື່ອງຈັກການຈັດປະເພດ ML ຂອງບໍລິການຄາດຄະເນຖືກບັນທຶກ. ຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກທີ່ສ້າງຂຶ້ນຫຼ້າສຸດ, ຮູບແບບການຜະລິດໃນປະຈຸບັນ, ແລະຮູບແບບທົດລອງໃດໆ. ວິທີການດຽວກັນນີ້ອະນຸຍາດໃຫ້ພວກເຮົາ "ຕັດ" ຮຸ່ນທີ່ແຕກຕ່າງກັນຂອງຕົວແບບ (ບໍ່ຫນ້າເຊື່ອກັບຕົວຈັດປະເພດກົດລະບຽບຂອງພວກເຮົາ) ແລະປຽບທຽບ metrics ໃນເວລາທີ່ແທ້ຈິງ. ນີ້ເຮັດໃຫ້ມັນງ່າຍທີ່ຈະກໍານົດເວລາທີ່ການທົດລອງ ML ແມ່ນພ້ອມທີ່ຈະເຂົ້າໄປໃນການຜະລິດ.

ໃນແຕ່ລະຄືນ, ຄຸນສົມບັດ RC ທີ່ຖືກຄິດໄລ່ສໍາລັບມື້ນັ້ນຖືກສົ່ງໄປຫາທໍ່ການຝຶກອົບຮົມ ML, ບ່ອນທີ່ຕົວແບບໄດ້ຖືກຝຶກອົບຮົມກ່ຽວກັບຄຸນສົມບັດ RC ຫຼ້າສຸດແລະປະເມີນການປະຕິບັດຂອງມັນຕໍ່ກັບຊຸດຂໍ້ມູນຄວາມຈິງ.

ໃນແຕ່ລະເຊົ້າ, ຮູບແບບດັ່ງກ່າວສໍາເລັດການຝຶກອົບຮົມແລະຖືກເຜີຍແຜ່ໂດຍອັດຕະໂນມັດເປັນຕົວແບບທົດລອງ. ມັນຖືກລວມເຂົ້າໃນບັນຊີລາຍຊື່ທົດລອງໂດຍອັດຕະໂນມັດ.

ບາງຜົນໄດ້ຮັບ

ຫຼາຍກວ່າ 100 ປະເພດຂໍ້ມູນທີ່ແຕກຕ່າງກັນຖືກຕິດສະຫຼາກດ້ວຍຄວາມຖືກຕ້ອງສູງ. ປະເພດທີ່ມີໂຄງສ້າງທີ່ດີເຊັ່ນ: ອີເມວ ແລະເບີໂທລະສັບຖືກຈັດປະເພດດ້ວຍຄະແນນ f2 ຫຼາຍກວ່າ 0,95. ປະເພດຂໍ້ມູນຟຣີເຊັ່ນ: ເນື້ອຫາທີ່ສ້າງໂດຍຜູ້ໃຊ້ແລະຊື່ຍັງປະຕິບັດໄດ້ດີ, ມີຄະແນນ F2 ຫຼາຍກວ່າ 0,85.

ຈໍານວນຄໍລໍາສ່ວນບຸກຄົນຈໍານວນຫລາຍຂອງຂໍ້ມູນຄົງທີ່ແລະການປ່ຽນແປງໄດ້ຖືກຈັດປະເພດປະຈໍາວັນໃນທົ່ວທຸກ repositories. ຫຼາຍກວ່າ 500 terabytes ຖືກສະແກນປະຈໍາວັນໃນທົ່ວຫຼາຍກວ່າ 10 ຄັງຂໍ້ມູນ. ສ່ວນໃຫຍ່ຂອງບ່ອນເກັບມ້ຽນເຫຼົ່ານີ້ມີການຄຸ້ມຄອງຫຼາຍກວ່າ 98%.

ເມື່ອເວລາຜ່ານໄປ, ການຈັດປະເພດໄດ້ກາຍເປັນປະສິດທິພາບຫຼາຍ, ດ້ວຍການຈັດປະເພດວຽກຢູ່ໃນສະຕຣີມອອບໄລນ໌ທີ່ຍັງຄົງຄ້າງໃຊ້ເວລາໂດຍສະເລ່ຍ 35 ວິນາທີຈາກການສະແກນຊັບສິນເພື່ອຄິດໄລ່ການຄາດຄະເນສໍາລັບແຕ່ລະຖັນ.

ເຂົ້າ. 2. ແຜນວາດອະທິບາຍການໄຫຼເຂົ້າຂອງການເຊື່ອມໂຍງຢ່າງຕໍ່ເນື່ອງເພື່ອເຂົ້າໃຈວິທີການສ້າງວັດຖຸ RC ແລະຖືກສົ່ງໄປຫາຕົວແບບ.

ຮູບທີ 3. ແຜນວາດລະດັບສູງຂອງອົງປະກອບການຮຽນຮູ້ເຄື່ອງຈັກ.

ອົງປະກອບຂອງລະບົບການຮຽນຮູ້ເຄື່ອງຈັກ

ໃນພາກກ່ອນ, ພວກເຮົາໄດ້ລົງເລິກເຂົ້າໄປໃນສະຖາປັດຕະຍະກໍາລະບົບໂດຍລວມ, ການເນັ້ນຂະຫນາດ, ການເພີ່ມປະສິດທິພາບ, ແລະກະແສຂໍ້ມູນອອຟໄລແລະອອນໄລນ໌. ໃນພາກນີ້, ພວກເຮົາຈະເບິ່ງການບໍລິການການພະຍາກອນແລະອະທິບາຍລະບົບການຮຽນຮູ້ເຄື່ອງຈັກທີ່ມີອໍານາດການບໍລິການການພະຍາກອນ.

ດ້ວຍຫຼາຍກວ່າ 100 ປະເພດຂໍ້ມູນ ແລະບາງເນື້ອໃນທີ່ບໍ່ມີໂຄງສ້າງເຊັ່ນ: ຂໍ້ມູນຂໍ້ຄວາມ ແລະເນື້ອຫາຂອງຜູ້ໃຊ້, ການໃຊ້ heuristics ຄູ່ມືອັນບໍລິສຸດສົ່ງຜົນໃຫ້ຄວາມຖືກຕ້ອງຂອງການຈັດປະເພດຍ່ອຍຍ່ອຍ, ໂດຍສະເພາະແມ່ນຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງ. ສໍາລັບເຫດຜົນນີ້, ພວກເຮົາຍັງໄດ້ພັດທະນາລະບົບການຮຽນຮູ້ເຄື່ອງຈັກເພື່ອຈັດການກັບຄວາມສັບສົນຂອງຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງ. ການນໍາໃຊ້ການຮຽນຮູ້ເຄື່ອງຈັກຊ່ວຍໃຫ້ທ່ານສາມາດເລີ່ມຕົ້ນການເຄື່ອນຍ້າຍອອກຈາກ heuristics ຄູ່ມືແລະເຮັດວຽກກັບຄຸນສົມບັດແລະສັນຍານຂໍ້ມູນເພີ່ມເຕີມ (ຕົວຢ່າງ, ຊື່ຖັນ, ຕົ້ນກໍາເນີດຂໍ້ມູນ) ເພື່ອປັບປຸງຄວາມຖືກຕ້ອງ.

ຮູບແບບທີ່ປະຕິບັດໄດ້ສຶກສາການເປັນຕົວແທນຂອງ vector [3] ຫຼາຍກວ່າວັດຖຸທີ່ຫນາແຫນ້ນແລະ sparse ແຍກຕ່າງຫາກ. ຫຼັງຈາກນັ້ນ, ສິ່ງເຫຼົ່ານີ້ຖືກລວມເຂົ້າກັນເພື່ອສ້າງເປັນ vector, ເຊິ່ງຜ່ານຊຸດຂອງການປົກກະຕິ batch [4] ແລະຂັ້ນຕອນ nonlinearity ເພື່ອຜະລິດຜົນໄດ້ຮັບສຸດທ້າຍ. ຜົນໄດ້ຮັບທີ່ສຸດແມ່ນຕົວເລກຈຸດລອຍລະຫວ່າງ [0-1] ສໍາລັບແຕ່ລະປ້າຍຊື່, ຊີ້ໃຫ້ເຫັນຄວາມເປັນໄປໄດ້ທີ່ຕົວຢ່າງເປັນຂອງປະເພດຄວາມອ່ອນໄຫວນັ້ນ. ການນໍາໃຊ້ PyTorch ສໍາລັບແບບຈໍາລອງເຮັດໃຫ້ພວກເຮົາເຄື່ອນທີ່ໄວຂຶ້ນ, ໃຫ້ນັກພັດທະນານອກທີມເຮັດແລະທົດສອບການປ່ຽນແປງຢ່າງໄວວາ.

ເມື່ອອອກແບບສະຖາປັດຕະຍະກໍາ, ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະສ້າງແບບຈໍາລອງວັດຖຸທີ່ມີຄວາມຫນາແຫນ້ນ (ຕົວຢ່າງຂໍ້ຄວາມ) ແລະຄວາມຫນາແຫນ້ນ (ຕົວຢ່າງຕົວເລກ) ແຍກຕ່າງຫາກເນື່ອງຈາກຄວາມແຕກຕ່າງຂອງມັນ. ສໍາລັບຖາປັດຕະຍະສຸດທ້າຍ, ມັນຍັງມີຄວາມສໍາຄັນທີ່ຈະດໍາເນີນການກວາດພາລາມິເຕີເພື່ອຊອກຫາຄ່າທີ່ດີທີ່ສຸດສໍາລັບອັດຕາການຮຽນຮູ້, ຂະຫນາດ batch ແລະ hyperparameters ອື່ນໆ. ທາງເລືອກຂອງ optimizer ຍັງເປັນ hyperparameter ທີ່ສໍາຄັນ. ພວກເຮົາພົບເຫັນວ່າຕົວເພີ່ມປະສິດທິພາບທີ່ນິຍົມ Adamມັກຈະນໍາໄປສູ່ການ overfitting, ໃນຂະນະທີ່ຮູບແບບທີ່ມີ SGD ຄົງທີ່ຫຼາຍ. ມີ nuances ເພີ່ມເຕີມທີ່ພວກເຮົາຕ້ອງປະກອບໂດຍກົງໃນຕົວແບບ. ຕົວຢ່າງ, ກົດລະບຽບສະຖິດທີ່ຮັບປະກັນວ່າຕົວແບບເຮັດໃຫ້ການຄາດຄະເນທີ່ກໍານົດໃນເວລາທີ່ຄຸນນະສົມບັດມີມູນຄ່າທີ່ແນ່ນອນ. ກົດລະບຽບຄົງທີ່ເຫຼົ່ານີ້ຖືກກໍານົດໂດຍລູກຄ້າຂອງພວກເຮົາ. ພວກເຮົາພົບວ່າການລວມເອົາພວກມັນໂດຍກົງເຂົ້າໃນຕົວແບບນັ້ນເຮັດໃຫ້ມີສະຖາປັດຕະຍະກຳທີ່ມີຕົວຕົນ ແລະແຂງແຮງກວ່າ, ກົງກັນຂ້າມກັບການປະຕິບັດຂັ້ນຕອນຫຼັງການປຸງແຕ່ງເພື່ອຈັດການກັບກໍລະນີຂອບພິເສດເຫຼົ່ານີ້. ໃຫ້ສັງເກດວ່າກົດລະບຽບເຫຼົ່ານີ້ແມ່ນພິການໃນລະຫວ່າງການຝຶກອົບຮົມເພື່ອບໍ່ໃຫ້ແຊກແຊງຂະບວນການຝຶກອົບຮົມທີ່ສືບເຊື້ອສາຍ gradient.

ບັນຫາ

ຫນຶ່ງໃນສິ່ງທ້າທາຍແມ່ນການເກັບກໍາຂໍ້ມູນທີ່ມີຄຸນນະພາບສູງ, ເຊື່ອຖືໄດ້. ຮູບແບບຕ້ອງການຄວາມຫມັ້ນໃຈສໍາລັບແຕ່ລະຊັ້ນຮຽນເພື່ອໃຫ້ມັນສາມາດຮຽນຮູ້ການເຊື່ອມໂຍງລະຫວ່າງວັດຖຸແລະປ້າຍຊື່. ໃນພາກທີ່ຜ່ານມາ, ພວກເຮົາໄດ້ປຶກສາຫາລືວິທີການເກັບກໍາຂໍ້ມູນສໍາລັບທັງການວັດແທກລະບົບແລະການຝຶກອົບຮົມແບບຈໍາລອງ. ການ​ວິ​ເຄາະ​ໄດ້​ສະ​ແດງ​ໃຫ້​ເຫັນ​ວ່າ​ຊັ້ນ​ຂໍ້​ມູນ​ເຊັ່ນ​ບັດ​ເຄຣ​ດິດ​ແລະ​ເລກ​ບັນ​ຊີ​ທະ​ນາ​ຄານ​ແມ່ນ​ບໍ່​ມີ​ຫຼາຍ​ທົ່ວ​ໄປ​ໃນ​ສາງ​ຂອງ​ພວກ​ເຮົາ​. ນີ້ເຮັດໃຫ້ມັນຍາກທີ່ຈະເກັບກໍາຂໍ້ມູນຈໍານວນຫລາຍທີ່ເຊື່ອຖືໄດ້ເພື່ອຝຶກອົບຮົມແບບຈໍາລອງ. ເພື່ອແກ້ໄຂບັນຫານີ້, ພວກເຮົາໄດ້ພັດທະນາຂະບວນການສໍາລັບການໄດ້ຮັບຂໍ້ມູນຄວາມຈິງພື້ນຖານສັງເຄາະສໍາລັບຫ້ອງຮຽນເຫຼົ່ານີ້. ພວກເຮົາສ້າງຂໍ້ມູນດັ່ງກ່າວສໍາລັບປະເພດທີ່ລະອຽດອ່ອນລວມທັງ ສ. ວ. ສ, ເລກບັດເຄຣດິດ и IBAN- ຕົວເລກທີ່ຕົວແບບບໍ່ສາມາດຄາດເດົາໄດ້ໃນເມື່ອກ່ອນ. ວິທີການນີ້ອະນຸຍາດໃຫ້ປະມວນຜົນປະເພດຂໍ້ມູນທີ່ມີຄວາມອ່ອນໄຫວໂດຍບໍ່ມີຄວາມສ່ຽງດ້ານຄວາມເປັນສ່ວນຕົວທີ່ກ່ຽວຂ້ອງກັບການເຊື່ອງຂໍ້ມູນທີ່ລະອຽດອ່ອນຕົວຈິງ.

ນອກ​ຈາກ​ບັນ​ຫາ​ຄວາມ​ຈິງ​ພື້ນ​ຖານ​, ຍັງ​ມີ​ບັນ​ຫາ​ສະ​ຖາ​ປັດ​ຕະ​ເປີດ​ທີ່​ພວກ​ເຮົາ​ກໍາ​ລັງ​ເຮັດ​ວຽກ​ກ່ຽວ​ກັບ​ການ​, ເຊັ່ນ​:​ ປ່ຽນແປງຄວາມໂດດດ່ຽວ и ຢຸດໄວ. ການໂດດດ່ຽວຂອງການປ່ຽນແປງແມ່ນມີຄວາມສໍາຄັນເພື່ອຮັບປະກັນວ່າເມື່ອມີການປ່ຽນແປງທີ່ແຕກຕ່າງກັນກັບພາກສ່ວນຕ່າງໆຂອງເຄືອຂ່າຍ, ຜົນກະທົບແມ່ນໂດດດ່ຽວກັບຫ້ອງຮຽນສະເພາະແລະບໍ່ມີຜົນກະທົບຢ່າງກວ້າງຂວາງຕໍ່ການປະຕິບັດການຄາດຄະເນໂດຍລວມ. ການປັບປຸງມາດຖານການຢຸດເຊົາກ່ອນໄວອັນຄວນແມ່ນສໍາຄັນເພື່ອວ່າພວກເຮົາສາມາດຢຸດຂະບວນການຝຶກອົບຮົມຢູ່ໃນຈຸດທີ່ຫມັ້ນຄົງສໍາລັບທຸກຊັ້ນຮຽນ, ແທນທີ່ຈະຢູ່ໃນຈຸດທີ່ບາງຊັ້ນຮຽນເກີນແລະບາງຊັ້ນຮຽນບໍ່ໄດ້.

ຄວາມສຳຄັນຂອງຄຸນສົມບັດ

ເມື່ອຄຸນນະສົມບັດໃຫມ່ຖືກນໍາສະເຫນີເຂົ້າໄປໃນຕົວແບບ, ພວກເຮົາຕ້ອງການຮູ້ວ່າຜົນກະທົບໂດຍລວມຂອງມັນຢູ່ໃນຕົວແບບ. ພວກເຮົາຍັງຕ້ອງການໃຫ້ແນ່ໃຈວ່າການຄາດເດົາແມ່ນສາມາດຕີຄວາມຫມາຍຂອງມະນຸດໄດ້ເພື່ອໃຫ້ພວກເຮົາສາມາດເຂົ້າໃຈໄດ້ຢ່າງແທ້ຈິງວ່າລັກສະນະໃດທີ່ຖືກນໍາໃຊ້ສໍາລັບແຕ່ລະປະເພດຂອງຂໍ້ມູນ. ສໍາລັບຈຸດປະສົງນີ້ພວກເຮົາໄດ້ພັດທະນາແລະແນະນໍາ ໂດຍຫ້ອງຮຽນ ຄວາມສໍາຄັນຂອງລັກສະນະສໍາລັບຮູບແບບ PyTorch. ໃຫ້ສັງເກດວ່ານີ້ແຕກຕ່າງຈາກຄວາມສໍາຄັນຂອງຄຸນສົມບັດໂດຍລວມ, ເຊິ່ງປົກກະຕິໄດ້ຮັບການສະຫນັບສະຫນູນ, ເພາະວ່າມັນບໍ່ໄດ້ບອກພວກເຮົາວ່າລັກສະນະໃດທີ່ສໍາຄັນສໍາລັບຫ້ອງຮຽນສະເພາະ. ພວກເຮົາວັດແທກຄວາມສໍາຄັນຂອງວັດຖຸໂດຍການຄິດໄລ່ການເພີ່ມຂຶ້ນຂອງຄວາມຜິດພາດຂອງການຄາດຄະເນຫຼັງຈາກການຈັດລຽງວັດຖຸຄືນໃຫມ່. ຄຸນນະສົມບັດແມ່ນ "ສໍາຄັນ" ໃນເວລາທີ່ການແລກປ່ຽນມູນຄ່າເພີ່ມຄວາມຜິດພາດຂອງຕົວແບບເນື່ອງຈາກວ່າໃນກໍລະນີນີ້ຕົວແບບໄດ້ອີງໃສ່ຄຸນນະສົມບັດເພື່ອເຮັດໃຫ້ການຄາດຄະເນຂອງຕົນ. ຄຸນນະສົມບັດແມ່ນ "ບໍ່ສໍາຄັນ" ໃນເວລາທີ່ shuffling ມູນຄ່າຂອງມັນເຮັດໃຫ້ຄວາມຜິດພາດຂອງຕົວແບບບໍ່ປ່ຽນແປງ, ເນື່ອງຈາກວ່າໃນກໍລະນີນີ້ຕົວແບບບໍ່ສົນໃຈມັນ [5].

ຄວາມສໍາຄັນຂອງຄຸນນະສົມບັດສໍາລັບແຕ່ລະຊັ້ນຮຽນຊ່ວຍໃຫ້ພວກເຮົາສາມາດເຮັດໃຫ້ຕົວແບບສາມາດຕີຄວາມຫມາຍໄດ້ເພື່ອໃຫ້ພວກເຮົາສາມາດເບິ່ງສິ່ງທີ່ຕົວແບບກໍາລັງຊອກຫາໃນເວລາທີ່ຄາດຄະເນປ້າຍຊື່. ຕົວຢ່າງ, ເມື່ອພວກເຮົາວິເຄາະ ທີ່ຢູ່, ຫຼັງຈາກນັ້ນພວກເຮົາຮັບປະກັນວ່າເຄື່ອງຫມາຍທີ່ກ່ຽວຂ້ອງກັບທີ່ຢູ່, ເຊັ່ນ: ທີ່ຢູ່ LinesCount, ຈັດອັນດັບສູງໃນຕາຕະລາງຄວາມສໍາຄັນຄຸນນະສົມບັດສໍາລັບແຕ່ລະຫ້ອງຮຽນເພື່ອໃຫ້ intuition ຂອງມະນຸດຂອງພວກເຮົາກົງກັບສິ່ງທີ່ຕົວແບບໄດ້ຮຽນຮູ້.

ການປະເມີນຜົນ

ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະກໍານົດ metric ດຽວສໍາລັບຄວາມສໍາເລັດ. ພວກເຮົາເລືອກ F2 - ຄວາມດຸ່ນດ່ຽງລະຫວ່າງການເອີ້ນຄືນແລະຄວາມຖືກຕ້ອງ (ຄວາມລໍາອຽງການເອີ້ນຄືນແມ່ນໃຫຍ່ກວ່າເລັກນ້ອຍ). ການເອີ້ນຄືນແມ່ນມີຄວາມສໍາຄັນຫຼາຍສໍາລັບກໍລະນີການນໍາໃຊ້ຄວາມເປັນສ່ວນຕົວຫຼາຍກ່ວາຄວາມຖືກຕ້ອງເພາະວ່າມັນເປັນສິ່ງສໍາຄັນສໍາລັບທີມງານທີ່ຈະບໍ່ພາດຂໍ້ມູນລະອຽດອ່ອນໃດໆ (ໃນຂະນະທີ່ຮັບປະກັນຄວາມຖືກຕ້ອງທີ່ສົມເຫດສົມຜົນ). ການປະເມີນຜົນການປະຕິບັດຕົວຈິງຂອງ F2 ຂອງຕົວແບບຂອງພວກເຮົາແມ່ນເກີນຂອບເຂດຂອງເອກະສານນີ້. ຢ່າງໃດກໍຕາມ, ດ້ວຍການປັບຢ່າງລະມັດລະວັງພວກເຮົາສາມາດບັນລຸຄະແນນ F0,9 ສູງ (2+) ສໍາລັບຫ້ອງຮຽນທີ່ລະອຽດອ່ອນທີ່ສໍາຄັນທີ່ສຸດ.

ວຽກງານທີ່ກ່ຽວຂ້ອງ

ມີຫຼາຍສູດການຄິດໄລ່ສໍາລັບການຈັດປະເພດອັດຕະໂນມັດຂອງເອກະສານທີ່ບໍ່ມີໂຄງສ້າງໂດຍໃຊ້ວິທີການຕ່າງໆເຊັ່ນ: ການຈັບຄູ່ຮູບແບບ, ການຄົ້ນຫາຄວາມຄ້າຍຄືກັນຂອງເອກະສານແລະວິທີການຮຽນຮູ້ເຄື່ອງຈັກຕ່າງໆ (Bayesian, ຕົ້ນໄມ້ການຕັດສິນໃຈ, k-ໃກ້ທີ່ສຸດເພື່ອນບ້ານແລະອື່ນໆ) [6]. ອັນໃດອັນໜຶ່ງສາມາດນຳໃຊ້ເປັນສ່ວນໜຶ່ງຂອງການຈັດປະເພດ. ຢ່າງໃດກໍຕາມ, ບັນຫາແມ່ນ scalability. ວິທີການຈັດປະເພດໃນບົດຄວາມນີ້ແມ່ນມີຄວາມລໍາອຽງໄປສູ່ຄວາມຍືດຫຍຸ່ນແລະການປະຕິບັດ. ນີ້ອະນຸຍາດໃຫ້ພວກເຮົາສະຫນັບສະຫນູນຫ້ອງຮຽນໃຫມ່ໃນອະນາຄົດແລະຮັກສາເວລາ latency ຕ່ໍາ.

ນອກນັ້ນຍັງມີວຽກຫຼາຍຢ່າງກ່ຽວກັບການພິມນິ້ວມືຂໍ້ມູນ. ຕົວຢ່າງ, ຜູ້ຂຽນໃນ [7] ໄດ້ອະທິບາຍການແກ້ໄຂທີ່ເນັ້ນໃສ່ບັນຫາການເກັບຂໍ້ມູນການຮົ່ວໄຫຼທີ່ລະອຽດອ່ອນ. ສົມມຸດຕິຖານພື້ນຖານແມ່ນວ່າຂໍ້ມູນສາມາດຖືກລາຍນິ້ວມືເພື່ອຈັບຄູ່ກັບຊຸດຂໍ້ມູນທີ່ລະອຽດອ່ອນທີ່ຮູ້ຈັກ. ຜູ້ຂຽນໃນ [8] ອະທິບາຍເຖິງບັນຫາທີ່ຄ້າຍຄືກັນຂອງການຮົ່ວໄຫລຂອງຄວາມເປັນສ່ວນຕົວ, ແຕ່ການແກ້ໄຂຂອງພວກເຂົາແມ່ນອີງໃສ່ສະຖາປັດຕະຍະກໍາ Android ສະເພາະແລະຖືກຈັດປະເພດພຽງແຕ່ຖ້າການກະທໍາຂອງຜູ້ໃຊ້ສົ່ງຜົນໃຫ້ການແບ່ງປັນຂໍ້ມູນສ່ວນບຸກຄົນຫຼືຖ້າຄໍາຮ້ອງສະຫມັກທີ່ຕິດພັນເຮັດໃຫ້ຂໍ້ມູນຜູ້ໃຊ້ຮົ່ວໄຫຼ. ສະຖານະການຢູ່ທີ່ນີ້ແມ່ນແຕກຕ່າງກັນບາງຢ່າງເພາະວ່າຂໍ້ມູນຜູ້ໃຊ້ຍັງສາມາດບໍ່ມີໂຄງສ້າງສູງ. ດັ່ງນັ້ນ, ພວກເຮົາຕ້ອງການເຕັກນິກທີ່ສັບສົນກວ່າການພິມນິ້ວມື.

ສຸດທ້າຍ, ເພື່ອຮັບມືກັບການຂາດແຄນຂໍ້ມູນສໍາລັບບາງປະເພດຂອງຂໍ້ມູນທີ່ລະອຽດອ່ອນ, ພວກເຮົາໄດ້ນໍາສະເຫນີຂໍ້ມູນສັງເຄາະ. ມີເນື້ອໃນຂະຫນາດໃຫຍ່ຂອງວັນນະຄະດີກ່ຽວກັບການເພີ່ມຂໍ້ມູນ, ສໍາລັບການຍົກຕົວຢ່າງ, ຜູ້ຂຽນໃນ [9] ໄດ້ສໍາຫຼວດບົດບາດຂອງການສີດສຽງດັງໃນລະຫວ່າງການຝຶກອົບຮົມແລະສັງເກດເຫັນຜົນໄດ້ຮັບໃນທາງບວກໃນການຮຽນຮູ້ການຊີ້ນໍາ. ວິທີການຂອງພວກເຮົາກ່ຽວກັບຄວາມເປັນສ່ວນຕົວແມ່ນແຕກຕ່າງກັນເພາະວ່າການແນະນໍາຂໍ້ມູນທີ່ບໍ່ມີສຽງສາມາດຕ້ານຜົນປະໂຫຍດ, ແລະພວກເຮົາແທນທີ່ຈະສຸມໃສ່ຂໍ້ມູນສັງເຄາະທີ່ມີຄຸນນະພາບສູງ.

ສະຫລຸບ

ໃນເອກະສານສະບັບນີ້, ພວກເຮົາໄດ້ນໍາສະເຫນີລະບົບທີ່ສາມາດຈັດປະເພດຂໍ້ມູນໄດ້. ນີ້ອະນຸຍາດໃຫ້ພວກເຮົາສ້າງລະບົບເພື່ອບັງຄັບໃຊ້ນະໂຍບາຍຄວາມເປັນສ່ວນຕົວແລະຄວາມປອດໄພ. ພວກເຮົາໄດ້ສະແດງໃຫ້ເຫັນວ່າໂຄງສ້າງພື້ນຖານທີ່ສາມາດຂະຫຍາຍໄດ້, ການເຊື່ອມໂຍງຢ່າງຕໍ່ເນື່ອງ, ການຮຽນຮູ້ເຄື່ອງຈັກແລະການຮັບປະກັນຂໍ້ມູນທີ່ມີຄຸນນະພາບສູງມີບົດບາດສໍາຄັນໃນຄວາມສໍາເລັດຂອງການລິເລີ່ມຄວາມເປັນສ່ວນຕົວຂອງພວກເຮົາຈໍານວນຫຼາຍ.

ມີຫຼາຍທິດທາງສໍາລັບການເຮັດວຽກໃນອະນາຄົດ. ນີ້ອາດຈະປະກອບມີການສະຫນອງການສະຫນັບສະຫນູນຂໍ້ມູນ unschematized (ໄຟລ໌), ການຈັດປະເພດບໍ່ພຽງແຕ່ປະເພດຂໍ້ມູນແຕ່ຍັງລະດັບຄວາມອ່ອນໄຫວ, ແລະການນໍາໃຊ້ການຮຽນຮູ້ການເບິ່ງແຍງຕົນເອງໃນລະຫວ່າງການຝຶກອົບຮົມໂດຍການສ້າງຕົວຢ່າງສັງເຄາະທີ່ຖືກຕ້ອງ. ເຊິ່ງ, ໃນທາງກັບກັນ, ຈະຊ່ວຍໃຫ້ຕົວແບບຫຼຸດຜ່ອນການສູນເສຍໂດຍຈໍານວນທີ່ໃຫຍ່ທີ່ສຸດ. ວຽກງານໃນອະນາຄົດຍັງສາມາດສຸມໃສ່ຂະບວນການສືບສວນ, ບ່ອນທີ່ພວກເຮົາໄປນອກເຫນືອການກວດພົບແລະສະຫນອງການວິເຄາະສາເຫດຂອງການລະເມີດຄວາມເປັນສ່ວນຕົວຕ່າງໆ. ນີ້ຈະຊ່ວຍໃນກໍລະນີເຊັ່ນ: ການວິເຄາະຄວາມອ່ອນໄຫວ (ເຊັ່ນວ່າຄວາມອ່ອນໄຫວດ້ານຄວາມເປັນສ່ວນຕົວຂອງປະເພດຂໍ້ມູນແມ່ນສູງ (ເຊັ່ນ: IP ຜູ້ໃຊ້) ຫຼືຕໍ່າ (ເຊັ່ນ: IP ພາຍໃນຂອງ Facebook)).

ປື້ມບັນນານຸກົມ

1. David Ben-David, Tamar Domany, ແລະ Abigail Tarem. ການຈັດປະເພດຂໍ້ມູນວິສາຫະກິດໂດຍໃຊ້ເທກໂນໂລຍີເວັບ semantic. ໃນ Peter F.Ï Patel-Schneider, Yue Pan, Pascal Hitzler, Peter Mika, Lei Zhang, Jeff Z. Pan, Ian Horrocks, ແລະ Birte Glimm, ບັນນາທິການ, ເວັບໄຊຕ໌ Semantic – ISWC 2010, ໜ້າ 66–81, Berlin, Heidelberg, 2010. Springer Berlin Heidelberg.
2. Subramanian Muralidhar, Wyatt Lloyd, Sabyasachi Roy, Cory Hill, Ernest Lin, Weiwen Liu, Satadru Pan, Shiva Shankar, Viswanath Sivakumar, Linpeng Tang, ແລະ Sanjeev Kumar. f4: ລະບົບການເກັບຮັກສາ BLOB ທີ່ອົບອຸ່ນຂອງ Facebook. ໃນ ກອງປະຊຸມ USENIX ຄັ້ງທີ 11 ກ່ຽວກັບການອອກແບບ ແລະ ການປະຕິບັດລະບົບປະຕິບັດງານ (OSDI 14), ໜ້າ 383–398, Broomfield, CO, ຕຸລາ 2014. ສະມາຄົມ USENIX.
3. Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, ແລະ Jeff Dean. ການແຈກຢາຍການເປັນຕົວແທນຂອງຄໍາສັບແລະປະໂຫຍກແລະອົງປະກອບຂອງພວກມັນ. ໃນ C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, ແລະ K. Q. Weinberger, ບັນນາທິການ, ຄວາມກ້າວຫນ້າໃນລະບົບການປະມວນຜົນຂໍ້ມູນປະສາດ 26, ໜ້າ 3111–3119. Curran Associates, Inc., 2013.
4. Sergey Ioffe ແລະ Christian Szegedy. batch normalization: ເລັ່ງການຝຶກອົບຮົມເຄືອຂ່າຍເລິກໂດຍການຫຼຸດຜ່ອນການປ່ຽນແປງ covariate ພາຍໃນ. ໃນ Francis Bach ແລະ David Blei, ບັນນາທິການ, ການດຳເນີນກອງປະຊຸມສາກົນກ່ຽວກັບການຮຽນຮູ້ເຄື່ອງຈັກຄັ້ງທີ 32, ປະລິມານ 37 ຂອງ ຂັ້ນຕອນການຄົ້ນຄວ້າການຮຽນຮູ້ເຄື່ອງຈັກ, ໜ້າ 448–456, Lille, ປະເທດຝຣັ່ງ, ວັນທີ 07–09 ກໍລະກົດ 2015. PMLR.
5. Leo Breiman. ປ່າ Random. Mach. ຮຽນຮູ້., 45(1):5–32, ຕຸລາ 2001.
6. ໄທດຳ. ການສໍາຫຼວດເຕັກນິກການຈັດປະເພດໃນການຂຸດຄົ້ນຂໍ້ມູນ.
7. X. Shu, D. Yao, ແລະ E. Bertino. ການຮັກສາຄວາມເປັນສ່ວນຕົວຂອງການກວດສອບການເປີດເຜີຍຂໍ້ມູນທີ່ລະອຽດອ່ອນ. ການເຮັດທຸລະກໍາຂອງ IEEE ກ່ຽວກັບຂໍ້ມູນ Forensics ແລະຄວາມປອດໄພ, 10(5):1092–1103, 2015.
8. Zhemin Yang, Min Yang, Yuan Zhang, Guofei Gu, Peng Ning, ແລະ Xiaoyang Wang. Appintent: ການ​ວິ​ເຄາະ​ການ​ສົ່ງ​ຂໍ້​ມູນ​ທີ່​ລະ​ອຽດ​ອ່ອນ​ໃນ Android ສໍາ​ລັບ​ການ​ກວດ​ສອບ​ການ​ຮົ່ວ​ໄຫລ​ຂອງ​ຄວາມ​ເປັນ​ສ່ວນ​ຕົວ​. ໜ້າ 1043–1054, 11 2013.
9. Qizhe Xie, Zihang Dai, Eduard H. Hovy, Minh-Tang Luong, ແລະ Quoc V. Le. ການເພີ່ມຂໍ້ມູນແບບບໍ່ມີການຄວບຄຸມເບິ່ງແຍງ.

ຊອກຫາລາຍລະອຽດກ່ຽວກັບວິທີທີ່ຈະໄດ້ຮັບອາຊີບທີ່ຕ້ອງການຕັ້ງແຕ່ເລີ່ມຕົ້ນຫຼື Level Up ໃນດ້ານທັກສະແລະເງິນເດືອນໂດຍການສອນຫຼັກສູດອອນໄລນ໌ SkillFactory:

• ການສອນວິຊາຊີບຂອງ Data Science ຕັ້ງແຕ່ເລີ່ມຕົ້ນ (12 ເດືອນ)
• ຫຼັກສູດການຮຽນຮູ້ເຄື່ອງຈັກ (12 ອາທິດ)
• ຫຼັກສູດຂັ້ນສູງ "ການຮຽນຮູ້ເຄື່ອງຈັກ + ການຮຽນຮູ້ເລິກເຊິ່ງ" (20 ອາທິດ)
• ຫຼັກສູດ "ຄະນິດສາດແລະການຮຽນຮູ້ເຄື່ອງຈັກສໍາລັບວິທະຍາສາດຂໍ້ມູນ" (20 ອາທິດ)

ຫຼັກສູດເພີ່ມເຕີມ

• Python ສໍາລັບຫຼັກສູດການພັດທະນາເວັບ (9 ເດືອນ)
• ນັກພັດທະນາເວັບ (8 ເດືອນ)
• ອາຊີບນັກວິເຄາະໃນລະດັບເລີ່ມຕົ້ນ (9 ເດືອນ)
• ຫຼັກສູດ DevOps (12 ເດືອນ)
• ນັກພັດທະນາ Java ມືອາຊີບຕັ້ງແຕ່ເລີ່ມຕົ້ນ (18 ເດືອນ)
• ຫຼັກສູດ JavaScript (12 ເດືອນ)
• ຜູ້ອອກແບບ UX ມືອາຊີບຕັ້ງແຕ່ເລີ່ມຕົ້ນ (9 ເດືອນ)
• ອາຊີບນັກອອກແບບເວັບ (7 ເດືອນ)

ແຫຼ່ງຂໍ້ມູນ: www.habr.com