ການປະເມີນຜົນປະສິດທິພາບຂອງເຄື່ອງມື AI ສະແດງໃຫ້ເຫັນການຊ້າລົງ, ບໍ່ແມ່ນການເລັ່ງ, ການພັດທະນາ

ກຸ່ມຄົ້ນຄ້ວາ METR (Model Evaluation & Threat Research) ໄດ້ເຜີຍແຜ່ຜົນຂອງການທົດລອງເພື່ອປະເມີນປະສິດທິຜົນຂອງການໃຊ້ເຄື່ອງມື AI ສໍາລັບການຂຽນລະຫັດ. ກົງກັນຂ້າມກັບຄວາມຄາດຫວັງ, ການສຶກສາໄດ້ສະແດງໃຫ້ເຫັນວ່າຜູ້ຊ່ວຍ AI ບໍ່ເລັ່ງ, ແຕ່ຊ້າລົງໃນການແກ້ໄຂວຽກງານ, ເຖິງແມ່ນວ່າຜູ້ເຂົ້າຮ່ວມໃນການທົດລອງເຊື່ອວ່າ AI ເລັ່ງການເຮັດວຽກຂອງເຂົາເຈົ້າ.

ໃນຄວາມເປັນຈິງ, ເມື່ອນໍາໃຊ້ຜູ້ຊ່ວຍ AI, ໄລຍະເວລາສະເລ່ຍຂອງວຽກງານຫນຶ່ງແມ່ນຍາວກວ່າ 19%, ໃນຂະນະທີ່ຜູ້ເຂົ້າຮ່ວມເຊື່ອວ່າ AI ຊ່ວຍໃຫ້ພວກເຂົາສໍາເລັດວຽກງານໄວຂຶ້ນ 20%, ແລະກ່ອນທີ່ຈະເລີ່ມວຽກງານພວກເຂົາເຊື່ອວ່າ AI ຈະຊ່ວຍໃຫ້ພວກເຂົາເລັ່ງວຽກງານໄດ້ 24%. ຜົນໄດ້ຮັບຍັງແຕກຕ່າງກັນຢ່າງຫຼວງຫຼາຍຈາກການຄາດຄະເນຂອງຜູ້ຊ່ຽວຊານດ້ານເສດຖະກິດແລະການຮຽນຮູ້ເຄື່ອງຈັກ, ຜູ້ທີ່ຄາດຄະເນການປະຫຍັດເວລາ 39% ແລະ 38% ຕາມລໍາດັບ, ເມື່ອນໍາໃຊ້ AI.

ໃນລະຫວ່າງການທົດລອງ, 16 ຜູ້ພັດທະນາແຫຼ່ງເປີດທີ່ມີປະສົບການສະເລ່ຍກັບເຄື່ອງມື AI ໄດ້ຖືກຮ້ອງຂໍໃຫ້ແກ້ໄຂ 246 ວຽກທີ່ກ່ຽວຂ້ອງກັບການແກ້ໄຂຂໍ້ບົກພ່ອງແລະການເພີ່ມຄຸນສົມບັດໃຫມ່. ວຽກງານດັ່ງກ່າວໄດ້ຖືກສ້າງຂຶ້ນໂດຍອີງໃສ່ບັນຫາທີ່ແທ້ຈິງໃນບ່ອນເກັບມ້ຽນ GitHub ຂອງບັນດາໂຄງການທີ່ຜູ້ພັດທະນາທີ່ເລືອກມີປະສົບການຢ່າງຫນ້ອຍ 5 ປີ. ບາງໜ້າວຽກໄດ້ຖືກສະເໜີໃຫ້ແກ້ໄຂແບບສຸ່ມດ້ວຍຕົນເອງ, ແລະບາງອັນຖືກສະເໜີໃຫ້ແກ້ໄຂໂດຍໃຊ້ຜູ້ຊ່ວຍ AI ໃດໆກໍຕາມທີ່ຜູ້ພັດທະນາເລືອກ (ມັກໃຊ້ຕົວແກ້ໄຂລະຫັດ Cursor ກັບຕົວແບບ Claude 3.5/3.7 Sonnet).

ການທົດລອງ, ເຊິ່ງດໍາເນີນການຕັ້ງແຕ່ເດືອນກຸມພາຫາເດືອນມິຖຸນາ 2025, ມີສ່ວນຮ່ວມໃນໂຄງການ open source ເຊັ່ນ mito, stdlib, ghc, cabal, flair, jsdom, hypothesis, trieve, scikit-learn, gpt-neox, ແລະ transformers. ໂດຍສະເລ່ຍ, ໂຄງການທີ່ກ່ຽວຂ້ອງມີ 23 ດາວ GitHub, 1.1 ລ້ານສາຍຂອງລະຫັດ, 20 commits, ແລະ 710 ຜູ້ປະກອບສ່ວນ.

ເຫດຜົນຕໍ່ໄປນີ້ສໍາລັບການແກ້ໄຂບັນຫາຊ້າໃນເວລາທີ່ໃຊ້ AI ແມ່ນໄດ້ກ່າວມາ:

• ຄຸນນະພາບຕ່ໍາຂອງຄໍາແນະນໍາ AI - ນັກພັດທະນາຍອມຮັບຫນ້ອຍກວ່າ 44% ຂອງຄໍາແນະນໍາທີ່ສ້າງໂດຍ AI ແລະໃຊ້ເວລາຫຼາຍໃນການເຮັດຄວາມສະອາດແລະກວດເບິ່ງພວກມັນ.
• ຄວາມຄາດຫວັງຫຼາຍເກີນໄປກ່ຽວກັບຜົນປະໂຫຍດຂອງ AI ແລະຄວາມຄາດຫວັງທີ່ເພີ່ມຂຶ້ນກ່ຽວກັບຄວາມສາມາດຂອງເຄື່ອງມື AI.
• ຜູ້ເຂົ້າຮ່ວມມີປະສົບການຢ່າງກວ້າງຂວາງໃນການເຮັດວຽກກັບ repositories ທີ່ວຽກງານໄດ້ຖືກແກ້ໄຂ. ຜູ້ພັດທະນາແມ່ນມີຄວາມຄ່ອງແຄ້ວຫຼາຍໃນໂຄງການແລະການຊ່ວຍເຫຼືອ AI ແມ່ນບໍ່ມີມູນຄ່າໃນສະຖານະການນີ້.
• ການທົດລອງໄດ້ໃຊ້ບ່ອນເກັບມ້ຽນທີ່ໃຫຍ່ເກີນໄປ ແລະສັບສົນ, ເຊິ່ງ AI ເຮັດວຽກບໍ່ໄດ້ດີ.
• ບໍລິບົດຂອງບ່ອນເກັບມ້ຽນ implicit - AI ບໍ່ເຂົ້າໃຈສະພາບການທີ່ມັນເຮັດວຽກ.

ເສັ້ນທາງລຸ່ມ: ນັກພັດທະນາໃຊ້ເວລາຫນ້ອຍລົງໃນການຂຽນລະຫັດ, ຄົ້ນຫາຂໍ້ມູນ, ແລະອ່ານເອກະສານໃນເວລາທີ່ໃຊ້ເຄື່ອງມື AI, ແຕ່ການປະຫຍັດເຫຼົ່ານີ້ຖືກຊົດເຊີຍໂດຍການໃຊ້ເວລາທີ່ເພີ່ມຂຶ້ນໃນການສ້າງຄໍາຖາມ AI, parsing prompts, ລໍຖ້າຜົນໄດ້ຮັບ, ການທົບທວນຄືນຄໍາແນະນໍາ, ແລະບໍ່ເຮັດຫຍັງເລີຍ. ແທນທີ່ຈະສ້າງລະຫັດ, ເວລາແມ່ນໃຊ້ເວລາໃນການພົວພັນກັບ AI, ການສຶກສາຜົນໄດ້ຮັບ, ແລະກວດເບິ່ງລະຫັດທີ່ສະເຫນີ. ມັນເປັນໄປໄດ້ວ່າຖ້າຜູ້ພັດທະນາທີ່ມີປະສົບການຫນ້ອຍ, ຜູ້ທີ່ຮັບຜິດຊອບຫນ້ອຍກ່ຽວກັບການທົບທວນລະຫັດ, ຫຼືເຮັດວຽກກັບພື້ນຖານລະຫັດທີ່ບໍ່ຄຸ້ນເຄີຍ, ໄດ້ເຂົ້າຮ່ວມໃນການທົດລອງ, ຕົວຊີ້ວັດປະສິດທິພາບການພັດທະນາທີ່ແຕກຕ່າງກັນຈະໄດ້ຮັບ.

ນອກຈາກນັ້ນ, ການສໍາຫຼວດຂອງຜູ້ພັດທະນາ 609 ຄົນທີ່ໃຊ້ AI ໃນການເຂົ້າລະຫັດຂອງພວກເຂົາແມ່ນດໍາເນີນໂດຍ Qodo. 78% ລາຍງານການເພີ່ມຂຶ້ນຂອງຜົນຜະລິດຫຼັງຈາກການນໍາໃຊ້ AI, 60% ລາຍງານການເພີ່ມຂື້ນຂອງຄຸນນະພາບລະຫັດໂດຍລວມຍ້ອນ AI, ແລະ 20% ລາຍງານການຫຼຸດລົງຂອງຄຸນນະພາບລະຫັດຫຼັງຈາກໃຊ້ AI. ໃນຂະນະດຽວກັນ, 76% ສັງເກດເຫັນວ່າພວກເຂົາບໍ່ໄດ້ໃຊ້ລະຫັດ AI ໂດຍບໍ່ມີການທົບທວນຄູ່ມືກ່ອນ. ບົດຄວາມຍັງສັງເກດເຫັນວ່ານັກພັດທະນາສ່ວນບຸກຄົນມີຄວາມຮູ້ສຶກດີຂຶ້ນຢ່າງຫຼວງຫຼາຍເມື່ອໃຊ້ AI, ຍ້ອນວ່າພວກເຂົາສາມາດສະຫນອງລະຫັດເພີ່ມເຕີມ, ແຕ່ວ່າຄ່າໃຊ້ຈ່າຍຂອງການເຮັດວຽກທີ່ເພີ່ມຂຶ້ນສໍາລັບຜູ້ທີ່ຮັບຜິດຊອບໃນການຍອມຮັບລະຫັດເຂົ້າໄປໃນໂຄງການ, ທົບທວນການປ່ຽນແປງແລະການກວດສອບຄຸນນະພາບ.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru