นักวิจัยจาก CodeRabbit วิเคราะห์ pull request จำนวน 470 รายการ (350 รายการสร้างโดย AI และ 150 รายการเขียนด้วยมือ) ในโครงการโอเพนซอร์สบน GitHub และสรุปว่า การเปลี่ยนแปลงที่สร้างโดยผู้ช่วย AI มีข้อบกพร่องที่สำคัญมากกว่าโค้ดที่เขียนด้วยมือถึง 1.7 เท่า และมีปัญหาที่สำคัญมากกว่าถึง 1.4 เท่า โดยเฉลี่ยแล้ว pull request ที่สร้างโดย AI มีปัญหา 10.83 รายการ ในขณะที่การเปลี่ยนแปลงที่เขียนด้วยมือมีปัญหา 6.45 รายการ
เมื่อพิจารณาปัญหาแต่ละประเภท พบว่าโค้ดที่สร้างโดย AI มีข้อผิดพลาดเชิงตรรกะมากกว่า 1.75 เท่า ปัญหาด้านคุณภาพและความสามารถในการบำรุงรักษาโค้ดมากกว่า 1.64 เท่า ปัญหาด้านความปลอดภัยมากกว่า 1.56 เท่า และปัญหาด้านประสิทธิภาพมากกว่า 1.41 เท่า นอกจากนี้ โค้ดที่สร้างโดย AI ยังมีแนวโน้มที่จะจัดการรหัสผ่านไม่ถูกต้องมากกว่า 1.88 เท่า มีแนวโน้มที่จะให้การเข้าถึงวัตถุที่ไม่ปลอดภัยมากกว่า 1.91 เท่า มีแนวโน้มที่จะพบการโจมตีแบบ Cross-Site Scripting (XSS) มากกว่า 2.74 เท่า และมีแนวโน้มที่จะพบการดีซีเรียไลเซชันข้อมูลที่ไม่ปลอดภัยมากกว่า 1.82 เท่า ในขณะที่โค้ดที่เขียนโดยมนุษย์มีข้อผิดพลาดด้านการสะกดคำมากกว่า 1.76 เท่า และข้อผิดพลาดที่เกี่ยวข้องกับการทดสอบมากกว่า 1.32 เท่า
งานวิจัยอื่นๆ:
- จากการศึกษาของ Cortex ในเดือนพฤศจิกายน พบว่า เมื่อเทียบกับปีที่แล้ว การใช้ AI ทำให้จำนวน pull request เฉลี่ยต่อผู้พัฒนาเพิ่มขึ้น 20% แต่จำนวนปัญหาใน pull request เพิ่มขึ้น 23.5% และอัตราการปฏิเสธการเปลี่ยนแปลงเพิ่มขึ้นประมาณ 30%
- ผลการศึกษาจากมหาวิทยาลัยเนเปิลส์ในเดือนสิงหาคมสรุปว่า โค้ดที่สร้างโดย AI โดยทั่วไปจะเรียบง่ายและสม่ำเสมอกว่า แต่มีโครงสร้างที่ไม่ได้ใช้งานและมีการดีบักแบบอินไลน์มากกว่า ในขณะที่โค้ดที่เขียนด้วยมือมีโครงสร้างซับซ้อนกว่าและมีปัญหาด้านการบำรุงรักษามากกว่า
- การทดลองในเดือนกรกฎาคมโดยกลุ่ม METR แสดงให้เห็นว่าผู้ช่วย AI ทำให้การทำงานช้าลงมากกว่าที่จะเร็วขึ้น แม้ว่าผู้เข้าร่วมจะเชื่อว่า AI ช่วยให้งานของพวกเขาเสร็จเร็วขึ้นก็ตาม
- ผลการศึกษาจากมหาวิทยาลัยโมนาชเมื่อเดือนมกราคมพบว่า GPT-4 สร้างโค้ดที่ซับซ้อนกว่า ซึ่งต้องมีการพัฒนาเพิ่มเติมเพื่อการบำรุงรักษา แต่มีประสิทธิภาพดีกว่าในการทดสอบ
ที่มา: opennet.ru
