Π‘Ρ€Π°Π²Π½Π΅Π½ΠΈΠ΅ числа ошибок Π² ΠΊΠΎΠ΄Π΅, написанном людьми ΠΈ AI

Π˜ΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ ΠΈΠ· ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ CodeRabbit ΠΏΡ€ΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Π»ΠΈ 470 pull-запросов (350 β€” созданныС AI, 150 β€” написанныС Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ) Π² ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹Ρ… ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°Ρ… Π½Π° GitHub ΠΈ ΠΏΡ€ΠΈΡˆΠ»ΠΈ ΠΊ Π²Ρ‹Π²ΠΎΠ΄Ρƒ, Ρ‡Ρ‚ΠΎ Π² измСнСниях, сгСнСрированных AI-ассистСнтами, присутствуСт Π² 1.7 Ρ€Π°Π·Π° большС Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… Π΄Π΅Ρ„Π΅ΠΊΡ‚ΠΎΠ² ΠΈ Π² 1.4 Ρ€Π°Π·Π° большС критичСских ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ, Ρ‡Π΅ΠΌ Π²ΠΎ Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ написанном ΠΊΠΎΠ΄Π΅. Π’ срСднСм Π² сгСнСрированных Ρ‡Π΅Ρ€Π΅Π· AI pull-запросах присутствовало 10.83 ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ, Π² Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ Π² созданных Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ измСнСниях Π΄Π°Π½Π½Ρ‹ΠΉ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ составил 6.45.

ΠŸΡ€ΠΈ рассмотрСнии ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΉ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ, Π² созданном AI ΠΊΠΎΠ΄Π΅ Π±Ρ‹Π»ΠΎ Π² 1.75 Ρ€Π°Π· большС логичСских ошибок, Π² 1.64 Ρ€Π°Π·Π° большС ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с качСством ΠΈ ΡΠΎΠΏΡ€ΠΎΠ²ΠΎΠΆΠ΄Π°Π΅ΠΌΠΎΡΡ‚ΡŒΡŽ ΠΊΠΎΠ΄Π°, Π² 1.56 большС ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с Π±Π΅Π·ΠΎΠΏΠ°ΡΠ½ΠΎΡΡ‚ΡŒΡŽ ΠΈ Π² 1.41 Ρ€Π°Π· большС ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ. Π”ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ отмСчаСтся, Ρ‡Ρ‚ΠΎ Π² Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅ΠΌΠΎΠΌ Ρ‡Π΅Ρ€Π΅Π· AI ΠΊΠΎΠ΄Π΅ Π² 1.88 Ρ€Π°Π· Π²Ρ‹ΡˆΠ΅ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ Π½Π΅ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΠΉ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΏΠ°Ρ€ΠΎΠ»Π΅ΠΉ, Π² 1.91 Ρ€Π°Π· β€” нСбСзопасного прСдоставлСния доступа ΠΊ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π°ΠΌ, 2.74 Ρ€Π°Π·Π° β€” мСТсайтового скриптинга (XSS) ΠΈ Π² 1.82 Ρ€Π°Π·Π° β€” нСбСзопасной дСсСриализации Π΄Π°Π½Π½Ρ‹Ρ…. ΠŸΡ€ΠΈ этом Π² написанном людьми ΠΊΠΎΠ΄Π΅ Π² 1.76 Ρ€Π°Π· большС орфографичСских ошибок ΠΈ Π² 1.32 Ρ€Π°Π·Π° большС ошибок, связанных с тСстированиСм.

 Π‘Ρ€Π°Π²Π½Π΅Π½ΠΈΠ΅ числа ошибок Π² ΠΊΠΎΠ΄Π΅, написанном людьми ΠΈ AI
 Π‘Ρ€Π°Π²Π½Π΅Π½ΠΈΠ΅ числа ошибок Π² ΠΊΠΎΠ΄Π΅, написанном людьми ΠΈ AI
 Π‘Ρ€Π°Π²Π½Π΅Π½ΠΈΠ΅ числа ошибок Π² ΠΊΠΎΠ΄Π΅, написанном людьми ΠΈ AI

НСкоторыС Π΄Ρ€ΡƒΠ³ΠΈΠ΅ исслСдования:

  • Π’ исслСдовании, ΠΏΡ€ΠΎΠ²Π΅Π΄Ρ‘Π½Π½ΠΎΠΌ Π² ноябрС ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠ΅ΠΉ Cortex, отмСчаСтся Ρ‡Ρ‚ΠΎ ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с ΠΏΡ€ΠΎΡˆΠ»Ρ‹ΠΌ Π³ΠΎΠ΄ΠΎΠΌ благодаря ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΡŽ AI число создаваСмых ΠΎΠ΄Π½ΠΈΠΌ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΎΠΌ pull-запросов Π² срСднСм ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΠ»ΠΎΡΡŒ Π½Π° 20%, Π½ΠΎ число ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ Π² pull-запросах выросло Π½Π° 23.5%, Π° ΡƒΡ€ΠΎΠ²Π΅Π½ΡŒ ΠΎΡ‚ΠΊΠ°Π·ΠΎΠ² ΠΏΡ€ΠΈ внСсСнии ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ увСличился ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π½ΠΎ Π½Π° 30%.
  • Π’ августовском исслСдовании НСаполитанского унивСрситСта сдСлан Π²Ρ‹Π²ΠΎΠ΄, Ρ‡Ρ‚ΠΎ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅ΠΌΡ‹ΠΉ Ρ‡Π΅Ρ€Π΅Π· AI ΠΊΠΎΠ΄ Π² Ρ†Π΅Π»ΠΎΠΌ ΠΏΡ€ΠΎΡ‰Π΅ ΠΈ ΠΎΠ΄Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Π΅Π΅, Π½ΠΎ содСрТит большС Π½Π΅ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Ρ… конструкций ΠΈ встроСнных ΠΎΡ‚Π»Π°Π΄ΠΎΡ‡Π½Ρ‹Ρ… вставок, Π² Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ Π²Ρ€ΡƒΡ‡Π½ΡƒΡŽ написанный ΠΊΠΎΠ΄ структурно слоТнСС ΠΈ содСрТит большС ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с ΡΠΎΠΏΡ€ΠΎΠ²ΠΎΠΆΠ΄Π°Π΅ΠΌΠΎΡΡ‚ΡŒΡŽ.
  • Июльский экспСримСнт Π³Ρ€ΡƒΠΏΠΏΡ‹ METR ΠΏΠΎΠΊΠ°Π·Π°Π», Ρ‡Ρ‚ΠΎ AI-ΠΏΠΎΠΌΠΎΡ‰Π½ΠΈΠΊΠΈ Π½Π΅ ΡƒΡΠΊΠΎΡ€ΡΡŽΡ‚, Π° Π·Π°ΠΌΠ΅Π΄Π»ΡΡŽΡ‚ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ поставлСнных Π·Π°Π΄Π°Ρ‡, ΠΏΡ€ΠΈ Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ ΡΡƒΠ±ΡŠΠ΅ΠΊΡ‚ΠΈΠ²Π½ΠΎ участники считали, Ρ‡Ρ‚ΠΎ AI ускорил ΠΈΡ… Ρ€Π°Π±ΠΎΡ‚Ρƒ.
  • Π’ январском исслСдовании унивСрситСта Монаша ΡƒΠΊΠ°Π·Π°Π½ΠΎ, Ρ‡Ρ‚ΠΎ GPT-4 Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚ Π±ΠΎΠ»Π΅Π΅ слоТный ΠΊΠΎΠ΄, Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‰ΠΈΠΉ Π΄ΠΎΡ€Π°Π±ΠΎΡ‚ΠΊΠΈ для дальнСйшСго сопровоТдСния, Π½ΠΎ Π»ΡƒΡ‡ΡˆΠ΅ ΡΠΏΡ€Π°Π²Π»ΡΡŽΡ‰ΠΈΠΉΡΡ с ΠΏΡ€ΠΎΡ…ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ΠΌ тСстов.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: opennet.ru

author avatar
ProHoster ΠšΠΎΠ½ΡΡƒΠ»ΡŒΡ‚Π°Π½Ρ‚, ВСхничСский спСциалист
A technical specialist at ProHoster with over six years of experience in server administration, VPN solutions, and network security. I manage infrastructure setup and support, monitor service stability, and implement solutions to protect client data. I also contribute to performance optimization and compliance with modern security and privacy requirements.

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ