ProHoster > Blog > Lajmet e internetit > Krahasimi i numrit të gabimeve në kodin e shkruajtur nga njerëzit dhe AI

Krahasimi i numrit të gabimeve në kodin e shkruajtur nga njerëzit dhe AI

Hulumtuesit nga kompania CodeRabbit analizuan 470 pull-request-e (350 - të krijuara nga AI, 150 - të shkruara manualisht) në projekte të hapura në GitHub dhe arritën në përfundimin se në ndryshimet e gjeneruara nga asistencat AI, ka 1.7 herë më shumë defekte të rëndësishme dhe 1.4 herë më shumë probleme kritike sesa në kodin e shkruar manualisht. Në mesatare, në pull-request-et e gjeneruara nga AI ka pasur 10.83 probleme, ndërsa në ndryshimet e krijuara manualisht ky tregues ishte 6.45.

Kur shqyrtohen kategori të veçanta problemesh, në kodin e krijuar nga AI ka 1.75 herë më shumë gabime logjike, 1.64 herë më shumë probleme me cilësinë dhe mirëmbajtjen e kodit, 1.56 herë më shumë probleme me sigurinë dhe 1.41 herë më shumë probleme me performancën. Shtohet gjithashtu se në kodin e gjeneruar nga AI, probabiliteti i përpunimit të gabuar të fjalëkalimeve është 1.88 herë më i lartë, për të ofruar akses të pasigurt në objekte 1.91 herë, për scriptet ndërsite XSS 2.74 herë dhe për deserializimin e pasigurt të të dhënave 1.82 herë. Ndërkohë, në kodin e shkruar nga njerëzit kishte 1.76 herë më shumë gabime ortografike dhe 1.32 herë më shumë gabime të lidhura me testimin.

Krahasimi i numrit të gabimeve në kodin e shkruajtur nga njerëzit dhe AI
Krahasimi i numrit të gabimeve në kodin e shkruajtur nga njerëzit dhe AI
Krahasimi i numrit të gabimeve në kodin e shkruajtur nga njerëzit dhe AI

Disa studime të tjera:

  • NĂ« njĂ« studim tĂ« kryer nĂ« nĂ«ntor nga kompania Cortex, u vĂ«rejt se krahasuar me vitin e kaluar, falĂ« pĂ«rdorimit tĂ« AI, numri i pull-request-eve tĂ« krijuara nga njĂ« zhvillues mesatarisht u rrit me 20%, por numri i problemeve nĂ« pull-request-e u rrit me 23.5%, dhe niveli i refuzimeve gjatĂ« ndryshimeve u rrit pĂ«rafĂ«rsisht me 30%.
  • NĂ« studimin e bĂ«rĂ« nĂ« gusht nga Universiteti i Napolit, u arrit nĂ« pĂ«rfundimin se kodi i gjeneruar nga AI nĂ« pĂ«rgjithĂ«si Ă«shtĂ« mĂ« i thjeshtĂ« dhe mĂ« homogjen, por pĂ«rmban mĂ« shumĂ« konstruksione tĂ« pautilizuara dhe inserte debugging tĂ« ndĂ«rtuara, ndĂ«rsa kodi i shkruar manualisht Ă«shtĂ« strukturore mĂ« kompleks dhe pĂ«rmban mĂ« shumĂ« probleme nĂ« mirĂ«mbajtje.
  • Eksperimenti i korrikut nga grupi METR tregoi se asistentĂ«t AI nuk pĂ«rshpejtojnĂ«, por ngadalĂ«sojnĂ« zgjidhjen e detyrave tĂ« caktuara, ndonĂ«se subjektivisht pjesĂ«marrĂ«sit mendonin se AI kishte pĂ«rshpejtuar punĂ«n e tyre.
  • NĂ« njĂ« studim tĂ« janarit nga Universitete Monash, u tha se GPT-4 gjeneron kod mĂ« kompleks, qĂ« kĂ«rkon pĂ«rmirĂ«sime pĂ«r mbĂ«shtetje tĂ« mĂ«tejshme, por qĂ« kalon mĂ« mirĂ« testet.

Burimi: opennet.ru

Bleni hostin e besueshĂ«m pĂ«r faqet me mbrojtje nga DDoS, VPS VDS servera đŸ”„ Bli hostin e besueshĂ«m pĂ«r faqet me mbrojtje nga DDoS, VPS VDS servera | ProHoster