Výskumníci z firmy CodeRabbit analyzovali 470 pull requestov (350 vytvorených AI, 150 napísaných ručne) v otvorených projektoch na GitHub a dospeli k záveru, že v zmenách generovaných AI asistentmi je 1,7-krát viac významných chýb a 1,4-krát viac kritických problémov ako v ručne napísanom kóde. V priemere obsahovalo v AI generovaných pull requestoch 10,83 problémov, zatiaľ čo u zmien vytvorených ručne toto číslo dosiahlo 6,45.
Pri posudzovaní jednotlivých kategórií problémov bol v AI generovanom kóde 1,75-krát vyšší počet logických chýb, 1,64-krát viac problémov s kvalitou a udržiavateľnosťou kódu, 1,56-krát viac problémov so zabezpečením a 1,41-krát viac problémov s výkonom. Navyše sa uvádza, že v generovanom prostredníctvom AI kóde je 1,88-krát vyššia pravdepodobnosť nesprávneho spracovania hesiel, 1,91-krát – nebezpečného poskytovania prístupu k objektom, 2,74-krát – medzi stránkového skriptovania (XSS) a 1,82-krát – nebezpečnej deserializácie dát. Zároveň v kóde napísanom ľuďmi je 1,76-krát viac gramatických chýb a 1,32-krát viac chýb súvisiacich s testovaním.
Niektoré ďalšie výskumy:
- V štúdii, ktorá bola uskutočnená v novembri firmou Cortex, sa uvádza, že v porovnaní s minulým rokom vďaka používaniu AI sa počet pull requestov vytvorených jedným vývojárom v priemere zvýšil o 20%, ale počet problémov v pull requestoch vzrástol o 23,5% a miera odmietnutia pri zavádzaní zmien sa zvýšila približne o 30%.
- Vo výskume Neapolského univerzity v auguste sa dospelo k záveru, že kód generovaný prostredníctvom AI je celkovo jednoduchší a jednotnejší, ale obsahuje viac nevyužitých konštrukcií a zabudovaných ladacích výstupov, zatiaľ čo ručne napísaný kód je štrukturálne zložitejší a obsahuje viac problémov s udržiavateľnosťou.
- Júlový experiment skupiny METR ukázal, že AI asistenti nezrýchľujú, ale spomaľujú riešenie stanovených úloh, pričom subjektívne účastníci považovali AI za urýchľovača svojej práce.
- V januárovom prieskume Monashovej univerzity sa uvádza, že GPT-4 generuje zložitejší kód, ktorý vyžaduje ďalšie úpravy pre ďalšie udržiavanie, ale lepšie sa vyrovnáva s absolvovaním testov.
Zdroj: opennet.ru
