Vědci z firmy CodeRabbit analyzovali 470 pull requestů (350 vytvořených AI, 150 napsaných ručně) v otevřených projektech na GitHubu a dospěli k závěru, že ve změnách generovaných AI asistenty je o 1,7krát více významných defektů a o 1,4krát více kritických problémů než v kódu napsaném ručně. V průměru obsahovaly pull requesty generované AI 10,83 problémů, zatímco v ručně vytvořených změnách byl tento ukazatel 6,45.
Při zohlednění jednotlivých kategorií problémů bylo v kódu vytvořeném AI o 1,75krát více logických chyb, o 1,64krát více problémů s kvalitou a udržovatelností kódu, o 1,56krát více problémů se zabezpečením a o 1,41krát více problémů s výkonem. Navíc bylo zjištěno, že v AI generovaném kódu je o 1,88krát vyšší pravděpodobnost nesprávného zpracování hesel, o 1,91krát – nebezpečného poskytování přístupu k objektům, o 2,74krát – meziwebového skriptování (XSS) a o 1,82krát – nebezpečné deserializace dat. Na druhou stranu v kódu napsaném lidmi bylo o 1,76krát více pravopisných chyb a o 1,32krát více chyb souvisejících s testováním.
Některé další výzkumy:
- Ve studii provedené v listopadu společností Cortex se uvádí, že ve srovnání s minulým rokem díky použití AI se průměrný počet pull requestů vytvářených jedním vývojářem zvýšil o 20%, ale počet problémů v pull requestech vzrostl o 23,5% a míra odmítnutí při provádění změn se zvýšila přibližně o 30%.
- V srpnové studii Neapolské univerzity bylo zjištěno, že kód generovaný AI je obecně jednodušší a jednotvárnější, ale obsahuje více nepoužívaných konstrukcí a zabudovaných ladících prvků, zatímco ručně psaný kód je strukturálně složitější a obsahuje více problémů s udržovatelností.
- Červencový experiment skupiny METR ukázal, že AI asistenti nezrychlují, ale zpomalují řešení stanovených úkolů, přičemž účastníci subjektivně považovali, že AI urychlilo jejich práci.
- V lednové studii Monashovy univerzity je uvedeno, že GPT-4 generuje složitější kód, který vyžaduje úpravy pro další údržbu, ale lépe zvládá testování.
Zdroj: opennet.ru
