Výskumníci z CodeRabbit analyzovali 470 pull requestov (350 generovaných umelou inteligenciou, 150 ručne napísaných) v open-source projektoch na GitHub a dospeli k záveru, že zmeny generované asistentmi umelej inteligencie obsahovali 1.7-krát viac závažných chýb a 1.4-krát viac kritických problémov ako manuálne napísaný kód. V priemere pull requesty generované umelou inteligenciou obsahovali 10.83 problémov, zatiaľ čo manuálne napísané zmeny obsahovali 6.45.
Pri skúmaní jednotlivých kategórií problémov mal kód generovaný umelou inteligenciou 1.75-krát viac logických chýb, 1.64-krát viac problémov s kvalitou a udržiavateľnosťou kódu, 1.56-krát viac bezpečnostných problémov a 1.41-krát viac problémov s výkonom. Okrem toho mal kód generovaný umelou inteligenciou 1.88-krát vyššiu pravdepodobnosť nesprávneho spracovania hesiel, 1.91-krát vyššiu pravdepodobnosť poskytovania nezabezpečeného prístupu k objektom, 2.74-krát vyššiu pravdepodobnosť stretnutia s cross-site scripting (XSS) a 1.82-krát vyššiu pravdepodobnosť stretnutia s nezabezpečenou deserializáciou údajov. Kód písaný človekom mal medzitým 1.76-krát viac pravopisných chýb a 1.32-krát viac chýb súvisiacich s testovaním.
Niektoré ďalšie štúdie:
- Novembrová štúdia spoločnosti Cortex zistila, že v porovnaní s minulým rokom sa vďaka použitiu umelej inteligencie zvýšil priemerný počet pull requestov vytvorených na vývojára o 20 %, ale počet problémov v pull requestoch sa zvýšil o 23.5 % a miera zamietnutia zmien sa zvýšila približne o 30 %.
- Augustová štúdia Univerzity v Neapole dospela k záveru, že kód generovaný umelou inteligenciou je vo všeobecnosti jednoduchší a jednotnejší, ale obsahuje viac nepoužívaných konštruktov a inline ladenia, zatiaľ čo ručne písaný kód je štrukturálne zložitejší a má viac problémov s udržiavateľnosťou.
- Júlový experiment skupiny METR ukázal, že asistenti s umelou inteligenciou skôr spomaľujú, než urýchľujú dokončenie úloh, hoci účastníci subjektívne verili, že umelá inteligencia ich prácu zrýchlila.
- Januárová štúdia Monash University zistila, že GPT-4 generuje zložitejší kód, ktorý si vyžaduje ďalší vývoj kvôli údržbe, ale v testoch dosahuje lepšie výsledky.
Zdroj: opennet.ru
