CodeRabbit ընկերության հետազոտողները վերլուծել են GitHub-ի բաց ժամանատեսակներում 470 pull-request (350-ը՝ AI-ի կողմից ստեղծված, 150-ը՝ ձեռքով գրացված) և եզրակացրել են, որ AI օգնականների ստեղծած փոփոխություններում առկա են 1.7 անգամ ավելի կարևոր սխալներ և 1.4 անգամ ավելի կարևոր խնդիրներ, քան ձեռքով գրանցված կոդում։ Средне, AI-ի միջոցով ստեղծված pull-request-ներում ի հայտ եկավ 10.83 խնդիր, մինչդեռ ձեռքով ստեղծված փոփոխություններում՝ 6.45։
Անալիզ հաշված խնդիրների առանձնահատուկ կատեգորիաներով, AI-ի ստեղծած կոդում 1.75 անգամ ավելի լոգիկ սխալներ, 1.64 անգամ ավելի որակի և պահպանման խնդիրներ, 1.56 անգամ ավելի անվտանգության խնդրահարույց եղանակ և 1.41 անգամ ավելի կատարողական խնդիրներ են հայտնվել։ Դ дополнительно նշվում է, որ AI-ի միջոցով ստեղծված կոդում 1.88 անգամ ավելի բարձր է սխալ գաղտնաբառերի մշակման անկողմնորոշման վտանգը, 1.91 անգամ՝ վտանգավոր օբյեկտների հասանելիություն տրամադրելու խնդիր և 2.74 անգամ՝ միջկայքային բացասական բանակցում (XSS) և 1.82 անգամ՝ վտանգավոր դեսիրալիզացիայի խնդիր։ Մինչդեռ ձեռքով գրած կոդում 1.76 անգամ ավելի շատ սովորական սխալներ և 1.32 անգամ ավելի շատ թեստային խնդիրներ են հայտնվել։
Մյուս հետազոտությունները՝
- Cortex ընկերության նոյեմբեր ամսվա հետազոտության համաձայն, անցյալ տարվա համեմատ, AI-ի օգտագործման շնորհիվ, մեկ մշակողի կողմից ստեղծված pull-request-ների թիվը միջինում ավելացել է 20%-ով, բայց pull-request-lerde ավելացել է խնդիրների քանակը 23.5%-ով և փոփոխությունների ընդունումը աճել է մոտ 30%-ով։
- Ավստրալիական համալսարանի օգոստոսի հետազոտության մեջ նշվում է, որ AI-ի միջոցով ստացված կոդը ընդհանուր առմամբ ավելի պարզ է ու միաբառապես, բայց պարունակում է ավելի շատ չօգտագործվող կառուցվածքներ և ներմեկուլացված դեբագի մուտքագրման նյութեր, մինչդեռ ձեռքով ստեղծված կոդը կառուցվածքայինորեն ավելի բարդ է և պարունակում է պահպանման ավելի շատ խնդրահարույց տարրեր։
- METR խմբի հուլիսյան փորձարկումը ցույց տվեց, որ AI օգնիչները չի խթանում, այլ հակառակը, դանդաղեցնում են առաջադրանքների լուծումը, մինչդեռ մասնակիցները սուբյեկտիվ դիտարկումներով ենթադրում էին, որ AI-ն մեծացնում է իրենց աշխատանքը։
- Մոնաշի համալսարանի հունվար ամսվա հետազոտությունը ցույց է տվել, որ GPT-4-ը ստեղծում է ավելի բարդ կոդ, որը պահանջում է լրացում հետագա պահպանման համար, սակայն ավելի լավ է անցնում թեստերի քննությունները։
Ընտանիք: opennet.ru
