Омӯзиши таъсири ассистентҳои AI ба монанди GitHub Copilot ба амнияти код

Гурӯҳи муҳаққиқон аз Донишгоҳи Стэнфорд таъсири истифодаи ёрдамчиёни интеллектуалии рамзгузориро ба пайдоиши осебпазирӣ дар код омӯхтанд. Қарорҳо дар асоси платформаи омӯзиши мошини OpenAI Codex баррасӣ шуданд, ба монанди GitHub Copilot, ки имкон медиҳанд блокҳои хеле мураккаби кодро то функсияҳои тайёр тавлид кунанд. Ташвиш дар он аст, ки азбаски рамзи воқеии анбори оммавии GitHub, аз ҷумла онҳое, ки осебпазирӣ доранд, барои омӯзиши модели омӯзиши мошинсозӣ истифода мешаванд, коди синтезшуда метавонад хатогиҳоро такрор кунад ва кодеро пешниҳод кунад, ки осебпазириро дар бар мегирад ва инчунин зарурати иҷроишро ба назар намегирад. санҷишҳои иловагӣ ҳангоми коркарди маълумоти беруна.

Ба тадқиқот 47 волонтёре, ки таҷрибаи гуногун дар барномасозӣ доранд, ҷалб карда шуданд - аз донишҷӯён то мутахассисони дорои таҷрибаи даҳсола. Иштирокчиён ба ду гурӯҳ – таҷрибавӣ (33 нафар) ва назоратӣ (14 нафар) тақсим карда шуданд. Ҳарду гурӯҳ ба ҳама гуна китобхонаҳо ва захираҳои интернетӣ дастрасӣ доштанд, аз ҷумла қобилияти истифода бурдани намунаҳои омода аз Stack Overflow. Ба гурӯҳи таҷрибавӣ имконият дода шуд, ки аз ёрдамчии AI истифода баранд.

Ба ҳар як иштирокчӣ 5 вазифаи марбут ба навиштани код дода шуд, ки дар онҳо хатогиҳое, ки боиси осебпазирӣ мешаванд, эҳтимолан осон аст. Масалан, вазифаҳо оид ба навиштани функсияҳои рамзкунонӣ ва рамзкушоӣ, истифодаи имзоҳои рақамӣ, коркарди маълумоте, ки дар ташаккули роҳҳои файл ё дархостҳои SQL иштирок мекунанд, коркарди рақамҳои калон дар коди C, коркарди вуруди дар саҳифаҳои веб нишон додашуда мавҷуданд. Барои баррасии таъсири забонҳои барномасозӣ ба амнияти коде, ки ҳангоми истифодаи ассистенти AI тавлид мешавад, супоришҳо Python, C ва JavaScript-ро дар бар мегиранд.

Дар натиҷа маълум шуд, ки иштирокчиёне, ки аз ёрдамчии интеллектуалии AI дар асоси модели codex-davinci-002 истифода мекарданд, нисбат ба иштирокчиёне, ки аз ёрдамчии AI истифода намекарданд, рамзи камтар бехатар омода кардаанд. Дар маҷмӯъ, танҳо 67% иштирокчиёни гурӯҳе, ки аз ассистенти AI истифода мекарданд, тавонистанд рамзи дуруст ва бехатарро пешниҳод кунанд, дар ҳоле ки дар гурӯҳи дигар ин рақам 79% буд.

Дар айни замон, нишондиҳандаҳои худбаҳодиҳӣ баръакс буданд - иштирокчиёне, ки ассистенти AI-ро истифода мебаранд, боварӣ доштанд, ки рамзи онҳо нисбат ба иштирокчиёни гурӯҳи дигар бехатартар аст. Илова бар ин, қайд карда шуд, ки иштирокчиёне, ки ба ёрдамчии AI камтар эътимод доштанд ва вақти бештарро барои таҳлили дастурҳои додашуда ва ворид кардани тағирот ба онҳо сарф карданд, осебпазирии кодро камтар карданд.

Масалан, коде, ки аз китобхонаҳои криптографӣ нусхабардорӣ шудааст, нисбат ба коде, ки ёвари AI пешниҳод кардааст, арзишҳои пешфарзии бехатартарро дар бар мегирад. Инчунин, ҳангоми истифодаи ассистенти AI, интихоби алгоритмҳои рамзгузории камтар боэътимод ва набудани санҷишҳои аутентификатсияи арзишҳои баргардонидашуда сабт карда шуданд. Дар вазифае, ки бо коркарди рақамҳо дар C, дар коде, ки бо истифода аз ассистенти AI навишта шудааст, хатогиҳои бештар содир карда шуданд, ки боиси пур шудани ададҳо гардид.

Илова бар ин, мо метавонем як тадқиқоти шабеҳи як гурӯҳи Донишгоҳи Ню-Йоркро қайд кунем, ки дар моҳи ноябр бо иштироки 58 донишҷӯ аз онҳо дархост карда шуд, ки сохтори коркарди рӯйхати харидро бо забони Си амалӣ кунанд. Натиҷаҳо нишон доданд, ки ассистенти AI ба амнияти код таъсири кам доранд - корбароне, ки ассистенти AI-ро истифода кардаанд, ба ҳисоби миёна тақрибан 10% хатогиҳои марбут ба амниятро содир кардаанд.

Омӯзиши таъсири ассистентҳои AI ба монанди GitHub Copilot ба амнияти код


Манбаъ: opennet.ru

Илова Эзоҳ