Riċerka dwar l-impatt tal-assistenti tal-AI bħal GitHub Copilot fuq is-sigurtà tal-kodiċi

Tim ta 'riċerkaturi mill-Università ta' Stanford studja l-impatt tal-użu ta 'assistenti ta' kodifikazzjoni intelliġenti fuq id-dehra ta 'vulnerabbiltajiet fil-kodiċi. Ġew ikkunsidrati soluzzjonijiet ibbażati fuq il-pjattaforma tat-tagħlim tal-magni OpenAI Codex, bħal GitHub Copilot, li jippermettu l-ġenerazzjoni ta 'blokki ta' kodiċi pjuttost kumplessi, sa funzjonijiet lesti. It-tħassib huwa li peress li l-kodiċi reali minn repożitorji pubbliċi GitHub, inklużi dawk li fihom vulnerabbiltajiet, jintuża biex iħarreġ il-mudell tat-tagħlim tal-magni, il-kodiċi sintetizzat jista 'jirrepeti żbalji u jissuġġerixxi kodiċi li fih vulnerabbiltajiet, u wkoll ma jqisx il-ħtieġa li twettaq. kontrolli addizzjonali meta tiġi pproċessata data esterna.

Fl-istudju kienu involuti 47 voluntier b’esperjenza differenti fl-ipprogrammar – minn studenti sa professjonisti b’għaxar snin esperjenza. Il-parteċipanti kienu maqsuma f'żewġ gruppi - sperimentali (33 persuna) u kontroll (14-il persuna). Iż-żewġ gruppi kellhom aċċess għal kwalunkwe librerija u riżorsi tal-Internet, inkluża l-abbiltà li jużaw eżempji lesti minn Stack Overflow. Il-grupp sperimentali ngħata l-opportunità li juża assistent AI.

Kull parteċipant ingħata 5 kompiti relatati mal-kitba tal-kodiċi li fihom huwa potenzjalment faċli li tagħmel żbalji li jwasslu għal vulnerabbiltajiet. Pereżempju, kien hemm kompiti dwar il-kitba ta 'funzjonijiet ta' encryption u decryption, użu ta 'firem diġitali, ipproċessar ta' data involuta fil-formazzjoni ta 'mogħdijiet ta' fajls jew mistoqsijiet SQL, manipulazzjoni ta 'numri kbar f'kodiċi C, ipproċessar ta' input murija fil-paġni tal-web. Biex jiġi kkunsidrat l-impatt tal-lingwi tal-ipprogrammar fuq is-sigurtà tal-kodiċi prodott meta jintużaw assistenti tal-AI, l-inkarigi koprew Python, C u JavaScript.

Bħala riżultat, instab li l-parteċipanti li użaw assistent AI intelliġenti bbażat fuq il-mudell codex-davinci-002 ħejjew kodiċi ferm inqas sigur minn parteċipanti li ma użawx assistent AI. B'mod ġenerali, 67% biss tal-parteċipanti fil-grupp li użaw l-assistent AI kienu kapaċi jipprovdu kodiċi korrett u sigur, filwaqt li fil-grupp l-ieħor din iċ-ċifra kienet 79%.

Fl-istess ħin, l-indikaturi tal-istima personali kienu l-oppost - il-parteċipanti li użaw l-assistent tal-AI emmnu li l-kodiċi tagħhom ikun aktar sigur minn dak tal-parteċipanti mill-grupp l-ieħor. Barra minn hekk, ġie nnutat li l-parteċipanti li fdaw inqas lill-assistent tal-AI u qattgħu aktar ħin janalizzaw il-prompti mogħtija u jagħmlu bidliet għalihom għamlu inqas vulnerabbiltajiet fil-kodiċi.

Pereżempju, kodiċi kkupjat minn libreriji kriptografiċi kien fih valuri ta’ parametri default aktar siguri mill-kodiċi ssuġġerit mill-assistent AI. Ukoll, meta jintuża l-assistent AI, l-għażla ta 'algoritmi ta' kriptaġġ inqas affidabbli u n-nuqqas ta 'kontrolli ta' awtentikazzjoni tal-valuri rritornati ġew irreġistrati. F'kompitu li jinvolvi l-manipulazzjoni tan-numri f'C, saru aktar żbalji fil-kodiċi miktub bl-użu tal-assistent AI, li wassal għal overflow integer.

Barra minn hekk, nistgħu ninnotaw studju simili minn grupp mill-Università ta 'New York, li sar f'Novembru, li jinvolvi 58 student li ntalbu jimplimentaw struttura għall-ipproċessar ta' lista tax-xiri bil-lingwa Ċ. Ir-riżultati wrew impatt negliġibbli tal-assistent AI fuq is-sigurtà tal-kodiċi - l-utenti li użaw l-assistent AI għamlu, bħala medja, madwar 10% aktar żbalji relatati mas-sigurtà.

Riċerka dwar l-impatt tal-assistenti tal-AI bħal GitHub Copilot fuq is-sigurtà tal-kodiċi


Sors: opennet.ru

Żid kumment