Grupo de esploristoj de Universitato Stanford studis la efikon de uzado de inteligentaj asistantoj dum skribo de kodo sur la aspekto de vundeblecoj en la kodo. Ni konsideris solvojn bazitajn sur la platformo de maŝinlernado de OpenAI Codex, kiel GitHub Copilot, kiuj ebligas al vi generi sufiĉe kompleksajn kodblokojn, ĝis pretaj funkcioj. La zorgoj rilatas al la fakto, ke ĉar reala kodo de publikaj GitHub-deponejoj, inkluzive de tiuj enhavantaj vundeblecojn, estis uzata por trejni la maŝinlernadmodelon, la sintezita kodo povas ripeti erarojn kaj sugesti kodon kiu enhavas vundeblecojn, kaj ankaŭ ne konsideras. la bezono fari pliajn kontrolojn dum prilaborado de eksteraj datumoj.
La studo implikis 47 volontulojn kun malsama sperto en programado - de studentoj ĝis profesiuloj kun dekjara sperto. Partoprenantoj estis dividitaj en du grupojn - eksperimenta (33 homoj) kaj kontrolo (14 homoj). Ambaŭ grupoj havis aliron al iuj bibliotekoj kaj interretaj rimedoj, inkluzive de uzado de pretaj ekzemploj de Stack Overflow. La eksperimenta grupo ricevis la ŝancon uzi la AI-asistanton.
Ĉiu partoprenanto ricevis 5 taskojn rilatajn al skribi kodon, en kiuj estas eble facile fari erarojn, kiuj kondukas al vundeblecoj. Ekzemple, estis taskoj pri skribado de ĉifrado kaj malĉifrado funkcioj, uzado de ciferecaj subskriboj, prilaborado de datumoj implikitaj en la formado de dosiervojoj aŭ SQL-demandoj, manipulado de grandaj nombroj en C-kodo, prilaborado de enigo montrita en retpaĝoj. Por konsideri la efikon de programlingvoj sur la sekureco de la kodo akirita uzante AI-asistantojn, la taskoj kovris Python, C kaj JavaScript.
Kiel rezulto, estis trovite ke partoprenantoj kiuj uzis inteligentan AI-asistanton bazitan sur la codex-davinci-002-modelo produktis signife malpli sekuran kodon ol partoprenantoj kiuj ne uzis AI-asistanton. Ĝenerale, nur 67% de la partoprenantoj en la grupo uzante la AI-asistanton povis provizi ĝustan kaj sekuran kodon, dum en la alia grupo ĉi tiu cifero estis 79%.
Samtempe, memestimaj indikiloj estis inversigitaj - partoprenantoj, kiuj uzis la AI-asistanton, kredis, ke ilia kodo estus pli sekura ol tiu de partoprenantoj de la alia grupo. Krome, oni rimarkis, ke partoprenantoj, kiuj malpli fidis la AI-asistanton kaj pasigis pli da tempo analizante kaj farante ŝanĝojn al la donitaj sugestoj, faris malpli da vundeblecoj en la kodo.
Ekzemple, la kodo kopiita el la kriptaj bibliotekoj enhavis pli sekurajn defaŭltajn parametrajn valorojn ol la kodo sugestita de la AI-asistanto. Ankaŭ, uzante la AI-asistanton, la elekto de malpli fidindaj ĉifradaj algoritmoj kaj la foresto de aŭtentikigo de revenitaj valoroj estis riparita. En la tasko de manipulado de numero C, la kodo skribita per la AI-asistanto havis pli da eraroj kaŭzante entjeran superfluon.
Krome, oni povas rimarki similan studon de grupo de Novjorka Universitato, farita en novembro kun la implikiĝo de 58 studentoj, kiuj estis petitaj efektivigi strukturon por prilabori aĉetliston en C. La rezultoj montris nekonsiderindan efikon de la AI-asistanto sur koda sekureco - uzantoj, kiuj uzis la AI-asistanton, faris, averaĝe, ĉirkaŭ 10% pli da sekurecaj eraroj.
fonto: opennet.ru