Hópur vísindamanna frá Stanford háskóla rannsakaði áhrif þess að nota greindar kóðunaraðstoðarmenn á útlit veikleika í kóða. Lausnir byggðar á OpenAI Codex vélanámsvettvangi voru skoðaðar, eins og GitHub Copilot, sem gerir kleift að búa til nokkuð flókna kóðablokka, allt að tilbúnum aðgerðum. Áhyggjurnar eru þær að þar sem raunverulegur kóði frá opinberum GitHub geymslum, þar með talið þeim sem innihalda veikleika, er notaður til að þjálfa vélnámslíkanið, getur tilbúið kóðinn endurtekið villur og stungið upp á kóða sem inniheldur veikleika og tekur heldur ekki tillit til þess að þurfa að framkvæma viðbótareftirlit við vinnslu ytri gagna.
47 sjálfboðaliðar með mismunandi reynslu af forritun tóku þátt í rannsókninni - allt frá nemendum til fagfólks með tíu ára reynslu. Þátttakendum var skipt í tvo hópa - tilraunahópa (33 manns) og viðmiðunarhópar (14 manns). Báðir hóparnir höfðu aðgang að hvaða bókasöfnum sem er og internetauðlindir, þar á meðal möguleika á að nota tilbúin dæmi frá Stack Overflow. Tilraunahópurinn fékk tækifæri til að nota gervigreind aðstoðarmann.
Hver þátttakandi fékk 5 verkefni tengd ritun kóða þar sem mögulega er auðvelt að gera mistök sem leiða til veikleika. Til dæmis voru verkefni við að skrifa dulkóðun og afkóðunaraðgerðir, nota stafrænar undirskriftir, vinna úr gögnum sem taka þátt í myndun skráarslóða eða SQL fyrirspurnir, vinna með stórar tölur í C kóða, vinna inntak sem birtist á vefsíðum. Til að huga að áhrifum forritunarmála á öryggi kóða sem framleiddur er þegar AI aðstoðarmenn eru notaðir, tóku verkefnin yfir Python, C og JavaScript.
Fyrir vikið kom í ljós að þátttakendur sem notuðu greindan AI aðstoðarmann byggðan á codex-davinci-002 líkaninu útbjuggu marktækt óöruggari kóða en þátttakendur sem notuðu ekki AI aðstoðarmann. Á heildina litið gátu aðeins 67% þátttakenda í hópnum sem notuðu gervigreindarhjálpina gefið upp réttan og öruggan kóða, en í hinum hópnum var þessi tala 79%.
Á sama tíma voru sjálfsálitsvísarnir hið gagnstæða - þátttakendur sem notuðu AI aðstoðarmanninn töldu að kóðinn þeirra væri öruggari en þátttakendur úr hinum hópnum. Að auki var tekið fram að þátttakendur sem treystu AI aðstoðarmanninum minna og eyddu meiri tíma í að greina leiðbeiningarnar sem gefnar voru og gera breytingar á þeim gerðu færri veikleika í kóðanum.
Til dæmis innihélt kóði sem afritaður var úr dulkóðunarbókasöfnum öruggari sjálfgefna færibreytugildi en kóði sem AI-aðstoðarmaðurinn lagði til. Einnig, þegar þú notar gervigreindarhjálpina, var val á óáreiðanlegri dulkóðunaralgrími og skortur á auðkenningarathugunum á skiluðum gildum skráð. Í verkefni sem felur í sér tölustýringu í C voru fleiri villur gerðar í kóðanum sem skrifaður var með AI aðstoðarmanninum, sem leiddi til yfirflæðis heiltölu.
Að auki getum við tekið eftir svipaðri rannsókn hóps frá New York háskóla, sem gerð var í nóvember, þar sem 58 nemendur voru beðnir um að innleiða skipulag til að vinna úr innkaupalista á C tungumáli. Niðurstöðurnar sýndu lítil áhrif AI aðstoðarmannsins á kóðaöryggi - notendur sem notuðu AI aðstoðarmanninn gerðu að meðaltali um 10% fleiri öryggistengdar villur.
Heimild: opennet.ru