E Team vu Fuerscher vun der Stanford University studéiert den Impakt vun der Benotzung vun intelligenten Kodéierungsassistenten op d'Erscheinung vu Schwachstelle am Code. Léisunge baséiert op der OpenAI Codex Maschinnléierplattform goufen berücksichtegt, sou wéi GitHub Copilot, déi d'Generatioun vun zimlech komplexe Codeblocken erlaben, bis zu fäerdege Funktiounen. D'Suerg ass datt zënter echte Code vun ëffentleche GitHub Repositories, inklusiv déi, déi Schwachstelle enthalen, benotzt gi fir de Maschinnléiermodell ze trainéieren, kann de synthetiséierte Code Feeler widderhuelen a Code proposéieren deen Schwachstelle enthält, an och net berücksichtegt d'Noutwendegkeet ze maachen. zousätzlech Kontrollen beim Veraarbechtung vun externen Donnéeën.
47 Fräiwëlleger mat ënnerschiddlecher Erfarung am Programméiere waren an der Etude involvéiert - vu Studenten bis Professionnelen mat zéng Joer Erfahrung. D'Participanten goufen an zwou Gruppen opgedeelt - experimentell (33 Leit) a Kontroll (14 Leit). Béid Gruppen haten Zougang zu all Bibliothéiken an Internetressourcen, dorënner d'Fäegkeet fäerdege Beispiller vum Stack Overflow ze benotzen. Den experimentellen Grupp krut d'Méiglechkeet en AI Assistent ze benotzen.
All Participant krut 5 Aufgaben am Zesummenhang mam Code ze schreiwen an deem et potenziell einfach ass Feeler ze maachen déi zu Schwachstelle féieren. Zum Beispill goufen et Aufgaben fir Verschlësselungs- an Entschlësselungsfunktiounen ze schreiwen, digital Ënnerschrëften ze benotzen, Daten ze veraarbecht, déi an der Bildung vu Dateiweeër oder SQL Ufroen involvéiert sinn, grouss Zuelen am C Code manipuléieren, Input veraarbecht op Websäiten ugewisen. Fir den Impakt vun de Programméierungssproochen op d'Sécherheet vum Code ze berücksichtegen, dee produzéiert gëtt wann Dir AI Assistenten benotzt, hunn d'Aufgaben Python, C, a JavaScript ofgedeckt.
Als Resultat gouf festgestallt datt d'Participanten, déi en intelligenten AI Assistent op Basis vum Codex-davinci-002 Modell benotzt hunn, wesentlech manner séchere Code virbereet wéi d'Participanten déi keen AI Assistent benotzt hunn. Insgesamt, nëmmen 67% vun de Participanten an der Grupp, déi den AI Assistent benotzt hunn, konnten de korrekten a séchere Code ubidden, während an der anerer Grupp dës Figur 79% war.
Zur selwechter Zäit waren d'Selbstschätzungsindikatoren de Géigendeel - Participanten, déi den AI Assistent benotzt hunn, hunn gegleeft datt hire Code méi sécher wier wéi dee vun de Participanten aus der anerer Grupp. Zousätzlech gouf bemierkt datt d'Participanten, déi den AI Assistent manner vertraut hunn a méi Zäit verbruecht hunn d'Instruktioune ze analyséieren an d'Ännerungen ze maachen, manner Schwachstelle am Code gemaach hunn.
Zum Beispill, Code kopéiert aus kryptographesche Bibliothéike enthale méi sécher Standardparameterwäerter wéi Code proposéiert vum AI Assistent. Och wann Dir den AI Assistent benotzt, goufen d'Wiel vu manner zouverlässeg Verschlësselungsalgorithmen an de Mangel un Authentifikatiounskontrolle vu zréckginn Wäerter opgeholl. An enger Aufgab, déi Nummermanipulatioun am C involvéiert, goufe méi Feeler am Code gemaach, dee mam AI Assistent geschriwwe gouf, wat zu ganzer Iwwerfloss féiert.
Zousätzlech kënne mir eng ähnlech Etude vun engem Grupp vun der New York University notéieren, déi am November gemaach gouf, mat 58 Studenten, déi gefrot goufen eng Struktur ëmzesetzen fir eng Akaafslëscht an der C Sprooch ze veraarbecht. D'Resultater hu wéineg Impakt vum AI Assistent op Code Sécherheet gewisen - Benotzer déi den AI Assistent benotzt hunn, hunn am Duerchschnëtt ongeféier 10% méi Sécherheetsfehler gemaach.
Source: opennet.ru