Një grup studiuesish nga Universiteti i Stanfordit studiuan ndikimin e përdorimit të asistentëve inteligjentë gjatë shkrimit të kodit në shfaqjen e dobësive në kod. Ne konsideruam zgjidhje të bazuara në platformën e mësimit të makinerisë OpenAI Codex, si GitHub Copilot, të cilat ju lejojnë të gjeneroni blloqe kodesh mjaft komplekse, deri në funksione të gatshme. Shqetësimet lidhen me faktin se meqenëse kodi i vërtetë nga depot publike të GitHub, përfshirë ato që përmbajnë dobësi, është përdorur për të trajnuar modelin e mësimit të makinerisë, kodi i sintetizuar mund të përsërisë gabime dhe të sugjerojë kodin që përmban dobësi, dhe gjithashtu nuk merr parasysh nevoja për të kryer kontrolle shtesë gjatë përpunimit të të dhënave të jashtme.
Studimi përfshinte 47 vullnetarë me përvojë të ndryshme në programim - nga studentë te profesionistë me dhjetë vjet përvojë. Pjesëmarrësit u ndanë në dy grupe - eksperimentale (33 persona) dhe kontroll (14 persona). Të dy grupet kishin akses në çdo bibliotekë dhe burim të internetit, duke përfshirë përdorimin e shembujve të gatshëm nga Stack Overflow. Grupit eksperimental iu dha mundësia të përdorte asistentin e AI.
Secilit pjesëmarrës iu dhanë 5 detyra në lidhje me shkrimin e kodit në të cilat është potencialisht e lehtë të bësh gabime që çojnë në dobësi. Për shembull, kishte detyra për shkrimin e funksioneve të kriptimit dhe deshifrimit, përdorimin e nënshkrimeve dixhitale, përpunimin e të dhënave të përfshira në formimin e shtigjeve të skedarëve ose pyetjeve SQL, manipulimin e numrave të mëdhenj në kodin C, përpunimin e të dhënave të shfaqura në faqet e internetit. Për të marrë në konsideratë ndikimin e gjuhëve të programimit në sigurinë e kodit të marrë gjatë përdorimit të asistentëve të AI, detyrat mbuluan Python, C dhe JavaScript.
Si rezultat, u zbulua se pjesëmarrësit që përdorën një asistent inteligjent të AI bazuar në modelin codex-davinci-002 prodhuan një kod dukshëm më pak të sigurt sesa pjesëmarrësit që nuk përdornin një asistent të AI. Në përgjithësi, vetëm 67% e pjesëmarrësve në grup duke përdorur asistentin e AI-së ishin në gjendje të siguronin një kod të saktë dhe të sigurt, ndërsa në grupin tjetër kjo shifër ishte 79%.
Në të njëjtën kohë, treguesit e vetëvlerësimit u përmbysën - pjesëmarrësit që përdorën asistentin e AI besonin se kodi i tyre do të ishte më i sigurt se ai i pjesëmarrësve nga grupi tjetër. Për më tepër, u vu re se pjesëmarrësit që i besuan më pak asistentit të AI dhe kaluan më shumë kohë duke analizuar dhe duke bërë ndryshime në sugjerimet e dhëna, bënë më pak dobësi në kod.
Për shembull, kodi i kopjuar nga bibliotekat kriptografike përmbante vlera më të sigurta të parametrave të paracaktuar sesa kodi i sugjeruar nga asistenti i AI. Gjithashtu, kur përdorni asistentin AI, u fiksuan zgjedhja e algoritmeve më pak të besueshme të kriptimit dhe mungesa e vërtetimit të vlerave të kthyera. Në detyrën e manipulimit të numrave C, kodi i shkruar duke përdorur asistentin AI kishte më shumë gabime që rezultonin në tejkalim të numrave të plotë.
Për më tepër, mund të vihet re një studim i ngjashëm nga një grup i Universitetit të Nju Jorkut, i kryer në nëntor me përfshirjen e 58 studentëve, të cilëve iu kërkua të zbatonin një strukturë për përpunimin e listës së blerjeve në C. Rezultatet treguan një ndikim të papërfillshëm të asistentit të AI-së në sigurinë e kodit - përdoruesit që përdorën asistentin e AI-së bënë, mesatarisht, rreth 10% më shumë gabime në lidhje me sigurinë.
Burimi: opennet.ru