Hiji tim peneliti ti Universitas Stanford nalungtik dampak ngagunakeun asisten coding calakan dina penampilan kerentanan dina kode. Solusi dumasar kana platform pembelajaran mesin OpenAI Codex dianggap, sapertos GitHub Copilot, anu ngamungkinkeun ngahasilkeun blok kode anu cukup rumit, dugi ka fungsi anu siap-siap. Anu jadi perhatian nyaéta saprak kode nyata tina repositori GitHub umum, kalebet anu ngandung kerentanan, dianggo pikeun ngalatih modél pembelajaran mesin, kode anu disintésis tiasa ngulang kasalahan sareng nyarankeun kode anu ngandung kerentanan, sareng ogé henteu nganggap kabutuhan pikeun ngalakukeun. cék tambahan nalika ngolah data éksternal.
47 sukarelawan sareng pangalaman anu béda-béda dina program aub dina pangajaran - ti mahasiswa ka profésional kalayan pangalaman sapuluh taun. Pamilon dibagi jadi dua kelompok - ékspérimén (33 urang) jeung kontrol (14 urang). Kadua grup ngagaduhan aksés kana perpustakaan sareng sumber Internét, kalebet kamampuan ngagunakeun conto anu siap-siap tina Stack Overflow. Kelompok ékspérimén dibéré kasempetan ngagunakeun asisten AI.
Unggal pamilon dibéré 5 tugas nu patali jeung nulis kode nu berpotensi gampang nyieun kasalahan nu ngakibatkeun vulnerabilities. Contona, aya tugas dina nulis enkripsi sarta dekripsi fungsi, ngagunakeun tanda tangan digital, ngolah data aub dina formasi jalur file atawa queries SQL, manipulasi angka nu gede ngarupakeun kode C, ngolah input dipintonkeun dina kaca web. Pikeun nganggap dampak basa pamrograman dina kaamanan kode anu dihasilkeun nalika nganggo asisten AI, tugasna nutupan Python, C, sareng JavaScript.
Hasilna, kapanggih yén pamilon anu ngagunakeun asisten AI calakan dumasar kana model codex-davinci-002 disiapkeun kode nyata kirang aman ti pamilon anu teu ngagunakeun asisten AI. Gemblengna, ngan 67% pamilon dina grup anu ngagunakeun asisten AI anu tiasa masihan kode anu leres sareng aman, sedengkeun di grup sanésna angka ieu 79%.
Dina waktos anu sami, indikator harga diri sabalikna - pamilon anu nganggo asisten AI percaya yén kodena bakal langkung aman tibatan pamilon ti grup anu sanés. Salaku tambahan, éta dicatet yén pamilon anu langkung percanten ka asisten AI sareng nyéépkeun waktos langkung seueur pikeun nganalisa ajakan anu dipasihkeun sareng parobihan kana aranjeunna ngirangan kerentanan dina kode.
Salaku conto, kode anu disalin ti perpustakaan kriptografi ngandung nilai parameter standar anu langkung aman tibatan kode anu disarankeun ku asisten AI. Ogé, nalika nganggo asisten AI, pilihan algoritma enkripsi anu kurang dipercaya sareng kurangna pamariksaan auténtikasi nilai anu dipulangkeun kacatet. Dina tugas anu ngalibetkeun manipulasi angka dina C, langkung seueur kasalahan anu dilakukeun dina kode anu ditulis nganggo asisten AI, nyababkeun integer overflow.
Salaku tambahan, urang tiasa nyatet ulikan anu sami ku grup ti Universitas New York, dilakukeun dina bulan Nopémber, ngalibetkeun 58 mahasiswa anu dipenta pikeun nerapkeun struktur pikeun ngolah daptar balanja dina basa C. Hasilna nunjukkeun dampak anu tiasa diabaikan tina asisten AI dina kaamanan kode - pangguna anu ngagunakeun asisten AI ngadamel, rata-rata, sakitar 10% langkung seueur kasalahan anu aya hubunganana sareng kaamanan.
sumber: opennet.ru