Tim peneliti saka Universitas Stanford nyinaoni pengaruh nggunakake asisten coding sing cerdas babagan tampilan kerentanan ing kode. Solusi adhedhasar platform pembelajaran mesin OpenAI Codex dianggep, kayata GitHub Copilot, sing ngidini nggawe blok kode sing cukup rumit, nganti fungsi sing wis siap. Keprigelan yaiku amarga kode nyata saka repositori GitHub umum, kalebu sing ngemot kerentanan, digunakake kanggo nglatih model pembelajaran mesin, kode sing disintesis bisa mbaleni kesalahan lan menehi saran kode sing ngemot kerentanan, lan uga ora nggatekake kabutuhan kanggo nindakake. mriksa tambahan nalika ngolah data eksternal.
47 sukarelawan karo macem-macem pengalaman ing program melu sinau - saka mahasiswa kanggo profesional karo sepuluh taun pengalaman. Peserta dibagi dadi rong klompok - eksperimen (33 wong) lan kontrol (14 wong). Klompok loro kasebut nduweni akses menyang perpustakaan lan sumber daya Internet, kalebu kemampuan kanggo nggunakake conto sing wis digawe saka Stack Overflow. Klompok eksperimen diwenehi kesempatan kanggo nggunakake asisten AI.
Saben peserta diwenehi 5 tugas sing ana gandhengane karo nulis kode sing bisa uga gampang nggawe kesalahan sing nyebabake kerentanan. Contone, ana tugas nulis fungsi enkripsi lan dekripsi, nggunakake teken digital, ngolah data sing ana ing pambentukan path file utawa pitakon SQL, manipulasi nomer akeh ing kode C, ngolah input sing ditampilake ing kaca web. Kanggo nimbang pengaruh basa pamrograman ing keamanan kode sing diprodhuksi nalika nggunakake asisten AI, tugas kasebut kalebu Python, C, lan JavaScript.
Akibaté, ditemokake yen peserta sing nggunakake asisten AI sing cerdas adhedhasar model codex-davinci-002 nyiapake kode sing kurang aman tinimbang peserta sing ora nggunakake asisten AI. Sakabèhé, mung 67% peserta ing grup sing nggunakake asisten AI sing bisa nyedhiyakake kode sing bener lan aman, dene ing grup liyane angka iki 79%.
Ing wektu sing padha, indikator harga diri padha sebaliknya - peserta sing nggunakake asisten AI percaya yen kode kasebut bakal luwih aman tinimbang peserta saka grup liyane. Kajaba iku, dicathet yen peserta sing kurang percaya marang asisten AI lan luwih akeh wektu kanggo nganalisa panjaluk sing diwenehake lan nggawe owah-owahan nggawe kerentanan ing kode kasebut.
Contone, kode sing disalin saka perpustakaan kriptografi ngemot nilai parameter standar sing luwih aman tinimbang kode sing disaranake dening asisten AI. Uga, nalika nggunakake asisten AI, pilihan algoritma enkripsi sing kurang dipercaya lan kekurangan pamriksaan otentikasi nilai sing bali dicathet. Ing tugas sing nglibatake manipulasi angka ing C, luwih akeh kesalahan ing kode sing ditulis nggunakake asisten AI, sing nyebabake kebanjiran integer.
Kajaba iku, kita bisa nyathet studi sing padha dening klompok saka Universitas New York, sing ditindakake ing wulan November, nglibatake 58 siswa sing dijaluk ngetrapake struktur kanggo ngolah dhaptar blanja ing basa C. Asil kasebut nuduhake pengaruh cilik saka asisten AI ing keamanan kode - pangguna sing nggunakake asisten AI nggawe, rata-rata, udakara 10% luwih akeh kesalahan sing ana gandhengane karo keamanan.
Source: opennet.ru