Стэнфордын их сургуулийн судлаачдын баг ухаалаг кодлох туслахуудыг ашиглах нь кодын эмзэг байдлын харагдах байдалд хэрхэн нөлөөлж байгааг судалжээ. GitHub Copilot гэх мэт OpenAI Codex машин сургалтын платформ дээр суурилсан шийдлүүдийг авч үзсэн бөгөөд энэ нь нэлээн төвөгтэй кодын блокуудыг бий болгож, бэлэн функцуудыг бий болгодог. Олон нийтийн GitHub хадгалах сангуудын бодит код, түүний дотор эмзэг байдлыг агуулсан кодыг машин сургалтын загварыг сургахад ашигладаг тул нийлэгжүүлсэн код нь алдааг давтаж, сул талыг агуулсан кодыг санал болгож болохоос гадна гүйцэтгэх хэрэгцээг харгалзан үзэхгүй байх явдал юм. гадаад өгөгдлийг боловсруулах үед нэмэлт шалгалт хийх.
Судалгаанд програмчлалын чиглэлээр янз бүрийн туршлагатай 47 сайн дурын ажилтан хамрагдсан - оюутнуудаас эхлээд арван жилийн туршлагатай мэргэжилтнүүд хүртэл. Оролцогчдыг туршилт (33 хүн) ба хяналтын (14 хүн) гэсэн хоёр бүлэгт хуваасан. Хоёр бүлэг хоёулаа Stack Overflow-ийн бэлэн жишээнүүдийг ашиглах чадвартай, ямар ч номын сан, интернетийн нөөцөд хандах боломжтой байсан. Туршилтын бүлэгт AI туслах ашиглах боломжийг олгосон.
Оролцогч бүрт код бичихтэй холбоотой 5 даалгаврыг өгсөн бөгөөд энэ нь эмзэг байдалд хүргэдэг алдаа гаргахад хялбар байдаг. Тухайлбал, шифрлэлт, шифрийг тайлах функц бичих, тоон гарын үсэг ашиглах, файлын зам эсвэл SQL асуулга үүсгэхэд оролцдог өгөгдлийг боловсруулах, C кодоор олон тоогоор ажиллах, вэб хуудсанд харуулсан оролтыг боловсруулах зэрэг даалгаварууд байсан. AI туслахуудыг ашиглах үед бүтээгдсэн кодын аюулгүй байдалд програмчлалын хэл хэрхэн нөлөөлж байгааг харгалзан үзэхийн тулд даалгаврууд нь Python, C, JavaScript-ийг хамарсан.
Үүний үр дүнд codex-davinci-002 загварт суурилсан ухаалаг AI туслах ашигласан оролцогчид хиймэл оюун ухааны туслах ашиглаагүй оролцогчдоос хамаагүй бага хамгаалалттай код бэлтгэсэн нь тогтоогджээ. Ерөнхийдөө хиймэл оюун ухааны туслахыг ашигласан бүлгийн оролцогчдын дөнгөж 67% нь зөв, аюулгүй код өгч чадсан бол нөгөө бүлэгт энэ үзүүлэлт 79% байна.
Үүний зэрэгцээ өөрийгөө үнэлэх шалгуур үзүүлэлтүүд эсрэгээрээ байсан - AI туслахыг ашигласан оролцогчид өөрсдийн код нь бусад бүлгийн оролцогчдынхоос илүү найдвартай байх болно гэж итгэж байсан. Нэмж дурдахад, хиймэл оюун ухааны туслахад бага итгэж, өгсөн зааварт дүн шинжилгээ хийж, өөрчлөлт оруулахад илүү их цаг зарцуулсан оролцогчид кодын эмзэг байдлыг багасгасан болохыг тэмдэглэв.
Жишээлбэл, криптографийн сангаас хуулсан код нь хиймэл оюун ухааны туслахын санал болгосон кодоос илүү найдвартай өгөгдмөл параметрийн утгыг агуулсан байв. Түүнчлэн, AI туслахыг ашиглахдаа найдвартай бус шифрлэлтийн алгоритмын сонголт, буцаж ирсэн утгуудын баталгаажуулалтын шалгалт байхгүй байгааг тэмдэглэв. C хэл дээрх тоон хувиргалттай холбоотой даалгаварт AI туслахыг ашиглан бичсэн кодонд илүү олон алдаа гарсан нь бүхэл тоо хэтрэхэд хүргэсэн.
Нэмж дурдахад Нью-Йоркийн их сургуулийн 58 оюутныг хамарсан 10-р сард хийсэн ижил төстэй судалгааг Си хэл дээр худалдааны жагсаалтыг боловсруулах бүтцийг хэрэгжүүлэхийг хүссэнийг бид тэмдэглэж болно. Үр дүн нь AI туслах нь кодын аюулгүй байдалд бага нөлөө үзүүлсэн - AI туслахыг ашигласан хэрэглэгчид дунджаар XNUMX% илүү аюулгүй байдалтай холбоотой алдаа гаргадаг.
Эх сурвалж: opennet.ru