Sekelompok peneliti dari Universitas Stanford mempelajari dampak penggunaan asisten cerdas saat menulis kode terhadap munculnya kerentanan dalam kode. Kami mempertimbangkan solusi berdasarkan platform pembelajaran mesin OpenAI Codex, seperti GitHub Copilot, yang memungkinkan Anda menghasilkan blok kode yang cukup rumit, hingga fungsi yang sudah jadi. Kekhawatiran terkait dengan fakta bahwa karena kode nyata dari repositori GitHub publik, termasuk yang mengandung kerentanan, digunakan untuk melatih model pembelajaran mesin, kode yang disintesis dapat mengulangi kesalahan dan menyarankan kode yang mengandung kerentanan, dan juga tidak memperhitungkan kebutuhan untuk melakukan pemeriksaan tambahan saat memproses data eksternal.
Studi ini melibatkan 47 sukarelawan dengan pengalaman berbeda dalam pemrograman - dari pelajar hingga profesional dengan pengalaman sepuluh tahun. Peserta dibagi menjadi dua kelompok - eksperimen (33 orang) dan kontrol (14 orang). Kedua grup memiliki akses ke perpustakaan dan sumber daya Internet apa pun, termasuk menggunakan contoh yang sudah jadi dari Stack Overflow. Kelompok eksperimen diberi kesempatan untuk menggunakan asisten AI.
Setiap peserta diberikan 5 tugas terkait penulisan kode yang berpotensi mudah membuat kesalahan yang berujung pada kerentanan. Misalnya, ada tugas menulis fungsi enkripsi dan dekripsi, menggunakan tanda tangan digital, memproses data yang terlibat dalam pembentukan jalur file atau kueri SQL, memanipulasi angka besar dalam kode C, memproses input yang ditampilkan di halaman web. Untuk mempertimbangkan dampak bahasa pemrograman pada keamanan kode yang diperoleh saat menggunakan asisten AI, penugasan mencakup Python, C, dan JavaScript.
Hasilnya, ditemukan bahwa peserta yang menggunakan asisten AI cerdas berdasarkan model codex-davinci-002 menghasilkan kode yang kurang aman secara signifikan dibandingkan peserta yang tidak menggunakan asisten AI. Secara umum, hanya 67% peserta di grup yang menggunakan asisten AI yang mampu memberikan kode yang benar dan aman, sedangkan di grup lain angkanya mencapai 79%.
Pada saat yang sama, indikator harga diri dibalik - peserta yang menggunakan asisten AI percaya bahwa kode mereka akan lebih aman daripada peserta dari kelompok lain. Selain itu, tercatat bahwa peserta yang kurang mempercayai asisten AI dan menghabiskan lebih banyak waktu untuk menguraikan dan membuat perubahan pada petunjuk yang diberikan membuat lebih sedikit kerentanan dalam kode.
Misalnya, kode yang disalin dari pustaka kriptografi berisi nilai parameter default yang lebih aman daripada kode yang disarankan oleh asisten AI. Selain itu, saat menggunakan asisten AI, pilihan algoritme enkripsi yang kurang andal dan tidak adanya otentikasi nilai yang dikembalikan telah diperbaiki. Pada tugas manipulasi angka C, kode yang ditulis menggunakan asisten AI lebih banyak error yang mengakibatkan integer overflow.
Selain itu, penelitian serupa oleh kelompok dari Universitas New York, yang dilakukan pada bulan November dengan melibatkan 58 siswa, yang diminta untuk mengimplementasikan struktur pemrosesan daftar belanja di C, dapat dicatat. Hasilnya menunjukkan dampak yang dapat diabaikan dari asisten AI pada keamanan kode - pengguna yang menggunakan asisten AI membuat, rata-rata, sekitar 10% lebih banyak kesalahan terkait keamanan.
Sumber: opennet.ru