Daniel Stenberg, penulis utilitas curl untuk mengirim dan menerima data jaringan, mengkritik penggunaan alat AI dalam pelaporan kerentanan. Laporan tersebut mencakup informasi terperinci, ditulis dalam bahasa yang jelas, dan tampak berkualitas tinggi, tetapi tanpa analisis yang cermat, laporan tersebut sebenarnya dapat menyesatkan, menggantikan masalah nyata dengan konten berkualitas tinggi yang tampak seperti sampah.
Proyek Curl menawarkan hadiah untuk mengidentifikasi kerentanan baru dan telah menerima 415 laporan tentang potensi masalah, di mana hanya 64 yang dikonfirmasi sebagai kerentanan dan 77 sebagai masalah non-keamanan. Dengan demikian, 66% dari semua laporan tidak berisi informasi yang berguna dan hanya membuang waktu pengembang yang seharusnya dapat digunakan untuk sesuatu yang lebih produktif.
Para pengembang terpaksa membuang banyak waktu untuk menganalisis laporan yang tidak berguna dan memeriksa ulang informasi berkali-kali, karena kualitas visual presentasi memberikan kredibilitas pada informasi tersebut, sehingga menimbulkan kesan bahwa pengembang telah salah memahami sesuatu. Di sisi lain, pembuatan laporan semacam itu hanya membutuhkan sedikit usaha dari pengirim, yang tidak perlu repot memverifikasi keberadaan masalah nyata, tetapi hanya menyalin data yang diterima dari asisten AI secara membabi buta, berharap beruntung dalam perlombaan untuk memenangkan hadiah.
Berikut adalah dua contoh laporan sampah tersebut. Sehari sebelum pengungkapan informasi yang dijadwalkan tentang kerentanan kritis (CVE-2023-38545) yang dirilis pada bulan Oktober, sebuah laporan dikirimkan melalui Hackerone yang mengklaim bahwa patch dengan perbaikan telah tersedia untuk umum. Pada kenyataannya, laporan tersebut berisi campuran fakta tentang masalah serupa dan cuplikan informasi detail tentang kerentanan masa lalu, yang dikumpulkan oleh asisten AI Bard milik Google. Informasi yang dihasilkan tampak baru dan relevan, tetapi tidak memiliki hubungan dengan kenyataan.
Contoh kedua berkaitan dengan laporan buffer overflow pada handler WebSocket yang diterima pada tanggal 28 Desember, yang dikirimkan oleh seorang pengguna yang sebelumnya telah melaporkan kerentanan pada berbagai proyek melalui Hackerone. Laporan tersebut menyebutkan metode untuk mereproduksi masalah tersebut, menggunakan istilah umum tentang mengirimkan permintaan yang dimodifikasi dengan nilai yang lebih besar daripada buffer yang digunakan saat menyalin dengan strcpy. Laporan tersebut juga memberikan contoh perbaikan (mengganti strcpy dengan strncpy) dan tautan ke baris kode "strcpy(keyval, randstr)" yang menurut pelapor mengandung kesalahan tersebut.
Pengembang memeriksa semuanya tiga kali dan tidak menemukan masalah, tetapi karena laporan tersebut ditulis dengan percaya diri dan bahkan menyertakan perbaikan, ia merasa ada sesuatu yang kurang. Upaya untuk mengklarifikasi bagaimana peneliti telah melewati pemeriksaan ukuran eksplisit yang ada sebelum panggilan strcpy dan bagaimana ukuran buffer keyval lebih kecil daripada data yang dibaca menghasilkan penjelasan yang rinci, tetapi tidak informatif, yang hanya mengulang penyebab umum buffer overflow yang jelas dan tidak terkait dengan kode Curl tertentu. Tanggapan tersebut menyerupai percakapan dengan asisten AI, dan setelah menghabiskan setengah hari mencoba tanpa hasil untuk mencari tahu bagaimana masalah itu muncul, pengembang akhirnya yakin tidak ada kerentanan.
Sumber: opennet.ru
