Daniel Stenberg, penulis utilitas untuk menerima dan mengirim data melalui jaringan curl, mengkritik penggunaan alat AI saat membuat laporan kerentanan. Laporan-laporan tersebut mencakup informasi terperinci, ditulis dalam bahasa normal dan terlihat berkualitas tinggi, namun tanpa analisis yang matang, kenyataannya laporan-laporan tersebut hanya dapat menyesatkan, menggantikan masalah nyata dengan konten sampah yang terlihat berkualitas tinggi.
Proyek Curl memberikan imbalan untuk mengidentifikasi kerentanan baru dan telah menerima 415 laporan potensi masalah, yang mana hanya 64 yang dikonfirmasi sebagai kerentanan dan 77 sebagai bug non-keamanan. Dengan demikian, 66% dari seluruh laporan tidak berisi informasi berguna dan hanya menyita waktu pengembang yang seharusnya dapat digunakan untuk sesuatu yang bermanfaat.
Pengembang terpaksa membuang banyak waktu untuk menguraikan laporan yang tidak berguna dan memeriksa ulang informasi yang terkandung di sana beberapa kali, karena kualitas eksternal dari desain menciptakan kepercayaan tambahan pada informasi dan ada perasaan bahwa pengembang salah memahami sesuatu. Di sisi lain, menghasilkan laporan seperti itu membutuhkan sedikit usaha dari pelamar, yang tidak repot-repot memeriksa masalah sebenarnya, tetapi hanya menyalin data yang diterima dari asisten AI, berharap beruntung dalam perjuangan untuk menerima hadiah.
Dua contoh laporan sampah diberikan. Sehari sebelum rencana pengungkapan informasi tentang kerentanan Oktober yang berbahaya (CVE-2023-38545), sebuah laporan dikirim melalui Hackerone bahwa patch dengan perbaikan telah tersedia untuk umum. Faktanya, laporan tersebut berisi campuran fakta tentang masalah serupa dan cuplikan informasi rinci tentang kerentanan masa lalu yang dikumpulkan oleh asisten AI Google, Bard. Akibatnya, informasi tersebut tampak baru dan relevan, serta tidak ada hubungannya dengan kenyataan.
Contoh kedua menyangkut pesan yang diterima pada tanggal 28 Desember tentang buffer overflow di handler WebSocket, yang dikirim oleh pengguna yang telah menginformasikan berbagai proyek tentang kerentanan melalui Hackerone. Sebagai metode untuk mereproduksi masalah, laporan tersebut menyertakan kata-kata umum tentang meneruskan permintaan yang dimodifikasi dengan nilai lebih besar dari ukuran buffer yang digunakan saat menyalin dengan strcpy. Laporan tersebut juga memberikan contoh koreksi (contoh penggantian strcpy dengan strncpy) dan menunjukkan link ke baris kode βstrcpy(keyval, randstr)β, yang menurut pemohon mengandung kesalahan.
Pengembang memeriksa ulang semuanya tiga kali dan tidak menemukan masalah apa pun, tetapi karena laporan ditulis dengan percaya diri dan bahkan berisi koreksi, ada perasaan ada sesuatu yang hilang di suatu tempat. Upaya untuk memperjelas bagaimana peneliti berhasil melewati pemeriksaan ukuran eksplisit yang ada sebelum panggilan strcpy dan bagaimana ukuran buffer keyval ternyata lebih kecil dari ukuran data yang dibaca menyebabkan penjelasan rinci, tetapi tidak membawa informasi tambahan yang hanya membahas penyebab umum buffer overflow yang tidak terkait dengan kode Curl tertentu. Jawabannya mengingatkan kita pada komunikasi dengan asisten AI, dan setelah menghabiskan setengah hari melakukan upaya sia-sia untuk mencari tahu bagaimana sebenarnya masalah tersebut terwujud, pengembang akhirnya yakin bahwa sebenarnya tidak ada kerentanan.
Sumber: opennet.ru