Daniel Stenberg, pengarang utiliti untuk menerima dan menghantar data melalui rangkaian curl, mengkritik penggunaan alat AI semasa membuat laporan kelemahan. Laporan sedemikian termasuk maklumat terperinci, ditulis dalam bahasa biasa dan kelihatan berkualiti tinggi, tetapi tanpa analisis yang bernas sebenarnya ia hanya boleh mengelirukan, menggantikan masalah sebenar dengan kandungan sampah yang kelihatan berkualiti.
Projek Curl membayar ganjaran untuk mengenal pasti kelemahan baharu dan telah menerima 415 laporan tentang potensi masalah, yang mana hanya 64 telah disahkan sebagai kelemahan dan 77 sebagai pepijat bukan keselamatan. Oleh itu, 66% daripada semua laporan tidak mengandungi sebarang maklumat berguna dan hanya mengambil masa daripada pembangun yang boleh dibelanjakan untuk sesuatu yang berguna.
Pembangun terpaksa membuang banyak masa menghuraikan laporan yang tidak berguna dan menyemak semula maklumat yang terkandung di sana beberapa kali, kerana kualiti luaran reka bentuk mewujudkan keyakinan tambahan dalam maklumat dan terdapat perasaan bahawa pembangun salah faham sesuatu. Sebaliknya, menjana laporan sedemikian memerlukan usaha yang minimum daripada pemohon, yang tidak bersusah payah menyemak masalah sebenar, tetapi hanya membuta tuli menyalin data yang diterima daripada pembantu AI, mengharapkan nasib dalam perjuangan untuk menerima ganjaran.
Dua contoh laporan sampah tersebut diberikan. Sehari sebelum pendedahan maklumat yang dirancang tentang kerentanan Oktober yang berbahaya (CVE-2023-38545), laporan telah dihantar melalui Hackerone bahawa tampung dengan pembaikan telah tersedia secara umum. Malah, laporan itu mengandungi campuran fakta tentang masalah serupa dan coretan maklumat terperinci tentang kelemahan masa lalu yang disusun oleh pembantu AI Google, Bard. Akibatnya, maklumat itu kelihatan baru dan relevan, dan tidak mempunyai kaitan dengan realiti.
Contoh kedua berkenaan dengan mesej yang diterima pada 28 Disember tentang limpahan penimbal dalam pengendali WebSocket, yang dihantar oleh pengguna yang telah memaklumkan pelbagai projek tentang kelemahan melalui Hackerone. Sebagai kaedah menghasilkan semula masalah, laporan itu memasukkan perkataan umum tentang menghantar permintaan yang diubah suai dengan nilai yang lebih besar daripada saiz penimbal yang digunakan semasa menyalin dengan strcpy. Laporan itu juga memberikan contoh pembetulan (contoh menggantikan strcpy dengan strncpy) dan menunjukkan pautan ke baris kod "strcpy(keyval, randstr)", yang, menurut pemohon, mengandungi ralat.
Pembangun menyemak semula semuanya tiga kali dan tidak menemui sebarang masalah, tetapi memandangkan laporan itu ditulis dengan yakin dan juga mengandungi pembetulan, terdapat perasaan bahawa ada sesuatu yang hilang di suatu tempat. Percubaan untuk menjelaskan bagaimana penyelidik berjaya memintas semakan saiz eksplisit yang ada sebelum panggilan strcpy dan bagaimana saiz penimbal keyval ternyata kurang daripada saiz data yang dibaca membawa kepada terperinci, tetapi tidak membawa maklumat tambahan, penjelasan yang hanya mengunyah punca biasa limpahan penimbal yang tidak berkaitan dengan kod Curl tertentu. Jawapannya mengingatkan berkomunikasi dengan pembantu AI, dan selepas menghabiskan setengah hari pada percubaan sia-sia untuk mengetahui dengan tepat bagaimana masalah itu nyata, pembangun akhirnya yakin bahawa sebenarnya tidak ada kelemahan.
Sumber: opennet.ru