Daniel Stenberg, curl-tööriista autor, kritiseeris AI-tööriistade kasutamist haavatavuste raportite koostamisel. Need raportid sisaldavad detailset teavet, on kirjutatud arusaadavas keeles ja näivad kvaliteetsed, kuid ilma sügava analüüsita võivad nad tegelikult eksitada, asendades reaalsed probleemid kvaliteetselt näiva prügi sisuga.
Curl-projekt maksab uute haavatavuste avastamise eest ja on juba saanud 415 võimalikku probleemiraportit, millest vaid 64 on kinnitatud kui haavatavused ning 77 kui mitte-ohtlikud vead. Seega ei sisaldanud 66% kõigist raportitest mingeid kasulikke andmeid ja võtsid ainult arendajate aega, mida oleks saanud kasutada millegi kasulikuma jaoks.
Arendajad kulutavad liiga palju aega mõttetute aruannete analüüsimiseks ja teavet korduvalt kontrollimiseks, kuna välise esituse kvaliteet tekitab lisainfot usaldusväärsuse ning annab tunde, et arendaja on midagi valesti mõistnud. Teiselt poolt nõuab sellise aruande koostamine minimaalset vaeva taotlejalt, kes ei vaeva end reaalse probleemi kontrollimisega, vaid kopeerib pimedalt AI-assistentidelt saadud andmeid, lootes õnne tasu saavutamisel.
Toodud on kaks näidet sellistest mõttetutest aruannetest. Üks päev enne oktoobri ohtliku haavatavuse (CVE-2023-38545) plaanitud teavitamist saadeti Hackerone'i kaudu aruanne, et parandusega seotud plaastrid on avalikustatud. Tegelikult sisaldas aruanne Google Bar di koostatud faktide segu sarnaste probleemide ja varasemate haavatavuste üksikasjalike andmete lõikudest. Lõpuks tundus teave uus ja asjakohane, kuid ei olnud reaalsusega seotud.
Teises näites käsitletakse 28. detsembril saadud teadet WebSocketi töötleja puhverülevoolust, mille saatis kasutaja, kes oli juba teatanud haavatavustest erinevates projektides Hackerone'i kaudu. Probleemi kordumise meetodina mainiti aruandes üldisi sõnu muudetud päringu saatmise kohta, mille väärtuse suurus ületas kopeerimise ajal kasutatava puhvri suurust, kasutades strcpy-d. Aruandes toodi samuti näide parandamisest (strcpy asendamine strncpy-ga) ja viidati koodirea «strcpy(keyval, randstr)» juurde, kus kaebuse esitaja arvates oli viga.
Arendaja kontrollis kõik kolm korda ja ei leidnud mingeid probleeme, kuid kuna raport oli esitatud veenvalt ja sisaldas isegi parandusi, tekkis tunne, et midagi jääb siiski kahe silma vahele. Katse täpsustada, kuidas õnnestus uurijal mööduda olemasolevast mõjutamatud kontrollist size'i enne strcpy kutset, ja kuidas keyval'i puut suurus osutus väiksemaks kui loetud andmete suurus, tõi kaasa üksikasjalikud, kuid mitte midagi lisainfot andvad seletused, mis lihtsalt analüüsisid ilmselt üldisi põhjuseid, mis ei olnud seotud konkreetse Curl'i koodiga. Vastused meenutasid suhtlemist AI abil ja pärast pool päeva mõttetute katsete tegemist, et mõista, kuidas probleem täpselt avaldub, veendus arendaja lõpuks, et tegelikult mingit haavatavust pole.
Allikas: opennet.ru
