Daniel Stenberg, autor uslužnog programa za primanje i slanje podataka preko mrežnog curl-a, kritizirao je korištenje AI alata prilikom kreiranja izvještaja o ranjivosti. Takvi izvještaji sadrže detaljne informacije, napisani su normalnim jezikom i izgledaju kvalitetno, ali bez promišljene analize u stvarnosti mogu samo dovesti u zabludu, zamjenjujući stvarne probleme kvalitetnim sadržajem smeća.
Curl projekat plaća nagrade za identifikaciju novih ranjivosti i već je primio 415 prijava potencijalnih problema, od kojih su samo 64 potvrđene kao ranjivosti, a 77 kao nesigurnosne greške. Dakle, 66% svih izvještaja nije sadržavalo nikakve korisne informacije i samo je oduzimalo vrijeme programerima koje je moglo biti utrošeno na nešto korisno.
Programeri su primorani gubiti puno vremena na raščlanjivanje beskorisnih izvještaja i višestruku provjeru informacija koje se tamo nalaze, jer vanjski kvalitet dizajna stvara dodatno povjerenje u informacije i postoji osjećaj da je programer nešto pogrešno shvatio. S druge strane, generiranje ovakvog izvještaja zahtijeva minimalan trud od podnosioca zahtjeva, koji se ne trudi provjeriti ima li stvarnog problema, već jednostavno slijepo kopira podatke dobijene od AI asistenata, nadajući se sreći u borbi za nagradu.
Navedena su dva primjera takvih izvještaja o smeću. Dan prije planiranog objelodanjivanja informacija o opasnoj ranjivosti u oktobru (CVE-2023-38545), putem Hackeronea je poslat izvještaj da je zakrpa sa ispravkom postala javno dostupna. U stvari, izvještaj je sadržavao mješavinu činjenica o sličnim problemima i isječke detaljnih informacija o ranjivosti iz prošlosti koje je sastavio Google-ov AI asistent Bard. Kao rezultat toga, informacije su izgledale nove i relevantne i nisu imale nikakve veze sa stvarnošću.
Drugi primjer se odnosi na poruku primljenu 28. decembra o prekoračenju bafera u WebSocket rukovaocu, koju je poslao korisnik koji je već informirao razne projekte o ranjivosti putem Hackerone-a. Kao metod reprodukcije problema, izveštaj je uključivao opšte reči o prosleđivanju modifikovanog zahteva sa vrednošću većom od veličine bafera koji se koristi prilikom kopiranja sa strcpy. Izveštaj je takođe dao primer ispravke (primer zamene strcpy sa strncpy) i ukazao na vezu ka liniji koda „strcpy(keyval, randstr)“, koja je, prema podnosiocu predstavke, sadržala grešku.
Programer je sve tri puta provjerio i nije našao nikakve probleme, ali pošto je izvještaj napisan pouzdano i čak je sadržavao ispravku, postojao je osjećaj da negdje nešto nedostaje. Pokušaj da se razjasni kako je istraživač uspio zaobići eksplicitnu provjeru veličine koja je bila prisutna prije strcpy poziva i kako se ispostavilo da je veličina bafera keyval manja od veličine pročitanih podataka doveo je do detaljnih, ali bez dodatnih informacija, objašnjenja koji je samo žvakao očigledne uobičajene uzroke prekoračenja bafera koji nisu povezani sa specifičnim Curl kodom. Odgovori su podsjećali na komunikaciju sa AI asistentom, a nakon što je pola dana potrošio na besmislene pokušaje da otkrije kako se tačno problem manifestira, programer se konačno uvjerio da ranjivosti zapravo i nema.
izvor: opennet.ru