Daniel Stenberg, autor uslužnog programa za primanje i slanje podataka preko mreže, kritizirao je korištenje AI alata pri izradi izvješća o ranjivostima. Takva izvješća uključuju detaljne informacije, napisana su normalnim jezikom i izgledaju visokokvalitetno, ali bez promišljene analize u stvarnosti mogu samo dovesti u zabludu, zamjenjujući stvarne probleme sadržajem smeća visoke kvalitete.
Projekt Curl plaća nagrade za identificiranje novih ranjivosti i već je primio 415 izvješća o potencijalnim problemima, od kojih su samo 64 potvrđena kao ranjivosti, a 77 kao nesigurnosne greške. Dakle, 66% svih izvješća nije sadržavalo nikakve korisne informacije i samo je programerima oduzimalo vrijeme koje su mogli potrošiti na nešto korisno.
Programeri su prisiljeni gubiti puno vremena analizirajući beskorisna izvješća i višestruko provjeravajući informacije koje se tamo nalaze, budući da vanjska kvaliteta dizajna stvara dodatno povjerenje u informacije i postoji osjećaj da je programer nešto krivo razumio. S druge strane, generiranje takvog izvješća zahtijeva minimalan napor podnositelja zahtjeva, koji se ne zamara provjeravanjem stvarnog problema, već jednostavno slijepo kopira podatke dobivene od AI pomoćnika, nadajući se sreći u borbi za nagradu.
Dva su primjera takvih izvješća o smeću. Dan prije planiranog objavljivanja informacija o opasnoj listopadskoj ranjivosti (CVE-2023-38545), preko Hackeronea je poslana dojava da je zakrpa s popravkom postala javno dostupna. Zapravo, izvješće je sadržavalo mješavinu činjenica o sličnim problemima i isječaka detaljnih informacija o prošlim ranjivostima koje je sastavio Googleov AI pomoćnik Bard. Kao rezultat toga, informacije su izgledale nove i relevantne i nisu imale veze sa stvarnošću.
Drugi primjer odnosi se na poruku primljenu 28. prosinca o prekoračenju međuspremnika u WebSocket rukovatelju, koju je poslao korisnik koji je već obavijestio razne projekte o ranjivostima putem Hackerona. Kao metoda reprodukcije problema, izvješće je uključivalo općenite riječi o prosljeđivanju modificiranog zahtjeva s vrijednošću većom od veličine međuspremnika koji se koristi prilikom kopiranja pomoću strcpyja. U izvješću je također dat primjer ispravka (primjer zamjene strcpy sa strncpy) i naznačena poveznica na redak koda “strcpy(keyval, randstr)”, koji je, prema podnositelju zahtjeva, sadržavao pogrešku.
Programer je sve dvaput provjerio tri puta i nije pronašao nikakve probleme, ali budući da je izvješće napisano samouvjereno i čak je sadržavalo ispravak, postojao je osjećaj da negdje nešto nedostaje. Pokušaj da se razjasni kako je istraživač uspio zaobići eksplicitnu provjeru veličine koja je bila prisutna prije strcpy poziva i kako se pokazalo da je veličina međuspremnika keyval manja od veličine pročitanih podataka dovela je do detaljnih, ali bez dodatnih informacija, objašnjenja koji je samo žvakao očite uobičajene uzroke prekoračenja međuspremnika koji nisu povezani s određenim Curl kodom. Odgovori su podsjećali na komunikaciju s AI asistentom, a nakon što je potrošio pola dana na besmislene pokušaje da otkrije kako se točno problem manifestira, programer se konačno uvjerio da ranjivosti zapravo nema.
Izvor: opennet.ru