Daniel Stenberg, autor nástroja na prijímanie a odosielanie údajov cez sieťový curl, kritizoval používanie nástrojov AI pri vytváraní správ o zraniteľnosti. Takéto správy obsahujú podrobné informácie, sú napísané normálnym jazykom a vyzerajú kvalitne, no bez premyslenej analýzy v skutočnosti môžu byť iba zavádzajúce a nahrádzať skutočné problémy kvalitne vyzerajúcim odpadom.
Projekt Curl vypláca odmeny za identifikáciu nových zraniteľností a už dostal 415 hlásení o potenciálnych problémoch, z ktorých len 64 bolo potvrdených ako zraniteľnosti a 77 ako chyby nesúvisiace s bezpečnosťou. 66 % všetkých správ teda neobsahovalo žiadne užitočné informácie a iba oberalo vývojárov o čas, ktorý mohli venovať niečomu užitočnému.
Vývojári sú nútení strácať veľa času analyzovaním zbytočných správ a opakovanou kontrolou informácií v nich obsiahnutých niekoľkokrát, pretože vonkajšia kvalita dizajnu vytvára dodatočnú dôveru v informácie a existuje pocit, že vývojár niečo nepochopil. Na druhej strane, generovanie takejto správy vyžaduje minimálne úsilie od žiadateľa, ktorý sa neobťažuje zisťovaním skutočného problému, ale jednoducho slepo kopíruje údaje získané od asistentov AI a dúfa v šťastie v boji o odmenu.
Uvádzajú sa dva príklady takýchto správ o odpade. Deň pred plánovaným zverejnením informácií o nebezpečnej októbrovej zraniteľnosti (CVE-2023-38545) bola cez Hackerone odoslaná správa, že záplata s opravou sa stala verejne dostupnou. Správa v skutočnosti obsahovala zmes faktov o podobných problémoch a úryvky podrobných informácií o minulých zraniteľnostiach, ktoré zostavil asistent AI spoločnosti Google Bard. V dôsledku toho informácie vyzerali nové a relevantné a nemali žiadnu súvislosť s realitou.
Druhý príklad sa týka správy prijatej 28. decembra o pretečení vyrovnávacej pamäte v obslužnom programe WebSocket, odoslanej používateľom, ktorý už prostredníctvom Hackerone informoval rôzne projekty o zraniteľnostiach. Ako metódu reprodukovania problému správa obsahovala všeobecné slová o odovzdaní upravenej požiadavky s hodnotou väčšou ako je veľkosť vyrovnávacej pamäte použitej pri kopírovaní pomocou strcpy. Správa tiež uvádzala príklad opravy (príklad nahradenia strcpy reťazcom strncpy) a uvádzala prepojenie na riadok kódu „strcpy(keyval, randstr)“, ktorý podľa žalobcu obsahoval chybu.
Vývojár všetko trikrát skontroloval a nenašiel žiadne problémy, no keďže správa bola napísaná sebavedomo a dokonca obsahovala opravu, bolo cítiť, že niekde niečo chýba. Pokus objasniť, ako sa výskumníkovi podarilo obísť explicitnú kontrolu veľkosti prítomnú pred volaním strcpy a ako sa ukázalo, že veľkosť kľúčovej vyrovnávacej pamäte je menšia ako veľkosť čítaných údajov, viedol k podrobným, ale neobsahujúcim ďalšie informácie, vysvetleniam. ktoré sa zaoberali iba zrejmými bežnými príčinami pretečenia vyrovnávacej pamäte, ktoré nesúvisia s konkrétnym Curl kódom. Odpovede pripomínali komunikáciu s AI asistentom a po pol dni strávenom nezmyselnými pokusmi zistiť, ako presne sa problém prejavuje, sa vývojár konečne presvedčil, že v skutočnosti o žiadnu zraniteľnosť nejde.
Zdroj: opennet.ru