Даниел Стенберг, аутор услужног програма за пријем и слање података преко мрежног цурл-а, критиковао је употребу АИ алата приликом креирања извештаја о рањивости. Такви извештаји садрже детаљне информације, написани су нормалним језиком и изгледају квалитетно, али без промишљене анализе у стварности могу само да доведу у заблуду, замењујући стварне проблеме квалитетним садржајем смећа који изгледа.
Пројекат Цурл исплаћује награде за идентификацију нових рањивости и већ је примио 415 извештаја о потенцијалним проблемима, од којих су само 64 потврђене као рањивости и 77 као небезбедносне грешке. Дакле, 66% свих извештаја није садржало никакве корисне информације и само је одузимало време програмерима које је могло да се потроши на нешто корисно.
Програмери су принуђени да губе много времена на рашчлањивање бескорисних извештаја и вишеструку проверу информација које се тамо налазе, пошто спољашњи квалитет дизајна ствара додатно поверење у информације и постоји осећај да је програмер нешто погрешно разумео. С друге стране, генерисање оваквог извештаја захтева минималан напор од подносиоца захтева, који се не труди да проверава да ли постоји стварни проблем, већ једноставно слепо копира податке добијене од АИ асистената, надајући се срећи у борби за награду.
Наведена су два примера таквих извештаја о смећу. Дан пре планираног обелодањивања информација о опасној октобарској рањивости (ЦВЕ-2023-38545), преко Хацкероне-а је послат извештај да је закрпа са исправком постала јавно доступна. У ствари, извештај је садржао мешавину чињеница о сличним проблемима и делове детаљних информација о рањивости из прошлости које је саставио Гуглов помоћник АИ Бард. Као резултат тога, информације су изгледале нове и релевантне и нису имале никакве везе са стварношћу.
Други пример се односи на поруку примљену 28. децембра о прекорачењу бафера у ВебСоцкет руковаоцу, коју је послао корисник који је већ обавестио различите пројекте о рањивости преко Хацкероне-а. Као метод репродукције проблема, извештај је укључивао опште речи о прослеђивању модификованог захтева са вредношћу већом од величине бафера који се користи приликом копирања помоћу стрцпи. Извештај је такође дао пример исправке (пример замене стрцпи са стрнцпи) и указао на везу ка линији кода „стрцпи(кеивал, рандстр)“, која је, према подносиоцу представке, садржала грешку.
Програмер је све три пута проверио и није нашао никакве проблеме, али пошто је извештај написан поуздано и чак је садржао исправку, постојао је осећај да негде нешто недостаје. Покушај да се разјасни како је истраживач успео да заобиђе експлицитну проверу величине која је присутна пре стрцпи позива и како се испоставило да је величина бафера кеивал мања од величине прочитаних података довео је до детаљних, али без додатних информација, објашњења који је само жвакао очигледне уобичајене узроке прекорачења бафера који нису повезани са специфичним Цурл кодом. Одговори су подсећали на комуникацију са АИ асистентом, а након што је пола дана потрошио на бесмислене покушаје да сазна како се тачно проблем манифестује, програмер се коначно уверио да рањивости заправо нема.
Извор: опеннет.ру