Daniel Stenberg, autor nástroje pro získávání a odesílání dat přes síť curl, kritizoval používání AI nástrojů při vytváření zpráv o zranitelnostech. Tyto zprávy zahrnují podrobné informace, jsou napsány běžným jazykem a vypadají kvalitně, ale bez důvtipné analýzy mohou ve skutečnosti pouze zmást, nahrazující skutečné problémy kvalitně vypadajícím odpadovým obsahem.
Projekt Curl vyplácí odměny za odhalení nových zranitelností a již obdržel 415 zpráv o potenciálních problémech, z nichž pouze 64 bylo potvrzeno jako zranitelnosti a 77 jako chyby nesouvisející s bezpečností. Tím pádem 66 % všech zpráv neobsahovalo žádné užitečné informace a pouze zabrala čas vývojářům, který mohl být věnován něčemu smysluplnému.
Vývojáři jsou nuceni marně trávit spoustu času analýzou bezcenných zpráv a opakovaně prověřovat uváděné informace, protože vnější kvalita formátování vyvolává další důvěru v údaje a vzniká dojem, že vývojář něco špatně pochopil. Na druhou stranu sestavení takové zprávy vyžaduje minimální úsilí od žadatele, který se neobtěžuje ověřit existenci skutečného problému, a prostě slepě kopíruje údaje získané od AI asistentů, doufaje v štěstí v boji o získání odměny.
Uvádějí se dva příklady takových odpadních zpráv. Den před plánovaným zveřejněním informací o říjnové nebezpečné zranitelnosti (CVE-2023-38545) byla přes Hackerone odeslána zpráva, že oprava byla zveřejněna. Ve skutečnosti zpráva obsahovala složeninu z faktů o podobných problémech a úryvků podrobných údajů o minulých zranitelnostech, které vytvořil AI asistent Google Bard. Výsledkem byla informace, která vypadala nově a aktuálně, ale neměla nic společného se skutečností.
Druhý příklad se týká zprávy o přetečení bufferu odeslané 28. prosince v zpracovateli WebSocket uživatelem, který již informoval o zranitelnostech různé projekty prostřednictvím Hackerone. Jako metodu opakování problému uváděla zpráva obecná slova o odeslání upraveného požadavku s velikostí hodnoty překračující velikost bufferu používaného při kopírování pomocí strcpy. Ve zprávě byl také uveden příklad opravy (příklad výměny strcpy za strncpy) a byl uveden odkaz na řádek kódu „strcpy(keyval, randstr)“, kde byla podle názoru stěžovatele chyba.
Vývojář třikrát vše zkontroloval a nenalezl žádné problémy, ale protože byla zpráva napsána sebejistě a dokonce obsahovala opravu, vznikl pocit, že někde něco uniká. Pokus o upřesnění, jak se výzkumníkovi podařilo obejít přítomnou explicitní kontrolu velikosti před voláním strcpy a jak se velikost bufferu keyval stala menší než velikost přečtených dat, vedl k podrobným, ale bez dodatečných informací, vysvětlením, která pouze rozebírala zřejmé obecné příčiny přetečení bufferu, nesouvisející s konkrétním kódem Curl. Odpovědi připomínaly komunikaci s AI asistenty a po strávení půl dne bezvýslednými pokusy zjistit, jak přesně se problém projevuje, se vývojář definitivně ujistil, že žádná zranitelnost ve skutečnosti neexistuje.
Zdroj: opennet.ru
