Проблеми поради извештаите за ранливост подготвени од алатките за вештачка интелигенција

Даниел Стенберг, автор на алатката за примање и испраќање податоци преку мрежната кривина, ја критикуваше употребата на алатки за вештачка интелигенција при креирање извештаи за ранливост. Ваквите извештаи вклучуваат детални информации, се напишани на нормален јазик и изгледаат висококвалитетно, но без обмислена анализа во реалноста тие можат да бидат само погрешни, заменувајќи ги вистинските проблеми со висококвалитетна содржина на ѓубре.

Проектот Curl плаќа награди за идентификување на нови пропусти и веќе има добиено 415 извештаи за потенцијални проблеми, од кои само 64 се потврдени како пропусти и 77 како небезбедни грешки. Така, 66% од сите извештаи не содржеле никакви корисни информации и само одземале време од програмерите што можело да се потроши на нешто корисно.

Програмерите се принудени да губат многу време анализирајќи ги бескорисните извештаи и неколкупати двојно проверувајќи ги информациите содржани таму, бидејќи надворешниот квалитет на дизајнот создава дополнителна доверба во информациите и постои чувство дека развивачот нешто погрешно разбрал. Од друга страна, генерирањето на таков извештај бара минимален напор од апликантот, кој не се мачи да провери дали има вистински проблем, туку едноставно слепо ги копира податоците добиени од помошниците на вештачката интелигенција, надевајќи се на среќа во борбата да добие награда.

Дадени се два примери на вакви извештаи за ѓубре. Еден ден пред планираното обелоденување на информации за опасната октомвриска ранливост (CVE-2023-38545), беше испратен извештај преку Хакероне дека закрпата со поправката станала јавно достапна. Всушност, извештајот содржеше мешавина од факти за слични проблеми и фрагменти од детални информации за минатите пропусти, составени од помошникот за вештачка интелигенција на Google, Бард. Како резултат на тоа, информацијата изгледаше ново и релевантно и немаше никаква врска со реалноста.

Вториот пример се однесува на порака добиена на 28 декември за прелевање на баферот во управувачот на WebSocket, испратена од корисник кој веќе информирал различни проекти за ранливости преку Хакероне. Како метод за репродукција на проблемот, извештајот вклучуваше општи зборови за пренесување на изменето барање со вредност поголема од големината на баферот што се користи при копирање со strcpy. Извештајот, исто така, дава пример за корекција (пример за замена на strcpy со strncpy) и означува врска до линијата код „strcpy(keyval, randstr)“, која, според апликантот, содржела грешка.

Програмерот двапати провери сè три пати и не најде никакви проблеми, но бидејќи извештајот беше напишан самоуверено, па дури и содржеше корекција, имаше чувство дека нешто недостасува некаде. Обидот да се разјасни како истражувачот успеал да ја заобиколи експлицитната проверка на големината присутна пред повикот strcpy и како големината на клучниот бафер се покажа помала од големината на прочитаните податоци, доведе до детални, но не и дополнителни информации, објаснувања кои само ги џвакаа очигледните вообичаени причини за прелевање на баферот кои не се поврзани со специфичен Curl код. Одговорите потсетуваа на комуникација со асистент со вештачка интелигенција, а откако помина половина ден на бесмислени обиди да открие како точно се манифестира проблемот, развивачот конечно се увери дека всушност нема никаква ранливост.

Извор: opennet.ru