Hugging Face'i repos tuvastati pahatahtlikud tehisintellekti mudelid, mis käivitavad koodi

JFrog'i uurijad tuvastasid Hugging Face'i repositooriumist pahatahtlikud masinõppemudelid, mille installimine võib võimaldada ründaja koodi käivitada, et saada kasutaja süsteemi kontroll. Probleem tuleneb sellest, et mõned mudelite jaotamise formaadid võimaldavad käivitatava koodi sisestamist; näiteks 'pickle' formaati kasutavad mudelid võivad sisaldada seerialiseeritud Python'i objekte ning samuti koodi, mis täidetakse faili laadimise ajal, ning Tensorflow Keras mudelid võivad käivitada koodi läbi Lambda Layeri.

Sarnaste pahatahtlike mudelite leviku vältimiseks rakendab Hugging Face seerialiseeritud koodi sisestamise vastu skaneerimist, kuid avastatud pahatahtlikud mudelid näitavad, et olemasolevaid kontrolle on võimalik mööda minna. Lisaks sellele märgib Hugging Face enamikul juhtudel mudelid lihtsalt ohtlikeks, kuid ei blokeeri nendeni juurdepääsu. Ühendatud on ligikaudu 100 potentsiaalselt pahatahtlikku mudelit, millest 95% on mõeldud kasutamiseks PyTorchi raamistiku all ja 5% Tensorflow raames. Kõige levinumateks pahatahtlikeks muutusteks on objektide haaramine, välise sisenemise korraldamine (reverse shell), rakenduste käivitamine ja faili kirjutamine.

Tuleb märkida, et tegevuste põhjal on enamik nendest avastatud pahatahtlikest mudelitest loodud turva-uurijate poolt, kes püüavad saada tasu haavatavuste ja Hugging Face'i kaitse ületamise meetodite avastamise eest (näiteks proovivad sellised mudelid käivitada kalkulaatorit või saata võrgu päringut rünnaku edukusest, selle asemel, et tegelikku rünnakut teostada). Samuti on esinenud mudeleid, mis käivitavad ründaja jaoks tagasiteenuse (reverse shell) süsteemi sisenemiseks.

Näiteks mudelid 'baller423/goober2' ja 'star23/baller13' on suunatud rünnakule süsteemide vastu, mis laadivad mudeli faili PyTorchi kasutades funktsiooni torch.load(). Koodi sooritamiseks kasutatakse meetodit '__reduce__' modulist pickle, mis võimaldab sisestada suvalist Python'i koodi mudeli laadimise ajal toimuvas deserialiseerimise protsessis.

Allikas: opennet.ru