Hugging Face'i repos avastatud pahatahtlikud AI mudelid, mis käivitavad koodi

JFrog'i uurijad tuvastasid Hugging Face'i hoidlas pahatahtlikud masinõppemudelid, mille installimine võib viia ründaja koodi käivitamiseni, võimaldades tal kasutaja süsteemi üle kontrolli saada. Probleem tuleneb sellest, et mõned mudelite levitamise formaadid lubavad täidetava koodi manustamist, näiteks 'pickle' formaati kasutavad mudelid võivad sisaldada Pythonis seerialiseeritud objekte ja koodi, mis käivitatakse faili laadimisel, samas kui Tensorflow Keras mudelid võivad koodi käivitada läbi Lambda Layer.

Selleks, et vältida sarnaste pahatahtlike mudelite levikut, kasutatakse Hugging Face'is seerialiseeritud koodi manustamise otsimiseks skaneerimist, kuid tuvastatud pahatahtlikud mudelid näitavad, et olemasolevaid kontrolle on võimalik mööda hiilida. Lisaks märkis Hugging Face suuremas osas juhtudest mudeleid ohtlikeks, kuid ei blokeeri neile pääsu. Kokku on tuvastatud umbes 100 potentsiaalselt pahatahtlikku mudelit, millest 95% on mõeldud PyTorch'i raamistikuga kasutamiseks ja 5% Tensorflow jaoks. Kõige sagedamini esinevateks pahatahtlikeks muudatusteks on nimetatud objekti hõivamine, süsteemi välise sisselogimise korraldamine (reverse shell), rakenduste käivitamine ja faili kirjutamine.

Tuleb märkida, et enamiku tuvastatud pahatahtlike mudelite tegevuste põhjal on need loodud turvauurijate poolt, kes püüavad saada tasu haavatavuste ja Hugging Face'i kaitse ümberkäimise meetodite tuvastamise eest (näiteks tõelise rünnaku asemel püüavad sellised mudelid käivitada kalkulaatorit või saata võrgupäringu rünnaku õnnestumise kohta). Samas leidub ka näiteid, mis käivitavad tagumist shell'i, et luua ühendus ründaja süsteemiga.

Näiteks mudelid 'baller423/goober2' ja 'star23/baller13' on suunatud rünnakule süsteemidele, mis laadivad mudelifaili PyTorch'i abil funktsiooni torch.load() kaudu. Koodi käivitamise korraldamiseks kasutatakse 'pickle' mooduli meetodit '__reduce__', mis võimaldab manustada suvalist Python-koodi deserialiseerimise protsessi, mis toimub mudeli laadimise käigus.

Allikas: opennet.ru