Istraživači iz kompanije JFrog otkrili su u repozitoriju Hugging Face zloćudne modele mašinskog učenja čija instalacija može dovesti do izvršavanja napadačkog koda za preuzimanje kontrole nad korisničkim sistemom. Problem je uzrokovan time što neki formati distribucije modela omogućavaju ugrađivanje izvršivog koda; na primer, modeli koji koriste format „pickle“ mogu sadržavati serializovane objekte napisane u Python-u, kao i kod koji se izvršava prilikom učitavanja datoteke, dok modeli Tensorflow Keras mogu izvršavati kod putem Lambda Layer-a.
Kako bi se sprečilo širenje sličnih zloćudnih modela, Hugging Face primenjuje skeniranje radi otkrivanja ugrađenog serializovanog koda, ali otkrivene zloćudne varijante pokazuju da se postojeće provere mogu zaobići. Pored toga, Hugging Face u većini slučajeva samo označava modele kao opasne, bez blokiranja pristupa njima. Ukupno je otkriveno oko 100 potencijalno zloćudnih modela, od kojih je 95% namenjeno korišćenju sa PyTorch-om, a 5% sa Tensorflow-om. Najčešći oblici zloćudnih promena uključuju preuzimanje objekta, organizaciju spoljnog pristupa (reverse shell), pokretanje aplikacija i pisanje u datoteku.
Napominje se da, sudeći prema preduzetim radnjama, većina otkrivenih zloćudnih modela je stvorena od strane istraživača sigurnosti koji pokušavaju da dobiju nagradu za otkrivanje ranjivosti i metoda zaobilaženja zaštite Hugging Face-a (na primer, umesto prave napade, ovakvi modeli pokušavaju da pokrenu kalkulator ili pošalju mrežni zahtev sa informacijama o uspehu napada). Takođe se mogu pronaći primeri koji pokreću povratni shell radi povezivanja napadača sa sistemom.
Na primer, modeli „baller423/goober2“ i „star23/baller13“ su usmereni na izvršenje napada na sisteme koji učitavaju datoteku modela u PyTorch putem funkcije torch.load(). Za organizaciju izvršavanja koda koristi se metoda „__reduce__“ iz modula pickle, koja omogućava umetanje proizvoljnog Python koda u proces deserializacije koji se izvršava pri učitavanju modela.
Izvor: opennet.ru
