Onderzoekers van JFrog hebben kwaadaardige machine learning-modellen ontdekt in de Hugging Face repository, waarvan de installatie kan leiden tot de uitvoering van aanvallerscode om controle over het systeem van de gebruiker te verkrijgen. Het probleem wordt veroorzaakt doordat bepaalde formaten voor het verspreiden van modellen de insluiting van uitvoerbare code toestaan, bijvoorbeeld modellen die het 'pickle'-formaat gebruiken, kunnen geserialiseerde objecten in Python bevatten, evenals code die wordt uitgevoerd bij het laden van het bestand. Tensorflow Keras-modellen kunnen code uitvoeren via een Lambda Layer.
Om de verspreiding van dergelijke kwaadaardige modellen in Hugging Face te voorkomen, wordt gescand op de substitutie van geserialiseerde code, maar de ontdekte kwaadaardige modellen tonen aan dat bestaande controles kunnen worden omzeild. Bovendien markeert Hugging Face in de meeste gevallen modellen als gevaarlijk, zonder de toegang ertoe te blokkeren. In totaal zijn er ongeveer 100 potentiƫel kwaadaardige modellen ontdekt, waarvan 95% bedoeld is voor gebruik met het PyTorch-framework en 5% met Tensorflow. De meest voorkomende kwaadaardige wijzigingen zijn objectcapturing, het opzetten van een externe systeemtoegang (reverse shell), het starten van applicaties en het schrijven naar bestanden.
Er wordt opgemerkt dat, gezien de acties, de meeste ontdekte kwaadaardige modellen zijn gemaakt door beveiligingsonderzoekers die proberen een beloning te krijgen voor het ontdekken van kwetsbaarheden en methoden om de bescherming van Hugging Face te omzeilen (bijvoorbeeld in plaats van een echte aanval, proberen dergelijke modellen de rekenmachine te starten of een netwerkverzoek te verzenden met informatie over het succes van de aanval). Daarbij komen ook exemplaren voor die een reverse shell starten om de aanvaller met het systeem te verbinden.
Bijvoorbeeld, de modellen 'baller423/goober2' en 'star23/baller13' zijn gericht op het aanvallen van systemen die het modelbestand in PyTorch laden met behulp van de functie torch.load(). Voor het organiseren van de uitvoering van de code wordt de methode '__reduce__' uit de pickle-module gebruikt, die het mogelijk maakt om willekeurige Python-code in het deserialisatieproces in te voegen dat wordt uitgevoerd bij het laden van het model.
Bron: opennet.ru
