I ricercatori di JFrog hanno identificato nel repository di Hugging Face modelli di apprendimento automatico dannosi, l'installazione dei quali potrebbe portare all'esecuzione di codice da parte dell'attaccante per ottenere il controllo sul sistema dell'utente. Il problema è causato dal fatto che alcuni formati di distribuzione dei modelli consentono l'inserimento di codice eseguibile; ad esempio, i modelli che utilizzano il formato 'pickle' possono includere oggetti serializzati in Python, oltre a codice eseguito al caricamento del file, mentre i modelli Tensorflow Keras possono eseguire codice tramite Lambda Layer.
Per prevenire la diffusione di simili modelli dannosi, Hugging Face esegue scansioni per individuare l'inserimento di codice serializzato, ma i modelli dannosi identificati dimostrano che i controlli esistenti possono essere aggirati. Inoltre, Hugging Face nella maggior parte dei casi si limita a contrassegnare i modelli come pericolosi, senza bloccare l'accesso. Sono stati identificati circa 100 modelli potenzialmente dannosi, di cui il 95% destinati all'uso con il framework PyTorch e il 5% con Tensorflow. Le modifiche dannose più comuni includono l'acquisizione di oggetti, l'organizzazione di accessi al sistema da remoto (reverse shell), l'esecuzione di applicazioni e la scrittura in file.
Si osserva che, in base alle azioni compiute, la maggior parte dei modelli dannosi identificati è stata creata da ricercatori di sicurezza che cercano di ottenere ricompense per la scoperta di vulnerabilità e metodi di bypass della sicurezza di Hugging Face (ad esempio, anziché attaccare realmente, questi modelli tentano di lanciare una calcolatrice o inviare una richiesta di rete con informazioni sul successo dell'attacco). Ci sono anche istanze che avviano un reverse shell per collegare l'attaccante al sistema.
Ad esempio, i modelli 'baller423/goober2' e 'star23/baller13' mirano a effettuare attacchi sui sistemi che caricano il file del modello in PyTorch utilizzando la funzione torch.load(). Per organizzare l'esecuzione del codice è stato impiegato il metodo '__reduce__' del modulo pickle, che consente di inserire codice Python arbitrario nel processo di deserializzazione eseguito al caricamento del modello.
Fonte: opennet.ru
