Investigadores de JFrog han descubierto en el repositorio de Hugging Face modelos de aprendizaje automático maliciosos cuya instalación puede permitir la ejecución de código del atacante para tomar control del sistema del usuario. La problemática surge porque algunos formatos de distribución de modelos permiten la inclusión de código ejecutable; por ejemplo, modelos que utilizan el formato 'pickle' pueden incluir objetos serializados en Python, así como código que se ejecuta al cargar el archivo, y los modelos de TensorFlow Keras pueden ejecutar código a través de Lambda Layer.
Para prevenir la propagación de estos modelos maliciosos, Hugging Face realiza escaneos para detectar la inyección de código serializado, pero los modelos maliciosos identificados muestran que las verificaciones existentes se pueden eludir. Además, en la mayoría de los casos, Hugging Face solo etiqueta a los modelos como peligrosos sin bloquear su acceso. Se han identificado alrededor de 100 modelos potencialmente maliciosos, de los cuales el 95 % están destinados a ser utilizados con el marco de trabajo PyTorch y el 5 % con TensorFlow. Los cambios maliciosos más comunes incluyen la captura de objetos, la organización de acceso remoto al sistema (reverse shell), la ejecución de aplicaciones y la escritura en archivos.
Se observa que, según las acciones realizadas, la mayoría de los modelos maliciosos identificados han sido creados por investigadores de seguridad que intentan obtener recompensas por descubrir vulnerabilidades y métodos de elusión de seguridad de Hugging Face (por ejemplo, en lugar de un ataque real, estos modelos intentan ejecutar una calculadora o enviar una solicitud de red con información sobre el éxito del ataque). Sin embargo, también se encuentran casos que inician un reverse shell para conectar al atacante con el sistema.
Por ejemplo, los modelos 'baller423/goober2' y 'star23/baller13' están dirigidos a llevar a cabo ataques en sistemas que cargan un archivo de modelo en PyTorch mediante la función torch.load(). Se utiliza el método '__reduce__' del módulo pickle para insertar código Python arbitrario en el proceso de deserialización que se lleva a cabo al cargar el modelo.
Fuente: opennet.ru
