В репозитория Hugging Face са открити зловредни AI модели, изпълняващи код

Изследователи от компания JFrog откриха злонамерени модели на машинно обучение в репозитория Hugging Face, чиято инсталация може да доведе до изпълнение на код от атакуващия за придобиване на контрол над системата на потребителя. Проблемът произтича от факта, че някои формати за разпространение на модели позволяват вграждането на изпълним код; например, модели, използващи формата 'pickle', могат да включват сериализирани обекти на Python, както и код, който се изпълнява при зареждане на файла, а модели Tensorflow Keras могат да изпълняват код чрез Lambda Layer.

За предотвратяване разпространението на подобни злонамерени модели в Hugging Face се прилага сканиране за подмяна на сериализирания код, но откритите злонамерени модели показват, че съществуващите проверки могат да бъдат заобиколени. Освен това, Hugging Face в повечето случаи само маркира моделите като опасни, без да блокира достъпа до тях. Общо са открити около 100 потенциално злонамерени модела, 95% от които са предназначени за използване с фреймуърка PyTorch, а 5% с Tensorflow. Най-често срещаните злонамерени изменения включват захват на обект, организиране на външен достъп до системата (reverse shell), стартиране на приложения и запис в файл.

Отбелязва се, че, судя по извършените действия, повечето открити злонамерени модели са създадени от изследователи по сигурността, опитващи се да получат награда за откритие на уязвимости и методи за заобикаляне на защитата на Hugging Face (например, вместо реална атака, подобни модели опитват да стартират калкулатор или да изпратят мрежово запитване с информация за успеха на атаката). Срещат се и примери, стартиращи reverse shell за свързване на атакуващия със системата.

Например, моделите 'baller423/goober2' и 'star23/baller13' са нацелени на атака срещу системи, които зареждат файла на модела в PyTorch чрез функцията torch.load(). За организация на изпълнението на кода се използва методът '__reduce__' от модула pickle, позволяващ вмъкването на произволен Python-код в процеса на десериализация, изпълняван при зареждане на модела.

Източник: opennet.ru