В репозитория Hugging Face са открити злонамерени AI модели, изпълняващи код

Изследователи от компанията JFrog откриха вредоносни модели на машинно обучение в хранилището на Hugging Face, инсталирането на които може да доведе до изпълнение на код от страна на атакуващия за придобиване на контрол над системата на потребителя. Проблемът е причинен от факта, че някои формати за разпространение на модели позволяват вграждането на изпълним код; например, модели, използващи формата "pickle", могат да включват сериализирани обекти на Python, както и код, който се изпълнява при зареждане на файла, а моделите Tensorflow Keras могат да изпълняват код чрез Lambda Layer.

За предотвратяване на разпространението на подобни вредоносни модели, в Hugging Face се прилага сканиране за подмяна на сериализиран код, но откритите вредоносни модели показват, че съществуващите проверки могат да бъдат заобиколени. Освен това, в повечето случаи Hugging Face просто маркира моделите като опасни, без да блокира достъпа до тях. Общо са открити около 100 потенциално вредоносни модела, 95% от които са предназначени за използване с фреймуърка PyTorch, а 5% - с Tensorflow. Най-често срещаните вредоносни изменения включват вземане на контрол над обекти, организиране на обратен вход в системата (reverse shell), стартиране на приложения и записване във файл.

Отбелязва се, че, според извършените действия, повечето открити вредоносни модели са създадени от изследователи по сигурността, опитващи се да получат награда за откритие на уязвимости и методи за заобикаляне на защитата на Hugging Face (например, вместо реална атака, подобни модели се опитват да стартират калкулатор или да изпратят мрежово запитване с информация за успеха на атаката). В същото време могат да се срещнат и примери, които стартират обратен shell за свързване на атакуващия със системата.

Например, моделите "baller423/goober2" и "star23/baller13" са насочени към извършване на атаки на системи, които зареждат моделния файл в PyTorch с помощта на функцията torch.load(). За организиране на изпълнението на кода се използва методът "__reduce__" от модула pickle, който позволява вмъкването на произволен Python код в процеса на десериализация, извършван при зареждането на модела.

Източник: opennet.ru