Le 24 janvier, les ingénieurs d'Intel ont publié une mise à jour majeure de l'ensemble d'outils open source pour l'intelligence artificielle OpenVINO 2023.3. Cette version offre un support complet pour les nouveaux processeurs Emerald Rapids et Meteor Lake, ainsi que d'autres améliorations matérielles d'Intel pour l'intelligence artificielle générative (GenAI) et les grands modèles de langage (LLM).
OpenVINO 2023.3 présente le dépôt OpenVINO Gen AI pour démontrer des exemples de pipeline C/C++ de grands modèles de langage et tester des modèles supplémentaires, incluant Mistral, Zephyr, ChatGLM3 et d'autres. Torch.compile est désormais entièrement intégré à OpenVINO.
Pour élargir le support des modèles de grands langages, le format de compression de modèle INT4 est pris en charge sur les processeurs Intel Xeon, ainsi que sur Intel Core et Intel iGPU. Les performances des LLM basés sur des transformateurs ont été améliorées tant sur les unités centrales que sur les unités graphiques, et l'optimisation pour les modèles Hugging Face a été simplifiée, entre autres.
Pour référence : OpenVINO est un ensemble d'outils gratuit et open source qui aide les développeurs et les analystes de données à accélérer le développement de solutions haute performance à utiliser dans divers systèmes de vision. Cet ensemble d'outils complet prend en charge toute la gamme de solutions pour la vision par ordinateur, optimise le déploiement de l'apprentissage profond et facilite l'exécution sur diverses plateformes Intel. De plus, OpenVINO résout une variété de tâches, y compris la détection faciale, la reconnaissance automatique d'objets, de textes et de discours, le traitement d'images et bien plus encore.
Source : linux.org.ru
