Am 24. Januar haben die Ingenieure von Intel ein umfassendes Update des Open-Source-KI-Toolkits OpenVINO 2023.3 veröffentlicht. Es bietet vollständige Unterstützung für die neuen Prozessoren Emerald Rapids und Meteor Lake sowie weitere Hardwareverbesserungen von Intel für generative Künstliche Intelligenz (GenAI) und große Sprachmodelle (LLM).
OpenVINO 2023.3 präsentiert das Repository OpenVINO Gen AI, um eigene C/C++-Pipelines für große Sprachmodelle zu demonstrieren und zusätzliche Modelle zu testen, darunter Mistral, Zephyr, ChatGLM3 und andere. Torch.compile ist jetzt vollständig mit OpenVINO integriert.
Um die Unterstützung für große Sprachmodelle zu erweitern, wird das Komprimierungsmodell INT4 auf Intel Xeon-Prozessoren sowie auf Intel Core und Intel iGPU unterstützt. Die Leistung von LLMs, die auf Transformatoren basieren, wurde sowohl auf CPU- als auch auf GPU-Ebene verbessert, und die Optimierung für Modelle von Hugging Face wurde vereinfacht.
Zur Information: OpenVINO ist ein kostenloses Open-Source-Toolkit, das Entwicklern und Datenanalysten hilft, die Entwicklung leistungsstarker Lösungen für den Einsatz in verschiedenen Videokanälen zu beschleunigen. Dieses umfassende Toolkit unterstützt eine Vielzahl von Computer Vision-Lösungen, optimiert das Deployment von Deep Learning und ermöglicht eine einfache Ausführung auf verschiedenen Intel-Plattformen. Außerdem löst OpenVINO vielfältige Herausforderungen wie Gesichtserkennung, automatische Objekterkennung, Text- und Spracherkennung, Bildverarbeitung und vieles mehr.
Quelle: linux.org.ru
