Am 24. Januar veröffentlichten Intel-Ingenieure ein großes Update des führenden, Open-Source-Toolkits für künstliche Intelligenz, OpenVINO 2023.3. Es bietet vollständige Unterstützung für die neuen Prozessoren Emerald Rapids und Meteor Lake sowie weitere Verbesserungen der Intel-Hardware für generative künstliche Intelligenz (GenAI) und große Sprachmodelle (LLM).
OpenVINO 2023.3 stellt das OpenVINO Gen AI-Repository zur Verfügung, um eigene Pipeline-Beispiele von C/C++ großen Sprachmodellen zu demonstrieren und zusätzliche Modelle zu testen, darunter Mistral, Zephyr, ChatGLM3 und andere. Torch.compile ist jetzt vollständig in OpenVINO integriert.
Zur Erweiterung der Unterstützung für große Sprachmodelle wird das INT4-Komprimierungsmodell auf Intel Xeon-Prozessoren sowie Intel Core und Intel iGPU unterstützt. Die Leistung von LLMs, die auf Transformatoren basieren, wurde sowohl auf CPUs als auch auf GPUs verbessert, die Optimierung für Hugging Face-Modelle vereinfacht und vieles mehr.
Zur Erinnerung: OpenVINO ist ein kostenloses, offenes Toolkit, das Entwicklern und Datenanalysten hilft, die Entwicklung leistungsstarker Lösungen für verschiedene Videosysteme zu beschleunigen. Diese umfassende Tool-Sammlung unterstützt das gesamte Spektrum an Computer Vision-Lösungen, optimiert die Bereitstellung von Deep Learning und ermöglicht die einfache Ausführung auf verschiedenen Intel-Plattformen. Zudem löst OpenVINO eine Vielzahl von Aufgaben, darunter Gesichtserkennung, automatische Objekt-, Text- und Spracherkennung, Bildverarbeitung und vieles mehr.
Quelle: linux.org.ru
