Január 24-én az Intel mérnökei jelentős frissítést adtak ki a vezető nyílt forráskódú mesterséges intelligencia eszköztárhoz, az OpenVINO 2023.3-hoz. Teljes mértékben támogatja az új Emerald Rapids és Meteor Lake processzorokat, valamint a generatív mesterséges intelligencia (GenAI) és a nagy nyelvi modellek (LLM) egyéb Intel hardverfejlesztéseit.
Az OpenVINO 2023.3 bemutatja az OpenVINO Gen AI adattárat, amely bemutatja a C/C++ nagy nyelvi modellfolyamat natív mintáit, és tesztelhet további modelleket, köztük a Mistral, Zephyr, ChatGLM3 és más modelleket. A Torch.compile immár teljesen integrálva van az OpenVINO-val.
A nagy nyelvű modell támogatásának fokozása érdekében az INT4 tömörítési modellformátumot az Intel Xeon processzorok, valamint az Intel Core és Intel iGPU processzorok támogatják. Továbbfejlesztett transzformátor-alapú LLM-teljesítmény CPU-n és GPU-n egyaránt, egyszerűsített optimalizálás Hugging Face modellekhez és még sok más.
Referenciaként az OpenVINO egy nyílt, ingyenes eszközkészlet, amely segít a fejlesztőknek és az adatelemzőknek felgyorsítani a nagy teljesítményű megoldások fejlesztését különféle videorendszerekben. Ez az átfogó eszközkészlet a számítógépes látásmegoldások teljes skáláját támogatja, ésszerűsíti a mély tanulási telepítéseket, és lehetővé teszi az egyszerű végrehajtást több Intel platformon. Az OpenVINO számos problémát is megold, beleértve az arcfelismerést, az objektumok automatikus felismerését, a szöveget és a beszédet, a képfeldolgozást és még sok mást.
Forrás: linux.org.ru