Op 24 januari hebben ingenieurs van Intel een grote update uitgebracht van de toonaangevende open source toolkit voor kunstmatige intelligentie, OpenVINO 2023.3. Het biedt volledige ondersteuning voor de nieuwe Emerald Rapids- en Meteor Lake-processoren, evenals andere verbeteringen van de hardware van Intel voor generatieve kunstmatige intelligentie (GenAI) en grote taalmodellen (LLM).
OpenVINO 2023.3 introduceert de OpenVINO Gen AI-repository voor het demonstreren van eigen voorbeelden van C/C++-pijplijnen voor grote taalmodellen en het testen van aanvullende modellen, waaronder Mistral, Zephyr, ChatGLM3 en andere. Torch.compile is nu volledig geïntegreerd met OpenVINO.
Om de ondersteuning voor grote taalmodellen uit te breiden, wordt het INT4-modelcompressieformaat ondersteund op Intel Xeon-processoren, evenals op Intel Core- en Intel iGPU-systemen. De prestaties van transformer-gebaseerde LLM's zijn verbeterd op zowel centrale als grafische processors, waarbij de optimalisatie voor Hugging Face-modellen is vereenvoudigd en meer.
Ter referentie: OpenVINO is een gratis open source toolkit die ontwikkelaars en data-analisten helpt bij het versnellen van de ontwikkeling van hoogpresterende oplossingen voor gebruik in verschillende videotoepassingen. Deze uitgebreide toolkit ondersteunt het volledige spectrum van oplossingen voor computer vision, optimaliseert de implementatie van deep learning en zorgt voor eenvoudige uitvoering op verschillende Intel-platforms. OpenVINO lost ook uiteenlopende taken op, waaronder gezichtsdetectie, automatische herkenning van objecten, tekst en spraak, beeldverwerking en meer.
Bron: linux.org.ru
