El 24 de gener, els enginyers d'Intel van publicar una actualització important del conjunt d'eines d'intel·ligència artificial de codi obert OpenVINO 2023.3. Proporciona suport complet per als nous processadors Emerald Rapids i Meteor Lake, així com altres millores de maquinari d'Intel per a la intel·ligència artificial generativa (GenAI) i els grans models de llenguatge (LLM).
OpenVINO 2023.3 presenta el repositori OpenVINO Gen AI per mostrar mostres natives del pipeline de models de llenguatge gran C/C++ i provar models addicionals, com ara Mistral, Zephyr, ChatGLM3 i altres. Torch.compile ara està totalment integrat amb OpenVINO.
Per millorar la compatibilitat amb el model d'idioma gran, el format del model de compressió INT4 és compatible amb els processadors Intel Xeon, així com els processadors Intel Core i Intel iGPU. Rendiment millorat de LLM basat en transformadors tant a CPU com a GPU, optimitzacions simplificades per als models Hugging Face i molt més.
Com a referència, OpenVINO és un conjunt obert i gratuït d'eines que ajuda els desenvolupadors i analistes de dades a accelerar el desenvolupament de solucions d'alt rendiment per utilitzar-les en una varietat de sistemes de vídeo. Aquest conjunt complet d'eines admet una gamma completa de solucions de visió per ordinador, racionalitza els desplegaments d'aprenentatge profund i permet una execució fàcil en diverses plataformes Intel. OpenVINO també resol una gran varietat de problemes, com ara la detecció de cares, el reconeixement automàtic d'objectes, text i veu, processament d'imatges i molt més.
Font: linux.org.ru