El 24 de enero, los ingenieros de Intel lanzaron una importante actualización de la herramienta de inteligencia artificial de código abierto OpenVINO 2023.3. Esta versión ofrece compatibilidad total con los nuevos procesadores Emerald Rapids y Meteor Lake, así como otras mejoras de hardware de Intel para inteligencia artificial generativa (GenAI) y grandes modelos de lenguaje (LLM).
OpenVINO 2023.3 presenta el repositorio OpenVINO Gen AI para demostrar muestras propias de canalizaciones C/C++ de grandes modelos de lenguaje y para validar modelos adicionales, incluidos Mistral, Zephyr, ChatGLM3 y otros. Torch.compile ahora está completamente integrado con OpenVINO.
Para ampliar el soporte del modelo de gran tamaño, se admite el formato de compresión de modelo INT4 en los procesadores Intel Xeon, así como en los Intel Core e Intel iGPU. Se ha mejorado el rendimiento de LLM basado en transformadores tanto en CPU como en GPU, y se ha simplificado la optimización para modelos de Hugging Face, entre otras cosas.
Nota: OpenVINO es un conjunto de herramientas gratuito y de código abierto que ayuda a desarrolladores y analistas de datos a acelerar el desarrollo de soluciones de alto rendimiento para su uso en diversos sistemas de video. Este completo conjunto de herramientas admite una amplia gama de soluciones para visión por computadora, optimiza la implementación de aprendizaje profundo y garantiza una ejecución sencilla en diversas plataformas de Intel. Además, OpenVINO aborda una variedad de tareas, incluyendo detección de rostros, reconocimiento automático de objetos, texto y voz, procesamiento de imágenes y mucho más.
Fuente: linux.org.ru
