24月2023.3日，英特尔工程师发布了领先的开源人工智能工具包OpenVINO XNUMX的重大更新。它为新的 Emerald Rapids 和 Meteor Lake 处理器以及针对生成人工智能 (GenAI) 和大语言模型 (LLM) 的其他英特尔硬件增强功能提供全面支持。
OpenVINO 2023.3 引入了 OpenVINO Gen AI 存储库，以展示 C/C++ 大语言模型管道的本机示例，并测试其他模型，包括 Mistral、Zephyr、ChatGLM3 等。 Torch.compile 现已与 OpenVINO 完全集成。
为了增强对大语言模型的支持，Intel Xeon 处理器以及 Intel Core 和 Intel iGPU 处理器支持 INT4 压缩模型格式。改进了 CPU 和 GPU 上基于变压器的 LLM 性能，简化了 Hugging Face 模型的优化等等。
作为参考，OpenVINO 是一套开放、免费的工具，可帮助开发人员和数据分析师加速开发用于各种视频系统的高性能解决方案。这套全面的工具支持全系列计算机视觉解决方案，简化深度学习部署，并支持跨多个英特尔平台轻松执行。 OpenVINO 还解决了各种各样的问题，包括人脸检测、物体自动识别、文本和语音、图像处理等等。
来源： linux.org.ru