OpenVINO 2023.3

24 января инженеры Intel выпустили крупное обновление ведущего набора инструментов для искусственного интеллекта с открытым исходным кодом OpenVINO 2023.3. Оно обеспечивает полную поддержку новых процессоров Emerald Rapids и Meteor Lake, а так же другие улучшения аппаратного обеспечения Intel для генеративного искусственного интеллекта (GenAI) и больших языковых моделей (LLM).

OpenVINO 2023.3 представляет репозиторий OpenVINO Gen AI для демонстрации собственных образцов конвейера C/C++ больших языковых моделей и проверкой дополнительных моделей, включая Mistral, Zephyr, ChatGLM3 и другие. Torch.compile теперь полностью интегрирован с OpenVINO.

Для расширения поддержки модели большого языка поддерживается формат модели сжатия INT4 на процессорах Intel Xeon, а также Intel Core и Intel iGPU. Улучшена производительность LLM на основе трансформаторов как на центральных, так и на графических процессорах, упрощена оптимизация для моделей Hugging Face и многое другое.

Для справки: OpenVINO — это открытый бесплатный набор инструментов, который помогает разработчикам и аналитикам данных ускорить разработку высокопроизводительных решений для использования в различных видеосистемах. Данный комплексный набор инструментов поддерживает весь спектр решений для компьютерного зрения, оптимизирует развертывание глубокого обучения и обеспечивает простое исполнение на различных платформах Intel. Так же OpenVINO решает самые разнообразные задачи, включая детектирование лица, автоматическое распознавание объектов, текста и речи, обработку изображений и многое другое.

Источник: linux.org.ru