24 января инженеры Intel выпустили крупное обновление ведущего набора инструментов для искусственного интеллекта с открытым исходным кодом OpenVINO 2023.3. Оно обеспечивает полную поддержку новых процессоров Emerald Rapids и Meteor Lake, а так же другие улучшения аппаратного обеспечения Intel для генеративного искусственного интеллекта (GenAI) и больших языковых моделей (LLM).
OpenVINO 2023.3 представляет репозиторий OpenVINO Gen AI для демонстрации собственных образцов конвейера C/C++ больших языковых моделей и проверкой дополнительных моделей, включая Mistral, Zephyr, ChatGLM3 и другие. Torch.compile теперь полностью интегрирован с OpenVINO.
Для расширения поддержки модели большого языка поддерживается формат модели сжатия INT4 на процессорах Intel Xeon, а также Intel Core и Intel iGPU. Улучшена производительность LLM на основе трансформаторов как на центральных, так и на графических процессорах, упрощена оптимизация для моделей Hugging Face и многое другое.
Для справки: OpenVINO — это открытый бесплатный набор инструментов, который помогает разработчикам и аналитикам данных ускорить разработку высокопроизводительных решений для использования в различных видеосистемах. Данный комплексный набор инструментов поддерживает весь спектр решений для компьютерного зрения, оптимизирует развертывание глубокого обучения и обеспечивает простое исполнение на различных платформах Intel. Так же OpenVINO решает самые разнообразные задачи, включая детектирование лица, автоматическое распознавание объектов, текста и речи, обработку изображений и многое другое.
Источник: linux.org.ru