На 24 януари инженерите на Intel пуснаха голямо обновление на водещия набор инструменти за изкуствен интелект с отворен код OpenVINO 2023.3. То осигурява пълна поддръжка на новите процесори Emerald Rapids и Meteor Lake, а също така и други подобрения в хардуера на Intel за генеративен изкуствен интелект (GenAI) и големи езикови модели (LLM).
OpenVINO 2023.3 представя репозитории OpenVINO Gen AI за демонстрация на собствени примери на конвейера C/C++ за големи езикови модели и проверка на допълнителни модели, включително Mistral, Zephyr, ChatGLM3 и други. Torch.compile вече е напълно интегриран с OpenVINO.
За разширяване на поддръжката на големия езиков модел се поддържа форматът на компресия на модела INT4 на процесорите Intel Xeon, както и Intel Core и Intel iGPU. Подобрена е производителността на LLM на базата на трансформатори както на централни, така и на графични процесори, опростена е оптимизацията за модели Hugging Face и много други.
За справка: OpenVINO е отворен безплатен набор от инструменти, който помага на разработчиците и анализаторите на данни да ускорят разработката на високопроизводителни решения за използване в различни видеосистеми. Този комплексен набор от инструменти поддържа целия спектър от решения за компютърно зрение, оптимизира разгръщането на дълбочинно обучение и осигурява лесно изпълнение на различни платформи на Intel. Също така OpenVINO решава най-разнообразни задачи, включително откриване на лица, автоматично разпознаване на обекти, текст и реч, обработка на изображения и много други.
Източник: linux.org.ru
