OpenVINO 2023.3

На 24 януари инженерите на Intel пуснаха голямо обновление на водещия пакет от инструменти за изкуствен интелект с отворен код OpenVINO 2023.3. То осигурява пълна подкрепа за новите процесори Emerald Rapids и Meteor Lake, както и други подобрения на хардуера на Intel за генеративен изкуствен интелект (GenAI) и големи езикови модели (LLM).

OpenVINO 2023.3 представя хранилище OpenVINO Gen AI за демонстрация на собствени образци на конвейера C/C++ за големи езикови модели и проверка на допълнителни модели, включително Mistral, Zephyr, ChatGLM3 и други. Torch.compile вече е напълно интегриран с OpenVINO.

За разширяване на подкрепата на голям езиков модел се поддържа формат на компресия на модела INT4 на процесорите Intel Xeon, а също и на Intel Core и Intel iGPU. Подобрена е производителността на LLM на базата на трансформатори както на централни, така и на графични процесори, улеснена е оптимизацията за модели Hugging Face и много друго.

За справка: OpenVINO е безплатен набор от инструменти с отворен код, който помага на разработчици и специалисти по данни да ускорят разработването на високопроизводителни решения за използване в различни видеосистеми. Този комплексен набор от инструменти поддържа целия спектър от решения за компютърно зрение, оптимизира разгръщането на дълбочинно обучение и осигурява лесно изпълнение на различни платформи на Intel. Освен това OpenVINO решава разнообразни задачи, включително разпознаване на лица, автоматично разпознаване на обекти, текст и реч, обработка на изображения и много други.

Източник: linux.org.ru