Den 24. januar frigav Intel-ingeniører en stor opdatering af det førende open source værktøjssæt til kunstig intelligens, OpenVINO 2023.3. Det giver fuld support til de nye Emerald Rapids og Meteor Lake-processorer samt andre hardwareforbedringer fra Intel til generativ kunstig intelligens (GenAI) og store sprogmodeller (LLM).
OpenVINO 2023.3 præsenterer OpenVINO Gen AI-repositoriet til demonstration af egne eksempler på C/C++ pipeline for store sprogmodeller og verificering af yderligere modeller, herunder Mistral, Zephyr, ChatGLM3 og andre. Torch.compile er nu fuldt integreret med OpenVINO.
For at udvide supporten til store sprogmodeller understøttes INT4 komprimeringsformatet på Intel Xeon-processorer samt Intel Core og Intel iGPU. Ydeevnen for transformer-baserede LLM'er er forbedret både på CPU'er og GPU'er, og optimeringen for Hugging Face-modeller er forenklet, blandt andet.
Til reference: OpenVINO er et gratis open source værktøjssæt, der hjælper udviklere og dataanalytikere med at accelerere udviklingen af højtydende løsninger til brug i forskellige videosystemer. Dette omfattende værktøjssæt understøtter hele spektret af computer vision-løsninger, optimerer implementeringen af dyb læring og sikrer nem eksekvering på forskellige Intel-platforme. OpenVINO løser også en række forskellige opgaver, herunder ansigtsgenkendelse, automatisk genkendelse af objekter, tekst og tale, billedbehandling og meget mere.
Kilde: linux.org.ru
