Dne 24. ledna inženýři Intelu vydali velkou aktualizaci předního open-source nástroje pro umělou inteligenci OpenVINO 2023.3. Ta poskytuje plnou podporu nových procesorů Emerald Rapids a Meteor Lake, stejně jako další vylepšení hardwaru Intelu pro generativní umělou inteligenci (GenAI) a velké jazykové modely (LLM).
OpenVINO 2023.3 představuje repozitář OpenVINO Gen AI pro demonstraci vlastních příkladů potrubí C/C++ velkých jazykových modelů a ověřování dalších modelů včetně Mistral, Zephyr, ChatGLM3 a dalších. Torch.compile je nyní plně integrován s OpenVINO.
Pro rozšíření podpory modelu velkého jazyka je podporován formát modelového kompresního INT4 na procesorech Intel Xeon, stejně jako Intel Core a Intel iGPU. Výkon LLM založených na transformátorech byl zlepšen jak na centrálních, tak na grafických procesorech, což usnadňuje optimalizaci pro modely Hugging Face a mnoho dalšího.
Pro informaci: OpenVINO je otevřený bezplatný nástroj, který pomáhá vývojářům a analytikům dat urychlit vývoj vysoce výkonných řešení pro různé videovýstupy. Tento komplexní nástroj podporuje široké spektrum řešení pro počítačové vidění, optimalizuje nasazení hlubokého učení a zajišťuje snadné provádění na různých platformách Intel. OpenVINO také řeší nejrůznější úkoly, včetně detekce obličeje, automatického rozpoznávání objektů, textu a řeči, zpracování obrazů a mnoho dalšího.
Zdroj: linux.org.ru
