Intelovi inženirji so 24. januarja izdali večjo posodobitev vodilnega odprtokodnega kompleta orodij za umetno inteligenco OpenVINO 2023.3. Zagotavlja popolno podporo za nove procesorje Emerald Rapids in Meteor Lake ter druge Intelove izboljšave strojne opreme za generativno umetno inteligenco (GenAI) in velike jezikovne modele (LLM).
OpenVINO 2023.3 uvaja repozitorij OpenVINO Gen AI za predstavitev izvornih vzorcev cevovoda velikih jezikovnih modelov C/C++ in testiranje dodatnih modelov, vključno z Mistral, Zephyr, ChatGLM3 in drugimi. Torch.compile je zdaj popolnoma integriran z OpenVINO.
Za izboljšanje podpore za model velikega jezika je format kompresijskega modela INT4 podprt na procesorjih Intel Xeon ter procesorjih Intel Core in Intel iGPU. Izboljšana zmogljivost LLM na osnovi transformatorja na CPE in GPE, poenostavljene optimizacije za modele Hugging Face in več.
Za referenco, OpenVINO je odprt, brezplačen nabor orodij, ki razvijalcem in podatkovnim analitikom pomaga pospešiti razvoj visoko zmogljivih rešitev za uporabo v različnih video sistemih. Ta obsežen nabor orodij podpira celotno paleto rešitev računalniškega vida, poenostavi uvedbe poglobljenega učenja in omogoča enostavno izvajanje na več platformah Intel. OpenVINO rešuje tudi najrazličnejše težave, vključno z zaznavanjem obrazov, samodejnim prepoznavanjem predmetov, besedila in govora, obdelavo slik in še veliko več.
Vir: linux.org.ru