24. siječnja inženjeri Intela objavili su veliko ažuriranje vodećeg skupa alata za umjetnu inteligenciju s otvorenim izvorom OpenVINO 2023.3. Ono omogućava potpunu podršku za nove procesore Emerald Rapids i Meteor Lake, kao i druga poboljšanja hardvera Intela za generativnu umjetnu inteligenciju (GenAI) i velike jezične modele (LLM).
OpenVINO 2023.3 predstavlja repozitorij OpenVINO Gen AI za demonstraciju vlastitih uzoraka cjevovoda C/C++ velikih jezičnih modela i provjeru dodatnih modela, uključujući Mistral, Zephyr, ChatGLM3 i druge. Torch.compile je sada potpuno integriran s OpenVINO-om.
Kako bi se proširila podrška za modele velikih jezika, podržava se format kompresije modela INT4 na procesorima Intel Xeon, kao i Intel Core i Intel iGPU. Poboljšana je izvedba LLM-a temeljenog na transformatorima, kako na središnjim, tako i na grafičkim procesorima, olakšana optimizacija za modele Hugging Face i još mnogo toga.
Za informaciju: OpenVINO je otvoreni besplatni skup alata koji pomaže programerima i analitičarima podataka ubrzati razvoj visokoučinkovitih rješenja za korištenje u raznim videovikend sustavima. Ovaj sveobuhvatan skup alata podržava čitav spektar rješenja za računalni vid, optimizira implementaciju dubokog učenja i osigurava jednostavno izvršavanje na raznim Intel platformama. Također, OpenVINO rješava raznovrsne zadatke, uključujući prepoznavanje lica, automatsko prepoznavanje objekata, teksta i govora, obradu slika i još mnogo toga.
Izvor: linux.org.ru
