Noong Enero 24, naglabas ang mga inhinyero ng Intel ng malaking update sa nangungunang open-source na artificial intelligence toolkit na OpenVINO 2023.3. Nagbibigay ito ng buong suporta para sa mga bagong processor ng Emerald Rapids at Meteor Lake, pati na rin ang iba pang mga pagpapahusay ng hardware ng Intel para sa generative artificial intelligence (GenAI) at large language models (LLM).
Ipinakilala ng OpenVINO 2023.3 ang OpenVINO Gen AI repository upang ipakita ang mga native na sample ng pipeline ng modelo ng malaking wika ng C/C++ at subukan ang mga karagdagang modelo kabilang ang Mistral, Zephyr, ChatGLM3 at iba pa. Ang Torch.compile ay ganap na ngayong isinama sa OpenVINO.
Upang mapahusay ang suporta para sa malaking modelo ng wika, ang format ng modelo ng compression ng INT4 ay sinusuportahan sa mga processor ng Intel Xeon, pati na rin ang mga processor ng Intel Core at Intel iGPU. Pinahusay na performance ng LLM na nakabatay sa transformer sa parehong mga CPU at GPU, pinasimpleng pag-optimize para sa mga modelo ng Hugging Face, at higit pa.
Para sa sanggunian, ang OpenVINO ay isang bukas, libreng hanay ng mga tool na tumutulong sa mga developer at data analyst na mapabilis ang pagbuo ng mga solusyon na may mataas na pagganap para magamit sa iba't ibang mga video system. Ang komprehensibong hanay ng mga tool na ito ay sumusuporta sa isang buong hanay ng mga solusyon sa computer vision, pinapagana ang malalim na pag-deploy ng pag-aaral, at nagbibigay-daan sa madaling pagpapatupad sa maraming Intel platform. Ang OpenVINO ay nilulutas din ang iba't ibang uri ng mga problema, kabilang ang pagtukoy ng mukha, awtomatikong pagkilala sa mga bagay, teksto at pananalita, pagproseso ng imahe at marami pang iba.
Pinagmulan: linux.org.ru