Dina 24 Januari, insinyur Intel ngarilis apdet utama pikeun toolkit kecerdasan jieunan open-source OpenVINO 2023.3. Éta nyayogikeun dukungan lengkep pikeun prosesor Emerald Rapids sareng Meteor Lake énggal, ogé paningkatan hardware Intel sanés pikeun intelijen buatan generatif (GenAI) sareng modél basa ageung (LLM).
OpenVINO 2023.3 ngenalkeun Repositori OpenVINO Gen AI pikeun nunjukkeun conto asli tina pipa modél basa ageung C/C ++ sareng nguji modél tambahan kalebet Mistral, Zephyr, ChatGLM3 sareng anu sanésna. Torch.compile ayeuna pinuh terpadu jeung OpenVINO.
Pikeun ningkatkeun dukungan pikeun modél basa ageung, format modél komprési INT4 dirojong dina prosesor Intel Xeon, ogé prosesor Intel Core sareng Intel iGPU. Ningkatkeun kinerja LLM basis trafo on duanana CPUs na GPUs, optimizations saderhana pikeun model Hugging Face, sarta leuwih.
Pikeun rujukan, OpenVINO mangrupikeun set alat anu kabuka sareng gratis anu ngabantosan pamekar sareng analis data ngagancangkeun pamekaran solusi kinerja tinggi pikeun dianggo dina sababaraha sistem pidéo. Set komprehensif alat ieu ngarojong sauntuyan lengkep solusi visi komputer, streamlines deployments learning jero, tur ngamungkinkeun palaksanaan gampang sakuliah sababaraha platform Intel. OpenVINO ogé ngarengsekeun rupa-rupa masalah, kalebet deteksi wajah, pangakuan otomatis objék, téks sareng ucapan, pamrosésan gambar sareng seueur deui.
sumber: linux.org.ru