Pe 24 ianuarie, inginerii Intel au lansat o actualizare majoră a suitei de instrumente open source pentru inteligență artificială OpenVINO 2023.3. Aceasta oferă suport complet pentru noile procesoare Emerald Rapids și Meteor Lake, precum și alte îmbunătățiri hardware Intel pentru inteligența artificială generativă (GenAI) și modelele lingvistice mari (LLM).
OpenVINO 2023.3 prezintă depozitul OpenVINO Gen AI pentru a demonstra exemplele proprii de pipeline C/C++ pentru modelele lingvistice mari și validarea altor modele, inclusiv Mistral, Zephyr, ChatGLM3 și altele. Torch.compile este acum complet integrat cu OpenVINO.
Pentru a extinde suportul pentru modelele lingvistice mari, este acceptat formatul de compresie a modelului INT4 pe procesoarele Intel Xeon, precum și pe Intel Core și Intel iGPU. Performanța LLM bazată pe transformatoare a fost îmbunătățită atât pe procesoare centrale, cât și pe unități grafice, optimizarea pentru modelele Hugging Face fiind simplificată și multe altele.
Pentru referință: OpenVINO este o suită de instrumente gratuită și deschisă care ajută dezvoltatorii și analiștii de date să accelereze dezvoltarea de soluții de înaltă performanță pentru a fi utilizate în diverse sisteme video. Această suită complexă de instrumente sprijină întreaga gamă de soluții pentru viziune computerizată, optimizează desfășurarea învățării profunde și asigură execuția simplă pe diverse platforme Intel. De asemenea, OpenVINO abordează cele mai variate sarcini, inclusiv detectarea feței, recunoașterea automată a obiectelor, textului și vorbirii, procesarea imaginilor și multe altele.
Sursa: linux.org.ru
