Il 24 gennaio, gli ingegneri Intel hanno rilasciato un importante aggiornamento del principale toolkit open source per l'intelligenza artificiale, OpenVINO 2023.3. Questo aggiornamento offre supporto completo per i nuovi processori Emerald Rapids e Meteor Lake, oltre ad altri miglioramenti hardware Intel per l'intelligenza artificiale generativa (GenAI) e i modelli linguistici di grandi dimensioni (LLM).
OpenVINO 2023.3 presenta il repository OpenVINO Gen AI per dimostrare esempi pratici di pipeline C/C++ per modelli linguistici di grandi dimensioni e per testare modelli aggiuntivi, tra cui Mistral, Zephyr, ChatGLM3 e altri. Torch.compile è ora completamente integrato con OpenVINO.
Per ampliare il supporto ai modelli linguistici di grandi dimensioni, è supportato il formato di compressione INT4 sui processori Intel Xeon, Intel Core e Intel iGPU. Le prestazioni delle LLM basate su trasformatori sono migliorate sia su CPU che su GPU, e l'ottimizzazione per i modelli di Hugging Face è semplificata, tra le altre cose.
A titolo di riferimento: OpenVINO è un toolkit aperto e gratuito che aiuta sviluppatori e analisti di dati ad accelerare lo sviluppo di soluzioni ad alte prestazioni per l'uso in vari sistemi visivi. Questo toolkit completo supporta un'ampia gamma di soluzioni per la visione computazionale, ottimizza il deployment di deep learning e garantisce un'esecuzione semplice su varie piattaforme Intel. Inoltre, OpenVINO affronta le più diverse sfide, tra cui il riconoscimento facciale, il riconoscimento automatico di oggetti, testo e voce, l'elaborazione delle immagini e molto altro.
Fonte: linux.org.ru
