Il 24 gennaio, gli ingegneri di Intel hanno rilasciato un importante aggiornamento della suite di strumenti open source per intelligenza artificiale OpenVINO 2023.3. Questo aggiornamento offre supporto completo per i nuovi processori Emerald Rapids e Meteor Lake, oltre ad altri miglioramenti hardware di Intel per l'intelligenza artificiale generativa (GenAI) e i grandi modelli di linguaggio (LLM).
OpenVINO 2023.3 presenta il repository OpenVINO Gen AI per dimostrare campioni del proprio pipeline C/C++ dei grandi modelli di linguaggio e per la verifica di modelli addizionali, tra cui Mistral, Zephyr, ChatGLM3 e altri. Torch.compile è ora completamente integrato con OpenVINO.
Per ampliare il supporto ai modelli di grandi dimensioni, è supportato il formato di compressione del modello INT4 sui processori Intel Xeon, così come su Intel Core e Intel iGPU. Sono migliorate le prestazioni dei LLM basati su trasformatori sia sulle CPU che sulle GPU, semplificando l'ottimizzazione per i modelli di Hugging Face e molto altro.
Per riferimento: OpenVINO è una suite di strumenti open source gratuita che aiuta sviluppatori e analisti a velocizzare la creazione di soluzioni ad alte prestazioni per essere utilizzate in vari sistemi visivi. Questo set di strumenti completo supporta l'intero spettro di soluzioni per la visione artificiale, ottimizza l'implementazione dell'apprendimento profondo e garantisce un'esecuzione semplice su diverse piattaforme Intel. Inoltre, OpenVINO affronta una varietà di compiti, tra cui il riconoscimento facciale, il riconoscimento automatico di oggetti, testo e voce, l'elaborazione delle immagini e molto altro.
Fonte: linux.org.ru
