24 Ocak'ta Intel mühendisleri, önde gelen açık kaynaklı yapay zeka araç seti OpenVINO 2023.3 için büyük bir güncelleme yayınladı. Yeni Emerald Rapids ve Meteor Lake işlemcilerinin yanı sıra üretken yapay zeka (GenAI) ve büyük dil modelleri (LLM) için diğer Intel donanım geliştirmeleri için tam destek sağlar.
OpenVINO 2023.3, C/C++ geniş dil modeli hattının yerel örneklerini sergilemek ve Mistral, Zephyr, ChatGLM3 ve diğerleri dahil olmak üzere ek modelleri test etmek için OpenVINO Gen AI deposunu sunar. Torch.compile artık OpenVINO ile tamamen entegredir.
Büyük dil modeli desteğini geliştirmek için INT4 sıkıştırma modeli formatı Intel Xeon işlemcilerin yanı sıra Intel Core ve Intel iGPU işlemcilerde de desteklenir. Hem CPU hem de GPU'larda iyileştirilmiş transformatör tabanlı LLM performansı, Hugging Face modelleri için basitleştirilmiş optimizasyonlar ve daha fazlası.
Referans olarak OpenVINO, geliştiricilerin ve veri analistlerinin çeşitli video sistemlerinde kullanılmak üzere yüksek performanslı çözümlerin geliştirilmesini hızlandırmasına yardımcı olan açık ve ücretsiz bir araç setidir. Bu kapsamlı araç seti, çok çeşitli bilgisayar görüşü çözümlerini destekler, derin öğrenme dağıtımlarını kolaylaştırır ve birden fazla Intel platformunda kolay yürütme sağlar. OpenVINO ayrıca yüz algılama, nesnelerin otomatik olarak tanınması, metin ve konuşma, görüntü işleme ve çok daha fazlası dahil olmak üzere çok çeşitli sorunları da çözer.
Kaynak: linux.org.ru