24 stycznia inżynierowie firmy Intel opublikowali poważną aktualizację wiodącego zestawu narzędzi sztucznej inteligencji typu open source OpenVINO 2023.3. Zapewnia pełną obsługę nowych procesorów Emerald Rapids i Meteor Lake, a także inne ulepszenia sprzętowe firmy Intel na potrzeby generatywnej sztucznej inteligencji (GenAI) i modeli dużych języków (LLM).
OpenVINO 2023.3 wprowadza repozytorium OpenVINO Gen AI, aby zaprezentować natywne próbki potoku modeli dużych języków C/C++ i przetestować dodatkowe modele, w tym Mistral, Zephyr, ChatGLM3 i inne. Torch.compile jest teraz w pełni zintegrowany z OpenVINO.
Aby ulepszyć obsługę modelu dużego języka, format modelu kompresji INT4 jest obsługiwany w procesorach Intel Xeon, a także procesorach Intel Core i Intel iGPU. Ulepszona wydajność LLM oparta na transformatorach zarówno na procesorach, jak i procesorach graficznych, uproszczone optymalizacje dla modeli Hugging Face i nie tylko.
Dla porównania, OpenVINO to otwarty, bezpłatny zestaw narzędzi, który pomaga programistom i analitykom danych przyspieszyć rozwój rozwiązań o wysokiej wydajności do stosowania w różnych systemach wideo. Ten kompleksowy zestaw narzędzi obsługuje pełną gamę rozwiązań z zakresu wizji komputerowej, usprawnia wdrażanie głębokiego uczenia się i umożliwia łatwe uruchamianie na wielu platformach Intel. OpenVINO rozwiązuje również szeroką gamę problemów, w tym wykrywanie twarzy, automatyczne rozpoznawanie obiektów, tekstu i mowy, przetwarzanie obrazu i wiele innych.
Źródło: linux.org.ru