24 stycznia inżynierowie Intel zaprezentowali istotną aktualizację zestawu narzędzi do sztucznej inteligencji o otwartym kodzie źródłowym OpenVINO 2023.3. Zapewnia ona pełne wsparcie dla nowych procesorów Emerald Rapids i Meteor Lake, a także inne ulepszenia sprzętowe Intel do generatywnej sztucznej inteligencji (GenAI) i dużych modeli językowych (LLM).
OpenVINO 2023.3 wprowadza repozytorium OpenVINO Gen AI do demonstrowania własnych próbek potoku C/C++ dużych modeli językowych oraz do weryfikacji dodatkowych modeli, w tym Mistral, Zephyr, ChatGLM3 i inne. Torch.compile jest teraz w pełni zintegrowany z OpenVINO.
Aby rozszerzyć wsparcie dla dużych modeli językowych, obsługiwany jest format kompresji modelu INT4 na procesorach Intel Xeon, a także Intel Core i Intel iGPU. Ulepszono wydajność LLM bazujących na transformatorach zarówno na procesorach centralnych, jak i graficznych, uproszczono optymalizację modelu Hugging Face i wiele więcej.
Dla informacji: OpenVINO to darmowy zestaw narzędzi, który pomaga programistom i analitykom danych przyspieszyć rozwój wydajnych rozwiązań do użytku w różnych systemach wizyjnych. Ten kompleksowy zestaw narzędzi wspiera cały zakres rozwiązań dla komputerowego widzenia, optymalizuje wdrażanie głębokiego uczenia i zapewnia proste wykonanie na różnych platformach Intel. OpenVINO rozwiązuje również różne zadania, w tym detekcję twarzy, automatyczne rozpoznawanie obiektów, tekstu i mowy, przetwarzanie obrazów i wiele innych.
Źródło: linux.org.ru
