오픈VINO 2023.3

24월 2023.3일, 인텔 엔지니어들은 최고의 오픈 소스 인공 지능 툴킷인 OpenVINO XNUMX에 대한 주요 업데이트를 발표했습니다. 새로운 Emerald Rapids 및 Meteor Lake 프로세서에 대한 완벽한 지원은 물론 GenAI(생성 인공 지능) 및 LLM(대형 언어 모델)을 위한 기타 Intel 하드웨어 개선 사항도 제공합니다.

OpenVINO 2023.3에는 OpenVINO Gen AI 저장소가 도입되어 C/C++ 대규모 언어 모델 파이프라인의 기본 샘플을 보여주고 Mistral, Zephyr, ChatGLM3 등을 포함한 추가 모델을 테스트합니다. Torch.compile은 이제 OpenVINO와 완전히 통합되었습니다.

대규모 언어 모델에 대한 지원을 강화하기 위해 Intel Xeon 프로세서는 물론 Intel Core 및 Intel iGPU 프로세서에서도 INT4 압축 모델 형식이 지원됩니다. CPU와 GPU 모두에서 변환기 기반 LLM 성능이 향상되고 Hugging Face 모델에 대한 최적화가 단순화되었습니다.

참고로 OpenVINO는 개발자와 데이터 분석가가 다양한 비디오 시스템에서 사용할 고성능 솔루션 개발을 가속화하는 데 도움이 되는 개방형 무료 도구 세트입니다. 이 포괄적인 도구 세트는 광범위한 컴퓨터 비전 솔루션을 지원하고, 딥 러닝 배포를 간소화하며, 여러 Intel 플랫폼에서 쉽게 실행할 수 있도록 해줍니다. OpenVINO는 또한 얼굴 감지, 객체 자동 인식, 텍스트 및 음성, 이미지 처리 등을 포함한 다양한 문제를 해결합니다.

출처 : linux.org.ru