OpenVINO 2023.3

Den 24. januar lanserte ingeniører fra Intel en omfattende oppdatering av det ledende verktøysettet for kunstig intelligens med åpen kildekode, OpenVINO 2023.3. Det gir full støtte for de nye prosessorene Emerald Rapids og Meteor Lake, samt andre forbedringer av Intel-hardware for generativ kunstig intelligens (GenAI) og store språkmodeller (LLM).

OpenVINO 2023.3 introduserer OpenVINO Gen AI-repositoriet for å demonstrere egne C/C++ pipeline-eksempler av store språkmodeller og verifisere ekstra modeller, inkludert Mistral, Zephyr, ChatGLM3 og flere. Torch.compile er nå fullstendig integrert med OpenVINO.

For å utvide støtten for store språkmodeller støttes INT4-modellkomprimeringsformatet på Intel Xeon-prosessorer, samt Intel Core og Intel iGPU. Ytelsen for LLM basert på transformatorer er forbedret både på sentrale prosessorer og grafikkprosessorer, og optimaliseringen for Hugging Face-modeller er forenklet.

Til referanse: OpenVINO er et gratis verktøysett med åpen kildekode som hjelper utviklere og datasanalytikere med å akselerere utviklingen av høyt ytende løsninger for bruk i ulike videobaserte systemer. Dette omfattende verktøysettet støtter et bredt spekter av løsninger for datamaskinsyn, optimaliserer distribusjonen av dyp læring og gir enkel implementering på forskjellige Intel-plattformer. OpenVINO løser også ulike oppgaver, inkludert ansiktsdeteksjon, automatisk gjenkjenning av objekter, tekst og tale, bildebehandling og mye mer.

Kilde: linux.org.ru