Den 24 januari slÀppte Intel ingenjörerna en stor uppdatering av det ledande OpenVINO 2023.3 verktygssatsen för öppen kÀllkod för artificiell intelligens. Den erbjuder fullstÀndigt stöd för de nya processorerna Emerald Rapids och Meteor Lake, samt andra hÄrdvaruförbÀttringar frÄn Intel för generativ artificiell intelligens (GenAI) och stora sprÄkmodeller (LLM).
OpenVINO 2023.3 introducerar OpenVINO Gen AI-repositoriet för att demonstrera egna exempel pÄ pipeline C/C++ för stora sprÄkmodeller och testning av ytterligare modeller, inklusive Mistral, Zephyr, ChatGLM3 och andra. Torch.compile Àr nu helt integrerat med OpenVINO.
För att utöka stödet för stora sprÄkmodeller stöds INT4-modellkompressionsformatet pÄ Intel Xeon-processorer, samt Intel Core och Intel iGPU. Prestandan för transformerbaserade LLM har förbÀttrats bÄde pÄ centrala enheter och grafikkort, optimeringen för Hugging Face-modeller har förenklats och mycket mer.
För referens: OpenVINO Àr en öppen och gratis verktygssats som hjÀlper utvecklare och datanalytiker att pÄskynda utvecklingen av högpresterande lösningar för anvÀndning i olika videosystem. Denna omfattande verktygssats stöder hela spektrumet av lösningar för datorseende, optimerar distributionen av djupinlÀrning och möjliggör enkel körning pÄ olika Intel-plattformar. Dessutom hanterar OpenVINO en mÀngd olika uppgifter, inklusive ansiktsigenkÀnning, automatisk objekts-, text- och taligenkÀnning, bildbehandling och mycket mer.
KĂ€lla: linux.org.ru
