Em 24 de janeiro, os engenheiros da Intel lançaram uma grande atualização para o kit de ferramentas líder de inteligência artificial de código aberto OpenVINO 2023.3. Ele fornece suporte completo para os novos processadores Emerald Rapids e Meteor Lake, bem como outras melhorias de hardware da Intel para inteligência artificial generativa (GenAI) e modelos de linguagem grande (LLM).
OpenVINO 2023.3 apresenta o repositório OpenVINO Gen AI para mostrar amostras nativas do pipeline de modelo de linguagem C/C++ grande e testar modelos adicionais, incluindo Mistral, Zephyr, ChatGLM3 e outros. Torch.compile agora está totalmente integrado ao OpenVINO.
Para aprimorar o suporte ao modelo de linguagem grande, o formato do modelo de compactação INT4 é compatível com processadores Intel Xeon, bem como com processadores Intel Core e Intel iGPU. Desempenho aprimorado de LLM baseado em transformador em CPUs e GPUs, otimizações simplificadas para modelos Hugging Face e muito mais.
Para referência, OpenVINO é um conjunto aberto e gratuito de ferramentas que ajuda desenvolvedores e analistas de dados a acelerar o desenvolvimento de soluções de alto desempenho para uso em diversos sistemas de vídeo. Esse conjunto abrangente de ferramentas oferece suporte a uma gama completa de soluções de visão computacional, agiliza implantações de aprendizagem profunda e permite fácil execução em diversas plataformas Intel. OpenVINO também resolve uma ampla variedade de problemas, incluindo detecção de rosto, reconhecimento automático de objetos, texto e fala, processamento de imagens e muito mais.
Fonte: linux.org.ru