No dia 24 de janeiro, engenheiros da Intel lançaram uma grande atualização do conjunto de ferramentas de inteligência artificial de código aberto OpenVINO 2023.3. Esta versão oferece suporte completo para os novos processadores Emerald Rapids e Meteor Lake, além de outras melhorias de hardware da Intel para inteligência artificial generativa (GenAI) e modelos de linguagem de grande escala (LLM).
O OpenVINO 2023.3 apresenta o repositório OpenVINO Gen AI para demonstração de amostras personalizadas de pipeline C/C++ de modelos de linguagem de grande escala e verificação de modelos adicionais, incluindo Mistral, Zephyr, ChatGLM3 e outros. O Torch.compile agora está totalmente integrado ao OpenVINO.
Para expandir o suporte a modelos de linguagem de grande escala, o formato de compressão de modelo INT4 é suportado em processadores Intel Xeon, bem como em Intel Core e Intel iGPU. A performance dos LLM baseados em transformadores foi aprimorada tanto em CPUs quanto em GPUs, e a otimização para modelos do Hugging Face foi simplificada, entre outras melhorias.
Para referência: o OpenVINO é um conjunto de ferramentas gratuito e aberto que ajuda desenvolvedores e analistas de dados a acelerar o desenvolvimento de soluções de alto desempenho para uso em diversos sistemas de vídeo. Este abrangente conjunto de ferramentas suporta uma ampla gama de soluções de visão computacional, otimiza a implementação de aprendizado profundo e proporciona uma execução simples em várias plataformas da Intel. O OpenVINO também aborda uma variedade de tarefas, incluindo detecção de faces, reconhecimento automático de objetos, texto e fala, processamento de imagens e muito mais.
Fonte: linux.org.ru
