A empresa Jina lançou sob a licença Apache 2.0 um modelo de aprendizado de máquina para representação vetorial de texto — jina-embeddings-v2. O modelo é capaz de transformar um texto arbitrário, incluindo até 8192 caracteres, em uma pequena sequência de números reais que formam um vetor associado ao texto original e reproduzem sua semântica. A Jina Embedding se tornou o primeiro modelo de aprendizado de máquina aberto com características que não ficam atrás do modelo proprietário de vetorização de texto do projeto OpenAI (text-embedding-ada-002), também capaz de processar textos com até 8192 tokens.
A distância entre dois vetores formados pode ser usada para determinar a relação semântica entre os textos originais. Na prática, os vetores formados podem ser utilizados para analisar a similaridade de textos, organizar a busca por materiais tematicamente relacionados (classificando os resultados pela proximidade semântica), agrupar textos por significado, gerar recomendações (oferecendo uma lista de linhas de texto semelhantes), identificar anomalias, detectar plágio e classificar testes. Exemplos de áreas de aplicação incluem o uso do modelo para análise de documentos jurídicos, para análise de negócios, em pesquisas médicas para processamento de artigos científicos, na crítica literária, para análise de relatórios financeiros e para melhorar a qualidade do tratamento de questões complexas pelos chatbots.
Estão disponíveis para download duas variantes do modelo jina-embeddings (básica — 0,27 GB e reduzida — 0,07 GB), treinadas em 400 milhões de pares de sequências textuais em inglês, abrangendo diversas áreas do conhecimento. Durante o treinamento, foram utilizadas sequências de tamanho 512 tokens, que foram extrapoladas para o tamanho 8192 por meio do método ALiBi (Attention with Linear Biases).
O modelo básico inclui 137 milhões de parâmetros e é projetado para uso em sistemas de desktop com GPU. O modelo reduzido possui 33 milhões de parâmetros, oferece menor precisão e é direcionado para uso em dispositivos móveis e sistemas com pouca memória. Em breve também está prevista a publicação de um grande modelo que abrangerá 435 milhões de parâmetros. Está em desenvolvimento uma versão multilíngue do modelo, atualmente focada no suporte aos idiomas alemão e espanhol. Um plugin também foi preparado para utilizar o modelo jina-embeddings através da ferramenta LLM.
Fonte: opennet.ru
