{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"O c\u00f3digo do Jina Embedding foi aberto, um modelo para representa\u00e7\u00e3o vetorial do significado do texto","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
A empresa Jina lan\u00e7ou sob a licen\u00e7a Apache 2.0 um modelo de aprendizado de m\u00e1quina para a representa\u00e7\u00e3o vetorial de texto \u2014 jina-embeddings-v2. O modelo permite converter texto arbitr\u00e1rio, incluindo at\u00e9 8192 caracteres, em uma pequena sequ\u00eancia de n\u00fameros reais que formam um vetor correspondente ao texto original e que reproduz sua sem\u00e2ntica (significado). O Jina Embedding tornou-se o primeiro modelo de aprendizado de m\u00e1quina aberto com caracter\u00edsticas que n\u00e3o ficam atr\u00e1s do modelo propriet\u00e1rio de vetoriza\u00e7\u00e3o de texto do projeto OpenAI (text-embedding-ada-002), tamb\u00e9m capaz de processar textos contendo at\u00e9 8192 tokens. <\/p>\n
A dist\u00e2ncia entre dois vetores formados pode ser usada para determinar a rela\u00e7\u00e3o sem\u00e2ntica entre os textos originais. Na pr\u00e1tica, os vetores formados podem ser utilizados para analisar a similaridade de textos, organizar a busca por materiais tematicamente relacionados (classificando os resultados pela proximidade sem\u00e2ntica), agrupar textos por significado, gerar recomenda\u00e7\u00f5es (oferecendo uma lista de linhas de texto semelhantes), identificar anomalias, detectar pl\u00e1gio e classificar testes. Exemplos de \u00e1reas de aplica\u00e7\u00e3o incluem o uso do modelo para an\u00e1lise de documentos jur\u00eddicos, para an\u00e1lise de neg\u00f3cios, em pesquisas m\u00e9dicas para processamento de artigos cient\u00edficos, na cr\u00edtica liter\u00e1ria, para an\u00e1lise de relat\u00f3rios financeiros e para melhorar a qualidade do tratamento de quest\u00f5es complexas pelos chatbots. <\/p>\n
Est\u00e3o dispon\u00edveis para download duas vers\u00f5es do modelo jina-embeddings (b\u00e1sica \u2014 0.27 GB e reduzida \u2014 0.07 GB), treinadas em 400 milh\u00f5es de pares de sequ\u00eancias de texto em ingl\u00eas, abrangendo diversas \u00e1reas do conhecimento. Durante o treinamento, foram utilizadas sequ\u00eancias com tamanho de 512 tokens, que foram extrapoladas para um tamanho de 8192 usando o m\u00e9todo ALiBi (Aten\u00e7\u00e3o com Vi\u00e9s Linear). <\/p>\n
O modelo b\u00e1sico inclui 137 milh\u00f5es de par\u00e2metros e \u00e9 projetado para uso em sistemas de desktop com GPU. O modelo reduzido possui 33 milh\u00f5es de par\u00e2metros, oferece menor precis\u00e3o e \u00e9 direcionado para uso em dispositivos m\u00f3veis e sistemas com pouca mem\u00f3ria. Em breve tamb\u00e9m est\u00e1 prevista a publica\u00e7\u00e3o de um grande modelo que abranger\u00e1 435 milh\u00f5es de par\u00e2metros. Est\u00e1 em desenvolvimento uma vers\u00e3o multil\u00edngue do modelo, atualmente focada no suporte aos idiomas alem\u00e3o e espanhol. Um plugin tamb\u00e9m foi preparado para utilizar o modelo jina-embeddings atrav\u00e9s da ferramenta LLM. \n Fonte: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"