{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"Se ha abierto el c\u00f3digo de Jina Embedding, un modelo para la representaci\u00f3n vectorial del significado del texto.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
La empresa Jina ha lanzado bajo la licencia Apache 2.0 un modelo de aprendizaje autom\u00e1tico para la representaci\u00f3n vectorial de textos \u2014 jina-embeddings-v2. Este modelo permite transformar un texto arbitrario, que incluye hasta 8192 caracteres, en una peque\u00f1a secuencia de n\u00fameros reales que forman un vector, asociado al texto original y que reproduce su sem\u00e1ntica. Jina Embedding se convirti\u00f3 en el primer modelo de aprendizaje autom\u00e1tico de c\u00f3digo abierto, que cuenta con caracter\u00edsticas que no le desmerecen a la modelo propietario de vectorizaci\u00f3n de texto del proyecto OpenAI (text-embedding-ada-002), tambi\u00e9n capaz de manejar textos de hasta 8192 tokens. <\/p>\n
La distancia entre dos vectores formados se puede utilizar para determinar la relaci\u00f3n sem\u00e1ntica entre los textos originales. En la pr\u00e1ctica, los vectores formados pueden usarse para analizar la similitud de textos, organizar la b\u00fasqueda de materiales tem\u00e1ticamente cercanos (ordenando los resultados por cercan\u00eda sem\u00e1ntica), agrupando textos por significado, generando recomendaciones (ofreciendo una lista de l\u00edneas textuales similares), detectando anomal\u00edas, identificando plagio y clasificando pruebas. Como ejemplos de \u00e1reas de uso se menciona la aplicaci\u00f3n del modelo para el an\u00e1lisis de documentos legales, para an\u00e1lisis de negocios, en investigaciones m\u00e9dicas para procesar art\u00edculos cient\u00edficos, en cr\u00edtica literaria, para analizar informes financieros y para mejorar la calidad del procesamiento de consultas complejas por parte de chatbots. <\/p>\n
Est\u00e1n disponibles para descarga dos variantes del modelo jina-embeddings (b\u00e1sico \u2014 0.27 GB y reducido \u2014 0.07 GB), entrenados en 400 millones de pares de secuencias de texto en ingl\u00e9s, que abarcan diversas \u00e1reas del conocimiento. Durante el entrenamiento se utilizaron secuencias de 512 tokens, que fueron extrapoladas hasta el tama\u00f1o de 8192 mediante el m\u00e9todo ALiBi (Atenci\u00f3n con sesgos lineales). <\/p>\n
El modelo b\u00e1sico incluye 137 millones de par\u00e1metros y est\u00e1 dise\u00f1ado para su uso en sistemas de escritorio con GPU. El modelo reducido incluye 33 millones de par\u00e1metros, ofrece menor precisi\u00f3n y est\u00e1 dirigido a su uso en dispositivos m\u00f3viles y en sistemas con poca memoria. En breve, tambi\u00e9n se planea publicar un modelo grande que abarque 435 millones de par\u00e1metros. Adem\u00e1s, se est\u00e1 desarrollando una versi\u00f3n multiling\u00fce del modelo, que actualmente se centra en el soporte del alem\u00e1n y el espa\u00f1ol. Tambi\u00e9n se ha preparado un complemento para utilizar el modelo jina-embeddings a trav\u00e9s de la herramienta LLM. \n Fuente: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"