{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"Der Code von Jina Embedding, einem Modell zur vektoriellen Darstellung von Textinhalten, ist jetzt verf\u00fcgbar.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Das Unternehmen Jina hat unter der Lizenz Apache 2.0 ein Maschinenlernmodell f\u00fcr die vektorielle Textdarstellung \u2013 jina-embeddings-v2 \u2013 ver\u00f6ffentlicht. Dieses Modell erm\u00f6glicht die Umwandlung beliebigen Textes mit bis zu 8192 Zeichen in eine kleine Sequenz von reellen Zahlen, die einen Vektor bilden, der mit dem urspr\u00fcnglichen Text verkn\u00fcpft ist und dessen Semantik (Bedeutung) reproduziert. Jina Embedding ist das erste offene Maschinenlernmodell, das Eigenschaften aufweist, die mit dem propriet\u00e4ren Textvektorisierungsmodell des OpenAI-Projekts (text-embedding-ada-002) vergleichbar sind und ebenfalls Texte mit bis zu 8192 Tokens verarbeiten kann. <\/p>\n
Der Abstand zwischen zwei gebildeten Vektoren kann verwendet werden, um die semantische Beziehung zwischen den urspr\u00fcnglichen Texten zu bestimmen. In der Praxis k\u00f6nnen die gebildeten Vektoren zur Analyse der \u00c4hnlichkeit von Texten, zur Organisation der Suche nach thematisch verwandten Materialien (Ranking der Ergebnisse nach semantischer N\u00e4he), zur Gruppierung von Texten nach Bedeutung, zur Generierung von Empfehlungen (Vorschlag einer Liste \u00e4hnlicher Textzeilen), zur Identifizierung von Anomalien, zur Plagiatspr\u00fcfung und zur Klassifizierung von Tests eingesetzt werden. Anwendungsbereiche umfassen die Analyse von juristischen Dokumenten, Business Analytics, medizinische Forschung f\u00fcr die Verarbeitung wissenschaftlicher Artikel, literarische Kritik, die Analyse von Finanzberichten und die Verbesserung der Qualit\u00e4t der Bearbeitung komplexer Anfragen durch Chatbots. <\/p>\n
F\u00fcr den Download stehen zwei Modellvarianten von jina-embeddings zur Verf\u00fcgung (Basis \u2013 0,27 GB und verkleinert \u2013 0,07 GB), die auf 400 Millionen Paaren von englischen Textsequenzen trainiert wurden und verschiedene Wissensgebiete abdecken. Bei der Ausbildung wurden Sequenzen mit einer Gr\u00f6\u00dfe von 512 Tokens verwendet, die mithilfe der ALiBi-Methode (Attention with Linear Biases) auf eine Gr\u00f6\u00dfe von 8192 extrapoliert wurden. <\/p>\n
Das Basismodell umfasst 137 Millionen Parameter und ist f\u00fcr den Einsatz auf Desktop-Systemen mit GPU optimiert. Das Kompaktmodell enth\u00e4lt 33 Millionen Parameter, bietet eine geringere Genauigkeit und ist f\u00fcr die Verwendung auf mobilen Ger\u00e4ten und Systemen mit geringem Speicher konzipiert. In naher Zukunft wird auch ein gro\u00dfes Modell mit 435 Millionen Parametern ver\u00f6ffentlicht. Zudem wird an einer mehrsprachigen Variante gearbeitet, die aktuell die Unterst\u00fctzung der deutschen und spanischen Sprache fokussiert. Separat wurde ein Plugin entwickelt, um die Jina-Embeddings \u00fcber das LLM-Toolkit zu nutzen. \n Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"