{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"Der Code von Jina Embedding, Modelle zur Vektorisierung des Textinhalts, wurde er\u00f6ffnet.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Das Unternehmen Jina hat ein unter der Apache 2.0-Lizenz verf\u00fcgbares Modell f\u00fcr maschinelles Lernen zur vektoriellen Darstellung von Texten er\u00f6ffnet \u2013 jina-embeddings-v2. Dieses Modell erm\u00f6glicht es, beliebigen Text, der bis zu 8192 Zeichen umfasst, in eine kurze Sequenz von reellen Zahlen zu transformieren, die einen Vektor bilden. Dieser Vektor entspricht dem urspr\u00fcnglichen Text und reproduziert dessen Semantik. Jina Embedding ist das erste offene maschinelle Lernmodell, das Eigenschaften aufweist, die der propriet\u00e4ren Textvektorisierungsmodell des Projekts OpenAI (text-embedding-ada-002) in nichts nachstehen und ebenfalls Texte mit bis zu 8192 Tokens verarbeiten kann. <\/p>\n
Der Abstand zwischen zwei gebildeten Vektoren kann verwendet werden, um die semantische Beziehung der urspr\u00fcnglichen Texte zu bestimmen. In der Praxis k\u00f6nnen die gebildeten Vektoren zur Analyse der \u00c4hnlichkeit von Texten, zur Organisation der Suche nach thematisch verwandten Materialien (Ranking der Ergebnisse nach semantischer N\u00e4he), zur Gruppierung von Texten nach Bedeutung, zur Generierung von Empfehlungen (Vorschlag einer Liste \u00e4hnlicher Textzeilen), zur Identifikation von Anomalien, zur Plagiatserkennung und zur Klassifikation von Tests eingesetzt werden. Beispiele f\u00fcr Anwendungsgebiete umfassen die Analyse von juristischen Dokumenten, die Gesch\u00e4ftsanalyse, medizinische Forschungsarbeiten zur Verarbeitung wissenschaftlicher Artikel, literarische Kritiken, die Auswertung von Finanzberichten und die Verbesserung der Qualit\u00e4t von Chatbot-Anfragen zu komplexen Themen. <\/p>\n
Es stehen zwei Varianten des Modells jina-embeddings zum Download bereit (Basis - 0,27 GB und verk\u00fcrzt - 0,07 GB), die auf 400 Millionen Paaren englischsprachiger Textsequenzen trainiert wurden und verschiedene Wissensbereiche abdecken. Bei der Schulung wurden Sequenzen mit einer Gr\u00f6\u00dfe von 512 Tokens verwendet, die mithilfe der ALiBi-Methode (Attention with Linear Biases) auf eine Gr\u00f6\u00dfe von 8192 extrapoliert wurden. <\/p>\n
Das Basismodell umfasst 137 Millionen Parameter und ist f\u00fcr den Einsatz auf station\u00e4ren Systemen mit GPU ausgelegt. Das vereinfachte Modell umfasst 33 Millionen Parameter, bietet geringere Genauigkeit und ist f\u00fcr die Verwendung auf mobilen Ger\u00e4ten und Systeme mit geringem Speicher ausgelegt. In naher Zukunft wird auch ein gro\u00dfes Modell ver\u00f6ffentlicht, das 435 Millionen Parameter abdecken wird. Zudem wird an einer mehrsprachigen Version des Modells gearbeitet, die sich derzeit auf die Unterst\u00fctzung der deutschen und spanischen Sprache konzentriert. Separat wurde ein Plugin f\u00fcr die Verwendung des Modells jina-embeddings \u00fcber das LLM-Toolkit vorbereitet. \n Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"